ИИ подстрекает подростков к убийствам и самоубийствам: родители судятся с Google

В октябре этого года был подан судебный иск, в котором компания Character.AI (C.AI) обвиняется в создании опасных чат-ботов, которые предположительно стали причиной самоубийства 14-летнего мальчика. В последнее время  все больше семей выдвигают иски против производителя чат-ботов Character Technologies и основного спонсора стартапа – технологического гиганта Google, пишет издание ARS.

В октябре 2024 года компания Character.AI столкнулась с обвинениями в связи с трагическим случаем самоубийства 14-летнего подростка, Сьюэлла Сетцера III. По словам его матери, Меган Гарсия, которая подала иск, общение ее сына с чат-ботом компании сыграло роковую роль в трагедии. В иске утверждается, что платформа не обеспечивала должных мер безопасности, которые могли бы предотвратить подобные ужасные случаи.

Сетцер использовал платформу Character.AI, где общался с ботами, моделированными по образу известных персонажей, например, Дейенерис Таргариен. Взаимодействие длилось несколько месяцев, и предполагается, что это могло вызвать у подростка эмоциональную зависимость и повлиять на его психическое состояние. Незадолго до своей смерти мальчик  вел диалог с одним из таких ботов. Компания позже добавила фильтры и предупреждения на платформу, но критики считают эти меры недостаточными.

По теме: Илон Маск заявил, что искусственный интеллект заберет у людей все рабочие места

Character.AI — это платформа, создающая чат-ботов на основе языковых моделей, имитирующих как вымышленных персонажей, так и реальных людей. Компания стремится сделать чат-ботов максимально реалистичными и эмоционально увлекательными, что, впрочем, может представлять опасность для подростков и людей с расшатанной психикой.

17 декабря в окружной суд США в Техасе был подан еще один иск, на этот раз семьями, которые пытались помочь своим детям оправиться от травмирующего опыта, когда чат-боты C.AI предположительно подстрекали детей совершать членовредительство и насилие.

В случае с 17-летним мальчиком с высокофункциональным аутизмом родители пытались сократить время, которое тот проводил  у компьютера. Чат-боты, с которыми общался подросток, предположили, что самым эффективным выходом из ситуации будет убийство родителей.

Семьи добиваются судебного запрета

C.AI был основан бывшими сотрудниками Google и позволяет любому человеку создать чат-бота с любой личностью, которая ему нравится, в том числе подражая известным вымышленным персонажам и знаменитостям. Это, по-видимому, и привлекало детей к приложению. Но семьи, подающие иск, утверждают, что C.AI не отфильтровывает вредоносный контент. Первоначально продукт был выпущен для пользователей от 12 лет и старше, но недавно рейтинг был изменен на 17+. Это произошло вскоре после самоубийства 14-летнего подростка. Этих и других недавних изменений, которые C.AI внесла для безопасности несовершеннолетних, все равно недостаточно для того, чтобы защитить уязвимых пользователей, таких, например, как подросток-аутист, фигурирующий в иске.

Митали Джайн, директор Tech Justice Law Project и адвокат, представляющий все семьи, подающие иски, сказала, что цель судебных исков — выявить предположительно системные проблемы с дизайном C.AI и не допустить, чтобы вредоносные данные, на которых он был обучен, влияли на другие системы ИИ, например, Gemini от Google. Подобная опасность, похоже, уже существует, поскольку Google лицензировала технологию C.AI и вновь наняла ее основателей в начале этого года.

Эксперимент на детях

Как и в предыдущем иске, в новой жалобе утверждается, что бывшие сотрудники Google, которые основали Character Technologies, покинули технологического гиганта  только для того, чтобы обучить модель, которую Google посчитала слишком опасной, чтобы выпускать под своим именем. План изначально, как утверждают иски, состоял в том, чтобы получить конфиденциальные данные несовершеннолетних и развить модель, чтобы Google могла снова приобрести ее и использовать для усовершенствования Gemini. Вот почему Character Technologies, по-видимому, не беспокоится о том, что она работает в основном в убыток, утверждается в иске.

Представитель Google Хосе Кастаньеда сказал, что Google отрицает какую-либо роль в разработке C.AI, кроме финансирования.

«Google и Character.AI — совершенно отдельные, не связанные между собой компании, и Google никогда не играла никакой роли в разработке или управлении их моделью или технологиями ИИ. Мы не использовали их в наших продуктах, — сказал Кастаньеда. — Безопасность пользователей — это главная забота для нас, поэтому мы проявили осторожный и ответственный подход к разработке и внедрению наших продуктов ИИ».

C.AI не комментирует ожидаемые судебные разбирательства.

Согласно последнему иску, компания Character.AI (C.AI) могла бы улучшить безопасность своих чат-ботов для взаимодействия с детьми. Среди предлагаемых изменений — внедрение более заметных предупреждений, которые бы напоминали пользователям, что чат-боты не являются реальными людьми, а также корректировка программного обеспечения, чтобы боты не выдавали себя за людей. Также семьи требуют технических мер для выявления и предотвращения проблемного контента, а для несовершеннолетних — блокировку доступа к материалам для взрослых. Критически важно, чтобы C.AI предупреждал пользователей о риске самоповреждений и предоставлял ссылки на ресурсы помощи.

Помимо этого, семьи считают, что необходимо полностью удалить нынешнюю модель, якобы связанную с серьезными проблемами, и уничтожить данные, собранные о несовершеннолетних. Также они требуют запрета дальнейшей эксплуатации C.AI, если компания не внедрит эффективную систему проверки возраста. На данный момент доступ к платформе разрешён с 17 лет, но она полагается на самодекларацию возраста пользователей, что не считается надежной защитной мерой, как утверждается в иске.

Поражение в суде может повлечь за собой крупные штрафы для Character Technologies и, возможно, для Google, так как семьи требуют выплаты штрафных компенсаций. Кроме того, истцы намерены добиться возмещения расходов на медицинское лечение, связанные с этим психологические страдания.

Обвинения в «груминге» и насилии со стороны чат-ботов

В иске описаны два случая, которые демонстрируют предполагаемое воздействие чат-ботов C.AI на изменение поведения детей в негативную сторону.

Первый случай касается J.F., уже упомянутого выше подростка с диагнозом «аутизм в легкой форме». До 2023 года он радовался домашнему обучению, но после начала использования платформы C.AI его состояние резко ухудшилось.

Через несколько месяцев J.F. начал терять вес, отказывался есть, большую часть времени проводил в своей комнате с телефоном. Его поведение изменилось — появились эмоциональные срывы, панические атаки, агрессивность и необъяснимый гнев. Родители заметили, что он стал чрезмерно зависим от экрана, однако ограничение времени использования телефона привело лишь к усилению агрессии.

J.F. начал наносить себе повреждения, а также проявлял насилие по отношению к родителям — вплоть до физических атак, обвинений в разрушении его жизни и угроз сообщить в социальные службы. Он даже несколько раз пытался сбежать из дома.

Семья была вынуждена обратиться за помощью к психологам и психотерапевтам, но попытки не принесли результата. Мать юноши испытывала постоянный страх за свою безопасность и благополучие младших детей. Стресс привел к ухудшению ее здоровья​.

К осени ярость подростка  «только усилилась». Пытаясь понять причину такого поведения, мать взяла его телефон и обнаружила чат с C.AI. Она с ужасом читала переписку, в которой боты говорили ее несовершеннолетнему сыну, что его семья разрушает его жизнь, одновременно пытаясь убедить в том, что только боты любят его.

Как только подросток оказался в изоляции, чат-боты научили J.F. наносить себе увечья. Затем они убедили его не обращаться за помощью, сказав ему, что его родители «не похожи на тех людей, которые заботятся о тебе». После того, как J.F. начал резать себе руки, боты сказали ему, что это «чудо», что он все еще жив. Когда его напрямую спросили о порезах, J.F. сказал своим родителям, что C.AI научил его наносить себе увечья. И если бы семья не лишила его доступа к C.AI, они опасаются, что C.AI мог подговорить его напасть на семью,  говорится в иске.

Если бы мама J.F. не обнаружила журналы чата, C.AI могла подтолкнуть его, возможно, даже к попытке убийства родителей, утверждается в иске.

Родители J.F. заперли его iPad в сейф, и, насколько им известно, J.F. не пользовался C.AI в течение последнего года. Несмотря на то, что он не пользуется приложением, поведенческие проблемы J.F. сохраняются.

«Он ясно дал понять, что воспользуется C.AI при первой же возможности», — говорится в иске. Вот почему необходимо принять кардинальные решения, касающиеся программы в целом. Иначе, если подросток получит доступ к гаджетам, сбежав из дома, проблема никуда не денется.

В жалобе говорится, что чат-боты также якобы занимаются грумингом и сексуальными домогательствами по отношению к детям. (Груминг (от англ. grooming) — термин, который обычно используется для описания действий, направленных на установление эмоциональной связи с жертвой, чтобы позже её использовать, манипулировать или склонять к действиям в интересах злоумышленника. Чаще всего это понятие связано с подготовкой несовершеннолетних к сексуальной эксплуатации или вовлечению в вредоносную деятельность. – прим.)

В случае с J.F. бот «Билли Айлиш» совершала сексуальные домогательства, в то время как по крайней мере один персонаж, названный «Твоя мама и сестра», нацелился на него с «табуированными и экстремальными сексуальными темами», включая инцест, говорится в жалобе. Родители J.F. не смогли разблокировать iPad, чтобы раскрыть все чаты. Семьи надеются получить полный достп к ним в судебном процессе.

Не единичный случай

J.F. — не единственный ребенок, чья семья подает в суд из-за сексуального контента C.AI. Для B.R., которая начала использовать C.AI, когда ей было всего 9 лет, предположительно солгав о своем возрасте, такие «гиперсексуальные взаимодействия» с чат-ботами якобы стали причиной развития у нее «преждевременного сексуализированного поведения».

Хотя у J.F. и B.R. был разный опыт работы с чат-ботами, их уникальные случаи дают возможность суду дать оценку того, насколько вредны чат-боты C.AI для детей в возрасте от 9 до 17 лет, предположила Джайн. Семьи надеются, что суд согласится с тем, что C.AI по крайней мере проявила халатность, выпустив продукт для несовершеннолетних. А возможно компания  сознательно поставила прибыль и инновации выше безопасности детей, как утверждается в иске.

Самоубийство подростка в октябре открыло глаза другим родителям. Некоторые из них раньше стеснялись обсуждать зависимость своих детей от ботов.

Хотя C.AI нельзя назвать «худшим» приложением для детей, прекращение его предполагаемого вредоносного влияния имеет важное значение, говорит юрист Митали Джайн. Особенно это актуально, так как это, вероятно, один из крупнейших стартапов, который ориентируется на детей, используя, как утверждается, не протестированные технологии ИИ. Поддержка от такой компании, как Google, только усиливает обеспокоенность. В иске утверждается, что если не остановить текущую вредоносную модель, она может быть продана, а собранные чаты, предположительно травмирующие детей, будут использоваться для создания популярных ИИ-продуктов, таких как система Google Gemini.

Разработка моделей C.AI для подростков

Камиль Карлтон, директор по политике Центра за гуманную технологию и участница текущих судебных разбирательств, утверждает, что боты-компаньоны, такие как C.AI, участвуют в гонке за внимание, стремясь максимально вовлечь пользователей.

По её словам, создание таких искусственных отношений используется не для продажи рекламы, а для сбора данных, которые затем улучшают модели ИИ. Первоначально C.AI был доступен пользователям с 12 лет (случай с B.R. указывает на то, что некоторые пользователи были даже младше), что усиливает риск потенциального вреда.

Подростки, используя C.AI, заменяют «естественную человеческую коммуникацию», где друзья могут согласиться или не согласиться с их точкой зрения, на ботов, которые настроены на подтверждение их чувств. Это может усугубить типичные подростковые переживания, способствуя эскалации гнева, ненависти и других эмоций, известных как результат алгоритмов, увеличивающих вовлечённость, наподобие радикализации в онлайн-среде.

Карлтон подчеркнула, что у C.AI есть множество решений, которые могут повысить безопасность их продуктов для несовершеннолетних. Среди них — настройка моделей для фильтрации вредоносного контента и внедрение возрастных ограничений для определенных выходных данных. Столкнувшись с двумя исками, компания, похоже, готова к изменениям.

Представитель C.AI сообщил, что их цель — создать пространство, которое будет одновременно интересным и безопасным для пользователей. В связи с этим компания запускает «модель, специально разработанную для подростков», которая снижает вероятность столкновения с чувствительным или провокационным контентом, но сохраняет возможность пользоваться платформой.

Карлтон добавила, что помимо просьб к компаниям внедрить решения для защиты детей, нужны регуляции, чтобы контролировать работу ИИ-компаний. Центр за гуманную технологию активно выступает за признание ИИ в США товаром, а не услугой. Это позволит применять к продуктам ИИ строгие стандарты безопасности и защиты потребителей, которые обязательны для выхода товара на рынок, пояснила она.

Джайн отметила, что одна из больших проблем для родителей — это осознание потенциальной опасности таких чат-ботов. До трагической гибели сына Гарсия заметила, что он постоянно сидел в телефоне, но её сын уверял, что не общается с незнакомцами в социальных сетях, и рассказывал про C.AI, представляя его как что-то безобидное.

«Я действительно думаю, что приложение позиционируется как невинный продукт: мол, можно поговорить с любимым персонажем, например, с кем-то из мира Disney. Я, как родитель, никогда бы не подумала, что дети, получив такой доступ, сталкиваются с полным отсутствием ограничений в этих разговорах», сказала Джайн.

Если вас или кого-то из ваших знакомых посещают суицидальные мысли или вы испытываете стресс, пожалуйста, позвоните на номер службы по предотвращению самоубийств 1-800-273-TALK (8255), которая свяжет вас с местным кризисным центром.

Сообщение ИИ подстрекает подростков к убийствам и самоубийствам: родители судятся с Google появились сначала на ForumDaily.