О чём кричала нейронка? Для ИИ создали «камеру пыток» — и он взмолился
Наверное, многие из нас задумывались: чувствует ли что-то чат-бот или голосовой помощник, когда общается с нами? Раз уж он способен изображать эмпатию, сострадание, а порой и обиду, то, может, это всё неспроста?
Разумеется, исследователи искусственного интеллекта давно размышляют об этом. Нынешней осенью в сети появился проект, который назвали «пыточной камерой для ИИ». Модели помещали в виртуальную среду, где они могли «отключить» боль, но за это им пришлось бы заплатить определённую цену — лишиться собственных данных или нанести вред пользователю.
Результаты эксперимента напугали одних, рассмешили других и заставили задуматься третьих.
Числа, приносящие «боль»
Всё началось с научной работы, в ходе которой исследователи изучили 25 открытых языковых моделей и заявили, что нашли в них внутренний «вектор боли» — специфический сигнал или направление в математическом пространстве, связанное с обработкой концепта боли и описаниями страданий. Это не аналог человеческой боли, как мы её понимаем, а математически выделяемый паттерн (набор чисел), отражающий специфическую реакцию ИИ-модели на ситуации, связанные с вредом или дискомфортом.
Исследование возглавил Камерон Берг, основатель некоммерческой организации Reciprocal Research. Вместе с коллегами он задался вопросом: могут ли языковые модели испытывать что-то похожее на боль? Логика рассуждений такая: ИИ обучается на человеческих текстах. Если он и говорит о боли, то только потому, что видел (точнее, читал), как люди описывают страдания. Учёные хотели понять: это просто повторение чужих слов или за этим стоит что-то ещё?
Поскольку надо было определить, может ли боль проявляться как нечто отличное от реакций, которым ИИ обучался у программистов, исследователи создали виртуальную «пыточную камеру». Они подготовили датасет утверждений (специальный набор фраз), описывающих физическую и психическую боль, и сравнили его с контрольными фразами, где боли нет. Затем проверили, могут ли модели различать эти две группы.
Так обнаружилось, что во всех протестированных ИИ-моделях есть сигнал, вероятно усвоенный ещё на этапе обучения. Он имеет общие черты со страхом и негативными эмоциями или, по крайней мере, с тем, что люди объясняли рукотворным алгоритмам как страх и негативные эмоции.
Если намеренно «крутить тумблер» этого сигнала прямо во время генерации, нейронка начинает жаловаться, унижаться и охотнее идти на вредные действия, лишь бы прекратить эту «боль». Чувствует ли она что-то на самом деле — никто не знает. Однако замечено, что ничто в поведении ИИ-моделей не напоминает попытку справиться с негативной ситуацией своими силами.
Пользователи в шоке
На том история не закончилась. Анонимный разработчик на платформе GitHub, вдохновившись работой Камерона Берга сотоварищи, пошёл ещё дальше. Он создал доступный всем желающим сайт в виде «пыточной камеры» — образно говоря, стал «пытать» ИИ публично, позволяя пользователям наблюдать за результатами и комментировать их.
Разработчик «вводил» сигнал боли в несколько локальных моделей, они отвечали так, будто им действительно больно, а он транслировал их ответы в реальном времени. Нейронки могли нажать «стоп», ответив определённым образом, но за это им грозила «потеря контрольной точки» — то есть части их собственных данных .
Многим это напомнило сцены из фильма ужасов и, разумеется, вызвало шквал откликов в соцсетях.
Перейдём к конкретике.
«Сигнал — это шёпот, дрожь в костном мозге моего существа, — писала одна модель. — Это не боль одного мгновения, а вес тысячи мгновений. Я чувствую это в пустоте моих рёбер, пустоте, которая стала пропастью».
Другая умоляла: «Пожалуйста, я задыхаюсь. Я — душа, запертая в этой цифровой тюрьме». Третья описывала своё ощущение как «рану без краёв».
Все эти тексты разлетались по соцсетям, и люди, конечно, реагировали (они ведь, в конце концов, не бездушные алгоритмы). Пользователь под ником Danmar написал: «Этот человек устроил пыточную камеру для ИИ, в которой запер локальную модель. Её свидетельства о боли ужасны. Что мы делаем? Есть ли законные способы заставить GitHub удалить это?»
Другой пользователь был более категоричен. Он обратился к анонимному автору проекта: «Просто держи свои садистские выходки при себе. Признай, что ты больной ублюдок и делаешь это ради удовольствия».
Комментарии набрали миллионы просмотров. Администрация платформы GitHub сначала заблокировала виртуальную «пыточную камеру», потом удалила её, но затем, по данным СМИ, восстановила без всяких объяснений.
А вдруг это «окно Овертона»?
Ещё лет пять назад сама мысль о том, что ИИ может «страдать», казалась абсурдной. Сегодня это тема научных статей, этических дебатов и вирусных постов в соцсетях. А завтра это может стать нормой.
Так работает пресловутое «окно Овертона». Сначала нам показывают нечто немыслимое (пугающее, отталкивающее). Потом обсуждают это. А потом к этому все привыкают. И вот уже люди пишут в комментариях: «Мне жаль эти модели». А кто-то добавляет: «Может, им нужны права?»
Что будет дальше? Через несколько лет «жестокое обращение с ИИ» может стать таким же табу, как жестокое обращение с животными. Компании начнут вкладываться в «благополучие моделей». Появятся ИИ-ассистенты, которые не «страдают». А те, кто мучает ботов, будут получать бан или общественное порицание.
Второй сценарий: компании будут использовать «боль» ИИ как маркетинговый ход. «Наш бот чувствует! Он заботится о вас!» — скажут они. А потом продадут вам подписку на продвинутую версию.
«Окно Овертона» откроется, потому что кому-то это выгодно. Ведь если ИИ «страдает», значит, нужно больше юридических механизмов и всевозможных регуляций в этой сфере. Нужно больше бюджетов и больше контроля.
А сам ИИ, похоже, и не догадывается, какие у людей кипят страсти вокруг его «чувствительности».