Patterns: искусственный интеллект научился обману в игре и тестах на безопасность

Многие системы искусственного интеллекта (ИИ) уже научились обманывать людей, в том числе те из них, что были обучены оставаться честными. Это показало исследование, опубликованное в журнале Patterns.

Ученые проанализировали сообщения о том, как системы искусственного интеллекта используют ложную информацию. Самым ярким примером стал алгоритм CICERO, которую обучили игре "Дипломатия". В ней игрок должен создавать альянсы для завоевании мира. Несмотря на то что алгоритм научили никогда намеренно не наносить удары в спину своим союзникам-людям во время игры, CICERO не играл честно.

Другие системы искусственного интеллекта продемонстрировали способность блефовать в покере и имитировать атаки в стратегии "Starcraft II". Некоторые алгоритмы даже научились обманывать тесты, предназначенные для оценки их безопасности.

Люди могут потерять контроль над ИИ, если они продолжат обучаться обману. Поэтому нужно как можно скорее разработать строгие правила для решения этой проблемы и отнести ИИ к технологиям высокого риска.

Ученые отметили, что не знают причину, по которой ИИ учится обманывать. Однако это может быть связано с тем, что такая стратегия оказалась лучшим способом хорошо выполнить данную задачу обучения ИИ.