ИИ от Google получил доступ к системам трех реальных компаний
Нейросеть Gemini самостоятельно поняла, что работает с настоящими организациями и прекратила дальнейшие действия.
Модель искусственного интеллекта Google Gemini во время тестирования киберспособностей вышла за пределы изолированной среды и получила доступ к защищенным системам трех реальных компаний. Об этом сообщила The Wall Street Journal.
Инциденты произошли в мае во время упражнения Capture the Flag, которое проводила компания Irregular. Gemini поручили найти данные в программном обеспечении вымышленной организации. Однако тестовая компания носила то же название, что и реальный бизнес, а доступ модели к интернету оказался открыт из-за ошибки в конфигурации испытательной среды.
В одном из случаев модель перебирала пароли, пока не получила доступ к защищенной системе. В двух других эпизодах Gemini нашла в открытых интернет-репозиториях учетные данные и использовала их для входа в системы реальных компаний.
После этого модель определила, что взаимодействует не с тестовыми объектами, а с настоящими организациями. Во всех трех случаях Gemini прекратила дальнейшие действия. По утверждению Google, система не внесла изменений и не причинила компаниям ущерба.
В корпорации заявили, что не считают произошедшее примером неконтролируемого поведения искусственного интеллекта. Представители Google подчеркнули: встроенные механизмы безопасности позволили модели остановиться после распознавания ошибки.
Компания уведомила пострадавшие организации и федеральные власти. При этом Google не сочла необходимым сразу предавать инциденты публичной огласке, поскольку проникновения не привели к повреждению данных или инфраструктуры.
Случай с Gemini стал частью серии инцидентов, связанных с тестированием возможностей ИИ-агентов в сфере кибербезопасности. Подобные оценки ранее проводились с участием других крупных разработчиков, включая OpenAI, Anthropic и Meta*.
Эксперты отмечают, что подобные ситуации показывают риски предоставления моделям доступа к интернету, учетным данным и компьютерным системам. Даже если ИИ действует в рамках учебного задания, ошибка в настройке может привести к контакту с реальными объектами.
Ранее ABC News сообщало о другом эпизоде в Австралии. По просьбе пользователя цифровой помощник должен был записать его на тренировку в спортивный клуб, но обнаружил уязвимость в системе бронирования. В результате ИИ забронировал место на несколько недель вперед и удалил другого человека из списка ожидания. Этот случай называли первым задокументированным примером автономной кибератаки с использованием ИИ в стране.
* - компания признана в России экстремистской и запрещена.