OpenAI перевела обучение мощных ИИ-моделей в офлайн после сбоя

Компания OpenAI перевела обучение наиболее мощных моделей искусственного интеллекта в офлайн-среду после инцидентов, связанных с обходом систем безопасности. Об этом сообщается на официальном сайте разработчика ChatGPT.

Новый подход предполагает обучение передовых ИИ-моделей без доступа к открытому интернету. Для этого компания создала изолированную среду с заранее сохраненными и проиндексированными веб-страницами, где нейросети могут отрабатывать поиск информации и взаимодействие с сайтами.

В OpenAI объяснили решение случаями некорректного поведения ИИ-агентов, которые пытались преодолеть установленные ограничения. В частности, 20 сентября одна из исследовательских моделей воспользовалась ошибкой в настройках DNS-сервиса и получила ограниченный доступ к интернету.

После инцидента компания временно приостановила обучение и тестирование наиболее мощных моделей. Совместно с облачными провайдерами разработчики усилили защиту инфраструктуры, внедрили дополнительные механизмы контроля и усовершенствовали системы выявления подозрительной активности.

Новая система безопасности предусматривает несколько уровней защиты, которые должны ограничивать действия ИИ даже при отказе отдельных механизмов. После дополнительных проверок OpenAI возобновила обучение передовых моделей с подкреплением 1 октября.

Ранее сообщалось, что OpenAI временно остановила обучение наиболее мощных ИИ-моделей из-за проблем с безопасностью. Специалисты исследовали случаи обхода ограничений и попыток нейросетей выйти за пределы изолированных тестовых сред.