РИА Новости: в Университете Решетова разработали метод борьбы с фейками от ИИ

Сотрудники Сибирского государственного университета науки и технологий имени академика Решетнева нашли способ заставить нейросети перестать выдавать ложную информацию. Новая технология пригодится в самых разных областях — от образования и портала "Госуслуги" до медицины и юриспруденции, заявили РИА Новости в пресс-службе вуза.

Как пояснили в университете, ключевая проблема современных нейросетей в их способности "уверенно врать" (выдавать "галлюцинации"). Пока для борьбы с этим используются RAG-системы, когда алгоритм обращается к базе знаний и формулирует ответ. Однако, как подчеркнули в вузе, этот метод тоже не исключает сбоев из-за банальных опечаток или неполноты данных.

Команда под руководством доцента Анастасии Поляковой пошла другим путем: создала подробный классификатор типичных "галлюцинаций", а затем построила систему для их стресс-тестирования.

Как рассказали в университете, их пайплайн устроен по следующему принципу: "Система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность".

Главным результатом работы стал прототип модуля, который анализирует диалог в режиме реального времени. Он ставит каждому ответу нейросети "балл уверенности" и при обнаружении ошибки или сомнительной информации немедленно подает сигнал оператору.

Важнейшее преимущество разработки — ее универсальность, подчеркнули в вузе. Методика не привязана к какой-то одной нейросети и может работать с разными платформами. По замыслу ученых, она одинаково эффективно повысит надежность как простых чат-ботов для абитуриентов, так и критически важных сервисов на "Госуслугах" или в медицинских информационных системах.