Российские ученые улучшили память чат-ботов с помощью метода обучения GRPO

Специалисты MWS AI, входящей в МТС Web Services, разработали подход, который позволяет чат-ботам и голосовым помощникам лучше отслеживать состояние диалога. Это помогает системам искусственного интеллекта (ИИ) во время разговора точнее понимать, что хочет пользователь.

В основе подхода лежит метод обучения с подкреплением GRPO. Вместо того чтобы показывать модели правильные ответы, ей дают возможность самой исследовать варианты и получать награду за точный результат. Такой подход не требует больших вычислительных мощностей и дает заметный эффект даже при небольшом объеме обучающих данных, отметили в пресс-службе компании.

Эксперименты показали, что система на базе 8 миллиардов параметров, обученная по новому методу, в новых сценариях превзошла GPT-4 и модель в четыре раза крупнее, обученную классическим способом. Разработка будет полезна в клиентской поддержке, голосовых ассистентах и системах бронирования.