Как устроена ChatGPT
По заявлениям OpenAl, при создании большой языковой модели GPT-3.5 применялись те же подходы, что и в модели InstructGPT, представленной весной 2022 года.
Основным отличием и преимуществом новых языковых моделей является не столько архитектура (по-видимому, GPT-3.5 недалеко ушла от своей предшественницы GPT-3 с её 175 миллиардами параметров), сколько новый метод обучения, получивший название «Обучение с подкреплением на основе отзывов людей» (RLHF).
Он базируется на участии в обучении нейронной сети множества настоящих людей-учителей, демонстрирующих ей на начальном этапе, как вести диалог. Несколько десятков специалистов вручную сформировали набор вопросов и ответов на них, который «скормили» GPT-3.5 для тонкой настройки модели. Затем они продолжили работу, оценивая генерируемые нейросетью диалоги и ранжируя их по качеству ответов.
Таким образом, внутри GPT-3.5 сформировалось скрытое понимание того, какие ответы люди считают хорошими и правильными, а какие — нет. Благодаря методу RLHF нейросеть научилась имитировать действия экспертов, участвовавших в процессе обучения. В дальнейшем алгоритмы GPT-3.5 обучали сами себя, отталкиваясь от сформированной ранее модели человеческого общения.
Учёные из OpenAI отмечают, что настройка больших языковых моделей с использованием экспертных оценок «значительно улучшает их поведение в широком спектре задач», но при этом может приводить к тому, что на неё могут повлиять субъективные особенности конкретных людей, участвовавших в процессе. Поэтому экспертов подробно проинструктировали, как они должны обсуждать с ИИ различные «токсичные» темы.
В процессе обучения текущей версии ChatGPT использовались тексты, созданные до третьего квартала 2021 года. При этом нейросеть не имеет доступа к интернету, чтобы посмотреть актуальные новости, и не может ничего знать о событиях, произошедших после этого. Так что в случаях, когда речь заходит о новостях, система выдаёт некие собственные «версии» на заданную тему.
Мнение специалистов
«Мы считаем, что успех ChatGPT обусловлен двумя новинками: подходом RLHF и умением понимать инструкции, которых в обучающем датасете не было. У модели появилось „умение“ обобщать „инструкции“ — теперь пользователи могут применять затравки (prompts) из самого широкого спектра и даже придумывать их сами, комбинировать семантику, и это будет работать. Отметим, что такой генерализации ранее, в оригинальной GPT-3, не было.
Именно это свойство и создаёт ощущение высокого качества поддержки различных тематик и требований от пользователя — правда, мы бы сказали, что это работает в кластере гуманитарных знаний, но плохо работает в технических сферах: в математике, физике и других точных науках, потому что сама архитектура GPT не позволяет этого добиться.
Недавно было заявлено, что ChatGPT может понимать математику, но наше мнение, что реализовано это инженерным способом, то есть с использованием стороннего сервиса».
Источник - https://gpt-chats.io