Российские ученые создали новый метод обучения больших языковых моделей
Исследователи создали новый метод обучения больших языковых моделей, позволяющий развивать их способность к логическим рассуждениям без высоких затрат. Метод снижает стоимость и проясняет механизм освоения навыков рассуждений моделями.
В отличие от стандартных методов обучения с подкреплением, требующих корректировки миллиардов параметров модели, предложенное решение использует компактные векторы-настройки. Эти векторы действуют как регуляторы, усиливающие корректные логические цепочки в предобученной модели без необходимости ее полного переобучения.
Эффективность метода была проверена на шести международных тестовых наборах задач по математическим рассуждениям. В ходе тестирования моделей серий Qwen2.5 и LLaMa3.1 было достигнуто сохранение качества при изменении только 0,0016% параметров. Полученные результаты свидетельствуют о возможности развития сложных навыков рассуждения при минимальном вмешательстве в архитектуру модели.
Основным преимуществом метода является его эффективность при незначительных вычислительных затратах. Для модели объемом 14 миллиардов параметров изменения затрагивают лишь несколько сотен тысяч компонентов. Это позволяет сократить время отдельных этапов обучения с десятков минут до секунд и уменьшает требования к объему памяти с гигабайтов до сотен килобайт.
Предлагаемый метод также обеспечивает повышенную интерпретируемость работы модели. Проведенный анализ показывает, что векторы-настройки усиливают значимость ключевых слов логических конструкций, предоставляя исследователям дополнительный инструмент для анализа процессов рассуждения в модели.
Разработка была представлена на международной конференции EMNLP 2025 в Сучжоу. Технология совместима с существующими платформами и может быть интегрирована в различные системы, включая чат-боты, системы проверки кода и аналитические платформы. Благодаря умеренным вычислительным требованиям метод делает технологии логического мышления более доступными для академических учреждений и небольших компаний.
Метод может найти применение при создании интеллектуальных ассистентов для различных предметных областей, включая точные науки, программирование и медицинскую аналитику. По словам представителя исследовательской группы Вячеслава Синего, данный подход открывает новые возможности для развития доступного искусственного интеллекта, демонстрируя возможность формирования сложных навыков рассуждения без масштабного изменения параметров модели.