Microsoft запускает самую маленькую модель ИИ, обученную на «сказках на ночь»

«Самая маленькая» большая языковая модель Phi-3 Mini обучалась на детских книгах и, по заявлениям разработчиков, не уступает более крупным аналогам.

The post Microsoft запускает самую маленькую модель ИИ, обученную на «сказках на ночь» appeared first on Хайтек.

Microsoft выпустила облегченную модель искусственного интеллекта Phi-3 Mini с 3,8 млрд параметров, переменных используемых большой языковой моделью (LLM). Это первая и самая маленькая LLM, которую планирует выпустить компания. Также в линейке будут Phi-3 Small и Phi-3 Medium с 7 и 14 млрд параметров соответственно.

Разработчики заявляют, что небольшие модели Phi-3 дают ответы близкие к тем, что генерируют более сложные модели, в которых количество параметров отличается на порядок. Phi-3 Mini по своим возможностям не уступает GPT-3.5, «только в меньшем форм-факторе», заявил корпоративный вице-президент Microsoft Azure AI Platform Эрик Бойд.

Небольшие модели ИИ дешевле в эксплуатации, требуют меньше ресурсов и лучше работают на персональных устройствах, таких как телефоны и ноутбуки. Многие ИТ-компании работают над созданием маленьких LLM, но, как правило, они специализируются на решении узких задач. Microsoft заявляет, что Phi-3 — универсальное решение.

Для обучения Phi-3 разработчики использовали необычную «программу». Их вдохновили детские книжки и сказки на ночь, которые простыми словами рассказывают о сложных вещах. Поскольку доступных детских книжек для обучения не хватило, в компании «взяли список из более чем 3000 слов» и попросили магистрантов университетов написать новые на заданные темы.

Разработчики добавляют, что по сложности ответов и комплексности информации Phi-3 уступает передовым LLM, например, GPT-4. Но при этом подобные небольшие модели хорошо подойдут для индивидуальных приложений компаний: внутренние наборы данных в любом случае будут меньше. А поскольку малым моделям не требуется большая вычислительная мощность, они зачастую гораздо более экономичны.

Читать далее:

Движения на краю Солнечной системы указывают на существование неизвестной планеты

Физики предложили радикальную идею построения Вселенной: оказалось, она «рабочая»

Биологи зафиксировали эволюцию, которая происходит раз в миллиард лет: слияние двух форм жизни

_{Изображение на обложке: Mike Mozart, изменено «Хайтек», CC BY 2.0 DEED}

The post Microsoft запускает самую маленькую модель ИИ, обученную на «сказках на ночь» appeared first on Хайтек.