Разработан тест для оценки навыков программирования у русскоязычных ИИ

Альянс в сфере ИИ разработал открытый бенчмарк MERA Code для комплексной оценки способностей ИИ в программировании на русском языке. Платформа позволит сравнивать эффективность различных языковых моделей при решении практических задач разработки с учетом специфики работы российских компаний.

Бенчмарк включает 11 задач, охватывающих три направления: преобразование текста в код, кода в текст и работу с существующим программным кодом. Тестирование проводят на восьми популярных языках программирования: Python, Java, C#, JavaScript, Go, C, C++ и Scala. MERA Code не просто анализирует текст кода, но запускает его в изолированных средах, проверяя работоспособность.

Методология тестирования, как заявляют создатели, учитывает специфику постановки задач и оформления технической документации в русскоязычной среде. Платформа предоставляет систему подсчета баллов, рейтинг моделей и фреймворк для проведения собственных тестов.

Создатели проекта утверждают, что MERA Code анализирует как открытые модели общего назначения, так и специализированные проприетарные API для генерации кода. По их мнению, это позволяет получить более полную картину возможностей современных ИИ-систем в области программирования.

Код бенчмарка опубликован на GitHub, а дополнительная информация и рейтинг моделей — на сайте проекта. В разработке участвовали команды Сбера, Т-Банка, MWS AI (входит в МТС Web Services), Ростелекома, Университета Иннополис, ИТМО, Сколтеха, Центрального университета и компании «Сибирские нейросети».

---

Читать далее:

Наша Вселенная прибыла из другого мира: теория мироздания оказалась неверна?

Сверхзвуковой «Конкорд» возвращается: почему в США поменяли мнение о самолете

Новый вирус пугает пользователей соцсетей: «горло будто порезали лезвием»

_{Иллюстрация на обложке: designed by Freepik, лицензия}

The post Разработан тест для оценки навыков программирования у русскоязычных ИИ appeared first on Хайтек.