Xiaomi выложила в открытый доступ OmniVoice: ИИ клонирует голос на 646 языках и уже превосходит коммерческие системы
новая разработка Xiaomi умеет говорить тем же голосом на китайском, японском, корейском и сотнях других языков
Лаборатория Xiaomi AI Labs открыла доступ к модели OmniVoice — новой системе синтеза речи и клонирования голоса с поддержкой 646 языков. Для копирования голоса достаточно короткого аудиофрагмента, после чего ИИ способен воспроизводить речь тем же голосом даже на других языках. Проект полностью открыт: опубликованы исходный код, веса модели и обучающие данные.
OmniVoice построена на упрощённой архитектуре, которая при этом позволила добиться высокой скорости работы — генерация речи выполняется в 40 раз быстрее реального времени даже без дополнительной оптимизации. Для повышения качества использовались предварительно обученные параметры больших языковых моделей.
Обучение велось на базе 50 открытых наборов голосовых данных общим объёмом 580 000 часов после фильтрации и шумоподавления. В тестах на 24 языках OmniVoice превзошла ряд коммерческих решений по естественности и разборчивости речи, а в испытаниях на 102 языках качество оказалось близким к реальным записям.
Модель также поддерживает настройку голоса по текстовому описанию, автоматическое удаление шумов, вставку эмоций вроде смеха или вздохов, а также корректировку произношения сложных слов и имён.