Всё в одном: Vortex AI от Google умеет генерировать видео, изображения, а теперь и музыку
Вчера, 9 апреля, компания Google сообщила о крупном обновлении своей централизованной платформы искусственного интеллекта Vertex AI. Одним из ключевых пунктов апдейта выступает интеграция генеративной модели Lyria, которая предоставляет возможность преобразовывать текстовый контент в музыку. В Google заявили, что теперь Vertex AI является единственной платформой с генеративными медиа-моделями для всех типов контента — видео, изображений, речи и музыки. Соответственно, пользователь может создавать полноценный контент, начиная производство с текстовых подсказок и заканчивая готовым видеорядом с музыкальным сопровождением и «озвучкой».
Помимо интеграции в платформу новой модели, компания поработала и над улучшением уже имеющихся инструментов. Например, генеративная видеомодель Veo 2 обзавелась функцией Inpainting — она позволяет довольно точно удалять нежелательные объекты, изображения и логотипы из видеоряда. В рамках демонстрации Google показала короткий ролик с человеком, который висит на специальном тросе. ИИ это крепление «стёр» — в конечном видео человек буквально парит в воздухе без страховки.
Также модель получила функцию Outpainting, которая позволяет расширять рамки текущего видеоряда. Это решение, например, позволяет адаптировать видео в альбомной ориентации для просмотра в формате вертикальных коротких роликов для социальных сетей.
Более того, видеомодель Veo 2 получила новые инструменты для управления композицией кадра и ракурсами камеры. Посредством текстовых команд пользователь в рамках генерации видео может указать, куда двигается камера, с какой стороны она снимает объект и как происходит смена ракурса.
А при помощи инструмента интерполяции можно указать первый и последний кадры, предоставив ИИ возможность заполнить промежуточный видеоряд.
Также Google улучшила работу инструмента Imagen 3 Editing в составе генеративной модели Imagen 3 — ИИ теперь более качественно удаляет объекты из кадра, восстанавливая отсутствующие объекты или повреждённые участки изображения.
Например, в качестве демонстрации модель удалила с фотографии микрофон с поп-фильтром, который закрывал примерно треть лица человека. Финальный кадр выглядит довольно естественно — без заметных артефактов.
Модель Chirp 3, отвечающая за генерацию естественной речи, получила функцию Instant Custom Voice — благодаря этому апгрейду ИИ умеет генерировать реалистичный голос человека на основе 10-секундного отрывка-исходника. А Transcription with Diarization позволяет при транскрипции аудиофайла довольно точно идентифицировать отдельных спикеров, разделяя их фразы для удобства взаимодействия с контентом.