Microsoft обучила Copilot «видеть» экран и помогать с настройками приложений

Корпорация Microsoft начала тестирование обновления Copilot для Windows, которое позволяет ИИ анализировать изображение на экране и давать подсказки касательно функционала разных приложений. Об этом пишет The Verge. 

Так, Copilot Vision поможет с основными функциями Adobe Photoshop или проанализирует фотографии и посещаемые веб-страницы. В одном из примеров ИИ-помощник помог с игрой Minecraft и оптимизацией настроек в видеоредакторе Clipchamp.

Copilot способен подсвечивать части экрана, чтобы направлять пользователя в ходе работы с приложениями. 

«Copilot Vision может показаться похожей на функцию Recall от Microsoft, которая автоматически делает снимки, если вы разрешаете, но на самом деле это больше похоже на совместное использование экрана приложения или всего рабочего стола в Microsoft Teams», — подчеркнули в издании. 

Microsoft также начала тестирование функции поиска файлов в Copilot на Windows, например, по тексту документа. 

Обе требуют только наличия приложения Copilot на Windows, а не полноценного компьютера Copilot Plus. Тест стартовал в программе Windows Insiders, через несколько недель или месяцев начнется развертывание среди пользователей Windows 11.

В октябре 2024 года Microsoft представила обновленную версию ИИ-помощника Copilot с голосовым режимом и пониманием изображения на экране. 

Позже корпорация сообщила о добавлении в Microsoft 365 Copilot двух «рассуждающих» ИИ-агентов для анализа больших объемов информации и предоставления высококвалифицированной экспертизы.

Напомним, в марте Xbox анонсировала Copilot for Gaming — управляемого искусственным интеллектом помощника, который станет «персональным игровым компаньоном».