Руки не нужны: приложениями для Android можно будет управлять лицом
Компания Google объявила, что исходный код её Project Gameface стал доступен разработчикам. Project Gameface был анонсирован ещё в прошлом году на конференции I/O 2023 и изначально презентовался как что-то вроде игровой мыши, но без использования рук. Разработка позволяет управлять курсором с помощью выражения лица или движений головы, которые распознаются встроенной камерой устройства. Так, пользователь может поднять брови, чтобы выбрать и перетащить что-то на экране, или открыть рот, чтобы переместить курсор. Предполагалось, что так управление играми станет удобнее и проще.
Теперь код Project Gameface доступен разработчиками приложений для операционной системы Android. Разработчики могут создавать приложения, в которых пользователи смогут настроить мимику и жесты для управления курсором и использовать их, оставляя руки свободными. Project Gameface распознает движения пользователя и сопоставляет их с базой данных Face Landmarks Detection API от MediaPipe. Она включает более 50 возможных выражений лица и движений головы, некоторые из них задействованы в разработке Google.
Поначалу Project Gameface рассматривался лишь в качестве расширенного управления играми, но теперь Google планирует найти для него и другие области применения. Создатели проекта считают, что он будет актуален для образовательных и рабочих целей, общения в социальных сетях и т.д. Кроме того, такой способ управления мобильным устройством может оказаться полезным для людей с ограниченными возможностями. Разработчики уже могут внедрять Project Gameface в свои приложения.