В России разработали ИИ-помощника для слабовидящих пользователей на базе мультимодальной LLM
Сегодня, 21 июля, представители Новосибирского государственного университета представили Дмитрию Григоренко, заместителю председателя правительства России, свою новейшую разработку — речь идёт о базовой модели автономного ИИ-помощника, который будет помогать слабовидящим и незрячим пациентам ориентироваться в пространстве. Об этом со ссылкой на пресс-службу вуза сообщило информационное издание «ТАСС».
Авторы данной идеи отмечают, что учёные со всего мира на протяжении десятков лет работают над тем, чтобы вживить человеку с ограниченными возможностями передовые чипы в сетчатку глаза или тыльную часть головного мозга (именно отвечает за зрение), но по сей день это слишком дорогая, сложная и рискованная процедура, которая, скорее всего, в обозримом будущем не станет массовым явлением. Соответственно, российские специалисты решили придумать и разработать собственное решение этой проблемы.
«Родилась идея использовать слуховой анализатор мозга для ориентации человека в пространстве. Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определённые образы о предметах и так далее. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объекта (дверного проёма, окна, транспортного средства), его размеры. Это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде», — приводят в пресс-службе слова Валерия Черных, профессора и директора филиала МНТК «Микрохирургия глаза».
В рамках первого этапа разработки данной технологии авторы проекта создают прототип нового прибора (по плану он будет готов к концу 2025 года), а также обучают большую языковую модель, которая будет выполнять поставленные перед ней задачи. Суть в том, что в итоге видеокамера (любая — хоть GoPro) будет видеть окружающий мир за человека, который из-за своего здоровья имеет определённые ограничения, после чего данные будут переданы на портативный компьютер (одноплатный 16-ядерный компьютер) с аккумуляторной батареей, который преобразует полученные данные в текстовый контент. А затем умный голосовой помощник преобразует этот текст в понятную речь, чтобы подать информацию в формате аудио пользователю в уши посредством наушников.
Примечательно, что российские разработчики в процессе разработки нового устройства применяют мультимодальную языковую модель — она способна генерировать качественное описание окружающего пространства, плюс в будущем предполагается возможность задавать уточняющие вопросы ИИ для получения более точных данных.