Компактный говорящий проводник для слепых разработают в Новосибирске
В Новосибирске создают автономный помощник с искусственным интеллектом, который облегчит слепым и слабовидящим людям ориентацию в пространстве. Это совместная разработка МНТК «Микрохирургия глаза» и учёных НГУ, рассказали в пресс-службе вуза.
По её информации, уже готова базовая модель проводника. Её обучают в соответствии с поставленными задачами. Сегодня, 21 июля промежуточные результаты представили вице-премьеру Дмитрию Григоренко.
«Принцип работы системы прост: „видеть“ вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий её в текст. Затем текстовое описание преобразуется голосовым помощником и подаётся через наушники непосредственно пациенту», — пояснил руководитель проекта в НГУ Алексей Окунев.
При разработке устройства используют мультимодальную языковую модель. Она в том числе распознаёт тексты, считывает надписи, указатели, предупреждения о препятствиях.
В перспективе у пользователя появится возможность задавать устройству уточняющие вопросы о ситуации и получать развёрнутые ответы на них.По словам директора филиала МНТК «Микрохирургия глаза» Валерия Черных, особенность технологии в том, что она должна быть автономной и не использовать интернет.
В пресс-службе НГУ уточнили, что на первом этапе сделают прототип устройства. Он будет готов к концу 2025 года. В проекте это компактный комплект, состоящий из видеокамеры (например, GoPro), наушников и одноплатного 16-ядерного компьютера, размещённого в наплечной сумке. Гаджет будет снабжён аккумулятором, а все элементы соединены беспроводными каналами коммуникации.
«Видеокамеру пользователь будет держать в руке и наводить в желаемом направлении. Общий вес устройства составит около килограмма», — добавили в университете.
По оценке специалистов, на разработку готового для тиражирования продукта потребуется не один год, сейчас проект находится на самом старте. Это касается и технической части, и обучения ИИ.
Главные новости из жизни нашего города — подписывайтесь на нашу группу в Одноклассниках.
Ранее свой видеонавигатор с нейросетью для незрячих создали в Новосибирском техническом университете.