HandProxy: Интеллектуальная рука для VR/AR управления

Новая разработка компьютерных ученых из Университета Мичигана — цифровая рука, управляемая голосом, — обещает сделать виртуальную (VR) и дополненную (AR) реальность более удобной и доступной. Этот прототип программного обеспечения позволяет пользователям взаимодействовать с цифровыми пространствами, отдавая команды виртуальной руке, что открывает возможности для управления играми и приложениями без использования рук.

Программа, получившая название HandProxy, наделяет пользователей способностью управлять объектами в виртуальной среде. Можно дать команду руке захватить и переместить предмет, изменить размер окон или выполнить жесты, например, показать большой палец вверх. Более того, благодаря интерпретационным возможностям модели GPT-4o (искусственного интеллекта, лежащего в основе ChatGPT), HandProxy способна справляться со сложными задачами, такими как «убрать со стола», без необходимости детальных инструкций для каждого шага.

Гибкость HandProxy превосходит существующие функции голосового управления в VR, которые обычно ограничены простыми системными командами или заранее определенными действиями в приложениях. «Мобильные устройства давно поддерживают вспомогательные технологии для альтернативных способов ввода и автоматизированного управления пользовательским интерфейсом, включая ИИ-помощников вроде Siri. Однако подобные возможности в VR и AR до сих пор были практически недоступны», — отмечает Анхонг Гуо, доцент компьютерных наук и инженерии. «HandProxy — это наша попытка позволить пользователям плавно переключаться между различными режимами взаимодействия в виртуальной и дополненной реальности, включая контроллеры, жесты рук и речь», — добавляет Гуо, являющийся также автором исследования, опубликованного в Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.

Хотя VR ценится за иммерсивность, разработчики стремятся к максимальному физическому реализму, внедряя тактильные методы управления с помощью камер отслеживания рук и перчаток. Однако такой подход не всегда оптимален. Пользователи в тесных пространствах могут не иметь возможности выполнять сложные жесты, а пользователи AR могут нуждаться в свободде рук для выполнения других задач, таких как готовка или уборка, при этом управляя небольшими дисплеями. Для людей с нарушениями моторики, такими как мышечная дистрофия или церебральный паралич, зависимость от жестов рук становится еще более обременительной.

HandProxy может значительно улучшить опыт использования VR и AR для широкого круга пользователей, делая его более комфортным и доступным. «Если в игре или приложении VR есть встроенная физика, HandProxy сможет с ней взаимодействовать», — поясняет Чен Лян, докторант компьютерных наук и инженерии Университета Мичигана и первый автор исследования. «Наша виртуальная рука передает те же цифровые сигналы, что и рука пользователя, поэтому разработчикам не нужно специально добавлять поддержку нашей системы в свои программы».

Первые испытания показали энтузиазм пользователей. В ходе исследования участники, помимо выполнения заданных задач, получили 10 минут на свободное изучение возможностей HandProxy. Многие были восхищены идеей наличия «виртуального ассистента», с которым можно «общаться нормально и интуитивно». Некоторые, к удивлению исследователей, проявили больший интерес к возможности выполнения абстрактных задач, «не ограниченных физическим миром». «Она может действовать как агент, которому пользователь дает высокоуровневую команду, например, «организуй мое рабочее пространство», и система сама найдет способ сортировать и закрывать все открытые окна», — говорит Лян.

Одной из текущих проблем является иногда возникающее недопонимание команд. Во время исследования HandProxy выполнила 64 из 781 задачи с ошибками. Например, программа не распознала фразу «коричневый объект» как ссылку на цифровую корзину или не поняла команду «лайкнуть фото» при обращении к кнопке «сердце».

В настоящее время команда работает над улучшением способности программного обеспечения интерпретировать неоднозначную речь, не принимая слишком много вольностей. Один из участников исследования предложил интересное решение: позволить руке задавать уточняющие вопросы.