AR-клавиатура: превратите любой предмет в клавиатуру

Виртуальные клавиатуры часто вызывают разочарование у пользователей дополненной реальности (AR). Эти виртуальные поверхности медлительны, склонны к ошибкам, а постоянное поднятие руки для набора текста может привести к мышечному напряжению, известному как "эффект гориллы".

Исследователи из Техасского университета в Далласе разработали уникальный интерфейс, призванный улучшить опыт виртуального набора текста. Эта инновационная разработка позволяет пользователям превращать обычные предметы в поверхности для ввода текста непосредственно в среде AR.

Технология PropType, находящаяся на стадии получения патента, накладывает виртуальную клавиатуру на любой предмет, который пользователь держит в руке. Важно отметить, что она способна адаптироваться даже к изогнутым поверхностям.

Студенты-исследователи продемонстрировали работу PropType, используя в качестве клавиатур такие повседневные объекты, как бутылки с водой, кофейные чашки, книги и банки из-под газировки. Это открывает новые горизонты для взаимодействия с виртуальным миром.

"Интегрируя объекты, уже присутствующие в окружении пользователя, PropType переосмысливает ввод текста в AR, создавая бесшовную связь между физическим и виртуальным мирами", — отмечает доктор Джин Ронг Ким, доцент кафедры компьютерных наук в Школе инженерии и компьютерных наук Эрика Джонсона. "PropType использует тактильную обратную связь, обеспечиваемую самими объектами, предлагая лучшее подтверждение нажатия клавиш и снижая зависимость от визуальных сигналов".

Эта технология представляет собой привлекательную альтернативу распространенным решениям для набора текста в AR, таким как внешние физические клавиатуры, которые могут нарушать погружение в виртуальную среду без использования дополнительных устройств.

"PropType использует знакомые предметы, которые пользователи держат в руках, чтобы предложить более интуитивно понятную и доступную альтернативу традиционным клавиатурам, особенно в мобильных или бесконтактных сценариях, где обычные методы ввода непрактичны", — добавляет Ким.

Команда представила PropType на престижной конференции ACM CHI, посвященной человеческому фактору в компьютерных системах, где получила почетную награду за лучшую статью. Позже они представили свою работу на 38-м ежегодном симпозиуме ACM по пользовательским интерфейсам и технологиям.

Разработка PropType столкнулась с определенными трудностями, включая адаптацию интерфейса к объектам различной формы и размера. Исследователи провели изучение взаимодействия 16 участников с различными предметами, чтобы понять особенности хвата и жестов при наборе текста. На основе полученных данных были разработаны пользовательские раскладки клавиатуры для разных объектов. Также был создан инструмент редактирования, позволяющий пользователям настраивать раскладки клавиатуры и визуальные эффекты.

Исследования Кима сосредоточены на гаптике — тактильных ощущениях и физической обратной связи в цифровых системах, которая может включать вибрацию и тепло. "Осязание несет в себе много информации; это еще одна форма общения, которая недостаточно исследована в виртуальной и дополненной реальности", — подчеркивает он.

Ким и его студенты-исследователи уже были удостоены наград за другие проекты, включая премию за лучшую демонстрацию на конференции IEEE World Haptics Conference 2025 и почетную награду за лучшую демонстрацию на симпозиуме IEEE Haptics 2024 за их работу в области термического маскирования и термотактильной интеграции.

Термическое маскирование — это явление, которое обманывает мозг, заставляя его ощущать тепло или холод в определенном месте тела, даже если источник тепла или холода находится в другом месте. Например, исследователи помещают тепловой актуатор (устройство, генерирующее тепло) на руку пользователя и тактильный актуатор (производящий вибрацию) на ту же руку на некотором расстоянии от теплового актуатора. Когда оба актуатора активируются, мозг воспринимает тепло в обеих точках.

"Исследуя, как тактильные ощущения могут превалировать над тепловыми восприятиями, мы стремимся создавать более иммерсивные и отзывчивые пользовательские интерфейсы", — заключает Ким. "Наша работа обещает революционизировать приложения в виртуальной реальности, медицинских симуляциях и за их пределами, создавая опыт, который кажется почти ощутимым".