Ощущение реальности: тактильная обратная связь в VR и протезах

Современные технологии виртуальной реальности (VR) и протезирования активно развиваются, однако им все еще не хватает одного ключевого элемента – осязания, известного как тактильная (или хваткая) обратная связь.

«Основная проблема как для пользователей протезов, так и для тех, кто погружается в виртуальную реальность, заключается в отсутствии тактильной обратной связи», – отмечает Крейг Чепмен, доцент факультета кинезиологии, спорта и рекреации Университета Альберты и ведущий автор исследования, опубликованного в журнале Scientific Reports.

Человеческий мозг нуждается в тактильных ощущениях для уверенности в собственных движениях и для чувства воплощения (embodiment). Без них VR-технологии вряд ли смогут полностью передать ощущение реальности, а пользователи протезов не будут воспринимать их как естественное продолжение своего тела. Однако точное воссоздание тактильных ощущений – задача, для которой пока недостаточно технологических возможностей, объясняет Чепмен.

«Если представить вашу руку как сенсор, то сколько сигналов она способна уловить? Это были бы тысячи, если не десятки тысяч сенсоров. Нет устройства, способного стимулировать все эти сенсоры».

Для сравнения, в визуальной сфере существуют дисплеи, отображающие невероятно детализированные изображения с миллионами пикселей. «Мы можем создавать для глаз то, что почти не отличимо от реального мира по уровню стимуляции. Для рук мы находимся за миллионы световых лет от этого», – добавляет Чепмен.

Эксперименты с тактильной обратной связью в VR

Для изучения влияния тактильной обратной связи с учетом потребностей пользователей VR и протезов, Чепмен разработал эксперимент, в котором он мог как убирать, так и возвращать тактильные ощущения участникам исследования.

В ходе эксперимента участники использовали VR-шлем и перчатку с функцией отслеживания рук, чтобы взять виртуальный ящик. В одном сценарии физический ящик отсутствовал – он существовал только в виртуальном мире. В другом сценарии исследователи предоставили реальный физический ящик, который участники могли поднять, ощутить его вес и почувствовать текстуру и температуру кончиками пальцев.

Исследователи тщательно сопоставили условия виртуальной и реальной среды, чтобы гарантировать, что единственное отличие между сценариями – это наличие или отсутствие тактильной обратной связи.

Они обнаружили, что поведение участников драматически изменилось. Когда участники получали тактильную обратную связь, они смотрели на объект примерно полсекунды перед тем, как его коснуться, а затем немедленно переводили взгляд на следующую цель. Чепмен отмечает, что это соответствует типичному поведению в подобных ситуациях.

При отсутствии тактильной обратной связи участники дольше фиксировали взгляд на объекте после взаимодействия с ним.

Воплощение и его измеримое влияние

«Ключевой вывод заключается в том, что в моменты взаимодействия отсутствие тактильной обратной связи вынуждает зрение оставаться зафиксированным на месте взаимодействия. Оно не может свободно перемещаться вперед», – говорит Чепмен. «А в реальном мире мы видим, что глаза всегда стремятся смотреть вперед, к следующей цели».

Различное поведение в двух сценариях сводится к так называемому воплощению (embodiment) – сложному понятию, которое, по словам Чепмена, включает три основных аспекта: владение (ownership), действие (agency) и расположение (location). Чтобы человек чувствовал воплощение, должно существовать восприятие объекта как части своего тела (владение), ощущение контроля над этим объектом (действие) и уверенность в том, что тело находится там, где воспринимается (расположение).

Наблюдая за координацией глаз и рук и тем, как тактильная обратная связь влияет на нее, Чепмен и его коллеги определили объективный способ измерения степени воплощения, которую человек испытывает в определенной ситуации.

«Это очень большой шаг, потому что, если мы можем измерять воплощение, то разработчики протезов и создатели VR-опыта теперь получат новый инструмент для определения того, воплощает ли человек этот опыт».

«Если мы сможем улучшить воплощение, мы, вероятно, сделаем эти инструменты еще более привлекательными».