WatchHand: как умные часы отслеживают движения рук с помощью сонара

Новая технология WatchHand позволяет использовать обычные умные часы для отслеживания движений рук и пальцев без дополнительного оборудования. Разработка исследователей из Корнеллского университета и KAIST использует встроенные динамик и микрофон устройств для создания акустической системы слежения.

Принцип работы технологии основан на излучении неслышимых звуковых волн, которые отражаются от руки и возвращаются в микрофон часов. Специальный алгоритм машинного обучения анализирует эхо-профиль и определяет положение руки в трёхмерном пространстве в реальном времени.

Система способна распознавать различные жесты: двойное касание большого и указательного пальцев для переключения музыки или управление компьютерным курсором без мыши. Все данные обрабатываются непосредственно на часах, что обеспечивает конфиденциальность информации.

Потенциальные применения технологии включают вспомогательные устройства для людей с ограниченной подвижностью, контроллеры для дополненной и виртуальной реальности, а также альтернативные методы ввода информации.

В ходе тестирования с участием 40 добровольцев система продемонстрировала надёжное отслеживание движений пальцев и вращений запястья. Текущая версия работает на смарт-часах с Android и может испытывать сложности при использовании во время ходьбы.

Исследователи отмечают, что их подход существенно снижает барьеры для отслеживания положения рук, поскольку требует только одного динамика и микрофона. Технология открывает возможности для преобразования обычных носимых устройств в интеллектуальные платформы для распознавания жестов.