ИИ в помощи общения: студент меняет правила игры

Студент Корнеллского технологического университета Тобиас Вайнберг, потеряв речь в 15 лет из-за неврологического заболевания, лично столкнулся с трудностями в самовыражении. Теперь он использует свой уникальный опыт и искусственный интеллект (ИИ) для революционных изменений в технологиях альтернативной и аугментативной коммуникации (ААК).

«Монотонные голоса, задержки в репликах и передача моей личности через этот новый способ общения были крайне расстраивающими», — делится Вайнберг, ныне докторант и стипендиат Siegel PiTech в Корнеллском технологическом университете. Работая в Matter of Tech Lab, он исследует, как ИИ может улучшить инструменты, которыми пользуются более двух миллионов американцев с нарушениями речи.

В рамках сотрудничества Корнеллского технологического университета с некоммерческой организацией YAI, Вайнберг год провел, работая с пользователями ААК из реабилитационных центров. Это позволило ему глубже понять их потребности и поведение, а также улучшить прототипы.

Его исследования, основанные на личном опыте, обещают трансформировать сферу разработки вспомогательных технологий. Первая публикация Вайнберга, «Why so serious?», получила награды за лучшую статью и лучший демонстрационный проект на престижной конференции CHI (Conference on Human Factors in Computing Systems), что подтверждает значимость его работы.

«Тоби — настоящий новатор», — отмечает его научный руководитель, доцент Корнеллского технологического университета Тейс Румен. «Он разрабатывает технологии, одновременно пользуясь ими, что меняет их облик и наше восприятие. Его работа открывает новые горизонты для развития ААК и вдохновляет целое поколение исследователей».

Хизер Клиппель, пользователь ААК, также испытывает трудности с передачей юмора и поддержанием диалога в шумной обстановке. В первом исследовании Вайнберг разработал интерфейс, помогающий пользователям создавать шутки в реальном времени. Он исследует компромисс между эффективностью и самостоятельностью пользователя при использовании ИИ-инструментов. Оказалось, что в условиях нехватки времени пользователи ААК готовы пожертвовать частью самостоятельности ради скорости.

Во втором исследовании, представленном на конференции ASSETS, Вайнберг и его команда выявили, что пользователи ААК формируют свои собственные способы невербального общения, например, постукивания или подъем бровей. Рекомендованный подход к дизайну заключается в усилении существующих пользовательских практик, а не в навязывании общепринятых норм.

В третьем исследовании Вайнберг создал приложение, которое обучало большую языковую модель на основе его текстов. Получившийся «ИИ-двойник» точно передавал его стиль и жаргон, но имел проблемы с контекстом и конфиденциальностью. Вайнберг предупреждает о рисках чрезмерной зависимости от ИИ, подчеркивая необходимость ответственного подхода к его применению в жизни пользователей ААК.

Вайнберг, с детства мечтавший создавать полезные вещи, не представлял себя в докторантуре. Однако, под руководством профессора Венди Джу и Тейса Румена, он нашел свою страсть в разработке ААК. Теперь он не только сам вдохновляет других, но и строит сообщество, где пользователи ААК могут делиться опытом и поддерживать друг друга.

«Видеть, как участники исследования используют новые системы для самовыражения, — это огромная награда», — говорит Вайнберг. Он надеется переосмыслить ААК не как замену речи, а как полноценное средство самовыражения, позволяющее пользователям полностью участвовать в общении и преуспевать в обществе.