ИИ-помощник CHEF: поддержка самостоятельности при когнитивных нарушениях

Разработка инновационного ИИ-помощника CHEF (Cognitive Human Error Detection Framework with Vision-Language models) открывает новые перспективы для людей с когнитивными нарушениями. Исследователи из Университета Вашингтона в Сент-Луисе объединили усилия компьютерных ученых и эрготерапевтов, чтобы создать систему, способную помочь пожилым людям дольше сохранять независимость в повседневной жизни.

По данным статистики, значительная доля взрослых старше 45 лет в США сталкивается с когнитивными нарушениями, что может затруднять выполнение бытовых задач, таких как приготовление пищи или управление финансами. В ответ на эту проблему команда Вашингтонского университета разработала искусственный интеллект, интегрирующий передовые модели анализа видеоданных и распознавания языка.

Процесс создания CHEF-VL начался со сбора видеоматериалов, где более сотни участников, как с когнитивными нарушениями, так и без них, выполняли различные задания. Особое внимание было уделено процессу приготовления пищи, который включает множество последовательных действий. С помощью передовых алгоритмов, анализирующих человеческие действия и выявляющих ошибки в последовательности выполнения задач, исследователи сделали важный шаг к созданию ненавязчивой системы поддержки.

Ключевую роль в проекте сыграла интеграция двух новейших моделей «зрение-язык». Эти модели способны понимать текст, изображения и видео, обладая широким пониманием реального мира и способностью к логическим рассуждениям. Это позволяет системе эффективно анализировать сложные бытовые задачи, учитывая разнообразие способов их выполнения людьми.

Эксперименты проводились в специально оборудованной «умной кухне», где участникам давались пошаговые инструкции по приготовлению овсянки. Встроенная камера фиксировала каждое действие, а эрготерапевты наблюдали за процессом, отмечая ошибки и предлагая подсказки. Эти данные затем использовались для обучения и проверки точности работы ИИ-алгоритма CHEF-VL.

«Мы понимаем, что даже люди без когнитивных нарушений допускают ошибки во время приготовления пищи, но для тех, кто сталкивается с когнитивными проблемами, это может быть чрезвычайно сложной задачей», — отмечает один из разработчиков, Руики Ванг. Система CHEF-VL успешно анализирует видеозаписи, сравнивая действия участников с предписанной последовательностью и выявляя отклонения.

Разработчики подчеркивают, что созданная модель превосходит традиционные бумажные тесты на когнитивные способности, поскольку она оценивает реальные навыки выполнения повседневных функций. «Это отличный пример применения передовых технологий искусственного интеллекта для решения жизненно важной проблемы здравоохранения, имеющей огромное значение для общественного благосостояния», — комментирует профессор Чэньян Лу.

Хотя до полного внедрения CHEF-VL в реальную практику еще предстоит провести доработку модели, команда исследователей полна решимости продолжать работу. Их цель — создать систему, которая позволит людям с когнитивными нарушениями жить более независимой и уверенной в себе жизнью, оставаясь в привычной домашней обстановке, и тем самым способствовать улучшению общественного здоровья. Этот проект станет важным шагом на пути к развитию будущих ассистивных технологий.