ИИ для безопасности дорожного движения: анализ видео

Каждый день тысячи камер видеонаблюдения в Нью-Йорке записывают бесчисленные часы видео. Однако анализ этих записей для выявления проблем безопасности и их устранения требует значительных ресурсов, которых часто не хватает городским транспортным службам.

Теперь исследователи из Политехнической школы инженерии Нью-Йоркского университета разработали систему на базе искусственного интеллекта, которая автоматически определяет столкновения и опасные ситуации на основе существующих видеозаписей с дорожных камер. Система объединяет возможности языкового анализа и визуального интеллекта, что может кардинально изменить подходы городов к повышению безопасности дорожного движения без необходимости крупных инвестиций.

Данное исследование, опубликованное в журнале Accident Analysis & Prevention, получило награду Vision Zero Research Award от города Нью-Йорка. Эта премия ежегодно вручается за работы, соответствующие приоритетам безопасности дорожного движения города и предлагающие практические решения. Профессор Каан Озбай, старший автор статьи, представил исследование на восьмом ежегодном симпозиуме Research on the Road.

Работа является примером междисциплинарного сотрудничества между специалистами по компьютерному зрению из нового Центра робототехники и воплощенного интеллекта Нью-Йоркского университета и исследователями безопасности дорожного движения из центра C2SMART Политехнической школы инженерии Нью-Йоркского университета, где Озбай является директором.

Автоматически идентифицируя, где и когда происходят столкновения и опасные ситуации, разработанная командой система под названием SeeUnsafe помогает транспортным агентствам выявлять опасные перекрестки и дорожные условия, требующие вмешательства до того, как произойдут более серьезные аварии. Система использует предварительно обученные модели ИИ, способные понимать как изображения, так и текст, что является одним из первых применений мультимодальных больших языковых моделей для анализа длительных видеозаписей дорожного движения.

«В Нью-Йорке работает тысяча камер 24/7. Ручной анализ всего этого видеоматериала невозможен», — отметил Озбай. «SeeUnsafe предоставляет городским властям высокоэффективный способ максимально использовать существующие инвестиции».

«Агентствам не нужно быть экспертами в области компьютерного зрения. Они могут использовать эту технологию без необходимости собирать и размечать собственные данные для обучения модели анализа видео на основе ИИ», — добавил Чен Фэн, доцент Политехнической школы инженерии Нью-Йоркского университета, соучредитель Центра робототехники и воплощенного интеллекта и соавтор статьи.

Система SeeUnsafe, протестированная на наборе данных Toyota Woven Traffic Safety, превзошла другие модели, правильно классифицировав видео как столкновения, опасные ситуации или обычное дорожное движение в 76,71% случаев. Система также может определять, какие конкретные участники дорожного движения были вовлечены в критические события, с точностью до 87,5%.

Традиционно меры по обеспечению безопасности дорожного движения предпринимаются только после происшествия. Анализируя закономерности опасных ситуаций — таких как приближение транспортных средств к пешеходам или рискованные маневры на перекрестках — агентства могут проактивно выявлять зоны повышенного риска. Такой подход позволяет внедрять превентивные меры, такие как улучшение дорожных знаков, оптимизация работы светофоров и изменение планировки дорог до того, как произойдут серьезные аварии.

Система генерирует «отчеты о безопасности дорожного движения» — объяснения принятых решений на естественном языке, описывающие такие факторы, как погодные условия, интенсивность движения и конкретные маневры, приведшие к опасным ситуациям или столкновениям.

Несмотря на существующие ограничения, включая чувствительность к точности отслеживания объектов и трудности в условиях низкой освещенности, система закладывает основу для использования ИИ для «понимания» контекста безопасности дорожного движения на основе огромных объемов видеоданных. Исследователи предполагают, что этот подход может быть распространен на видеорегистраторы в автомобилях, что потенциально позволит оценивать риски в режиме реального времени с точки зрения водителя.

Исследование дополняет растущий объем работ центра C2SMART, направленных на улучшение транспортных систем Нью-Йорка. К недавним проектам относятся изучение влияния тяжелых электрических грузовиков на дороги и мосты города, анализ того, как камеры контроля скорости меняют поведение водителей в разных районах, разработка «цифрового двойника» для поиска более эффективных маршрутов экстренных служб FDNY и многолетнее сотрудничество с городом по мониторингу Бруклинско-Куинсского экспресса на предмет повреждений от перегруженных транспортных средств.