Трансформеры для умной безопасности: новый подход

Исследователи из Китайской академии наук, возглавляемые профессором Ван Хунцян, представили инновационную разработку для систем безопасности. Они создали модель Global-Local Alignment Attention (GLAA), основанную на асимметричной трансформерной архитектуре Siamese Transformer (AST). Эта разработка значительно повышает эффективность задач переидентификации упаковок между различными модальностями изображений, такими как видимый свет и рентгеновское излучение.

Переидентификация упаковок по разным модальностям (видимый свет vs. рентген) является ключевой технологией для систем досмотра. Основная сложность заключается в существенных различиях на уровне пикселей между изображениями, полученными в разных спектрах, что затрудняет извлечение надежных, инвариантных к модальности признаков традиционными методами.

В рамках данного исследования ученые применили концепцию асимметричного дизайна к архитектуре Siamese Transformer, разработав структуру Cross-Modality Asymmetric Siamese Transformer (CAST). Интеграция слоев Embedding LayerNorm и кодирования, чувствительного к модальности, в одну из ветвей модели, позволила существенно улучшить её способность извлекать общие признаки из данных разной природы.

Кроме того, была разработана модуль Global-Local Cross-modality Alignment Attention. Он моделирует взаимодействие между глобальными и локальными признаками, что способствует более детальному представлению характеристик объекта и решает проблемы пространственного несоответствия между изображениями разных модальностей.

Экспериментальные данные продемонстрировали, что ключевые показатели производительности предложенной модели на специализированном наборе данных для переидентификации упаковок по разным модальностям значительно превосходят текущие передовые методики. Это обеспечивает надежную техническую основу для интеллектуализации систем досмотра.

Согласно заявлению исследователей, это первая работа, которая успешно применяет архитектуру Transformer для решения задачи переидентификации упаковок по разным модальностям. Тем самым преодолеваются ограничения существующих методов, основанных на симметричных сверточных сетях.