Photon: фреймворк для обнаружения уязвимостей ИИ на экзафлопсных системах

Исследователи из Национальной лаборатории Ок-Ридж разработали инновационный фреймворк Photon, предназначенный для масштабного обнаружения уязвимостей в системах искусственного интеллекта. Эта технология использует возможности экзафлопсных суперкомпьютеров для обеспечения безопасности ИИ-моделей в критически важных областях.

Новый подход к кибербезопасности ИИ

Центр исследований безопасности искусственного интеллекта CAISER создал Photon как ответ на растущие угрозы эксплуатации ИИ-систем. Современные модели искусственного интеллекта, несмотря на огромный потенциал в экономике, здравоохранении и национальной безопасности, становятся всё более уязвимыми для целенаправленных атак.

Фреймворк представляет собой переработанную версию технологии DeepHyper, изначально разработанной для обучения нейронных сетей. Инженеры изменили её назначение — теперь система выявляет наиболее эффективные параметры атак на ИИ-модели, помогая разработчикам понять механизмы защиты.

Принцип исследования и эксплуатации

Photon работает по циклическому алгоритму, основанному на фундаментальной концепции ИИ — балансе между исследованием новых возможностей и эксплуатацией существующих знаний. Сначала система применяет известные атаки из научных публикаций к целевой модели, затем совершенствует их, используя обнаруженные уязвимости.

Параллельно фреймворк продолжает исследовать модель для выявления новых слабых мест, которые немедленно эксплуатируются. Этот процесс продолжается до тех пор, пока производительность модели не перестаёт снижаться.

Параллельные вычисления на экзафлопсных системах

Уникальность Photon заключается в возможности параллельного выполнения тысяч атакующих сценариев на разных узлах суперкомпьютера Frontier. Децентрализованная архитектура позволяет агентам атак координировать свои действия в реальном времени — если один метод оказывается эффективным, другие агенты мгновенно адаптируют свои стратегии.

На практике это означает выполнение 60 000 jailbreak-запросов в час — задач, на которые человеческим командам потребовались бы годы. Система эффективно распределяет вычислительные ресурсы, поддерживая уровень их использования выше 95% даже при работе на 1 920 графических процессорах.

Природоподобные стратегии поиска

Алгоритмы Photon имитируют эффективные поисковые стратегии, встречающиеся в природе, подобно тому как муравьи исследуют и эксплуатируют наиболее перспективные участки среды. Это обеспечивает максимальную эффективность каждого исследовательского цикла и преобразование полученных данных в практические рекомендации.

Технология значительно сокращает вспомогательные задачи и устраняет узкие места, характерные для традиционных методов тестирования на проникновение, сохраняя вычислительную эффективность при масштабировании.

Будущее безопасности искусственного интеллекта

В условиях глобального внедрения ИИ-систем в критическую инфраструктуру обеспечение их надёжности, устойчивости и безопасности становится первостепенной задачей. Photon не только выявляет скрытые уязвимости в моделях искусственного интеллекта, но и предлагает пути их оперативного устранения.

Эта разработка представляет собой paradigm shift в подходе к безопасности искусственного интеллекта, позволяя проводить скоординированные эксперименты беспрецедентного масштаба. Технология обеспечивает возможность дальнейшего развития ИИ-инноваций без компрометации требований безопасности в различных отраслях промышленности.