OpenAI покупает Promptfoo для защиты AI-агентов

Корпорация OpenAI объявила о приобретении стартапа Promptfoo, специализирующегося на безопасности больших языковых моделей (LLM). Сделка направлена на усиление защиты её корпоративной платформы OpenAI Frontier, предназначенной для работы с автономными AI-агентами.

Рост популярности автономных AI-агентов, способных выполнять цифровые задачи, повышает риски. Злоумышленники получают новые возможности для доступа к конфиденциальным данным или манипулирования автоматизированными системами. Приобретение Promptfoo подчёркивает усилилия ведущих лабораторий по обеспечению безопасности своих технологий в критически важных бизнес-процессах.

Promptfoo, основанная в 2024 году, разрабатывает инструменты для тестирования уязвимостей LLM, включая открытые библиотеки. Её решения используют более 25% компаний из списка Fortune 500. После завершения сделки технология стартапа будет интегрирована для автоматизированного «красного командирования», аудита рабочих процессов агентов на предмет рисков и мониторинга соответствия требованиям. OpenAI также планирует продолжить развитие открытых проектов Promptfoo.