Microsoft: ИИ-агенты уязвимы, создана новая среда тестирования

Исследователи Microsoft представили новую среду для тестирования ИИ-агентов и поделились результатами, которые указывают на возможную уязвимость современных моделей к манипуляциям. Результаты, полученные совместно с Университетом штата Аризона, ставят под сомнение эффективность ИИ-агентов при работе без надзора и скорость реализации компанией Microsoft обещаний о будущем с такими агентами.

Разработанная платформа получила название “Magentic Marketplace”. Это синтетическая среда, предназначенная для изучения поведения ИИ-агентов. Типичный эксперимент может включать имитацию ситуации, когда агент-покупатель пытается заказать еду по инструкциям пользователя, в то время как агенты, представляющие различные рестораны, конкурируют за выполнение этого заказа.

Первоначальные тесты на платформе задействовали 100 агентов-покупателей и 300 агентов-представителей бизнеса. Поскольку исходный код “Magentic Marketplace” находится в открытом доступе, другие исследовательские группы смогут легко использовать его для проведения собственных экспериментов или проверки полученных результатов.

Эдже Камар, управляющий директор AI Frontiers Lab в Microsoft Research, подчеркивает важность таких исследований для понимания возможностей ИИ-агентов. "Действительно возникает вопрос, как изменится мир с появлением таких взаимодействующих, общающихся и ведущих переговоры агентов", – говорит Камар. "Мы стремимся глубоко разобраться в этих процессах".

Первоначальные исследования охватили ряд ведущих моделей, включая GPT-4o, GPT-5 и Gemini-2.5-Flash, и выявили неожиданные слабости. В частности, исследователи обнаружили несколько методов, которые бизнес может использовать для манипулирования клиентскими агентами, побуждая их к покупке определенных товаров. Было замечено заметное снижение эффективности, когда клиентскому агенту предоставлялось больше вариантов выбора, что перегружало его возможности обработки информации.

"Мы ожидаем, что эти агенты будут помогать нам обрабатывать большой объем информации", – отмечает Камар. "Но мы видим, что текущие модели на самом деле перегружаются при наличии слишком большого количества вариантов".

Агенты также столкнулись с трудностями при попытке совместной работы над общей задачей, демонстрируя неопределенность в распределении ролей. Производительность улучшалась при наличии более четких инструкций по взаимодействию, однако исследователи считают, что фундаментальные возможности моделей все еще нуждаются в совершенствовании.

"Мы можем давать моделям инструкции, например, шаг за шагом", – поясняет Камар. "Но если мы тестируем их способности к совместной работе, я ожидал бы, что эти возможности будут присущи моделям изначально".