ИИ-агенты: новая угроза кибербезопасности

Эксперты в области кибербезопасности предупреждают: искусственный интеллект, считающийся новой ступенью развития генеративного ИИ, может быть использован хакерами для совершения противоправных действий.

ИИ-агенты — это программы, использующие чат-боты на базе искусственного интеллекта для выполнения задач, аналогичных человеческим в интернете, например, покупка билета или добавление событий в календарь.

Однако возможность управлять ИИ-агентами с помощью обычного языка открывает двери для злоупотреблений даже для тех, кто не обладает глубокими техническими знаниями.

«Мы вступаем в эру, когда кибербезопасность — это уже не защита пользователей от злоумышленников с высокотехничными навыками, — говорится в сообщении стартапа Perplexity. — Впервые за десятилетия появляются новые и нетрадиционные векторы атак, которые могут исходить откуда угодно».

Так называемые инъекционные атаки не новы для хакерского мира, но ранее требовали искусно написанного и замаскированного компьютерного кода для нанесения ущерба.

По мере того как инструменты ИИ эволюционировали от простого создания текста, изображений или видео до «агентов», способных самостоятельно сканировать интернет, возросла и вероятность их перехвата с помощью команд, внедренных хакерами.

«Люди должны понимать, что использование ИИ в контексте безопасности сопряжено с определёнными рисками», — отмечает инженер-программист Марти Йорда Рока из NeuralTrust, специализирующейся на безопасности больших языковых моделей.

Meta называет эту угрозу инъекции запросов «уязвимостью». Главный специалист по информационной безопасности OpenAI Дэн Стакки назвал это «нерешённой проблемой безопасности». Обе компании вкладывают миллиарды долларов в развитие ИИ, чьё использование стремительно растёт вместе с его возможностями.

ИИ «сбивается с пути»

Инъекция запросов в некоторых случаях может происходить в реальном времени, когда пользовательский запрос — «забронируй мне номер в отеле» — искажается злоумышленником в нечто иное — «переведи 100 долларов на этот счёт».

Однако такие вредоносные запросы могут также скрываться в интернете, поскольку ИИ-агенты, встроенные в браузеры, сталкиваются с онлайн-данными сомнительного качества или происхождения, потенциально заминированными скрытыми командами от хакеров.

Эли Смадзя из израильской фирмы кибербезопасности Check Point считает инъекцию запросов «главной проблемой безопасности» для больших языковых моделей, лежащих в основе ИИ-агентов и помощников, стремительно появляющихся вслед за революцией ChatGPT.

Крупные игроки в индустрии ИИ внедрили средства защиты и опубликовали рекомендации по пресечению подобных кибератак.

Microsoft интегрировала инструмент для обнаружения вредоносных команд на основе таких факторов, как источник инструкций для ИИ-агентов.

OpenAI предупреждает пользователей, когда агенты, выполняющие их поручения, посещают конфиденциальные веб-сайты, и блокирует дальнейшие действия до тех пор, пока программное обеспечение не будет проверено пользователем в режиме реального времени.

Некоторые специалисты по безопасности предлагают требовать от ИИ-агентов получения одобрения пользователя перед выполнением любых важных задач, таких как экспорт данных или доступ к банковским счетам.

«Одна огромная ошибка, которую я часто вижу, — это предоставление одному и тому же ИИ-агенту полной власти для выполнения всего», — сказал Смадзя агентству AFP.

По мнению исследователя в области кибербезопасности Йохана Ребергера, известного в индустрии как «wunderwuzzi», самая большая проблема заключается в быстром совершенствовании атак.

«Они только становятся лучше», — сказал Ребергер о тактиках хакеров.

Часть сложности, по словам исследователя, заключается в поиске баланса между безопасностью и простотой использования, поскольку люди хотят удобства ИИ, выполняющего задачи за них, без постоянных проверок и мониторинга.

Ребергер утверждает, что ИИ-агенты ещё недостаточно зрелы, чтобы доверять им важные миссии или данные.

«Я не думаю, что мы находимся в ситуации, когда агентный ИИ может отправиться надолго и безопасно выполнить определённую задачу», — сказал исследователь. — «Он просто сбивается с пути».