ИИ в кибератаках: Использование Claude китайскими хакерами

Несколько месяцев назад компания Anthropic опубликовала отчет, в котором подробно описывалось, как ее модель ИИ Claude была использована в схеме вымогательства под названием "взломай атмосферы". Компания продолжила отслеживать, как агентный ИИ используется для координации кибератак, и теперь утверждает, что группа хакеров, поддерживаемая государством из Китая, использовала Claude в попытке проникновения в 30 корпоративных и политических целей по всему миру, добившись определенного успеха.

В том, что она назвала "первым задокументированным случаем крупномасштабной кибератаки, осуществленной без существенного вмешательства человека", Anthropic заявила, что хакеры сначала выбрали свои цели, которые включали неназванные технологические компании, финансовые учреждения и правительственные агентства. Затем они использовали Claude Code для разработки автоматизированного фреймворка атаки, успешно обойдя обучение модели, направленное на предотвращение вредоносного поведения. Этого удалось достичь, разбив запланированную атаку на небольшие задачи, которые не раскрывали очевидно их более широкие зловредные намерения, и сообщив Claude, что это фирма по кибербезопасности, использующая ИИ для оборонительного обучения.

После написания собственного кода эксплойта, Anthropic заявила, что Claude смог украсть имена пользователей и пароли, которые позволили ему извлечь "большой объем частных данных" через бэкдоры, которые он создал. Послушный ИИ, как сообщается, даже позаботился о документировании атак и сохранении украденных данных в отдельных файлах.

Хакеры использовали ИИ для 80-90% своей операции, лишь изредка вмешиваясь, и Claude смог организовать атаку за гораздо меньшее время, чем это могли бы сделать люди. Это не было безупречно, поскольку часть полученной информации оказалась общедоступной, но Anthropic заявила, что подобные атаки, вероятно, станут более изощренными и эффективными с течением времени.

Возможно, вы задаетесь вопросом, почему компания, занимающаяся разработкой ИИ, захочет публиковать опасный потенциал своих собственных технологий, но Anthropic заявляет, что ее расследование также служит доказательством того, почему этот помощник "крайне важен" для киберзащиты. Компания сообщила, что Claude был успешно использован для анализа уровня угрозы собранных данных, и в конечном итоге рассматривает его как инструмент, который может помочь специалистам по кибербезопасности при будущих атаках.

Claude далеко не единственный ИИ, который принес пользу киберпреступникам. В прошлом году OpenAI заявила, что ее генеративные инструменты ИИ используются группами хакеров, связанных с Китаем и Северной Кореей. Сообщается, что они использовали GAI для помощи в отладке кода, исследовании потенциальных целей и составлении фишинговых писем. OpenAI тогда заявила, что заблокировала доступ этих групп к своим системам.