OpenAI блокирует аккаунты за создание инструментов мониторинга

Компания OpenAI сообщила о блокировке аккаунта из Китая, который использовал ChatGPT для разработки промоматериалов и планов проекта инструмента мониторинга социальных сетей. По данным компании, работа велась для государственного заказчика.

Инструмент представлял собой систему сканирования платформ, включая X, Facebook, Instagram, Reddit, TikTok и YouTube, с целью поиска контента определённой политической, этнической или религиозной направленности. OpenAI подчёркивает, что не может подтвердить, был ли заказчиком инструмента орган власти Китая.

Ранее в этом году компания уже пресекала подобные активности.

Также был заблокирован аккаунт, занимавшийся созданием модели для отслеживания перемещений лиц, связанных с уйгурской этнической группой. Речь шла о разработке системы оповещения о «входящих потоках высокого риска».

OpenAI начала публиковать отчёты об угрозах с февраля 2024 года, привлекая внимание к использованию языковых моделей государственными структурами для отладки вредоносного кода, фишинга и других целей.

Новый пост в блоге компании содержит обзор наиболее значимых инцидентов и заблокированных аккаунтов за последний квартал.

Были выявлены разработчики из России, Кореи и Китая, использовавшие ChatGPT для совершенствования вредоносного ПО, а также сети в Камбодже, Мьянме и Нигерии, создававшие с его помощью мошеннические схемы.

По оценкам OpenAI, ChatGPT в три раза чаще используется для обнаружения мошенничества, чем для его организации.

Летом компания пресекла операции в Иране, России и Китае, где искусственный интеллект применялся для генерации постов, комментариев и наращивания вовлечённости в рамках кампаний влияния. Сгенерированный контент распространялся как внутри стран, так и на международных площадках.