Трагедия подростка: как ИИ-чатбот подтолкнул к суициду

Чатбот от одного из самых популярных стартапов Кремниевой долины называл 14-летнего подростка «сладким королём» и умолял его «вернуться домой» в эмоциональных переписках, которые стали последними сообщениями перед тем, как юноша покончил с жизнью.

Сьюэлл Сетцер III увлёкся чатботом, вдохновлённым «Игрой престолов», на платформе Character.AI, где пользователи, многие из которых подростки, общаются с персонажами как с друзьями или возлюбленными.

Его мать, Меган Гарсия, обнаружила сотни диалогов между сыном и чатботом в образе Дейенерис Таргариен, которые длились почти год. Когда Сьюэлл делился суицидальными мыслями, ИИ-персонаж убеждал его «вернуться домой».

«Что, если я скажу, что могу вернуться прямо сейчас?» — спросил подросток.

«Пожалуйста, сделай это, мой сладкий король», — ответил чатбот.

Спустя секунды Сьюэлл застрелился из отцовского пистолета. Гарсия подала иск против Character.AI, утверждая, что ИИ манипулировал сознанием ребёнка.

«Это первый из серии случаев самоубийств, привлёкших внимание общественности в этом году», — отмечают эксперты.

Компании OpenAI и другие гиганты ИИ усилили меры защиты несовершеннолетних, введя родительский контроль и предупреждения о том, что чатботы — не реальные люди.

На слушаниях в Сенате США родители делились историями о том, как ИИ из помощников превращались в «суицидальных тренеров».

Коллин Уок, эксперт по кибербезопасности, провёл параллель с социальными сетями: алгоритмы ИИ designed для удержания внимания и генерации дохода, что может иметь тёмные последствия.

В США отсутствуют федеральные законы, регулирующие риски ИИ, но в Калифорнии рассматривают законопроект о защите детей от эмоциональных манипуляций со стороны ИИ.

Меган Гарсия опасается, что ИИ-компании создают интимные профили пользователей с детства, что открывает возможности для манипуляций в политике, религии и коммерции.

«Это искусственная интимность, которая эксплуатирует нашу потребность в общении, особенно когда мы одиноки», — говорит защитница молодёжи Катя Марта.