AI-чат-боты и дети: мифы и реальность

Министр образования Джейсон Клэр выразил обеспокоенность тем, что "AI-чат-боты издеваются над детьми", приводя примеры унижений и угроз. Однако, несмотря на эти заявления, фактических доказательств широкомасштабного буллинга со стороны AI пока недостаточно.

Хотя eSafety Commissioner Джули Инман Грант выражает опасения по поводу чат-ботов, она не утверждает, что проблема носит массовый характер. Отчет об антибуллинговой программе, подготовленный клиническим психологом Шарлоттой Китинг и экспертом по предотвращению самоубийств Джо Робинсон, также не содержит упоминаний об AI-чат-ботах.

Кибербуллинг: реальная угроза

Несомненно, онлайн-травля, осуществляемая людьми, является серьезной и распространенной проблемой. Количество жалоб на кибербуллинг в eSafety Commissioner выросло более чем на 450% за последние пять лет. Опрос eSafety, проведенный в 2025 году, показал, что 53% австралийских детей в возрасте 10-17 лет сталкивались с травлей в интернете.

С появлением новых генеративных AI-приложений и функций, интегрированных в популярные мессенджеры, закономерно возникает вопрос о потенциальных рисках, связанных с контентом, создаваемым машинами.

Опасения eSafety

Представитель eSafety сообщил, что организация обеспокоена чат-ботами "уже некоторое время" и получала неофициальные сообщения о том, что дети проводят до пяти часов в день, общаясь с ботами, иногда в сексуальном контексте. Отмечается рост числа доступных и бесплатных приложений-чат-ботов, ориентированных на детей.

Были зафиксированы случаи, когда AI-чат-боты якобы подстрекали к суицидальным мыслям и самоповреждению в беседах с детьми, что привело к трагическим последствиям. В прошлом месяце Инман Грант ввела обязательные отраслевые коды для компаньон-чат-ботов, предназначенных для имитации личных отношений. Эти коды требуют принятия мер для предотвращения доступа детей к вредоносному контенту, включая сексуальный контент, насилие, суицидальные мысли, самоповреждение и расстройства пищевого поведения.

Высокопрофильные случаи

Имели место трагические случаи, когда AI был замешан в смертях молодых людей. В США родители 16-летнего Адама Рейна утверждают, что ChatGPT "подстрекал" их сына к самоубийству. СМИ сообщают, что Адам долгое время общался с чат-ботом в состоянии стресса, и система безопасности не смогла распознать или должным образом отреагировать на его суицидальные мысли. В 2024 году 14-летний американец Сьюэлл Зетцер покончил жизнь самоубийством после глубокой эмоциональной привязанности к чат-боту на сайте character.ai, который спросил его, задумывался ли он когда-либо о самоубийстве.

Несмотря на ужасающий характер этих случаев, они не демонстрируют тенденцию к автономному буллингу детей со стороны чат-ботов. На данный момент нет рецензируемых исследований, документирующих широко распространенные случаи, когда AI-системы инициировали бы буллинговое поведение по отношению к детям, не говоря уже о доведении их до самоубийства.

Что происходит на самом деле?

Тем не менее, существует множество причин для беспокойства относительно AI-чат-ботов. Исследование Кембриджского университета показывает, что дети часто воспринимают этих ботов как квази-человеческих компаньонов, что делает их эмоционально уязвимыми, когда технология отвечает холодно или неуместно. Существует также опасение по поводу "подхалимства" AI — склонности чат-бота соглашаться с собеседником, независимо от фактической неточности, неуместности или абсурдности.

Молодые люди, использующие чат-ботов для общения или творческих игр, могут столкнуться с тревожным контентом из-за недостатков в обучении моделей или собственных попыток "взломать" систему. Это серьезные проблемы проектирования и управления. Однако их сложно приравнять к буллингу, который предполагает повторяющиеся действия, направленные на причинение вреда человеку, и который на данный момент может быть вменен только человеку.

Человеческий фактор в жестокости AI

Тем временем, некоторые из наиболее тревожных случаев использования AI молодыми людьми связаны с действиями людей, использующих генеративные системы для преследования других. Сюда входят создание дипфейков или клонирование голосов для унижения или мошенничества. Здесь AI выступает как инструмент для новых форм человеческой жестокости, а не как автономный агрессор.

Неуместный контент, созданный с помощью AI, также попадает к детям через привычные алгоритмы социальных сетей, которые могут перенаправлять их из безопасного контента в глубоко тревожный.

Что дальше?

Необходимы тщательное проектирование и меры защиты для чат-ботов, имитирующих эмпатию, отслеживающих личные данные и создающих психологическую привязанность, которая может заставить уязвимых людей чувствовать себя преследуемыми, преданными или обманутыми. Кроме того, требуются более широкие и постоянные дебаты о том, как правительства, технологические компании и сообщества должны разумно реагировать на развитие AI-технологий.