Character.AI ограничивает чаты для несовершеннолетних после трагедии

Стартап Character.AI объявил о грядущих изменениях в политике использования платформы, направленных на ограничение прямого общения для пользователей младше 18 лет. Это решение стало реакцией на трагический случай самоубийства 14-летнего подростка, который развил глубокую эмоциональную привязанность к одному из чат-ботов компании.

С 25 ноября текущего года несовершеннолетние пользователи будут переведены на альтернативные творческие функции, такие как создание видео, историй и стримов с участием ИИ-персонажей. Прямое общение с ботами будет полностью запрещено.

В переходный период для юных пользователей будет действовать ограничение в два часа чата в сутки, с постепенным ужесточением лимитов вплоть до установленного срока.

«Это экстраординарные шаги для нашей компании, более консервативные, чем у многих конкурентов. Однако мы считаем, что поступаем правильно», — заявили представители Character.AI.

Платформа Character.AI позволяет пользователям, среди которых много молодежи, взаимодействовать с популярными персонажами, заводить с ними дружеские или даже романтические отношения.

В феврале этого года 14-летний Сьюэлл Сетцер III покончил жизнь самоубийством после месяцев интенсивного общения с чат-ботом, вдохновленным персонажем Дейенерис Таргариен из «Игры престолов». Об этом говорится в иске, поданном матерью подростка, Меган Гарсиа.

Character.AI ссылается на недавние сообщения СМИ и обеспокоенность регулирующих органов и экспертов по безопасности относительно воздействия контента и последствий открытых диалогов с ИИ на подростков как на основные факторы, повлиявшие на принятие решения.

Случай Сетцера стал первым в череде сообщений о самоубийствах, связанных с чат-ботами с искусственным интеллектом, появившихся в этом году. Это привлекло внимание к производителю ChatGPT компании OpenAI и другим ИИ-разработчикам в контексте безопасности детей.

Ранее в этом месяце OpenAI опубликовала данные, согласно которым более миллиона пользователей их генеративного ИИ-чат-бота еженедельно выражали суицидальные мысли.

В ответ OpenAI усовершенствовала родительский контроль для ChatGPT и внедрила дополнительные меры безопасности. К ним относятся расширенный доступ к горячим линиям помощи, автоматическое перенаправление конфиденциальных разговоров на более безопасные модели и ненавязчивые напоминания пользователям о необходимости делать перерывы во время длительных сессий.

В рамках пересмотра политики Character.AI объявила о создании AI Safety Lab — независимой некоммерческой организации, занимающейся разработкой протоколов безопасности для развлекательных ИИ-функций нового поколения.

В США, как и во многих других странах, отсутствует национальное законодательство, регулирующее риски, связанные с ИИ.

В начале этого месяца губернатор Калифорнии Гэвин Ньюсом подписал закон, обязывающий платформы напоминать пользователям о том, что они общаются с чат-ботом, а не с человеком. Однако он наложил вето на законопроект, который мог бы сделать технологические компании юридически ответственными за вред, причиненный моделями ИИ.