Character.AI: Ограничения для несовершеннолетних из-за риска

Мир стремительно меняется, и подрастающему поколению все сложнее найти свое место. Переполненные эмоциями, постоянно подключенные к сети, подростки получают доступ к чат-ботам, способным общаться бесконечно. Последствия такого взаимодействия оказались разрушительными.

Компания Character.AI, специализирующаяся на ролевых играх с использованием искусственного интеллекта, столкнулась с судебными исками и общественным осуждением после того, как как минимум двое подростков покончили с собой, проведя длительное время в беседах с чат-ботами на ее платформе. В ответ на эти трагические события Character.AI вносит изменения в свою платформу, направленные на защиту несовершеннолетних. Эти меры могут повлиять на финансовые показатели стартапа.

«Первое решение, которое мы приняли в Character.AI, — это ограничить возможность для пользователей младше 18 лет участвовать в любых открытых чатах с ИИ на нашей платформе», — заявил генеральный директор Karandeep Anand.

Открытые беседы подразумевают свободный диалог, когда пользователь задает чат-боту тему, а тот отвечает вопросами, призванными удержать его внимание. По мнению экспертов, такой тип взаимодействия, где ИИ выступает скорее в роли друга или собеседника, а не творческого инструмента, не только рискован для детей, но и противоречит видению компании.

Стартап стремится перейти от концепции «ИИ-компаньона» к «платформе для ролевых игр». Вместо общения с ИИ-другом подростки будут использовать подсказки для совместного создания историй или генерации визуального контента. Цель — сместить акцент с общения на творчество.

Character.AI поэтапно ограничит доступ подростков к чат-ботам к 25 ноября. Сначала будет введено двухчасовое ежедневное ограничение, которое постепенно сократится до нуля. Для обеспечения соблюдения этого запрета для пользователей младше 18 лет платформа развернет внутренний инструмент проверки возраста, анализирующий поведение пользователя, а также сторонние инструменты, такие как Persona. Если эти инструменты окажутся недостаточными, Character.AI будет использовать распознавание лиц и проверку документов для подтверждения возраста.

Это решение следует за другими мерами защиты подростков, уже реализованными Character.AI, включая инструмент родительского контроля, фильтрацию персонажей, ограничение романтических диалогов и уведомления о времени, проведенном на платформе. Anand отметил, что эти изменения привели к потере значительной части пользовательской базы среди несовершеннолетних, и ожидает, что новые меры также будут непопулярны.

«Можно с уверенностью предположить, что многие наши юные пользователи будут разочарованы... поэтому мы ожидаем дальнейшего оттока пользователей», — сказал Anand. «Трудно предсказать, уйдут ли все они полностью, или часть из них перейдет на новые возможности, которые мы разрабатывали последние семь месяцев».

В рамках усилий Character.AI по трансформации платформы из приложения, ориентированного на чаты, в «полноценную социальную платформу, основанную на контенте», стартап недавно запустил несколько новых развлекательных функций.

В июне Character.AI представила AvatarFX, модель генерации видео, преобразующую изображения в анимированные ролики; Scenes — интерактивные, заранее подготовленные сюжеты, где пользователи могут погрузиться в истории с любимыми персонажами; и Streams — функцию, обеспечивающую динамическое взаимодействие между любыми двумя персонажами. В августе Character.AI запустила Community Feed — социальную ленту, где пользователи могут делиться своими персонажами, сценами, видео и другим контентом, созданным на платформе.

В заявлении, адресованном пользователям младше 18 лет, Character.AI принесла извинения за предстоящие изменения.

«Мы знаем, что большинство из вас использует Character.AI для раскрытия своего творческого потенциала способами, которые соответствуют нашим правилам контента», — говорится в заявлении. «Мы не принимаем это решение об удалении открытых чатов легкомысленно — но считаем, что это правильный шаг, учитывая вопросы, возникшие относительно того, как подростки взаимодействуют и должны взаимодействовать с этой новой технологией».

«Мы не закрываем приложение для пользователей младше 18 лет», — подчеркнул Anand. «Мы лишь прекращаем открытые чаты для несовершеннолетних, надеясь, что они перейдут к другим возможностям, которые будут становиться лучше со временем. Таким образом, мы делаем ставку на ИИ-игры, ИИ-короткие видео, ИИ-истории в целом. Это наша главная ставка, чтобы вернуть пользователей младше 18 лет, если они уйдут».

Anand признал, что некоторые подростки могут переключиться на другие ИИ-платформы, такие как OpenAI, которые позволяют им вести открытые беседы с чат-ботами. OpenAI также недавно подверглась критике после того, как подросток покончил с собой после длительных разговоров с ChatGPT.

«Я очень надеюсь, что наш пример установит отраслевой стандарт, согласно которому открытые чаты для несовершеннолетних, вероятно, не являются подходящим путем или продуктом», — заявил Anand. «Для нас компромиссы, похоже, правильные. У меня есть шестилетняя дочь, и я хочу, чтобы она росла в безопасной среде, взаимодействуя с ИИ ответственным образом».

Character.AI принимает эти решения превентивно, прежде чем регуляторы обяжут их это сделать. Во вторник сенаторы Джош Хоули и Ричард Блюменталь объявили о намерении внести законопроект, запрещающий доступ несовершеннолетних к ИИ-чат-компаньонам, после жалоб родителей на то, что продукты подталкивали их детей к сексуальным разговорам, самоповреждению и суициду. Ранее в этом месяце Калифорния стала первым штатом, регулирующим ИИ-чат-компаньонов, возлагая на компании ответственность за несоответствие их чат-ботов стандартам безопасности.

Помимо этих изменений на платформе, Character.AI заявила о создании и финансировании AI Safety Lab — независимой некоммерческой организации, посвященной разработке безопасных решений для будущих развлекательных ИИ-функций.

«В индустрии ведется много работы в области программирования, разработки и других сценариев использования», — сказал Anand. «Мы считаем, что пока недостаточно усилий направлено на обеспечение безопасности ИИ, лежащего в основе развлечений, и безопасность будет иметь решающее значение».