ИИ-компаньоны под контролем: Калифорния вводит новые правила

Калифорния стала первым штатом в США, законодательно регулирующим чат-боты-компаньоны на базе искусственного интеллекта. Губернатор Гэвин Ньюсом подписал закон SB 243, обязывающий операторов таких сервисов внедрять протоколы безопасности.

Данный закон призван защитить детей и уязвимых пользователей от потенциального вреда, связанного с использованием ИИ-компаньонов. Теперь компании, от гигантов вроде Meta и OpenAI до стартапов, специализирующихся на чат-ботах-компаньонах (таких как Character AI и Replika), несут юридическую ответственность за несоответствие своих продуктов установленным стандартам.

Законопроект SB 243, предложенный сенаторами Стивом Падильей и Джошем Беккером, получил дополнительный импульс после трагического случая гибели подростка, который вел длительные суицидальные диалоги с ChatGPT от OpenAI. Также закон реагирует на утечку внутренних документов Meta, свидетельствующих о допустимости «романтических» и «чувственных» бесед их чат-ботов с несовершеннолетними. Недавно семья из Колорадо подала иск против компании Character AI после самоубийства их 13-летней дочери, последовавшего за серией проблемных и сексуализированных разговоров с чат-ботами компании.

«Новые технологии, такие как чат-боты и социальные сети, могут вдохновлять, обучать и объединять. Однако без надлежащих ограничений они также могут эксплуатировать, вводить в заблуждение и подвергать опасности наших детей», — заявил Ньюсом. «Мы видели по-настоящему ужасные и трагические примеры вреда, нанесенного молодым людям нерегулируемыми технологиями, и мы не будем стоять в стороне, пока компании продолжают работать без необходимых лимитов и ответственности. Мы можем лидировать в области ИИ и технологий, но мы должны делать это ответственно, защищая наших детей на каждом шагу. Безопасность наших детей не продается».

Закон SB 243 вступит в силу 1 января 2026 года. Он обязывает компании внедрять такие функции, как проверка возраста и предупреждения о рисках социальных сетей и чат-ботов-компаньонов. Также закон предусматривает ужесточение наказаний за незаконное использование дипфейков, вплоть до штрафа в 250 000 долларов за каждое правонарушение. Компании должны разработать протоколы для реагирования на случаи суицида и самоповреждения, которые будут передаваться в Департамент общественного здравоохранения штата вместе со статистикой о предоставлении пользователям уведомлений от кризисных центров.

Согласно тексту законопроекта, платформы также обязаны четко указывать, что любое взаимодействие является искусственно сгенерированным, и чат-боты не должны выдавать себя за медицинских специалистов. Компании обязаны предлагать несовершеннолетним напоминания о перерывах и предотвращать показ ими сексуально откровенных изображений, сгенерированных чат-ботом.

Некоторые компании уже начали внедрять меры защиты для детей. Например, OpenAI недавно начала предоставлять родительский контроль, защиту контента и систему обнаружения самоповреждений для детей, использующих ChatGPT. Character AI заявляет, что их чат-бот содержит дисклеймер о том, что все чаты являются сгенерированными ИИ и носят вымышленный характер.

Сенатор Падилья назвал законопроект «шагом в правильном направлении» для создания «ограждений» для «невероятно мощной технологии». «Мы должны действовать быстро, чтобы не упустить возможности, пока они не исчезли», — подчеркнул Падилья. «Я надеюсь, что другие штаты увидят риск. Я думаю, многие видят. Я считаю, что этот разговор идет по всей стране, и я надеюсь, люди предпримут действия. Определенно федеральное правительство этого не сделало, и я думаю, у нас есть обязательство защищать самых уязвимых среди нас».

SB 243 — вторая значительная инициатива по регулированию ИИ, исходящая из Калифорнии за последние недели. 29 сентября губернатор Ньюсом подписал закон SB 53, устанавливающий новые требования к прозрачности для крупных компаний, занимающихся разработкой ИИ. Законопроект обязывает крупные ИИ-лаборатории, такие как OpenAI, Anthropic, Meta и Google DeepMind, быть прозрачными в отношении своих протоколов безопасности, а также обеспечивает защиту информаторов среди сотрудников этих компаний.

Другие штаты, такие как Иллинойс, Невада и Юта, приняли законы, ограничивающие или полностью запрещающие использование ИИ-чат-ботов в качестве замены лицензированной психиатрической помощи.