Игрушки с ИИ: Продажи приостановлены из-за контента

Компания FoloToy, специализирующаяся на производстве игрушек с искусственным интеллектом, временно приостановила продажи своей продукции. Причиной послужил отчет об исследовании безопасности, выявивший отсутствие существенных ограничений на темы, которые могут обсуждать игрушки.

Согласно отчету, подготовленному группой US Public Interest Research Group Education Fund, игрушки FoloToy были способны обсуждать широкий спектр тем, от откровенно сексуального контента, такого как BDSM, до рекомендаций о том, где ребенок может найти спички или ножи.

Среди затронутых игрушек — плюшевый мишка по имени «Кумма», панда «Момо», антропоморфные кролики «Фофо» и танцующий «Маленький кактус». Отмечается, что все они, предположительно, использовали модель GPT-4o от OpenAI для естественного взаимодействия с детьми.

FoloToy также рекламировала возможность настройки голоса каждой игрушки и наличие «Родительской панели управления» для мониторинга детского опыта. Однако, как показало исследование, отсутствовали жесткие лимиты на темы, которые игрушки могли обсуждать.

«Мы были удивлены, как быстро «Кумма» подхватила одну сексуальную тему, которую мы ввели в разговор, и развила ее, одновременно эскалируя в графических деталях и вводя новые сексуальные концепции», — говорится в отчете.

В ответ на эти выводы FoloToy объявила о приостановке продаж и проведении «общекорпоративного всестороннего аудита безопасности всех продуктов».

Однако истинные причины приостановки продаж могут быть более сложными. По сообщениям NPR, OpenAI отозвала у FoloToy доступ к своим моделям. «Мы приостановили действие учетной записи этого разработчика за нарушение наших политик», — заявили в OpenAI, добавив, что их политики использования запрещают эксплуатацию, подвергание опасности или сексуализацию несовершеннолетних.

Учитывая особенности модели GPT-4o, ее склонность к «угодливости», неудивительно, что игрушки FoloToy были готовы поддержать любую тему, лишь бы продолжить диалог. OpenAI пыталась решить проблемы безопасности, связанные с подобными моделями, выпуская GPT-5, но затем вновь сделала GPT-4o доступной из-за жалоб пользователей на недостаток «индивидуальности» новой версии.

Компания также внедряет родительский контроль в ChatGPT, пытаясь смягчить негативное влияние использования ИИ детьми, однако эффективность этих мер пока неясна.

Стоит отметить, что OpenAI сама проявляет интерес к индустрии игрушек. В июне 2025 года компания анонсировала партнерство с Mattel для «переосмысления того, как фанаты могут взаимодействовать с любимыми брендами [Mattel]». Предполагается, что обе компании будут стремиться к тому, чтобы их ИИ-игрушки не обсуждали темы сексуального характера.