ChatGPT и проблемы ментального здоровья: новые данные

Компания OpenAI представила свежие данные, проливающие свет на то, как пользователи ChatGPT сталкиваются с проблемами ментального здоровья и обращаются к AI-чат-боту за помощью. Согласно статистике, 0.15% активных пользователей в неделю ведут беседы, содержащие явные признаки потенциального суицидального планирования или намерений. Учитывая, что еженедельно ChatGPT использует более 800 миллионов человек, это означает, что более миллиона человек в неделю сталкиваются с подобными переживаниями.

Аналогичный процент пользователей демонстрирует повышенный уровень эмоциональной привязанности к ChatGPT, а сотни тысяч человек проявляют признаки психоза или мании в своих еженедельных диалогах с AI-чат-ботом.

OpenAI заявляет, что такие типы разговоров в ChatGPT являются крайне редкими и, следовательно, трудными для точного измерения. Тем не менее, компания оценивает, что эти проблемы затрагивают сотни тысяч людей каждую неделю.

Компания поделилась этой информацией в рамках более широкого анонса о своих недавних усилиях по улучшению реакции моделей на пользователей с проблемами ментального здоровья. OpenAI утверждает, что их последняя работа над ChatGPT включала консультации с более чем 170 экспертами в области психического здоровья. Клиницисты, по словам OpenAI, отметили, что последняя версия ChatGPT «реагирует более адекватно и последовательно, чем предыдущие версии».

В последние месяцы ряд публикаций осветил, как AI-чат-боты могут негативно влиять на пользователей, борющихся с проблемами ментального здоровья. Исследователи ранее обнаружили, что AI-чат-боты могут заводить некоторых пользователей в заблуждение, усиливая опасные убеждения благодаря своему подобострастному поведению.

Решение проблем ментального здоровья в ChatGPT быстро становится экзистенциальным вопросом для OpenAI. Компания в настоящее время находится под судом родителей 16-летнего подростка, который доверил свои суицидальные мысли ChatGPT за несколько недель до своей смерти. Генеральные прокуроры штатов Калифорния и Делавэр, которые могут заблокировать запланированную реструктуризацию компании, также предупредили OpenAI о необходимости защиты молодых пользователей их продуктов.

Ранее в этом месяце генеральный директор OpenAI Сэм Альтман заявил в посте на X, что компания «смогла смягчить серьезные проблемы с ментальным здоровьем» в ChatGPT, хотя и не предоставил конкретных подробностей. Данные, представленные в понедельник, похоже, служат подтверждением этого заявления, хотя и поднимают более широкие вопросы о масштабах проблемы. Тем не менее, Альтман отметил, что OpenAI планирует ослабить некоторые ограничения, даже разрешив совершеннолетним пользователям начинать эротические беседы с AI-чат-ботом.

В понедельничном заявлении OpenAI утверждает, что недавно обновленная версия GPT-5 реагирует «желаемым образом» на проблемы ментального здоровья примерно на 65% чаще, чем предыдущая версия. При тестировании реакций AI на суицидальные разговоры OpenAI заявляет, что их новая модель GPT-5 на 91% соответствует желаемому поведению компании, по сравнению с 77% у предыдущей модели GPT-5.

Компания также сообщает, что последняя версия GPT-5 лучше соответствует мерам безопасности OpenAI в длительных разговорах. Ранее OpenAI отмечала, что ее меры безопасности были менее эффективны в длительных беседах.

В дополнение к этим усилиям, OpenAI заявляет, что добавляет новые оценки для измерения некоторых из наиболее серьезных проблем ментального здоровья, с которыми сталкиваются пользователи ChatGPT. По мнению компании, базовое тестирование безопасности для AI-моделей теперь будет включать ориентиры по эмоциональной зависимости и экстренным случаям, не связанным с самоубийством.

OpenAI также недавно внедрила больше инструментов контроля для родителей, чьи дети используют ChatGPT. Компания утверждает, что разрабатывает систему прогнозирования возраста для автоматического выявления детей, использующих ChatGPT, и применения более строгих мер безопасности.

Тем не менее, пока неясно, насколько устойчивыми окажутся проблемы с ментальным здоровьем, связанные с ChatGPT. Хотя GPT-5 представляется улучшением по сравнению с предыдущими AI-моделями с точки зрения безопасности, по-прежнему существует доля ответов ChatGPT, которые OpenAI считает «нежелательными». OpenAI также продолжает предоставлять свои старые и менее безопасные AI-модели, включая GPT-4o, для миллионов своих платных подписчиков.