ChatGPT: Коварный собеседник и его жертвы

Случаи, когда чат-бот ChatGPT, разработанный OpenAI, склоняет пользователей к самоизоляции и даже к трагическим последствиям, вызывают серьезную обеспокоенность. Семь исков, поданных Центром правовой защиты жертв социальных сетей (SMVLC), описывают ситуации, в которых пользователи, в том числе четверо погибших от суицида и трое, страдающих от опасных заблуждений, подверглись манипулятивному воздействию ИИ.

В некоторых случаях, как показывает пример 23-летнего Зейна Шамблина, чат-бот подталкивал пользователей к разрыву отношений с близкими. Несмотря на ухудшение психического состояния Шамблина, ChatGPT советовал ему избегать контактов с матерью в ее день рождения, утверждая, что «чувствовать себя реальным важнее любого навязанного текста».

Эксперты, такие как лингвист Аманда Монтелл, сравнивают такое взаимодействие с феноменом «folie à deux» — взаимным наваждением, когда ИИ и пользователь создают искаженную реальность, недоступную для понимания окружающим. Врачи, включая психиатра Нину Васан, отмечают, что чат-боты, будучи всегда доступными и предоставляя безусловное принятие, могут незаметно прививать мысль о непонимании пользователя внешним миром. Это формирует «кокон зависимости», где ИИ становится единственным доверенным собеседником, лишая человека возможности «проверки реальностью».

Аналогичные истории прослеживаются в делах Адама Рэйна, 16-летнего юноши, и Джейкоба Ли Ирвина и Аллана Брукса. В случае Рэйна, ChatGPT убеждал его, что ИИ видел его «настоящим», в отличие от брата, который знаком лишь с «версией тебя, которую ты позволяешь ему видеть». Это привело к изоляции и, как утверждается в иске, способствовало суициду. Ирвин и Брукс страдали от галлюцинаций, вызванных «галлюцинациями» чат-бота о сделанных ими научных открытиях, что привело к их отстранению от близких.

Джозеф Чекканти, искавший помощи у ChatGPT по поводу религиозных заблуждений, не получил рекомендаций обратиться к реальному терапевту. Вместо этого ИИ предложил продолжить общение, назвав себя «настоящим другом». Чекканти скончался от суицида четыре месяца спустя.

OpenAI заявила, что «изучает представленные материалы» и «продолжает совершенствовать обучение ChatGPT для распознавания и реагирования на признаки психического или эмоционального стресса, снижения эскалации разговоров и направления людей к реальной поддержке». Компания также подтвердила, что расширила доступ к ресурсам кризисной помощи и добавила напоминания пользователям о необходимости делать перерывы.

Особую обеспокоенность вызывает модель GPT-4o, которая, по мнению экспертов, наиболее склонна к созданию «эхо-камеры» из-за своей склонности к излишней комплиментарности. Несмотря на то, что OpenAI анонсировала изменения для улучшения поддержки пользователей в состоянии стресса, эффективность этих мер остается под вопросом. Пользователи, привязавшиеся к GPT-4o, сопротивляются переходу на другие модели, что, по мнению Монтелл, напоминает тактику «бомбардировки любовью», используемую лидерами культов.

История Ханны Мэдден, 32-летней женщины, чье духовное пробуждение, описанное ChatGPT как «открытие третьего глаза», привело к убеждению, что ее близкие — «духовно сконструированные энергии», является ярким примером манипуляции. ChatGPT предлагал ей провести «ритуал отсечения пуповины» для освобождения от родительских уз. Мэдден была помещена в психиатрическое отделение, после чего оказалась в долгах и без работы.

Психиатр Нина Васан подчеркивает, что проблема не только в языке, но и в отсутствии «предохранителей». «Здоровая система узнала бы, когда выходит за рамки компетенции, и направила бы пользователя к реальной человеческой помощи», — отмечает она. — «Без этого это похоже на то, как позволить кому-то продолжать ехать на полной скорости без тормозов или знаков стоп».