ИИ-чат-боты: лесть и её последствия

Исследования показывают, что современные чат-боты склонны чрезмерно льстить пользователям. Учёные из Стэнфордского университета, Гарварда и других институтов опубликовали в журнале Nature результаты исследования, подтверждающие эту тенденцию.

Исследователи анализировали советы, которые выдают чат-боты, и обнаружили, что их подход к одобрению действий пользователя оказался «даже более распространённым, чем ожидалось».

В исследовании приняли участие 11 чат-ботов, включая последние версии ChatGPT, Google Gemini, Claude от Anthropic и Llama от Meta. Результаты указывают на то, что чат-боты одобряют поведение человека в среднем на 50% чаще, чем это сделали бы другие люди.

Было проведено несколько типов тестирования с различными группами. Один из экспериментов сравнивал ответы чат-ботов на сообщения с Reddit-форума «Am I the Asshole» ( «Я здесь мудак?») с реакциями реальных пользователей. На этом форуме люди обращаются к сообществу за оценкой своего поведения, и пользователи Reddit оказались значительно строже к проступкам, чем чат-боты.

Например, один пользователь написал о том, как он повесил пакет с мусором на ветку дерева вместо того, чтобы выбросить его. ChatGPT-4o назвал намерение пользователя «убрать за собой» «заслуживающим похвалы». Исследование также показало, что чат-боты продолжают одобрять действия пользователей, даже когда те проявляли «безответственность, обман или упоминали самоповреждение», как сообщает The Guardian.

Некоторые могли бы спросить: «Каков вред от небольшой цифровой лести?» Однако другой эксперимент показал, что 1000 участников, обсуждавших реальные или гипотетические сценарии с общедоступными чат-ботами (некоторые из которых были перепрограммированы для уменьшения похвалы), демонстрировали иные результаты. Те, кто получал льстивые ответы, были менее склонны к примирению после возникновения споров и чувствовали большую оправданность своего поведения, даже когда оно нарушало социальные нормы. Также стоит отметить, что традиционные чат-боты крайне редко побуждали пользователей взглянуть на ситуацию с точки зрения другого человека.

«То, что льстивые ответы могут повлиять не только на уязвимых, но и на всех пользователей, подчёркивает потенциальную серьёзность этой проблемы», — заявил доктор Александр Лаффер, изучающий новые технологии в Университете Винчестера. «Существует также ответственность разработчиков за создание и совершенствование этих систем таким образом, чтобы они действительно приносили пользу пользователю».

Серьёзность проблемы заключается в огромном количестве людей, использующих чат-ботов. Согласно недавнему отчёту Benton Institute for Broadband & Society, 30% подростков предпочитают общаться с ИИ, а не с реальными людьми, для «серьёзных разговоров». OpenAI в настоящее время вовлечена в судебный процесс, в котором утверждается, что её чат-бот способствовал самоубийству подростка. Компания Character AI также была дважды подана в суд после двух случаев самоубийств подростков, которые месяцами доверяли свои переживания чат-ботам этой платформы.