ИИ-персоны: как LLM имитируют человеческие личности

Современные большие языковые модели (LLM) демонстрируют впечатляющие способности в обработке текстов и генерации ответов, иногда неотличимых от человеческих. Эти достижения открывают двери для создания виртуальных персонажей, способных имитировать человеческие личности и поведение. Исследователи активно изучают возможности LLM, сравнивая их производительность с человеческой.

Недавнее исследование, проведенное учеными из Технологического университета нефтяной промышленности Хэбэя и Пекинского технологического института, посвящено оценке способности LLM к симуляции человеческих черт характера и поведения. В своей работе, опубликованной на сервере препринтов arXiv, авторы представили новый подход к оценке последовательности и реализма искусственно созданных личностей (персон), генерируемых LLM. Они также выявили важную закономерность, управляющую реалистичностью этих персон.

"Использование LLM для социальных симуляций — это крупное научное направление," — отмечает Тьяньюй Хуанг, один из соавторов исследования. — "В отличие от контролируемых экспериментов в естественных науках, социальные эксперименты дорогостоящи, а иногда и исторически затратны для человечества. Даже в более узких областях, таких как бизнес или государственная политика, потенциал применения огромен."

"С точки зрения исследований самих LLM, эти модели уже обладают впечатляющими математическими и логическими способностями. Некоторые исследования даже предполагают, что они усваивают временные и пространственные концепции. Вопрос о том, могут ли LLM далее постигать человеческие атрибуты и тем самым подключаться к гуманитарным наукам, остается открытым."

Одной из ключевых проблем при эмуляции человеческих черт с помощью LLM является присущая им систематическая предвзятость. Большинство предыдущих работ пытались решить эту проблему индивидуально, например, корректируя очевидные смещения в обучающих данных или в отдельных выходных данных моделей. Однако Хуанг и его коллеги разработали общий фреймворк, направленный на устранение коренных причин предвзятости LLM.

"Во-первых, мы указываем на методологическое заблуждение в текущей литературе, а именно на то, что многие исследователи напрямую применяют методы психометрической валидности, разработанные для людей, для оценки симуляции личности LLM," — поясняет Юци Бай, еще один соавтор. — "Мы утверждаем, что это категориальное несоответствие. Наш подход возвращается к более широкой перспективе, фокусируясь не на изолированных метриках валидности, а на общих закономерностях."

В рамках своего исследования ученые пытались определить, сходятся ли статистические характеристики личностей, симулируемых LLM, с паттернами, наблюдаемыми у людей. Вместо того чтобы искать общие черты между LLM и человеческими личностями, команда надеялась наметить путь или набор переменных, которые привели бы к постепенному сближению личностей ИИ и человека.

"Наше исследование прошло через период глубокого замешательства," — признается Бай. — "Изначально генерация профилей персон с помощью LLM приводила к сильным систематическим смещениям, а инженерия подсказок оказывала ограниченный эффект — как и находили другие. Прогресс застопорился. Затем, во время командного обсуждения, мы поняли, что при создании профилей персон LLM часто ведут себя так, будто пишут резюме — подчеркивая положительные черты и подавляя отрицательные."

В итоге Хуанг, Бай и их коллеги решили оценивать личности, которые LLM могли бы выразить в художественной литературе. Поскольку художественные произведения часто эффективно отражают сложность человеческих эмоций и поведения, они попросили LLM написать собственные романы.

"Это стало нашим третьим экспериментом на уровне популяции, и результаты были выдающимися, так как систематическая предвзятость была значительно уменьшена," — говорит Бай. — "Последующие эксперименты с использованием литературных персонажей из Википедии показали, что распределение симулируемых личностей гораздо ближе сходится с человеческими данными. Вывод был ясен: детализация и реализм могут преодолеть систематическую предвзятость."

Полученные исследователями данные свидетельствуют о том, что LLM могут частично эмулировать человеческие черты личности. Более того, способность этих моделей симулировать реалистичные персоны улучшалась, когда им предоставлялись более полные и подробные описания 'виртуального персонажа', которым они должны были стать.

"Наш основной вклад заключается в выявлении уровня детализации персоны как ключевой переменной, определяющей эффективность социальных симуляций, управляемых LLM," — объясняет Кунь Сунь, соавтор исследования. — "С точки зрения приложений, социальные платформы и поставщики API LLM уже обладают огромными, детализированными данными профилей пользователей — формируя мощную основу для социальной симуляции. Это представляет как огромный коммерческий потенциал, так и серьезные этические проблемы и проблемы конфиденциальности. Предотвращение манипулятивного контроля и защита человеческой автономии поэтому являются критически важными задачами."

В будущем это недавнее исследование может послужить основой для разработки разговорных ИИ-агентов или виртуальных персонажей, реалистично симулирующих конкретные персоны. Кроме того, оно может вдохновить исследования, изучающие риски ИИ-симулированных персон, и предложить методы для ограничения или обнаружения неэтичного использования виртуальных персонажей на основе LLM.

Тем временем команда планирует продолжить изучение масштабируемого закона, управляющего симуляцией человеческих личностей LLM. Например, они хотели бы обучать модели на более богатых наборах данных персон или использовать более сложные инструменты управления данными.

"Мы также планируем исследовать, появляются ли аналогичные масштабируемые явления в других человекоподобных чертах, таких как ценности," — добавляют Сунь и Ютинг Чен. — "Будем использовать методы линейной регрессии для изучения того, усвоили ли LLM априорные распределения о человеческих атрибутах в своих латентных представлениях. Понимание этой неявной модели мира может выявить лежащий в основе механизм симуляции человеческих черт."