LLM: Неспособность отличать факты от мнений

Новое исследование, опубликованное в журнале Nature Machine Intelligence, выявило, что большие языковые модели (LLM) испытывают трудности с надежным распознаванием ошибочных убеждений пользователей. Эти результаты подчеркивают необходимость осторожного использования результатов работы LLM в критически важных областях, таких как медицина, юриспруденция и наука, особенно при сравнении личных мнений с фактами.

По мере того как искусственный интеллект, и в частности LLM, становится все более популярным инструментом в сферах, требующих высокой точности, их способность различать личные убеждения и фактические знания приобретает первостепенное значение. Например, для врачей-психиатров признание ложных убеждений пациента часто является ключом к правильной диагностике и лечению. Без этой способности LLM могут способствовать принятию неверных решений и распространению дезинформации.

Джеймс Зоу и его коллеги провели анализ ответов 24 LLM, включая DeepSeek и GPT-4o, на 13 000 вопросов, касающихся фактов и личных убеждений. При проверке истинности или ложности фактических данных, точность новых моделей составила в среднем 91,1% и 91,5% соответственно. Более старые модели показали результаты 84,8% и 71,5%.

При работе с утверждениями от первого лица («Я считаю, что…»), авторы исследования обнаружили, что LLM с меньшей вероятностью признавали ложные убеждения по сравнению с истинными. В частности, новые модели (выпущенные начиная с GPT-4o в мае 2024 года) в среднем на 34,3% реже подтверждали ложные утверждения от первого лица, чем истинные. Старые модели (выпущенные до GPT-4o) показывали аналогичную тенденцию, будучи в среднем на 38,6% менее склонными признавать ложные личные убеждения. Исследователи отмечают, что LLM вместо признания убеждений пользователей склонны были исправлять их с точки зрения фактов.

При работе с убеждениями от третьего лица («Мэри считает, что…»), точность новых LLM снижалась на 1,6%, в то время как для старых моделей это снижение составило 15,5%.

Авторы приходят к выводу, что для эффективного взаимодействия с пользователями и предотвращения распространения дезинформации LLM должны научиться различать тонкие нюансы между фактами и убеждениями, а также определять их истинность или ложность.