27 марта 2026 года исследователи представили новую методику оценки способности больших языковых моделей воспринимать художественные тексты.
В рамках работы использовался набор ранее неопубликованных рассказов, предоставленных профессиональными авторами. Это позволило избежать влияния данных, на которых модели обучались, и сосредоточиться на чистой способности к интерпретации.
Авторы исследования применили как количественные, так и качественные подходы, основанные на теории narrativa. Они проверили, насколько точно модели передают основные события, выявляют скрытый смысл и следят за нелинейными сюжетными ходами.
Результаты показали, что в более чем половине случаев модели допускали ошибки верности, часто упускали специфические детали и struggles с тонким подтекстом. Даже лучшие системы демонстрировали надёжность примерно в 50 % ситуаций, что сравнимо с случайным угадыванием.
Исследователи подчеркнули, что хотя языковые модели могут быть полезны как вспомогательные инструменты, полагаться на них для глубокого литературного анализа пока преждевременно. Для задач, требующих чуткого чтения и интерпретивной чувствительности, по‑прежнему незаменимы человеческие эксперты.
Этичная часть проекта включала полную прозрачность использования материалов авторов, их компенсацию и защиту интеллектуальной собственности. Такой подход подчеркивает ответственное отношение к исследованию и предлагает воспроизводимую рамку для будущих оценок ИИ в областях, требующих экспертного знания.
