ИИ научился «читать мысли»: как LLM понимают намерения

Представьте, что вы смотрите фильм, где один персонаж кладет шоколадку в коробку, закрывает ее и выходит из комнаты. Другой человек, находящийся в той же комнате, перемещает плитку из коробки в ящик стола. Вы, как наблюдатель, знаете, что лакомство теперь в ящике, и понимаете, что когда первый человек вернется, он будет искать шоколадку в коробке, поскольку не знает о ее перемещении. Это возможно благодаря вашей способности понимать и предсказывать намерения других людей — так называемой «теории разума» (Theory of Mind, ToM).

Эта когнитивная способность позволяет нам прогнозировать и объяснять поведение других, учитывая их ментальные состояния. Люди развивают ее примерно к четырем годам, и для человеческого мозга эта задача выполняется легко и быстро, задействуя лишь небольшую часть нейронов, что делает процесс крайне энергоэффективным.

Как большие языковые модели (LLM) отличаются от человеческого мышления

Большие языковые модели (LLM), которые изучают исследователи, работают иначе. Хотя они и были вдохновлены некоторыми концепциями из нейронауки и когнитивной науки, они не являются точной копией человеческого мозга. LLM построены на основе искусственных нейронных сетей, отдаленно напоминающих структуру биологических нейронов, но модели обучаются на паттернах в огромных объемах текста и работают, используя математические функции.

Это дает LLM явное преимущество перед людьми в скорости обработки информации. Однако, когда дело доходит до эффективности, особенно в простых задачах, LLM уступают человеку. Независимо от сложности задачи, им приходится активировать большую часть своей нейронной сети для получения ответа. Таким образом, будь вы просите LLM сказать, сколько времени, или кратко пересказать «Моби Дик», модель задействует всю свою сеть, что является ресурсоемким и неэффективным процессом.

«Когда мы, люди, оцениваем новую задачу, мы активируем очень небольшую часть нашего мозга, но LLM должны активировать практически всю свою сеть, чтобы разобраться в чем-то новом, даже если это довольно просто», — отмечают исследователи. «LLM должны выполнить все вычисления, а затем выбрать именно то, что вам нужно. Таким образом, выполняются многие избыточные вычисления, поскольку вы рассчитываете множество ненужных вещей. Это крайне неэффективно».

Новое исследование социального мышления LLM

В рамках междисциплинарного сотрудничества исследователи стремились лучше понять, как работают LLM, и как можно повысить эффективность их социального мышления. Они обнаружили, что LLM используют небольшой, специализированный набор внутренних связей для обработки социального взаимодействия. Также выяснилось, что способности LLM к социальному мышлению сильно зависят от того, как модель представляет позиции слов, особенно с использованием метода роторного позиционного кодирования (RoPE).

Эти специальные связи влияют на то, как модель уделяет внимание различным словам и идеям, эффективно направляя ее «фокус» при анализе мыслей других людей. «Проще говоря, наши результаты предполагают, что LLM используют встроенные паттерны для отслеживания позиций и взаимосвязей между словами, чтобы формировать внутренние «убеждения» и делать социальные выводы», — говорят исследователи. Свои выводы они изложили в статье «Как большие языковые модели кодируют теорию разума: исследование разреженных паттернов параметров», опубликованной в npj Artificial Intelligence.

Взгляд в будущее: создание более эффективного ИИ

Теперь, когда исследователи лучше понимают, как LLM формируют свои «убеждения», они считают, что возможно сделать эти модели более эффективными. «Мы все знаем, что ИИ требует много энергии, поэтому, если мы хотим сделать его масштабируемым, мы должны изменить способ его работы», — поясняют они. «Наш человеческий мозг очень энергоэффективен, поэтому мы надеемся, что это исследование поможет нам задуматься о том, как мы можем заставить LLM работать больше как человеческий мозг, чтобы они активировали только подмножество параметров, отвечающих за конкретную задачу. Это важный аргумент, который мы хотим донести».