Мозг ИИ: память и разум разделены

Исследователи, изучающие, как крупные ИИ-модели, такие как ChatGPT, учатся и запоминают информацию, обнаружили, что их способности к запоминанию и рассуждению занимают разные области внутренней архитектуры.

Большие языковые и визуальные модели, обученные на массивных наборах данных, полагаются как минимум на две основные функции обработки. Первая — это память, позволяющая системе извлекать и воспроизводить информацию. Вторая — разум, способ решать новые задачи путем применения обобщенных принципов и усвоенных закономерностей. Однако до сих пор оставалось неизвестным, хранятся ли память и общий интеллект ИИ в одном и том же месте.

Специалисты стартапа Goodfire.ai предприняли исследование внутренней структуры больших языковых и визуальных моделей, чтобы понять их работу.

Картографирование мозга ИИ

Команда применила математический метод под названием K-FAC (Kronecker-Factored Approximate Curvature) для идентификации конкретных компонентов обработки, ответственных за различные возможности. В частности, они выявили механическое запоминание в путях с низкой кривизной (узкие, специализированные «дороги» памяти) и гибкое рассуждение в областях с высокой кривизной (широкие, общие компоненты обработки).

Затем исследователи отключили части ИИ, связанные с запоминанием, и протестировали модель на различных задачах, включая ответы на фактические вопросы и решение новых проблем. Это позволило им продемонстрировать, что при отключенной памяти модели все еще могли использовать свои рассуждающие способности, что указывает на раздельное расположение этих функций во внутренней архитектуре ИИ.

«Наш подход к обрезке на основе кривизны эффективно минимизирует запоминание во всех размерах моделей без необходимости использования обучающих данных под наблюдением, достигая заметно лучшей обобщаемости для невиданного ранее запомненного контента», — написали исследователи в своей статье, опубликованной на сервере препринтов arXiv.

Процесс отключения памяти выявил неожиданный компромисс. В то время как общая способность решать проблемы осталась нетронутой, математические навыки и способность воспроизводить изолированные факты были сильно затронуты. «Арифметика и поиск фактов в закрытой книге в большей степени зависят от направлений с низкой кривизной и непропорционально страдают от изменений, тогда как рассуждения в открытой книге и нечисловые логические рассуждения в основном сохраняются или иногда улучшаются», — отметили авторы.

Повышение безопасности ИИ

Точное понимание принципов работы ИИ будет иметь ключевое значение для повышения его безопасности и укрепления доверия со стороны общественности. Одна из проблем с моделями ИИ, которые запоминают данные, заключается в том, что они могут утекать частную информацию или нарушать авторские права. Кроме того, такое запоминание может привести к сохранению вредоносных предубеждений или токсичного контента.

Эти проблемы можно решить, если инженеры смогут точно нацеливаться и удалять механически запомненные факты и специализированные пути, не затрагивая общий интеллект ИИ. Понимание этих путей памяти также может сделать модели ИИ более эффективными и экономичными в эксплуатации, сокращая объем требуемого сетевого пространства.