ИИ не справляется с 3D-задачами: новый тест на пространственное мышление

Современные модели искусственного интеллекта пока не способны справиться даже с такими простыми задачами, как завязывание шнурков.

Новое исследование, проведенное учеными Корнеллского университета, показало, что ИИ хорошо справляется с распутыванием простых узлов, но испытывает трудности с их завязыванием или преобразованием одного узла в другой. Это говорит о том, что, несмотря на успехи в генерации текста и изображений, ИИ еще далеко до совершенства в области пространственного мышления и манипуляций, что является критически важным для таких направлений, как робототехника.

«Современный ИИ отлично работает с большими объемами текста, но в 3D-среде он терпит неудачу», — отмечает Зои (Зичжао) Чэнь, аспирантка Корнеллского технического университета и ведущий автор исследования «Не так просто: минималистичная среда для пространственного мышления». Работа, представленная на конференции NeurIPS 5 декабря в Сан-Диего, доступна на arXiv.

Вместе с Йоавом Артци, доцентом кафедры компьютерных наук в Корнеллском техническом университете, Чэнь разработала KnotGym — 3D-симулятор для тестирования различных моделей обучения с подкреплением и больших языковых моделей, таких как GPT-4. KnotGym представляет собой визуальный тест на обобщение, помогающий исследователям понять, насколько хорошо ИИ справляется с задачами, выходящими за рамки базовой тренировки.

«Это отсутствует в большинстве задач компьютерного зрения», — добавляет Чэнь.

В симуляторе KnotGym модели ИИ были предложены изображения петель и различных узлов с задачами их распутать, завязать или преобразовать. ИИ успешно справился с распутыванием простых узлов, показав около 90% успешных попыток для узлов с четырьмя пересечениями, включая обычный узел на шнурках. Однако, завязывание и преобразование узлов оказалось сложнее: чем больше пересечений в узле, тем хуже справлялся ИИ. Успешность завязывания узлов с тремя пересечениями составила всего 16%, а более сложные узлы оказались не по зубам искусственному интеллекту.

Исследование предполагает, что ИИ пока не обладает способностью к исследованию и открытию. «Когда дети играют, они начинают экспериментировать и постепенно находят последовательность действий, которая приводит их к определенным конфигурациям, не нарушая других. Они исследуют, используют предыдущие знания и работают над достижением более глобальной цели. Это то, что мы хотим видеть в ИИ, но пока этого нет», — поясняет Чэнь.

В дальнейших планах — усовершенствование KnotGym, в том числе его запуск на графических процессорах (GPU) для ускорения оценки.