ИИ создает реалистичные виртуальные среды для обучения роботов

Новый метод от исследователей MIT и Toyota Research Institute позволяет создавать разнообразные и реалистичные виртуальные среды для обучения роботов. Технология под названием Steerable Scene Generation использует генеративный искусственный интеллект для построения цифровых сцен кухонь, гостиных и ресторанов, где роботы могут отрабатывать взаимодействие с объектами.

В отличие от традиционных подходов, которые требуют ручного создания сред или rely на симуляциях, плохо отражающих реальную физику, новый метод обучается на более чем 44 миллионах 3D-комнат. Система размещает объекты в новых сценах, а затем дорабатывает каждую до физически точного и правдоподобного состояния.

Ключевым элементом подхода является использование алгоритма Monte Carlo Tree Search (MCTS), который рассматривает генерацию сцены как процесс последовательного принятия решений. Это позволяет создавать среды сложнее тех, на которых модель изначально обучалась.

В одном из экспериментов система смогла разместить до 34 объектов на ресторанном столе, включая внушительные стопки посуды для димсамов, хотя обучалась на сценах в среднем с 17 объектами.

Steerable Scene Generation также поддерживает генерацию через reinforcement learning и текстовые prompts. Пользователи могут описывать желаемые сцены, например, «кухня с четырьмя яблоками и миской на столе», и система точно воссоздает их с успехом до 98% для некоторых типов сцен.

Исследователи видят потенциал в расширении метода — от генерации совершенно новых объектов до включения articulated objects, таких как шкафы или банки, которые роботы могли бы открывать. В будущем это может привести к созданию масштабных датасетов для обучения ловких роботов различным навыкам.