Marble: Создание 3D миров с помощью ИИ

Стартап World Labs, основанный пионером в области ИИ Фэй-Фэй Ли, представляет свой первый коммерческий продукт — модель мира Marble. Теперь доступная в бесплатных и платных версиях, Marble позволяет пользователям создавать редактируемые 3D-окружения из текстовых запросов, фотографий, видео, 3D-планировок или панорам.

Запуск генеративной модели мира, впервые представленной в ограниченной бета-версии два месяца назад, состоялся чуть более чем через год после выхода World Labs из тени с финансированием в 230 миллионов долларов. Это позволяет стартапу опередить конкурентов, разрабатывающих аналогичные модели мира. Модели мира — это системы ИИ, которые создают внутреннее представление об окружающей среде и могут использоваться для прогнозирования будущих событий и планирования действий.

В отличие от конкурентов, таких как Decart и Odyssey, предлагающих бесплатные демо-версии, и Google Genie, находящейся в стадии ограниченного исследовательского превью, Marble отличается тем, что создает постоянные, загружаемые 3D-среды, а не генерирует миры «на лету» во время исследования. По заявлению компании, это обеспечивает меньшее искажение и несогласованность, а также позволяет пользователям экспортировать миры в форматах Gaussian splats, мешей или видео.

Marble также является первой моделью такого рода, предлагающей инструменты редактирования, разработанные специально для ИИ, и гибридный 3D-редактор. Он позволяет пользователям создавать пространственные структуры, прежде чем ИИ заполнит их визуальными деталями.

«Это совершенно новая категория моделей, которая генерирует 3D-миры, и эта технология будет совершенствоваться со временем. Мы уже добились значительного прогресса», — отметил Джастин Джонсон, соучредитель World Labs.

В декабре прошлого года World Labs продемонстрировал, как его ранние модели могли генерировать интерактивные 3D-сцены на основе одного изображения. Хотя сцены были впечатляющими, они имели несколько мультяшный вид и были ограничены в исследовании из-за небольшого радиуса передвижения и редких ошибок рендеринга.

В ходе тестирования бета-версии было обнаружено, что Marble генерирует впечатляющие миры даже по одиночным изображениям — от игровых сред до фотореалистичных версий гостиной. Края сцен иногда искажались, но, по-видимому, эта проблема была устранена в сегодняшнем релизе. Тем не менее, мир, созданный в бета-версии с помощью одного запроса, выглядел лучше и точнее соответствовал замыслу, чем тот же запрос сейчас.

Функции редактирования еще не протестированы, но Джонсон утверждает, что они делают Marble практичным для краткосрочных проектов в области игр, визуальных эффектов и виртуальной реальности (VR).

«Одна из наших главных тем для Marble в будущем — творческий контроль», — сказал Джонсон. «Всегда должен быть быстрый способ сгенерировать что-то, но вы также должны иметь возможность углубиться и получить полный контроль над тем, что вы генерируете. Вы не хотите, чтобы машина просто взяла руль и отняла всю вашу креативность».

Гибкость ввода Marble — это его подход к творческому контролю. Бета-версия принимала только одиночные изображения, заставляя модель додумывать невидимые детали для кругового обзора. С полным запуском пользователи могут загружать несколько изображений или короткие клипы, чтобы показать пространство под разными углами, и модель будет генерировать довольно реалистичные цифровые двойники.

Затем следует Chisel — экспериментальный 3D-редактор, позволяющий пользователям создавать грубые пространственные макеты (стены, коробки, плоскости), а затем добавлять текстовые подсказки для определения визуального стиля. Marble генерирует мир, разделяя структуру и стиль — подобно тому, как HTML обеспечивает структуру веб-сайта, а CSS добавляет цвет. В отличие от редактирования на основе текста, Chisel позволяет напрямую манипулировать объектами.

«Я могу просто зайти и взять 3D-блок, представляющий диван, и переместить его в другое место», — пояснил Джонсон.

Еще одна новая функция, дающая больше контроля над редактированием, — это возможность расширения мира.

«После генерации мира вы можете расширить его до одного раза», — сказал Джонсон. «Когда вы перемещаетесь в часть мира, которая начинает разрушаться, вы можете, по сути, сказать модели расшириться там или сгенерировать больше мира в непосредственной близости от того места, где вы находитесь, и тогда она сможет добавить больше деталей в этой области».

Пользователи, желающие создавать очень большие пространства, могут объединять несколько миров в «режиме композитора». Джонсон продемонстрировал это с двумя уже созданными им мирами — комнатой из сыра с виноградными стульями и футуристической переговорной комнатой в космосе.

Путь к пространственному интеллекту

Marble доступен в четырех тарифных планах: Free (четыре генерации из текста, изображения или панорамы), Standard (20 долларов в месяц, 12 генераций плюс ввод нескольких изображений/видео и расширенное редактирование), Pro (35 долларов в месяц, 25 генераций с расширением сцены и коммерческими правами) и Max (95 долларов в месяц, все функции и 75 генераций).

Джонсон считает, что первоначальными областями применения Marble станут игры, визуальные эффекты для кино и виртуальная реальность.

Разработчики игр неоднозначно относятся к этой технологии. Недавний опрос Game Developers Conference показал, что треть респондентов считают, что генеративный ИИ негативно влияет на игровую индустрию — на 12% больше, чем годом ранее. Среди основных опасений — кража интеллектуальной собственности, потребление энергии и снижение качества контента, создаваемого ИИ. А в прошлом году расследование Wired выявило, что игровые студии, такие как Activision Blizzard, используют ИИ для сокращения расходов и борьбы с текучестью кадров.

В игровой индустрии Джонсон видит, как разработчики используют Marble для генерации фоновых сред и атмосферных пространств, а затем импортируют эти ассеты в игровые движки, такие как Unity или Unreal Engine, для добавления интерактивных элементов, логики и кода.

«Он не предназначен для замены всего существующего конвейера для игр, а только для предоставления ассетов, которые можно вставить в этот конвейер», — сказал он.

Для работы с визуальными эффектами Marble позволяет избежать несогласованности и плохого управления камерой, которые характерны для генераторов ИИ-видео, по словам Джонсона. Его 3D-ассеты позволяют художникам ставить сцены и управлять движениями камеры с идеальной точностью кадра.

Хотя Джонсон заявил, что World Labs в настоящее время не фокусируется на приложениях для виртуальной реальности (VR), он отметил, что индустрия «испытывает нехватку контента» и с энтузиазмом восприняла запуск. Marble уже совместим с VR-гарнитурами Vision Pro и Quest 3, и каждый сгенерированный мир можно просматривать в VR уже сегодня.

Marble также может иметь потенциальное применение в робототехнике. Джонсон отметил, что, в отличие от генерации изображений и видео, робототехника не имеет в своем распоряжении большого репозитория обучающих данных. Но с такими генераторами, как Marble, становится проще симулировать обучающие среды.

Согласно недавнему манифесту Фэй-Фэй Ли, генерального директора и соучредителя World Labs, Marble представляет собой первый шаг к созданию «действительно пространственно-интеллектуальной модели мира».

Ли считает, что «следующее поколение моделей мира позволит машинам достичь пространственного интеллекта на совершенно новом уровне». Если большие языковые модели могут научить машины читать и писать, то Ли надеется, что системы, подобные Marble, смогут научить их видеть и строить. Она полагает, что способность понимать, как объекты существуют и взаимодействуют в трехмерных пространствах, в конечном итоге поможет машинам добиться прорывов не только в играх и робототехнике, но и в науке и медицине.

«Наши мечты о действительно разумных машинах не будут полными без пространственного интеллекта», — написала Ли.