3D-сканирование движущихся объектов: новая нейросеть

Исследователи из Института науки Токио представили революционный метод 3D-визуализации на основе нейронных сетей, способный с высокой точностью измерять движущиеся объекты. Эта задача долгое время считалась крайне сложной для традиционных оптических систем.

Новый метод, основанный на нейронном обратном рендеринге, позволяет реконструировать 3D-формы в высоком разрешении, используя всего три проекционных паттерна. Это открывает возможности для динамического 3D-измерения в самых разных областях: от контроля качества на производстве и создания цифровых двойников до захвата движений в кинопроизводстве.

Среди существующих оптических подходов методы структурированного света, проецирующие паттерны на объект и анализирующие отраженный свет для воссоздания его 3D-формы, широко применяются благодаря своей точности и универсальности. Однако, стандартный метод фазового сдвига (phase-shifting) сталкивается с проблемами даже при малейшем движении объекта в процессе сканирования.

Традиционные системы 3D-визуализации часто дают сбой, когда движение объекта вызывает искажения между проецируемыми и захваченными паттернами. Это ограничивает их применение в таких сферах, как контроль производства, архивация культурного наследия, создание цифровых двойников и захват движений.

Чтобы преодолеть эти ограничения, ученые искали новые пути решения проблемы погрешностей, вызванных движением, которые снижают точность оптических 3D-измерений. При последовательном проецировании нескольких синусоидальных паттернов методом фазового сдвига даже незначительное движение объекта нарушает совпадение паттернов, что приводит к размытым или неточным 3D-реконструкциям. Таким образом, чувствительность к движению стала ключевым препятствием для высокоточного 3D-сканирования в динамичных средах.

Осознав эти ограничения, команда исследователей под руководством Юки Уракавы и доцента Ёсихиро Ватанабэ из Института науки Токио разработала инновационный подход для точного измерения форм движущихся объектов.

Их результаты были представлены на Международной конференции по компьютерному зрению IEEE/CVF (ICCV 2025) 23 октября 2025 года.

«Методы структурированного света — это хорошо зарекомендовавший себя подход в оптическом 3D-измерении, — поясняет Ватанабэ. — Однако, поскольку широко используемый метод фазового сдвига требует множества последовательных проекций, он имеет фундаментальные трудности при работе с движением. Этот вызов побудил нас разработать технику, способную захватывать точные 3D-формы даже при движении объектов».

Команда предложила каркас на основе нейронных сетей, который одновременно моделирует движение объекта и его 3D-геометрию в рамках обратного рендеринга. В отличие от традиционных методов фазового сдвига, которые предполагают неподвижность объекта, этот подход с нейронным обратным рендерингом совместно реконструирует как движение, так и геометрию движущейся цели, обеспечивая более точное 3D-изображение в динамичных сценах.

В их методе движение объекта представлено как поле смещений, и как поле смещений, так и 3D-форма совместно оптимизируются с помощью нейронной сети. Эта новаторская конструкция позволяет корректировать смещения, вызванные движением, в проецируемых и захваченных изображениях, обеспечивая точную 3D-реконструкцию даже движущихся целей.

Чтобы продемонстрировать эффективность метода, исследователи реализовали свою систему в многокамерной установке с использованием одного проектора и двух камер. Примечательно, что они добились высококачественных и точных 3D-измерений, используя всего три стандартных синусоидальных проекционных паттерна — столько же, сколько обычно требуется для измерения неподвижных объектов методом фазового сдвига.

Как сообщает Ватанабэ: «Используя всего три стандартных синусоидальных проекционных паттерна (того же типа, что применяются в традиционных методах фазового сдвига), мы успешно добились высокоточной 3D-реконструкции форм движущихся объектов».

Это достижение является значительным шагом вперед в области оптической метрологии, позволяя динамически и точно захватывать 3D-данные с меньшим количеством проекционных паттернов. Поддерживая высокую точность при одновременном сокращении количества необходимых проекций, метод расширяет возможности 3D-измерений в сценариях, связанных с движением или деформацией.

По словам Ватанабэ: «Эта прорывная технология обеспечивает динамичное, высокоточное 3D-измерение с минимальным количеством проекционных паттернов, открывая новые возможности для применения в контроле производства, создании цифровых двойников и захвате движений в визуальном производстве».

Объединив глубокое обучение с устоявшимися принципами структурированного света, исследовательская группа из Института науки Токио эффективно расширила возможности оптических измерений для динамичных сред. Их метод нейронного обратного рендеринга закладывает основу для технологий 3D-сенсоров следующего поколения, способных работать в быстро движущихся или нестабильных условиях без ущерба для точности измерений.