OmnimatteZero: революция в редактировании видео без обучения

Исследователи из Университета Бар-Илан представили инновационную технологию обработки видео, которая кардинально упрощает процесс отделения объектов от фона. Новый метод под названием OmnimatteZero не требует длительного обучения или оптимизации, что делает его доступным для широкого круга пользователей.

Разработка была создана доктором Двиром Самуэлем и профессором Галом Чекчиком, который также занимает позицию старшего директора по исследованиям искусственного интеллекта в NVIDIA. Технология позволяет извлекать объекты и фигуры из фона с сохранением сложных элементов, включая мех, волосы, листву, тени, отражения, дым или рябь на воде.

«В системах декомпозиции видео алгоритм должен идентифицировать эффекты, которые объект оказывает на сцену, а затем удалить или извлечь его естественным образом», — поясняет доктор Двир Самуэль, руководивший исследованием.

Традиционные методы разделения видео слоев rely на искусственном интеллекте, который требует миллионов размеченных примеров для обучения или ресурсоемких методов оптимизации. Разработка израильских ученых демонстрирует, что аналогичных результатов можно достичь с значительно меньшими усилиями, вычислениями и затратами.

OmnimatteZero функционирует как «визуальная система компостирования», позволяющая повторно использовать контент. Например, лебедя в озере можно извлечь вместе с его отражением и seamlessly разместить в другом водоеме, при этом само озеро без лебедя может служить фоном для других сцен с естественными результатами.

В отличие от существующих методов, новый подход избегает дорогостоящего обучения с учителем или самообучающейся оптимизации. Вместо этого он использует техники завершения изображений, традиционно применяемые к статичным изображениям, enhanced с модулями, которые отслеживают изменения во времени и пространстве.

Исследователи продемонстрировали, что объекты и их следы можно идентифицировать без обучения через встроенный механизм самовнимания, связывающий регионы across и within видео кадров. Метод требует только существующую модель генерации видео, applied к этой конкретной задаче.

Технология ориентирована на видео редакторов и дизайнеров, создателей контента, рекламщиков и исследователей искусственного интеллекта. Доказательство feasibility исследования suggests потенциальную доступность для повседневного использования, включая редактирование видео, записанных на смартфонах.

Следующее направление исследований доктора Самуэля будет посвящено синхронизации звука. «Например, если в видео есть лающая собака, и мы удаляем собаку, мы не хотим продолжать слышать лай на оставшемся фоне», — объясняет он.

Проект был реализован в collaboration с исследователями из Еврейского университета и Исследовательского центра OriginAI в Израиле.