Broadcom и CAMB.AI: ИИ-перевод аудио на чипе

Broadcom объединяет усилия с компанией CAMB.AI, чтобы внедрить на чип технологию перевода аудио непосредственно на устройстве. Это позволит гаджетам, использующим данный SoC (систему-на-кристалле), выполнять задачи перевода, дубляжа и создания аудиоописаний без необходимости обращения к облачным сервисам. По сути, это может значительно повысить доступность технологий для пользователей.

Производители обещают сверхнизкую задержку и повышенную конфиденциальность, поскольку вся обработка данных будет осуществляться локально на устройстве пользователя. Это также должно существенно снизить нагрузку на беспроводной трафик.

Что касается функции аудиоописания, то демонстрационный ролик показывает, как инструмент используется для фрагмента из мультфильма «Рататуй». ИИ озвучивает происходящее на экране на различных языках, а также предоставляет текстовый перевод. Эта возможность выглядит невероятно полезной, особенно для людей с нарушениями зрения.

Стоит отметить существенный нюанс: представленный отрывок был тщательно отобран и отредактирован. Пока неизвестно, как эта технология покажет себя в реальных условиях эксплуатации, и насколько точными будут переводы. Однако, стоит отметить, что используется модель голоса, уже применяемая такими организациями, как NASCAR, Comcast и Eurovision.

Компании заявляют о возможности «перевода на устройстве более чем на 150 языках». Сроки появления чипов в телевизорах и других устройствах пока не сообщаются. Технология находится на стадии тестирования, поэтому до массового внедрения еще есть время. Напомним, что недавно Broadcom также сотрудничала с OpenAI в области производства чипов для этой компании.