Искусственный интеллект синхронизирует на видео губы и звук в реальном времени

Новый ИИ изменяет движения губ говорящего, чтобы они соответствовали любому произнесенному тексту. Это выглядит ужасающе реалистично. Такое программное обеспечение могло бы также помочь переводить фильмы и сериалы на другой язык.

Это стало возможным благодаря комбинации искусственных нейронных сетей. Две из них играют роль экспертов: один замечает, синхронны ли речь и рот, а другой - реальны ли видеоизображения или это фальшивки. Затем исследователи обучили третью сеть обманывать две первые, пока те не поверят, что созданные ею видео настоящие.

Поскольку манипуляции могут происходить в реальном времени, исследовател предлагают также с помощью ИИ сгладить сбои в видеотелефонии. Если во время беседы пропадает изображение, то программа может использовать уже полученные старые видео-отрывки и живой звук, составив синтетическое видео, в котором собеседник просто продолжает говорить.

К сожалению, подобные техники открывают двери и для злонамеренных манипуляций. В прошлом исследователи ИИ разработали системы, с помощью которых любой может изменять видеоматериал и вкладывать свои слова в уста политиков, знаменитостей и других людей.

В отличие от них, новой системе даже не нужны длинные видеоролики выбранных персон. Код их речи можно бесплатно загрузить с демонстрационного сайта. Однако до сих пор такая «глубокая подделка», похоже, не использовалась для обмана широкой аудитории.

Демо-видео группы, возглавляемой Праджвалом Ренуканандом и Рудрабхой Мукхопадхьяем из Международного института информационных технологий, показывает, как это выглядит и работает.

Источник: spektrum.de