Компрессия в 10 раз, аватары и перевод: Nvidia анонсировала видеоплатформу на базе ИИ

Клиентская часть платформы может работать на любом устройстве, все считается в облаке.

Исследовательское подразделение Nvidia анонсировало Maxine, платформу, предназначенную для организации видеоконференций. Maxine объединяет несколько разработок Nvidia, связанных с искусственным интеллектом и машинным переводом.

Платформа предлагает разработчикам ряд сервисов, работающих на облачных серверах и ускоренных с помощью тензорных ядер видеокарт Nvidia. Клиентская часть платформы может работать на практически любом устройство, от компьютера до смартфона.

Face Alignment

Технология на базе нейронных сетей GAN, распознающая ключевые точки на лице человека во время видеозвонка. С помощью искусственного интеллекта можно «довернуть» человека так, чтобы казалось, что он смотрит прямо в камеру.

Виртуальные аватары

Ключевые точки, распознанные Face Alignment, можно использовать для анимации виртуальных аватаров, заменяющих человека в видеотрансляции. Анимации аватаров будут копироваться напрямую с лица участника видеозвонка.

Автоматический перевод

В Maxine используется Jarvis, диалоговая среда Nvidia на базе искусственного интеллекта, способная в реальном времени переводить не только текст, но и голосовые сообщения. Кроме того, с помощью Jarvis разработчики могут создавать виртуальных помощников, участвующих в конференции.

Компрессия

Еще одно применение ключевых точек из Face Alignment. Вместо передачи полноценного видео предлагается транслировать меняющиеся наборы ключевых точек, описывающие движение лица участника конференции, и время от времени пересылать ключевые кадры.

На основе этих кадров и наборов ключевых точек искусственный интеллект будет анимировать виртуальный аватар, внешность которого точно копируется с реального участника трансляции. Такой подход позволяет снизить нагрузку на сеть до 10 раз по сравнению с кодеком H.264.

Доработка видео с помощью ИИ

Maxine позволяет апскейлить разрешение трансляций при помощи искусственного интеллекта, умеет менять фон трансляции без использования гринскрина и способна управлять камерой, отслеживая перемещения участника трансляции.