Нейросеть DAIN умеет дорисовывать недостающие кадры, разгоняя рисованную анимацию до 60 fps

Технология выглядит так, словном может пригодиться авторам мультфильмов в классическом стиле.

Группа ученых из Google, университета Калифорнии и Шанхайского университета разработали нейросеть Depth-Aware Video Frame Interpolation или DAIN. Она способна качественно генерировать дополнительные кадры практически любых видеороликов.

В отличие от традиционной интерполяции, DAIN работает практически без артефактов и может создавать очень большое количество новых кадров. В одном из тестов разработчики увеличили частоту кадров в ролике с 30 до 480 fps.

Возможно, DAIN пригодится не только для создания замедленных версий роликов или конверсии фильмов в 60 fps. Нейросеть может помочь, например, аниматорам, отрисовывая за них дополнительные кадры и ускоряя работу над мультфильмами.

В ролике ниже с помощью DAIN обработали несколько фрагментов из анимационных демо-роликов и реальных мультфильмов. Все они были ускорены до 60 fps, заметных артефактов в улучшенных сценах не проявилось.

DAIN — разработка с открытым исходным кодом, все ее исходники выложены на GitHub.