Для Beat Saber сделали генератор уровней из любой музыки на основе ИИ

В генерации участвуют две независимых нейросети.

Фанаты Beat Saber Крис Донахью и Абхай Агарвал создали для игры генератор уровней, способный создавать их на базе любого музыкального трека. В основе проекта Beat Sage лежат две независимых нейронных сети.

Обе сети были обучены на существующих уровнях Beat Saber, созданных реальными людьми. Первая нейронная сеть анализирует музыкальный трек и предсказывает места, в которых следует расположить блоки для разрубания.

Затем в дело вступает вторая нейросеть. Ориентируясь на данные первой сети, она решает, какие конкретно блоки должны использоваться в моменты времени, определенные на предыдущем этапе, и окончательно генерирует уровень.

Рандомизация в сервисе отсутствует: на базе одной и той же мелодии всегда будет генерироваться один и тот же уровень. Возможно, в будущем это изменится — разработчики постоянно улучшают алгоритмы работы нейронных сетей.

В качестве исходных данных сервис принимает ссылки с YouTube и Soundcloud. Добавить сгенерированные уровни можно как в Steam-версию Beat Saber, так и в версию для Oculus Rift, инструкции можно найти на сайте сервиса.