Нейросеть научили рисовать музыку, русский рэп она тоже может

Если повезет, то можно получить даже неразборчивый вокал.

Разработчики Сет Форсгрен и Хайк Мартирос нашли нейросети Stable Diffusion необычное применение. Вообще-то она предназначена для генерации изображение по текстовому описанию, но Сет и Хайк научили ИИ писать музыку.

Вернее, не писать, а рисовать. Разработчики взяли Stable Diffusion 1.5 и дополнительно обучили ее на изображениях спектрограмм; теперь нейросеть может рисовать спектрограммы, транслируемые в неплохую музыку.

4

Вот несколько примеров музыки, сгенерированной самими разработчиками: раз, два, три.

Как и прежде, для генерации музыки достаточно задать текстовое описание: например, саксофонное соло в стиле джаз или праздничный лоу-фай бит. Попросить ИИ сгенерировать русский рэп тоже можно, в треке даже будет звучать неразборчивый вокал.

Треки, сгенерированные ИИ, могут зацикливаться и плавно сменять друг друга. Разработчики добились этого эффекта благодаря интерполяции и сглаживанию границ между спектрограммами.

Поэкспериментировать с нейромузыкой можно здесь, исходники проекта опубликованы здесь.