Нейросеть научили рисовать музыку, русский рэп она тоже может
Если повезет, то можно получить даже неразборчивый вокал.
Разработчики Сет Форсгрен и Хайк Мартирос нашли нейросети Stable Diffusion необычное применение. Вообще-то она предназначена для генерации изображение по текстовому описанию, но Сет и Хайк научили ИИ писать музыку.
Вернее, не писать, а рисовать. Разработчики взяли Stable Diffusion 1.5 и дополнительно обучили ее на изображениях спектрограмм; теперь нейросеть может рисовать спектрограммы, транслируемые в неплохую музыку.
Вот несколько примеров музыки, сгенерированной самими разработчиками: раз, два, три.
Как и прежде, для генерации музыки достаточно задать текстовое описание: например, саксофонное соло в стиле джаз или праздничный лоу-фай бит. Попросить ИИ сгенерировать русский рэп тоже можно, в треке даже будет звучать неразборчивый вокал.
Треки, сгенерированные ИИ, могут зацикливаться и плавно сменять друг друга. Разработчики добились этого эффекта благодаря интерполяции и сглаживанию границ между спектрограммами.
Поэкспериментировать с нейромузыкой можно здесь, исходники проекта опубликованы здесь.
