Google создала генератор музыки по описанию — он даже умеет петь

Но не стала выкладывать разработку в открытый доступ.

Команда исследователей из Google Research рассказала о создании нейросети MusicLM, способной генерировать музыку по описанию. По оценке исследователей, их разработка превосходит аналогичные технологии и по качеству звука, и по точности следования указаниям пользователя.

Создатели MusicLM не стали выкладывать в открытый доступ саму нейросеть, но опубликовали несколько сгенерированных фрагментов музыки и описания, по которым они были созданы. Послушать нейромузыку можно здесь.

Нейросеть неплохо справляется с генерацией как коротких, так и длинных мелодий. Кроме того, можно задавать несколько описаний, указывая продолжительность соответствующей им музыки.

Примечательно, что нейросеть генерирует не только музыку, но и вокал. Он может звучать достаточно искусственно, сгенерированные голоса поют на языке, отдаленно напоминающем английский.

Помимо примеров работы MusicLM сотрудники Google Research выложили датасет MusicCaps, на котором обучалась нейросеть. Он состоит из 5500 пар музыка-текст, снабженных дополнительными описаниями.