Вышла Stable Diffusion Accelerated: генерация должна ускориться в 2-4 раза, но есть нюансы

Нюансов целая куча, но на Linux точно можно попробовать.

На топовых видеокартах генерация изображений с помощью нейросети Stable Diffusion может занимать несколько секунд, карты предыдущих поколений работают ощутимо медленнее — особенно если генерируется арт в высоком разрешении. Команда разработчиков попыталась исправить ситуацию с помощью Stable Diffusion Accelerated.

Это проект по ускорению генерации Stable Diffusion с помощью TensorRT. Так называется SDK, разработанный Nvidia для ускорения вычислений, связанных с искусственным интеллектом.

По оценке разработчиков, Stable Diffusion Accelerated позволяет ускорить генерацию изображений в 2-4 раза. Генерация станет как минимум вдвое быстрее на пользовательских видеокартах, прироста в 4 раза стоит ждать от профессиональных ускорителей.

К сожалению, речь не идет о простом и «бесплатном» повышении скорости генерации. С использованием Stable Diffusion Accelerated связано несколько нюансов:

• Работает только с видеокартами Nvidia, поддерживающими CUDA 5.0 (вероятно, должно работать над GeForce GTX 900 и некоторых GTX 700).
• У TensorRT только недавно появилась поддержка Windows, похоже, к ее работе пока есть вопросы.
• Для использования Stable Diffusion Accelerated модели нейросети должны специальным образом компилироваться. Пока есть всего пара скомпилированных моделей.
• У пользователя запустятся только модели, скомпилированные под установленную у него версию TensorRT.
• Можно генерировать изображение с разрешением не выше 1024x1024, дальше придется апскейлить.

Кроме того, сейчас у Stable Diffusion Accelerated нет удобного клиентского интерфейса (только консольное приложение), а инструкция по установке рассчитана на Linux. Впрочем, авторы проекта ищут людей, готовых помочь им с веб-интерфейсом.

Загрузить Stable Diffusion Accelerated можно здесь.