Вышла Stable Diffusion 2.0 — качество изображений должно стать выше, но пользователи в этом сомневаются

Нейросеть по-прежнему распространяется с открытым исходным кодом.

Компания Stability AI, занимающаяся развитием нейросети Stable Diffusion, объявила о выпуске Stable Diffusion 2.0. Нейросеть, генерирующая изображения по описаниям и редактирующая существующие арты, получила множество улучшений.

• Появилась новая модель преобразования текста в изображение. В Stable Diffusion 2.0 используется новый текстовый кодировщик OpenCLIP от LAION и самой Stability AI, благодаря этому удалось «значительно увеличить» качество генерируемых изображений.
• Модель обучена на датасете LAION-5B, чтобы избежать генерации взрослого контента, дополнительно использовался специальный фильтр.
• По умолчанию Stable Diffusion 2.0 может генерировать изображения 512х512 и 768х768 пикселей.

• Появилась модель Upscaler Diffusion, отвечающая за апскейл изображений.
• Модель может повысить разрешение исходного кадра в 4 раза, благодаря ей Stable Diffusion 2.0 может генерировать изображения с разрешением вплоть до 2048х2048 пикселей.

• Обновлена модель Inpainting Diffusion, позволяющая заменять фрагменты изображения.
• Добавлена модель depth2img, позволяющая преобразовывать существующие изображения.
• При генерации новых изображений модель может учитывать как текстовое описание, так и данные о «глубине» объектов на исходном кадре.

В Stability AI отмечают, что постарались оптимизировать Stable Diffusion 2.0 для работы на одном GPU — чтобы нейросеть была доступна как можно большему количеству пользователей. Исходники Stable Diffusion 2.0 все еще открыты, загрузить нейросеть можно здесь.

Участники сабреддита StableDiffusion сомневаются, что вторая версия нейросети это шаг вперед. На основе ранних тестов можно сделать вывод, что из датасета пропала часть данных: к примеру, теперь Stable Diffusion плохо представляет, как выглядит Эмма Уотсон, и не умеет работать в стиле некоторых художников.

Создатели нейросети пока не комментировали предположения пользователей.