DeepSeek выпустила генератор изображений Janus-Pro, конкурирующий с DALL-E и Stable Diffusion

Модель снова распространяется бесплатно.

Китайская компания DeepSeek, развивающая одноименное семейство больших языковых моделей, выпустила модель Janus-Pro, специализирующуюся на работе с изображениями. Janus-Pro — это мультимодальная модель, она умеет как анализировать изображения, так и создавать новые.

В DeepSeek утверждают, что благодаря разделению визуального кодирования на несколько путей модель работает лучше аналогов. При этом в основе Janus-Pro все еще лежит архитектура трансформера, общая для большинства современных моделей.

В тестах, проведенных самой DeepSeek, новая модель превосходит Stable Diffusion XL, DALL-E 3 и некоторые другие популярные модели. Сейчас опубликовано две версии Janus-Pro: урезанная модель с 1 миллиардом параметров и полная версия с 7 миллиардами параметров.

Janus-Pro создана на базе модели Janus, предыдущей разработки DeepSeek. Компания расширила набор данных, использовавшихся для обучения модели, и одновременно оптимизировала стратегию обучения.

Благодаря всем оптимизациям новая модель лучше следует промптам при генерации изображений и стабильнее генерирует текст в самих изображениях. Обе версии Janus-Pro выложены в открытый доступ.

Загрузить исходники новых моделей можно здесь, веса Janus-Pro опубликованы здесь и здесь.