Stable Diffusion подружили с руками при помощи ControlNet

Но есть нюанс: понадобятся наброски будущего изображения.

Современные ИИ-генераторы не очень хорошо рисуют руки: как объясняют разработчики и исследователи, нейросетям нужно больше данных, чтобы понять, как устроены эти части человеческого тела. Теперь ИИ можно подсказывать.

Благодаря надстройке ControlNet нейросеть Stable Diffusion может более-менее нормально рисовать руки и вообще человеческие тела. Есть нюанс: для работы потребуется набросок будущего изображения с прорисованными руками.

ControlNet дает возможность контролировать генерацию изображения строже, чем обычный подход img2img. Можно управлять как степенью изменения композиции изображения, так и тем, насколько сильно оно будет отличаться от референса.

Энтузиасты Stable Diffusion активно экспериментируют с новой возможностью. Вот несколько примеров эскизов и артов, сгенерированных на их базе; на некоторых изображениях видно, что иногда ИИ все-таки теряется и рисует не совсем то, что ему предложили.

11

Загрузить ControlNet можно здесь, поддержка уже добавлена в AUTOMATIC1111.