Космонавт-кавалерист, тарелочный монстр и мишки-шалунишки: что может новая нейросеть OpenAI

При ближайшем рассмотрении монстр оказался еще и вязаным.

В начале 2021 года исследователи OpenAI показали нейронную сеть DALL-E, способную генерировать правдоподобные изображения на основе простых текстовых описания. Теперь компания рассказала про DALL-E 2, улучшенную версию нейросети, научившуюся новым трюкам.

Основной акцент был сделан на оптимизацию алгоритмов. У DALL-E 2 в разы увеличено разрешение рендеринга (с 256х256 пикселей до 1024x1024 пикселей), одновременно удалось заметно ускорить генерацию изображений.

Кроме того, нейронная сеть научилась распознавать дополнительные указания и редактировать существующие изображения. Например, можно попросить ИИ добавить на картинку новый элемент или убрать существующий. Наконец, DALL-E 2 умеет объединять изображения.

Наконец, искусственный интеллект может создавать изображения по мотивам реальных картин. В галерее ниже первый кадр это исходник, второй — вариация на тему, сгенерированная ИИ.

Выкладывать нейросеть в открытый доступ исследователи не стали, ограничившись обширным набором сгенерированных изображений. DALL-E 2 попросили нарисовать космонавтов, монстров, мишек и собак — и ИИ справился.

Вот еще несколько примеров работы нейронной сети.