Создана LegoGPT — нейросеть генерирует фигурки, которые можно собрать

Но есть ограничения: используются только определенные блоки, а сами фигурки не могут быть очень большими.

Команда исследователей из Университета Карнеги-Меллона рассказала о создании нейросети LegoGPT, способной генерировать LEGO-фигурки по текстовому описанию. Фигурки, сгенерированные LegoGPT, действительно можно собрать.

К примеру, модель можно попросить сгенерировать из блоков LEGO стул, диван или автомобиль. Результат, сгенерированный ИИ, может быть собран из существующих блоков LEGO.

Кроме того, предложенные нейросетью конструкции будут «физически устойчивыми»: модель сгенерирует их так, чтобы фигурки могли стоять на ровной поверхности.

Для обучения модели исследователи использовали самостоятельно созданный датасет из 47 тысяч наборов данных. Другими словами, ученые собрали немало фигурок LEGO и снабдили их подробными текстовыми описаниями, сгенерированными GPT-4o по фотографиям.

Помимо генерации самой фигурки LegoGPT создает инструкцию по сборке. У нынешней версии модели инструкции не особенно сложны: ученые не стали учить LegoGPT генерировать действительно сложные объекты.

Модель может оперировать всего несколькими типами блоков LEGO, размеры конструкции не могут превышать 20 на 20 на 20 блоков. В будущем планируется расширить библиотеку блоков.

Исходный код проекта выложен в открытый доступ, заняться улучшением LegoGPT могут все желающие.