Исследователи из МТИ научили нейросеть «готовить» пиццу

Больше оливок или пепперони? Никаких проблем.

Искусственный интеллект уже достаточно неплохо справляется с генерацией человеческих лиц: нейросеть StyleGAN, созданная Nvidia, способна создавать несуществующих людей, очень похожих на настоящих. Исследователи из Массачусетского технологического института решили поработать в новом направлении — с едой.

Группа ученых МТИ создала нейросеть PizzaGAN, способную менять состояние пиццы, изображенной на картинке. Нейросеть анализирует пиццу пошагово, примерно так же, как ее создает повар: она начинает с теста, а затем распознает остальные ингредиенты блюда.

Нынешняя версия нейросети способна, например, добавить на фотографию пиццы больше пепперони, посыпать ее зеленью или убрать из пиццы оливки.

Для обучения и тестирования нейросети использовались как реальные фотографии, так и изображения в стиле клип-арт. В первом случае использовалось несколько тысяч фотографий, найденных в Instagram, во втором — 5.5 тысяч артов, автоматически сгенерированных разработчиками PizzaGAN.

По оценке разработчиков, сейчас PizzaGAN правильно распознает порядок расположение ингредиентов в 88% случаев. Другими словами, нейросеть понимает, что если ей нужно убрать оливки, то на их месте следует нарисовать, например, тесто и сыр, а не пепперони.

Кроме того, нейросеть умеет «готовить» пиццу: если обработать соответствующим фильтром фотографию сырой пиццы, она будет выглядеть примерно так же, как если бы уже побывала в печи. Обратная процедура тоже возможна, но с ней нейросеть справляется не так хорошо.