Как нейронные сети помогли воссоздать мир в Microsoft Flight Simulator

Только над технологией генерации работала команда из полусотни человек.

В новом Microsoft Flight Simulator воссоздан весь земной шар, но вручную разработчики создавали модели только наиболее известных объектов. Весь остальной мир был заполнен домами и деревьями при помощи алгоритмов автоматической генерации.

Созданием этих алгоритмов занялась австрийская команда Blackshark.ai. Для генерации объектов на поверхности Земли здесь разработали комбинацию нейронных сетей, в качестве исходных данных получающих спутниковые и панорамные снимки из сервиса Bing.

Анализируя спутниковые снимки, нейронные сети разбивают их на фрагменты, а затем вычленяют и классифицируют здания, дороги и растительность. Для каждого из зданий искусственный интеллект определяет набор характеризующих его атрибутов.

Это может быть, например, этажность и стиль постройки, количество окон, балконов и других мелких деталей, которые можно распознать по снимкам. Затем, ориентируясь на эти атрибуты, нейронная сеть создает виртуальную копию здания.

Его внешние особенности — например, цвет фасада или дизайн окон — задаются с учетом географического расположения постройки. В общей сложности нейросети распознали и создали виртуальные копии примерно для 1.5 миллиарда зданий.

После этого здания, дороги и растения размещаются в виртуальном мире примерно там же, где они находятся в реальности. Нейронные сети могут работать с ограниченным набором данных: если нет полной информации, система может додумать вид здания.

На обработку спутниковых и панорамных снимков со всей планеты уходит около 72 часов. Нейросети запускаются на серверах Azure, облачного сервиса Microsoft, во время обработки им приходится иметь дело с несколькими петабайтами данных.

На выходе нейронные сети генерируют порядка 1.5 миллиарда цифровых отпечатков, использующихся для генерации виртуального мира. Алгоритмы еще будут улучшаться: со временем виртуальный мир Microsoft Flight Simulator станет реалистичнее.