Waymo построила мировую модель с помощью такси и Genie 3

В компании утверждают, что речь идет не просто о дообучение Genie 3 на данных с камер.

Компания Waymo, управляющая сервисом беспилотных такси, рассказала о создании новой системы симуляций для обучения автопилота — Waymo World Model. Это мировая модель, созданная с помощью Genie 3 от DeepMind.

Waymo World Model предназначена для генерации реалистичных сценариев, помогающих Waymo оценивать работу своего автопилота в условиях, которые сложно или невозможно зафиксировать в реальных поездках.

В частности, модель позволяет воспроизводить нетипичные для конкретных регионов условия: например, снегопад в Сан-Франциско или нестандартные препятствия на дороге, не встречающиеся в реальной жизни.

Мировая модель дает инженерам компании возможность изменять параметры уже существующих видеозаписей: погоду, время суток, дорожную разметку, расположение транспортных средств и маршрут движения автомобиля. Примечательно, что модель выдает не только видеопоток.

Waymo совместно с DeepMind дообучила модель так, чтобы она синхронно генерировала как видео с камер, так и 3D-данные лидара. В компании подчеркивают, что лидар остается ключевым источником информации для работы автопилота как в реальных поездках, так и в ходе тестов.

Дополнительным применением модели стало обогащение сторонних роликов. Обычные записи с дорожных регистраторов не содержат данных от сенсоров, но при обработке в Waymo World Model к ним можно сгенерировать согласованные данные лидара и других датчиков.

Согласно подсчетам компании, автомобили Waymo проехали в реальном мире несколько сотен миллионов километров — и эти данные используются для тестирования и дообучения ИИ. А в виртуальности счет идет уже на миллиарды километров.