Как обсерватория имени Веры Рубин обработает 500 петабайт данных за 10 лет

Каждый день планируется собирать до 20 терабайт данных.

В конце июня команда обсерватории имени Веры Рубин опубликовала первый свет своего телескопа, вскоре начнется полноценный сбор данных о космосе. Этих данных будет чрезвычайно много, и ученым пришлось заранее подготовиться к их хранению и обработке.

Уже в ближайшие месяцы обсерватория имени Веры Рубин начнет собирать до 20 терабайт данных каждую ночь. Это в десятки раз больше данных, чем генерировали любые другие телескопы.

В ходе проекта Legacy Survey of Space and Time, рассчитанного на 10 лет, обсерваторией будет накоплено порядка 500 петабайт данных. Ежедневно будет формироваться до 10 миллионов астрономических оповещений, каждое из которых будет передаваться ученым менее чем через две минуты после обнаружения.

Для обработки этих массивов данных создана распределенная вычислительная сеть. Основной центр обработки размещен в Национальной ускорительной лаборатории SLAC в Калифорнии, у него выделенный канал связи с обсерваторией; копии данных направляются во Францию и Великобританию.

Для фильтрации ежедневных миллионов оповещений используются специальные сервисы, так называемые брокеры. Всего в проекте есть семь таких систем, созданных учеными из разных стран.

Брокеры автоматически классифицируют и сортируют события по заданным параметрам. Например, британский брокер Lasair специализируется на поиске кратковременных событий, а чилийская система ALeRCE использует машинное обучение для быстрой классификации сигналов.

Все материалы будут храниться в облаке, за управление доступом к ним отвечает система Data Butler. Она предоставляет ученым удобный доступ к данным через специализированные запросы, не требуя скачивания больших массивов информации.

Опыт, полученный при создании системы хранения и обработки данных для обсерватории имени Веры Рубин, будет использован и в других крупных проектах, включая строящийся радиотелескоп Square Kilometre Array. Предполагается, что SKA будет генерировать еще больше данных.