Все новости
Это интересно
Сейчас читают
Наука
Аватар Evernews Evernews

Как обсерватория имени Веры Рубин обработает 500 петабайт данных за 10 лет

0
0
Поделиться
Телеграфировать

Каждый день планируется собирать до 20 терабайт данных.

Как обсерватория имени Веры Рубин обработает 500 петабайт данных за 10 лет

В конце июня команда обсерватории имени Веры Рубин опубликовала первый свет своего телескопа, вскоре начнется полноценный сбор данных о космосе. Этих данных будет чрезвычайно много, и ученым пришлось заранее подготовиться к их хранению и обработке.

Уже в ближайшие месяцы обсерватория имени Веры Рубин начнет собирать до 20 терабайт данных каждую ночь. Это в десятки раз больше данных, чем генерировали любые другие телескопы.

В ходе проекта Legacy Survey of Space and Time, рассчитанного на 10 лет, обсерваторией будет накоплено порядка 500 петабайт данных. Ежедневно будет формироваться до 10 миллионов астрономических оповещений, каждое из которых будет передаваться ученым менее чем через две минуты после обнаружения.

Для обработки этих массивов данных создана распределенная вычислительная сеть. Основной центр обработки размещен в Национальной ускорительной лаборатории SLAC в Калифорнии, у него выделенный канал связи с обсерваторией; копии данных направляются во Францию и Великобританию.

Для фильтрации ежедневных миллионов оповещений используются специальные сервисы, так называемые брокеры. Всего в проекте есть семь таких систем, созданных учеными из разных стран.

Брокеры автоматически классифицируют и сортируют события по заданным параметрам. Например, британский брокер Lasair специализируется на поиске кратковременных событий, а чилийская система ALeRCE использует машинное обучение для быстрой классификации сигналов.

Все материалы будут храниться в облаке, за управление доступом к ним отвечает система Data Butler. Она предоставляет ученым удобный доступ к данным через специализированные запросы, не требуя скачивания больших массивов информации.

Опыт, полученный при создании системы хранения и обработки данных для обсерватории имени Веры Рубин, будет использован и в других крупных проектах, включая строящийся радиотелескоп Square Kilometre Array. Предполагается, что SKA будет генерировать еще больше данных.

Читать далее
Сколько вы тратите на игры за год?
Больше 100000 рублей
438 голосов, 6.0%
От 50000 до 100000 рублей
274 голоса, 3.7%
От 25000 до 50000 рублей
325 голосов, 4.4%
От 10000 до 25000 рублей
611 голосов, 8.3%
До 10000 рублей
1417 голосов, 19.3%
Нисколько, я пират. Йо-хо-хо!
4280 голосов, 58.3%
Теги: Наука, Космос, Технологии
Аватар Evernews
Evernews
8074 подписчика