Когда в 2025 году обсерватория Веры К. Рубин заработает, она станет одним из самых мощных инструментов, доступных астрономам, каждую ночь снимая огромные участки неба с помощью 8,4-метрового зеркала и 3,2-гигапиксельной камеры. Каждое изображение будет анализироваться в течение 60 секунд, предупреждая астрономов о кратковременных событиях, таких как сверхновые. Невероятные пять петабайт (5000 терабайт) новых необработанных изображений будут записываться каждый год и предоставляться астрономам для изучения.
Неудивительно, что астрономам не терпится получить в свои руки данные высокого разрешения. В новом документе описывается, как огромные объемы данных будут обрабатываться, организовываться и распространяться. Весь процесс потребует нескольких объектов на трех континентах в течение запланированного десятилетнего исследования.
Обсерватория Рубин — наземный телескоп, расположенный высоко в чилийских Андах. 8,4-метровый обзорный телескоп Симони обсерватории будет использовать цифровую камеру с самым высоким разрешением в мире, которая также включает в себя самый большой в мире объектив типа «рыбий глаз». Камера размером примерно с небольшой автомобиль и весит почти 2800 кг (6200 фунтов). Этот обзорный телескоп быстро движется и сможет сканировать все видимое небо в южном полушарии каждые четыре ночи.
«Автоматическое обнаружение и классификация небесных объектов будет выполняться с помощью сложных алгоритмов на изображениях высокого разрешения для постепенного создания астрономического каталога, в конечном итоге состоящего из 20 миллиардов галактик и 17 миллиардов звезд и связанных с ними физических свойств», — пишут Фабио Эрнандес, Джордж Беккет, Питер Кларк и несколько других астрономов в своем препринте.
Основным проектом обсерватории Рубин является «Наследие обзора пространства и времени» (LSST), и исследователи ожидают, что этот проект соберет данные о более чем 5 миллионах объектов пояса астероидов, 300 000 троянов Юпитера, 100 000 околоземных объектов и более чем 40 000 объектов пояса Койпера. объекты. Поскольку Рубин сможет составлять карты видимого ночного неба каждые несколько дней, многие из этих объектов будут наблюдаться сотни раз.
Благодаря повторным наблюдениям телескопа огромный объем данных поможет вычислить положения и орбиты всех этих объектов.
Изображения и данные будут немедленно передаваться с телескопа на базовый объект и в чилийский центр доступа к данным в Ла-Серене, Чили, а затем поступать в три центра обработки данных «Рубин» по выделенным высокоскоростным сетям, соединяющим эти площадки: французский центр обработки данных CC-IN2P3 в Лион, Франция, Центр обработки данных Великобритании, сеть IRIS в Великобритании и Центр обработки данных и доступа к данным США в Национальной ускорительной лаборатории SLAC в Калифорнии, США. Существует также штаб-квартира Ассоциации университетов астрономических исследований (AURA) в Тусоне, штат Аризона, США.
После того, как изображения будут сделаны, они будут обработаны в трех разных временных рамках: оперативно, ежедневно и ежегодно. В статье Эрнандеса и др. описывается, как необработанные изображения, собранные каждую ночь наблюдений, будут быстро обрабатываться (в течение 60 секунд), а объекты, изменившие яркость или положение, будут генерировать и выдавать предупреждения для «обнаружения переходных процессов». Для этого процесса, известного как оперативная обработка, не будет специального периода, связанного с оповещениями, и они будут доступны общественности немедленно, поскольку цель состоит в том, чтобы быстро передать практически всю информацию о любом конкретном событии, чтобы обеспечить быструю классификацию и принятие решений. По оценкам ученых, технология быстрой обработки может генерировать миллионы предупреждений за ночь.
Ежедневные продукты, выпущенные в течение 24 часов после наблюдения, будут включать изображения той ночи. Ежегодные кампании будут повторно обрабатывать весь набор изображений, собранный с начала исследования.
Для каждого выпуска данных будут необработанные и калибровочные изображения в дополнение к готовым к научным исследованиям изображениям, обработанным с помощью обновленных научных алгоритмов. Также будут каталоги со свойствами всех обнаруженных астрофизических объектов.
«Объем выпущенных информационных продуктов, генерируемых в результате ежегодной обработки накопленного набора необработанных изображений, в среднем в 2,3 раза превышает размер входного набора данных за этот год и, по оценкам, к концу исследования достигнет более ста петабайт». » — написали астрономы. Они также заявили, что за десятилетнее исследование объем данных, опубликованных для научного анализа, по оценкам, увеличится на один порядок.
Обсерватория Рубина будет использовать несколько видов информационных продуктов и услуг для архивирования и распространения данных среди различных научных коллабораций. В документе говорится, что «Научные конвейеры» Rubin LSST состоят из около 80 различных типов задач, которые все реализуются поверх общей базы алгоритмического кода и специализированного программного обеспечения. Существует функция, называемая Data Butler, которая представляет собой программную систему, которая абстрагирует детали доступа к данным (включая местоположение данных, формат данных и протоколы доступа).
Каждый год будет выпускаться выпуск данных, который будет доступен для научного сотрудничества для использования в исследованиях по четырем основным направлениям науки: исследование темной материи и темной энергии, инвентаризация объектов Солнечной системы, исследование переходного оптического неба и картирование Млечного Пути.
Этот ежегодный выпуск позволит повторно обработать, объединить и автоматически измерить все снимки, сделанные на сегодняшний день, чтобы получить все более глубокую картину всего южного неба, а также растущий каталог астрономических объектов, который покажет, как каждый из них изменился с течением времени. Эта ежегодная обработка данных будет осуществляться на трех центрах обработки данных, а окончательный набор данных будет собран в SLAC и предоставлен астрономам и физикам через научную платформу Рубина.
Сейчас ожидается, что данные обсерватории Рубин станут полностью общедоступными через два года. Вопрос о том, как можно получить доступ к общедоступным данным и как этот доступ можно профинансировать, все еще находится в стадии разработки.
Более подробную информацию и информацию можно найти на сайте обсерватории Веры Рубин.
Документ: Обзор инфраструктуры распределенной обработки изображений для создания устаревшего исследования пространства и времени.
