Искусственный интеллект потребительского уровня проникает в повседневную жизнь людей благодаря своей способности генерировать текст и изображения, а также автоматизировать задачи. Но астрономам нужен гораздо более мощный специализированный ИИ. Огромные объемы данных наблюдений, генерируемые современными телескопами и обсерваториями, не поддаются попыткам астрономов извлечь из них весь смысл.
Команда ученых разрабатывает новый ИИ для астрономических данных под названием AstroPT. Они представили это в новой статье под названием «AstroPT: масштабирование больших моделей наблюдений для астрономии». Статья доступна на arxiv.org, а ее ведущий автор — Майкл Дж. Смит, специалист по данным и астроном из Aspia Space.
Астрономы сталкиваются с растущим потоком данных, который значительно увеличится, когда в 2025 году заработает Обсерватория Веры Рубин (VRO). У VRO самая большая в мире камера, и каждое из ее изображений может заполнить 1500 телевизоров с большим экраном. За свою десятилетнюю миссию VRO сгенерирует около 0,5 экзабайта данных, что примерно в 50 000 раз больше данных, чем содержится в Библиотеке Конгресса США.
Другие телескопы с огромными зеркалами также приближаются к первому свету. Гигантский Магелланов телескоп, Тридцатиметровый телескоп и Европейский чрезвычайно большой телескоп вместе генерируют огромное количество данных.
Иметь данные, которые невозможно обработать, — это то же самое, что не иметь данных вообще. По сути, он инертен и не имеет смысла, пока его каким-то образом не обработают. «Когда у вас слишком много данных и нет технологий для их обработки, это похоже на отсутствие данных», — сказала Сесилия Гарраффо, вычислительный астрофизик из Гарвард-Смитсоновского центра астрофизики.
Здесь на помощь приходит AstroPT.
AstroPT расшифровывается как Astro Pretrained Transformer, где трансформатор — это особый тип ИИ. Трансформаторы могут изменять или преобразовывать входную последовательность в выходную последовательность. ИИ необходимо обучать, и AstroPT был обучен на 8,6 миллионах изображений размером 512 x 512 пикселей из 8-го выпуска данных DESI Legacy Survey. DESI — это спектроскопический инструмент темной энергии. DESI изучает влияние темной энергии, фиксируя оптические спектры десятков миллионов галактик и квазаров.
AstroPT и аналогичные ИИ имеют дело с «токенами». Токены — это визуальные элементы в большом изображении, несущие смысл. Разбивая изображения на токены, ИИ может понять более широкий смысл изображения. AstroPT может преобразовывать отдельные токены в последовательный вывод.
AstroPT прошел обучение на визуальных токенах. Идея состоит в том, чтобы научить ИИ предсказывать следующий токен. Чем тщательнее его этому обучат, тем лучше он будет работать.
«Мы продемонстрировали, что простые генеративные модели авторегрессии могут получить полезную с научной точки зрения информацию, если их предварительно обучить суррогатной задаче прогнозирования следующего участка размером 16 × 16 пикселей в последовательности фрагментов изображения галактики», — пишут авторы. В этой схеме каждый патч изображения является токеном.
Одно из препятствий на пути обучения ИИ, такого как AstroPT, связано с тем, что ученые в области ИИ называют «кризисом токенов». Чтобы быть эффективным, ИИ должен быть обучен на большом количестве качественных токенов. В статье 2023 года отдельная группа исследователей объяснила, что отсутствие токенов может ограничить эффективность некоторых ИИ, таких как LLM или модели большого языка. «Современные программы LLM требуют огромных объемов текстовых данных в масштабе Интернета для предварительного обучения», — говорится в статье. «К сожалению,… темпы роста высококачественных текстовых данных в Интернете значительно
медленнее, чем темпы роста данных, необходимые для LLM».
AstroPT сталкивается с той же проблемой: нехваткой качественных токенов для обучения. Как и другие ИИ, он использует LOM или большие модели наблюдения. Команда говорит, что их результаты показывают, что AstroPT может решить кризис токенов, используя данные наблюдений. «Это многообещающий результат, который предполагает, что данные, полученные из наук о наблюдениях, будут дополнять данные из других областей, когда они используются для предварительного обучения одного мультимодального LOM, и, таким образом, указывает на использование данных наблюдений в качестве одного из решений «кризиса токенов». ».
Разработчики ИИ стремятся найти решения кризиса токенов и других проблем ИИ.
Без лучшего искусственного интеллекта узкое место в обработке данных не позволит астрономам и астрофизикам делать открытия на основе огромных объемов данных, которые вскоре поступят. Может ли АстроПТ помочь?
Авторы надеются, что это возможно, но для этого требуется гораздо больше развития. Они говорят, что открыты для сотрудничества с другими для укрепления AstroPT. Чтобы добиться этого, они как можно точнее следовали «нынешним ведущим моделям сообщества». Они называют это «проектом, открытым для всех».
«Мы приняли эти решения, полагая, что совместное развитие сообщества прокладывает самый быстрый путь к реализации крупномасштабной веб-модели наблюдения с открытым исходным кодом», — пишут они.
«Мы горячо приглашаем потенциальных сотрудников присоединиться к нам», — заключают они.
Будет интересно посмотреть, как разработчики ИИ будут справляться с огромным количеством астрономических данных, поступающих на наш путь.
