Базы данных и астрономия - практический подход
Бартунов Олег Сергеевич
Карпов Сергей Валентинович
В настоящее время астрономия переживает взрывной рост объемов получаемых в результате наблюдений и моделирования данных. Их эффективное хранение становится проблемой, сравнимой по важности с собственно анализом. В докладе мы анализируем причины такого “информационного взрыва” и описываем цели и задачи, стоящие в связи с ним перед Виртуальной Обсерваторией – в первую очередь, разработку стандартов и технологий удаленного и программного доступа к данным. Также мы рассматриваем основные требования, предъявляемые к современной научной информации, такие, как воспроизводимость получаемых результатов, версионность, контролируемость ее происхождения итд. Очевидным способом долговременного надежного хранения информации являются системы управления базами данных (СУБД). Мы обсуждаем, насколько хорошо различные виды астрономической информации - каталоги, спектры, изображения, временные ряды, результаты симуляций итд - совместимы с реляционной моделью, используемой в наиболее распространенных СУБД и формулируем требования к специализированным системам, оптимальным для хранения и анализа научной информации.
В докладе рассматриваются основные требования, предъявляемые современной астрономией к системам управления базами данных. Показывается, что основная часть методик редукции и анализа данных, получаемых в экспериментах либо при численном моделировании, может быть сведена к набору локальных и нелокальных операций с многомерными массивами. Они, таким образом, должны послужить основой научно-ориентированных баз данных ...
Основные требования к научным данным - воспроизводимость (и версионность?..). Необходимость хранения сырых данных, а не только результатов их обработки. Хранение рецептов совместно с исходными данными?..
Данные - массивы, sensor-oriented. одномерные, двумерные, трехмерные (+время), ...
Основные типы операций
- Кукинг
- дата-майнинг
- Обмен данными
- поиск данных
требования к СУБД? ориентированность на массивы, write once read many, версионность
основные требования к science-ready научным данным
- метаданные (metadata)
- происхождение (provenance)
метаданные: (data about data) - FITS-заголовки - заголовки в VOTable - UID
происхождение данных:
- исходные данные + рецепты
- каталоги - четкие критерии отбора
основные типы данных:
- каталоги
- радиальные запросы / conesearch, кросс-отождествления / crossmatch
- сферические индексы - q3c, htm, healpix
- спектры
- калибровки - сложение и умножение
- выделение особенностей
- определение континуума
- аппроксимация профилей
- временные ряды
- калибровки - сложение, умножение итд
- агрегаты - среднее, дисперсия, индекс дисперсии, ...
- бинирование
- нелокальные операции - сглаживание, фурье, вейвлеты
- выделение особенностей
- изображения
- калибровки - сложение и умножение
- аффинные преобразования - поворот, сдвиг, масштабирование, ...
- нелокальные преобразования - сглаживание, вейвлеты
- выделение объектов
- пороговая обработка
- апертурная фотометрия
- PSF-фотометрия
- классификация по форме
- широкоугольные обзоры / all-sky surveys
- оптические
- набор изображений - все как обычно
- CMB
- сферические карты
- пикселизация - healpix
- нелокальные операции на сфере - спектры мощности итд
- рентген, гамма, ...
- многомерные фотонные листы
- координаты, время прихода и энергия каждого кванта
- многомерная фильтрация
- построение изображений - фильтрация по времени и энергии
- построение спектров - фильтрация по координатам и времени
- построение кривых блеска - фильтрация по координатам и энегрии
- данные симуляций
- многомерные массивы
- фильтрация
- версионность - развитие симуляции во времени, эволюция
1. Синтетические данные, данные расчетов тоже надо рассматривать как “сырые” данные пример - задача N-body, эволюция Вселенной хранив снэпшоты в бд можно не только восстанавливать счет после остановки, но и прослеживать эволюцию отдельных частиц 2. супер-проблема “вечного” хранения сырых данных что значит вечное: нужно иметь совместимость железок для чтения данных - куча лент, дискет валяется, а прочти нельзя. нужно иметь совместимость форматов, даже если прочитаешь, нужно понять
