This is an old revision of the document!
Базы данных в астрономии - практический подход
В докладе рассматриваются основные требования, предъявляемые современной астрономией к системам управления базами данных. Показывается, что основная часть методик редукции и анализа данных, получаемых в экспериментах либо при численном моделировании, может быть сведена к набору локальных и нелокальных операций с многомерными массивами. Они, таким образом, должны послужить основой научно-ориентированных баз данных ...
Основные требования к научным данным - воспроизводимость (и версионность?..). Необходимость хранения сырых данных, а не только результатов их обработки. Хранение рецептов совместно с исходными данными?..
Данные - массивы, sensor-oriented. одномерные, двумерные, трехмерные (+время), ...
Основные типы операций
- Кукинг
- дата-майнинг
- Обмен данными
- поиск данных
требования к СУБД? ориентированность на массивы, write once read many, версионность
основные требования к science-ready научным данным
- метаданные (metadata)
- происхождение (provenance)
метаданные: (data about data) - FITS-заголовки - заголовки в VOTable - UID
происхождение данных: - исходные данные + рецепты - каталоги - четкие критерии отбора
основные типы данных: - каталоги
- радиальные запросы / conesearch, кросс-отождествления / crossmatch
- сферические индексы - q3c, htm, healpix
- спектры
- калибровки - сложение и умножение
- выделение особенностей
- определение континуума
- аппроксимация профилей
- временные ряды
- калибровки - сложение, умножение итд
- агрегаты - среднее, дисперсия, индекс дисперсии, ...
- бинирование
- нелокальные операции - сглаживание, фурье, вейвлеты
- выделение особенностей
- изображения
- калибровки - сложение и умножение
- аффинные преобразования - поворот, сдвиг, масштабирование, ...
- нелокальные преобразования - сглаживание, вейвлеты
- выделение объектов
- пороговая обработка
- апертурная фотометрия
- PSF-фотометрия
- классификация по форме
- широкоугольные обзоры / all-sky surveys
- оптические
- набор изображений - все как обычно
- CMB
- сферические карты
- пикселизация - healpix
- нелокальные операции - спектры мощности итд
- рентген, гамма, ...
- многомерные фотонные листы
- координаты, время прихода и энергия каждого кванта
- многомерная фильтрация
- построение изображений - фильтрация по времени и энергии
- построение спектров - фильтрация по координатам и времени
- построение кривых блеска - фильтрация по координатам и энегрии
