В докладе рассматриваются основные требования, предъявляемые современной астрономией к системам управления базами данных. Показывается, что основная часть методик редукции и анализа данных, получаемых в экспериментах либо при численном моделировании, может быть сведена к набору локальных и нелокальных операций с многомерными массивами. Они, таким образом, должны послужить основой научно-ориентированных баз данных ...

Основные требования к научным данным - воспроизводимость (и версионность?..). Необходимость хранения сырых данных, а не только результатов их обработки. Хранение рецептов совместно с исходными данными?..

Данные - массивы, sensor-oriented. одномерные, двумерные, трехмерные (+время), ...

Основные типы операций

• Кукинг
• дата-майнинг
• Обмен данными
• поиск данных

требования к СУБД? ориентированность на массивы, write once read many, версионность

основные требования к science-ready научным данным

1. метаданные (metadata)
2. происхождение (provenance)

метаданные: (data about data) - FITS-заголовки - заголовки в VOTable - UID

происхождение данных:

1. исходные данные + рецепты
2. каталоги - четкие критерии отбора

основные типы данных:

1. каталоги
   1. радиальные запросы / conesearch, кросс-отождествления / crossmatch
      1. сферические индексы - q3c, htm, healpix
2. спектры
   1. калибровки - сложение и умножение
   2. выделение особенностей
      1. определение континуума
      2. аппроксимация профилей
3. временные ряды
   1. калибровки - сложение, умножение итд
   2. агрегаты - среднее, дисперсия, индекс дисперсии, ...
   3. бинирование
   4. нелокальные операции - сглаживание, фурье, вейвлеты
   5. выделение особенностей
4. изображения
   1. калибровки - сложение и умножение
   2. аффинные преобразования - поворот, сдвиг, масштабирование, ...
   3. нелокальные преобразования - сглаживание, вейвлеты
   4. выделение объектов
      1. пороговая обработка
      2. апертурная фотометрия
      3. PSF-фотометрия
      4. классификация по форме
5. широкоугольные обзоры / all-sky surveys
   1. оптические
      1. набор изображений - все как обычно
   2. CMB
      1. сферические карты
         1. пикселизация - healpix
         2. нелокальные операции на сфере - спектры мощности итд
   3. рентген, гамма, ...
      1. многомерные фотонные листы
         1. координаты, время прихода и энергия каждого кванта
         2. многомерная фильтрация
            1. построение изображений - фильтрация по времени и энергии
            2. построение спектров - фильтрация по координатам и времени
            3. построение кривых блеска - фильтрация по координатам и энегрии
6. данные симуляций
   1. многомерные массивы
      1. фильтрация
      2. версионность - развитие симуляции во времени, эволюция

1. Синтетические данные, данные расчетов тоже надо рассматривать как “сырые” данные пример - задача N-body, эволюция Вселенной хранив снэпшоты в бд можно не только восстанавливать счет после остановки, но и прослеживать эволюцию отдельных частиц 2. супер-проблема “вечного” хранения сырых данных что значит вечное: нужно иметь совместимость железок для чтения данных - куча лент, дискет валяется, а прочти нельзя. нужно иметь совместимость форматов, даже если прочитаешь, нужно понять