Документ взят из кэша поисковой машины. Адрес оригинального документа : http://vo.astronet.ru/wiki/vak-2010?rev=1274803554
Дата изменения: Unknown
Дата индексирования: Mon Apr 11 12:11:44 2016
Кодировка: UTF-8
Поисковые слова: m 44
vak-2010 [SAI Virtual Observatory - Wiki]
Show pagesource Old revisions

This is an old revision of the document!

Базы данных в астрономии - практический подход

В докладе рассматриваются основные требования, предъявляемые современной астрономией к системам управления базами данных. Показывается, что основная часть методик редукции и анализа данных, получаемых в экспериментах либо при численном моделировании, может быть сведена к набору локальных и нелокальных операций с многомерными массивами. Они, таким образом, должны послужить основой научно-ориентированных баз данных ...

Основные требования к научным данным - воспроизводимость (и версионность?..). Необходимость хранения сырых данных, а не только результатов их обработки. Хранение рецептов совместно с исходными данными?..

Данные - массивы, sensor-oriented. одномерные, двумерные, трехмерные (+время), ...

Основные типы операций

  • Кукинг
  • дата-майнинг
  • Обмен данными
  • поиск данных

требования к СУБД? ориентированность на массивы, write once read many, версионность

основные требования к science-ready научным данным

  1. метаданные (metadata)
  2. происхождение (provenance)

метаданные: (data about data) - FITS-заголовки - заголовки в VOTable - UID

происхождение данных:

  1. исходные данные + рецепты
  2. каталоги - четкие критерии отбора

основные типы данных:

  1. каталоги
    1. радиальные запросы / conesearch, кросс-отождествления / crossmatch
      1. сферические индексы - q3c, htm, healpix
  2. спектры
    1. калибровки - сложение и умножение
    2. выделение особенностей
      1. определение континуума
      2. аппроксимация профилей
  3. временные ряды
    1. калибровки - сложение, умножение итд
    2. агрегаты - среднее, дисперсия, индекс дисперсии, ...
    3. бинирование
    4. нелокальные операции - сглаживание, фурье, вейвлеты
    5. выделение особенностей
  4. изображения
    1. калибровки - сложение и умножение
    2. аффинные преобразования - поворот, сдвиг, масштабирование, ...
    3. нелокальные преобразования - сглаживание, вейвлеты
    4. выделение объектов
      1. пороговая обработка
      2. апертурная фотометрия
      3. PSF-фотометрия
      4. классификация по форме
  5. широкоугольные обзоры / all-sky surveys
    1. оптические
      1. набор изображений - все как обычно
    2. CMB
      1. сферические карты
        1. пикселизация - healpix
        2. нелокальные операции на сфере - спектры мощности итд
    3. рентген, гамма, ...
      1. многомерные фотонные листы
        1. координаты, время прихода и энергия каждого кванта
        2. многомерная фильтрация
          1. построение изображений - фильтрация по времени и энергии
          2. построение спектров - фильтрация по координатам и времени
          3. построение кривых блеска - фильтрация по координатам и энегрии
  6. данные симуляций
    1. многомерные массивы
      1. фильтрация
      2. версионность - развитие симуляции во времени, эволюция

1. Синтетические данные, данные расчетов тоже надо рассматривать как “сырые” данные пример - задача N-body, эволюция Вселенной хранив снэпшоты в бд можно не только восстанавливать счет после остановки, но и прослеживать эволюцию отдельных частиц 2. супер-проблема “вечного” хранения сырых данных что значит вечное: нужно иметь совместимость железок для чтения данных - куча лент, дискет валяется, а прочти нельзя. нужно иметь совместимость форматов, даже если прочитаешь, нужно понять

vak-2010.1274803554.txt.gz · Last modified: 2010/05/25 20:05 by karpov
Back to top
SAI VO | Astronet | SAI MSU | Legal Information
RFBR