Документ взят из кэша поисковой машины. Адрес оригинального документа : http://mavr.sao.ru/Doc-k8/Events/2010/VAK/Tezisi/291_VAK10_2.doc Дата изменения: Thu Sep 2 15:21:08 2010 Дата индексирования: Sat Sep 11 21:15:41 2010 Кодировка: koi8-r Поисковые слова: south pole

Архивная система САО РАН. Сопровождение и модернизация.

О.П. Желенкова, В.В. Витковский, Т.А. Пляскина

В архивную систему обсерватории включены 16 цифровых коллекций
наблюдательных данных (локальных архивов), полученных на разных приборах,
работающих или работавших на телескопах обсерватории. В настоящее время
активно пополняются и сопровождаются 6 локальных архивов, а остальные
сопровождаются. Архивная система состоит из хранилища цифровых данных и
информационно-поисковой системы (ИПС) на базе СУБД PostgreSQL 8.3.7 с веб-
интерфейсом и сетевым доступом. Хранилище данных включает область
временного хранения, расположенную на файл-сервере БТА, и область
постоянного хранения. Область постоянного хранения располагается на CD/DVD-
дисках, жестком диске выделенного архивного сервера и USB-диске большой
емкости. Для обеспечения сохранности данных при аварийных ситуациях от
возникающих дефектов на носителях или сбоев оборудования мы храним
несколько копий данных - 2 полные копии на CD/DVD-дисках, две копии архива
на винчестере. Одна повторяет оптические диски (A0), другая копия (A1),
несколько по структуре каталогов модифицированная, собственно используется
ИПС. В настоящее время все цифровые носители и устройства чтения-записи
данных нельзя отнести к устройствам длительного хранения, поэтому для
обеспечения сохранности цифровых данных на долгий срок необходимо
планировать периодическое переписывание информации. Подобная информация
производилось для части данных в конце 90-х, когда данные с ленточных
носителей были перенесены на оптические диски. Копии архива A0 и A1 мы
поддерживаем также и для процедуры переписывания, если таковая потребуется.
Вариант архивных данных (A1) повторен на USB-диске с добавлением дампа
таблиц схемы и программ - это резервная копия для восстановления
информационной системы при аварийной ситуации на сервере и/или переносе
системы на другую платформу. Для проведения модернизации ИПС мы
поддерживаем две схемы базы данных - тестовую и рабочую. Разработки ведутся
на тестовой схеме. После проверки ИПС переключается на обновленную версию
БД. Оригинальная копия A0 и наличие тестовой схемы позволяют выполнять
модернизацию ИПС даже на уровне таблиц.
Объем архивных данных ~ 540ГБ. В нем хранятся «сырые» данные. Всего
файлов ~289375, наблюдательные данные, включая и радиодиапазон, составляют
~81%, журналы наблюдений ~1%, вспомогательные файлы ~5%, без категории -
13%. К наблюдательным файлам относятся научные данные с наблюдениями
изучаемых небесных объектов и сервисные данные, используемые при редукции
(байесы, темновые кадры, плоские поля, стандарты). Из 215137 наблюдательных
файлов, полученных на оптических телескопах, 92% - FITS-файлы. Из этих
данных: файлы с наблюдениями объектов (OBJ) составляют ~56%, байесы (BS)
~19%, темновые кадры (DK) ~2%, плоские поля (FF) ~11%, стандартные лампы
(ST) ~10%, а также те файлы, для которых тип данных не определяется
программным алгоритмом (undf) ~1%. По данным ИПС в проведении наблюдений на
оптических телескопах принимало участие 255 наблюдателей, выполнено 1102
программ, наблюдалось ~3900 целей.
Каждый файл с наблюдениями описывается в таблицах базы данных набором
из ~60 параметров. Таблицы ИПС разбиты на три группы по частоте добавления
в них новых записей. К первой группе относятся справочные таблицы, которые
заполняются при создании схемы базы данных. Новые записи могут появиться
только, когда в ИПС добавляется новый локальный архив. Ко второй группе
относятся справочные таблицы, которые могут пополняться новыми записями при
анализе впервые вносимого в поисковую систему CD/DVD-диска, например, новая
программа наблюдений, наблюдатель, тип файла и т.п. Добавление записи
происходит программно. Третья группа - это таблицы с данными о каждом
архивированном файле. Записи добавляются в них при внесении нового CD/DVD-
диска, и при заполнении полей этих записей используются таблицы первых двух
групп. Особое место занимает таблица, связывающая атрибуты таблиц, хранящих
информацию о наблюдательных файлах, с ключевыми словами FITS-заголовков и
UCD.
Открытый веб-доступ к наблюдательным данным общего архива обсерватории
реализован в трехзвенной архитектуре «клиент»-«сервер приложений»-«сервер
БД» на базе интерфейсов CGI и DBI/DBD и Perl-программ. Имеются три версии
интерфейса - пользовательский на русском и английском и интерфейс
администратора, который отличается выводом дополнительной информации для
локализации файлов в области хранения.
В архиве нет жестких ограничений на формат файлов, поэтому добавление
новых локальных архивов не вызывает трудностей при соблюдении достаточно
простых правил, которые определяют внутреннюю структуру архивного CD/DVD-
диска.