Документ взят из кэша поисковой машины. Адрес оригинального документа : http://sed.sao.ru/~vo/rad_prob/rad_problems.html
Дата изменения: Tue Jun 5 19:18:10 2007
Дата индексирования: Mon Oct 1 20:40:29 2012
Кодировка: koi8-r
Some problems of radio astronomical data analysis Выход на текущий сервер sed.sao.ru             Другие лекции

Некоторые проблемы анализа радиоастрономических данных

Лекция для студентов (полная gzipped PostScript версия (950k) здесь)

Верходанов О.В.

Специальная Астрофизическая обсерватория, 1999 г.

Ключевые слова: радиоастрономия, методы обработки данных, алгоритмы обработки, форматы данных, FITS, полнота обзоров, Linux

Оглавление

Введение

Наверное каждый астроном-наблюдатель, желая исследовать самые интересные объекты, иногда задается вопросом: ``А нужно ли это делать ?''. Этот вопрос связан не только со смыслом существования конкретного человека, но, в большей степени, с его техническим и информационным оснащением.

Опыт последних поколений молодых людей, приходящих в астрономические институты, показывает, что первое, с чем им приходится сталкиваться, - это проблемы, связанные с техническим и программным обеспечением и обработкой полученных данных. От уровня реализации этих задач часто зависит успех молодого ученого. К счастью, многие проблемы автоматизации эксперимента на уровне программного обеспечения сейчас уже решены. И то, что занимало порой несколько недель (например, поиск необходимой статьи), теперь может быть решено за несколько минут.

Я освещу несколько моментов, являющихся, на мой взгляд, важными для понимания того, что же мы видим на небе и как получается конечный результат. Данная лекция не претендует на полноту информации, а только очерчивает круг проблем, с которыми приходится сталкиваться радио- (и не только) астрономам. В данной лекции я остановлюсь на проблемах обработки континуальных данных, т.е. полученных на широкополосных радиометрах, а когда буду говорить об изображении, то буду иметь в виду распределения яркости на небе (двумерное и одномерное).

Формула эксперимента

Взглянув на небо невооруженным глазом или с помощью прибора, мы уже исказили приходящую информацию об изображении объекта. Парадокс нашего наблюдения состоит в том, что мы всегда видим не то, что есть на самом деле. Давно известен факт, что разные люди видят по-разному (вспомните хотя бы дальтоников, имеющих ограниченную чувствительность колбочек). Разные инструменты также по-разному преобразуют приходящий сигнал. Так можно ли узнать, как выглядит объект на самом деле ?

Как и оптический телескоп, в радиоастрономии радиотелескоп играет роль линейного оператора, воздействующего на функцию, описывающую объект исследования. Каждая точка в распределении радиояркости по исследуемому объекту изображается в фокусе радиотелескопа в виде дифракционного пятна или пятна рассеяния (подход описан у Есепкиной и др., 1974). Используя только принцип суперпозиции этих пятен от различных точек объекта можно написать следующее фундаментальное уравнение антенного сглаживания:

[Antenna smoothing formula] (1)

Где B(x,y) - распределение радиояркости по объекту, A(x',y') - диаграмма направленности радиотелескопа, I(x,y) - наблюдаемое распределение мощности в фокальной плоскости радиотелескопа, создаваемое источником излучения.

Чтобы быть полностью корректным необходимо учесть нормировку на интеграл под аппаратной функцией (который равен 1 из условия термодинамического равновесия между антенной и средой в случае, когда яркостная температура постоянна в окружающем антенну пространстве). Кроме того, на выходе системы "антенна-радиометр" мы наблюдаем случайные колебания мощности N(x,y), вызванные нестабильностью работы приемника, антенны и излучением Земли. Тогда полностью наблюдаемое распределения яркости, мы можем представить в таком виде:
[smoothing+noise] (2)
Упрощая запись, получим для описания процесса наблюдения такую формулу (назовем ее формулой эксперимента):

I = B * A + N         (3)

Здесь I - результат наблюдений, B - реальное распределение яркости объекта, A - аппаратная функция: прибор + глаз, N - многокомпонентный шум N = Nsky * A + Nsys, где Nsky - шум, связанный с прохождением сигнала сквозь галактический газ и земную атмосферу (сглаживается аппаратной функцией), Nsys - шум системы телескоп+приемник+глаз. Символ '*' (звездочка) обозначает операцию свертки. Процедура свертки изображения с аппаратной функцией является процедурой сглаживания изображения, т.е. подавления вариаций потока на масштабах, меньших, чем собственный интервал (грубо говоря, размер) аппаратной функции.

Функции в подынтегральном выражении имеют аргументы противоположных знаков, или, говоря по-другому, при свертке функции ``наползают'' друг на друга, причем в области их пересечения происходит интегрирование. Значение этого интеграла есть текущая точка свертки на данном шаге сглаживания. Сказанное демонстрируется рис.1. Нормировка на интеграл под аппаратной функцией позволяет нам сохранить реальную амплитуду сигнала. На рис.2 приведены 2 примера, демонстрирующие преобразования функций при свертке.

[convolution] Рис.1. Схема, поясняющая процесс свертки. Свертка двух одинаковых прямоугольных функций дает треугольную.

Что еще сказать о свертке ? Это коммутативная операция, т.е. интеграл не изменится, если функции поменять местами:

B * A = A * B,         (4)

это аддитивная операция, т.е. свертка суммы двух функций с функцией A, дает свертку каждой из функций с A:

(B1 + B2) * A = B1 * A + B2 * A.        (5)

Свертка с delta-функцией не меняет саму функцию (см. также рис. 2):

[convolution with delta-func] (6)

[convolution examples] Рис.2. Схема, демонстрирующая свертку функций различных типов: прямоугольника и гауссианы (1) и прямоугольника и -функции (2).

Пожалуй, о свертке пока хватит.

Таким образом, можно понять, как выглядит объект (т.е. найти B), решив уравнение (3). Но проблема состоит в том, что, кроме свертки, в уравнении присутствует еще и шум N. Именно из-за него возникает проблема с решением (или, точнее говоря, невозможностью точного решения) системы (3). Даже без наличия шума эта задача является некорректной, т.е. характеризуется тем, что малым изменениям входных данных могут соответствовать сколь угодно большие изменения решения. Вообще говоря, практически все задачи наблюдательной астрофизики - задачи некорректные, т.к. по наблюдательным проявлениям объекта требуют установить его характеристики, недоступные прямым измерениям. Но, несмотря на то, что природа столь изощренна в своих запретах и ее, действительно, обмануть нельзя, все-таки используя некоторые подходы можно приблизиться к пониманию того, что же мы видим.

О том, как нам узнать все (или почти все) о функции B, мы поговорим позднее. А сейчас проведем обзор наших средств, способных нам помочь в решении задачи.

Начнем с первого.

Построение алгоритмов

Необходимо подчеркнуть, что понятие алгоритмов включает в себя как общий метод решения задачи, так и конкретную математическую реализацию метода в виде уравнений или компьютерных кодов. Мы будем иметь ввиду второй случай.

Заметим, что первое, чем астрономия обогатила земную цивилизацию, - это своей алгоритмической частью, дав на заре цивилизации науку геометрию, т.е. математическое (алгоритмическое) решение задачи раздела участков. И сейчас многие прикладные астрономические задачи, в частности, задачи восстановления изображений (а именно, нахождение B в уравнении (3)) способствуют развитию методов в различных направлениях - науки от геофизики до медицины.

Но прежде, чем говорить о возможности решения некорректных задач, для понимания процедур обработки необходимо упомянуть о нескольких разделах математики, которые пригодятся в дальнейшем при объяснении шагов обработки. Это основы статистики и Фурье-анализа.

Параметры распределений

Напомню некоторые определения из теории вероятностей, которые нам могут пригодиться в дальнейшем.

Объединение (логическая сумма) E1UE2U... (или E1+E2+...) конечной или бесконечной последовательности событий E1, E2,..., есть событие, состоящее в осуществлении хотя бы одного из событий E1, E2, ...

Совмещение (логическое произведениe) E1, E2 E1 E2 (или E1 E2) двух E1 и E2, есть событие, состоящее в осуществлении и E1 и E2.

События E1 и E2 называются несовместными, если E1UE2=0, - логическое произведение есть невозможное событие (т.е. не осуществляется ни одно из событий класса E, к которому принадлежат события E1 и E2).

Существует много определений вероятности. Упустив рассмотрение классического определения (как отношения числа благоприятных событий к числу равновозможных), остановимся на двух. Первое определение показывает смысл вероятности, а второе характеризует ее как функцию.

Вероятностью события (в статистическом смысле) является предел, к которому стремится относительная частота появления события при неограниченном увеличении числа испытаний (наблюдений) (Агекян, 1974).

Вероятностью P(E) события E называется определенная на классе событий E однозначная действительная функция, удовлетворяющая трем условиям (аксиомам вероятностей):
1) для любого события E из E;
2) P(I) = 1 для достоверного события I;
3) P(E1UE1U...) = P(E1) + P(E2)+... для любой (конечной или бесконечной) последовательности попарно несовместных событий E1, E2.... (Корн & Корн, 1984).

Условная вероятность P(E|E1) события E при условии осуществления события E1 определяется аксиомой P(EU E1) = P(E1) P(E|E1) (правило умножения вероятностей).

Теорема Байеса дает выражение для условных вероятностей одного из событий Ek полной группы E1, ..., En (т.е. группы несовместимых событий, одно из которых должно с достоверностью произойти) при условии, что произошло событие A:

[Bais theorem] (7)

или (см. детали у Агекяна, 1974)

[Bais theorem2] (8)

Эта формула позволяет вычислить ``апостериорные'' вероятности P(Ek|A) через ``априорные'' вероятности P(Ek|A) ``гипотез'' Ek. Здесь априорная вероятность характеризует предполагаемую возможность осуществления различных значений Ek до того, как проведен эксперимент. Эта предполагаемая возможность основывается на известных фактах, таких, как, например, результаты предыдущих экспериментов. Апостериорная вероятность P(Ek|A) характеризует возможность осуществления различных значений Ek, после того как к априорному знанию добавлено знание, извлеченное из экспериментальных данных A.

В нашем случае все знания о радионебе можно описать относительными вероятностями для различных карт неба. Тогда теорема Байеса говорит о том, как следует видоизменить наши знания или предварительные сведения о небе, если будут получены некоторые дополнительные данные, и может может быть записана так:

Апостериорная вероятность (небо | данные) ~ Априорная вероятность (небо) x Априорная~ вероятность (данные | небо)      (9)

Фактически последняя формула - это вероятностное представление уравнения (3), которое также используется для его решения.

Астрономы, говоря о чувствительности аппаратуры и параметрах объектов, используют две основные статистические характеристики выборки: среднее и дисперсию.

Выборка (x1, x2, ..., xn) значений x рассматривается как результат n независимых измерений. Каждую выборку рассматривают как выборку из теоретически бесконечной генеральной совокупности.

Тогда основные параметры выборки - среднее и дисперсия определяются следующим образом. Среднее значение случайной величины x определяется как

[Medium] (10)

где p(xi) - распределение вероятности для дискретной последовательности, - плотность вероятности для непрерывной зависимости.

Дисперсия (и связанное с ней стандартное отклонение ) определяется как

[Dispersion] (11)

Вспомним, как ведут себя эти параметры для различных распределений случайной величины.

Распределения

Чтобы представить свойства прибора и, как следствие, статистические свойства данных наблюдений, необходимо знать основные распределения случайной величины, которые нам уже предложила природа. В приводимых ниже определениях для обозначения распределения вероятности дискретной (т.е. такой, которую можно пронумеровать) случайной величины используется символ 'p', а для обозначения плотности вероятности непрерывной случайной величины символ ''
  1. Нормальное (или гауссово) распределение.
    Случайная величина x распределена нормально со средним , и стандартным отклонением , если распределение вероятности подчиняется следующему закону:

    [Normal distribution] (12)

    Это, пожалуй, самое распространенное распределение в природе, которому подчиняются и распределение молекул по скоростям в газе, и шум радиометра и многие другие случайные события.

  2. -функция.

    [delta-function] (13)

    Эта функция обладает свойством . Параметры распределения, которое описывается этой функцией, такие:

    .

    Это - важное распределение, введенное Дираком, характеризующее, например, положение точечного источника на карте.

  3. Распределение Пуассона.

    [Poisson distribution] (14)

    . Очень ``астрономическое'' распределение, описывающее статистику объектов на небе либо число регистрируемых фотонов в приемнике.

  4. Распределение Коши.

    [Cauchi distribution] (15)

    Mx и Dx не существуют. Это "естественное" распределение в природе описывает случай, когда мы не можем предсказать, что же произойдет в следующий момент, например, пролет частицы или метеора через поле зрения телескопа или переговоры по мобильному телефону, дающие помехи в дециметровом диапазоне радиотелескопа.

  5. Равномерное (прямоугольное) распределение.

    [Rectangular distribution] (16)

    .

    Это распределение замечательно тем, что программные генераторы случайных чисел дают последовательности, удовлетворяющие этому распределению. На его базе можно проводить моделирование других распределений.

Компьютерное моделирование распределений

Итак, при моделировании процесса наблюдений мы используем стандартные функции алгоритмических языков, хотя любители во всем разбираться самим могут написать и свои процедуры, воспользовавшись ``Численными рецептами'': (``Numerical recipes'', http://www.nr.com).

Псевдоравномерное распределение генерируется, например, функциями языка ``C'' rand() и drand48().

Чтобы получить гауссово распределение . мы должны воспользоваться следующим преобразованием:

[Simulated distribution] (17)

Распределение Коши получается простым преобразованием: arctan(rand()).

Фурье-анализ

Другим важным компонентом в понимании путей решения уравнения (3), который нам придется использовать, служит Фурье-анализ. У меня нет возможности излагать здесь, что в университетах излагается в течение двух лет, но напомнить можно.

Прямое преобразование (в двумерном случае) функции I(x,y) это двумерный интеграл от функций комплексного переменного:

[Fourier transform] (18)

Обратное преобразование Фурье от V(u,v) выглядит похожим образом:

[Inverse Fourier transform] (19)

Для простоты прямое преобразование обозначается как

V = F(I),       (18a)

а обратное как

I = F-1(V).        (19a)

I мы будем называть изображением, а F(I) - его Фурье-образом.

Преобразование Фурье чрезвычайно важная операция для описания и понимания процессов, происходящих в природе. Впервые оно, по-видимому, было использовано астрономом, который об этом даже и не догадывался. Птолемей, живший в 90-160-х годах нашей эры, предложил систему движения планет, обращающихся вокруг Земли по эпициклам. Математически это соответствовало разложению эллиптического движения по круговым функциям, т.е. в ряд Фурье.

Преобразование Фурье позволяет по-другому посмотреть на окружающий мир, где все дискретные предметы ``превращаются'' в набор пространственных волн. Астрономы для описания угловых масштабов источника при наблюдении на радиотелескопах тоже пользуются терминологией Фурье-преобразования. Область наблюдения описывается на языке комплексной (u,v)-плоскости, получаемой из действительной координатной плоскости преобразованием (18). Причем, качество получаемого изображения зависит от качества заполнения (u,v)-плоскости, т.е. наличия соответствующих пространственных частот при синтезе изображения (для более подробного изучения проблемы рекомендую монографию ``Радиотелескопы и радиометры'' Есепкиной и др., 1973).

``В быту'' астрономы используют модуль преобразования Фурье, называемый спектром мощности, и фазу, вычисляемую как -arctg(v/u). На рис. 3 приведены примеры спектров некоторых функций.

[Fourier spectra] Рис.3. Примеры спектров мощности некоторых функций.

Для расчетов обычно используется так называемое быстрое преобразование Фурье (БПФ), основанное на малом количестве операций для массивов, чья размерность равна 2n. Существует несколько алгоритмов вычисления БПФ, среди которых один из наиболее распространенных - алгоритм Кули-Тьюки (текст программы на ФОРТРАНе можно найти в монографии Гончарского и др., 1985).

Теорема о свертке

Одно из главных свойств Фурье-преобразования описывается теоремой о свертке: Фурье-преобразование от свертки двух функций есть произведение Фурье-образов этих функций:

[Theorem about Fourier and convolution] (20)

На практике это дает значительное уменьшение количества операций при вычислении свертки, с одной стороны, и показывает возможность решения уравнения (3) при отсутствии N, с другой стороны.

Теорема отсчетов

Еще одно важное свойство любых данных сформулировано в теореме отсчетов (Котельникова) (Уиттекер, 1915; Котельников, 1947; Есепкина, Корольков и Парийский, 1973): любая (с несущественными для нас ограничениями) непрерывная функция f(x), спектр которой ограничен полосой частот от 0 до Fгр, полностью определяется последовательностью своих значений, отсчитанных через интервалы .

Справедливо и обратное утверждение:
если функция существует только в промежутке (-x0/2,   x0/2), т.е. ограничена в пространстве, то для полного определения ее спектра достаточно измерять компоненты спектра, отстоящие друг от на интервал частот .

Приведем пример использования теоремы в радиоастрономии (Есепкина и др., 1973):
"Пространственно-частотная характеристика антенн ограничена по частоте (Fгр=D/lambda, D - максимальный размер антенны), следовательно, измеряемые распределения яркости Ia(x) должны иметь ограниченный спектр. Несущие информацию отсчеты в функции Ia(x) расположены на интервалах, не меньших, чем . Этот интервал определяет разрешающую способность радиотелескопа; он получил название собственного интервала антенны."

Ниже мы еще вернемся к этой теореме.

[Fourier spectra] Рис.4. Различные способы анализа данных (рисунок воспроизведен из книги Хампеля и др. (1986)).

[Fourier spectra] Рис.5. Какого соответствия мы хотим ? (рисунок воспроизведен из книги Хампеля и др. (1986)).

Робастность

Вспомнив основные методы анализа данных, посмотрим как их можно применить на практике. Оптимальный для астронома случай, когда количество измерений бесконечно, т.е. имеется генеральная совокупность (ГС). И оценки параметров распределений измерямых величин (среднего [x bar]. и дисперсии sigma") можно считать достоверными на 100%. Однако, в жизни такого не бывает, и приходится довольствоваться относительно небольшими выборками. Если мы предположим, что регистрируемые вариации радиоизлучения (шумы) имеют нормальное распределение, то оценки параметров имеющейся выборки можно применить для всей ГС. Каким образом, можно получить наиболее близкие к реальным значения параметров ?

Из многих методов, именно робастные оценки, т.е. устойчивые к элементам влияния, приобрели особую значимость при анализе астрономических изображений, в том числе и в системе редукции данных на РАТАН-600.

История робастности в обработке данных началась еще в середине 30-х годов XX века, когда пришлось иметь дело с выпадающими данными и разрабатывать статистическую теорию устойчивых оценок. Революционные изменения произошли с широким распространением компьютеров в 70-е и 80-е годы, когда были реализованы на практике многие теоретические методы (Хьюбер, 1981; Хампель и др., 1986) На рис. 4 показано качественное сравнение методов анализа и устойчивости получаемого результата. На рис. 5 приведен пример робастного подхода к регрессионным оценкам.

Наиболее простые из робастных методов построены на ранговых алгоритмах. Рассмотрим возможности оценок параметров (моментов) распределения при гауссовом приближении статистики шумового сигнала (Шергин и др., 1997) для робастного подхода.

О восстановлении изображений

Проблема восстановления изображения - этот как раз проблема решения уравнения (3). В простейшем случае, если известно что, источник точечный, то проблема восстановления решается элементарно даже при наличии шумов и включает в себя определение положения и амплитуды. Для протяженного объекта в отсутствии шумов этом уравнение можно решить, применив преобразование Фурье и используя теорему (20), и операция свертки заменится на операцию умножения:

[Fourier convolution] (29)

Здесь [I,N,A] - Фурье-образы соответственно I, B, A уравнения (3). Восстановление изображения производится решением простой алгебраической системы и взятием обратного преобразования Фурье на последнем шаге. Замечательно, что мозг каждого из нас мгновенно решает задачу восстановления, причем, трехмерного изображения, когда мы смотрим на мир двумя глазами. При этом каждый глаз видит двумерную картину с разных точек, а мозг из этих двух плоских изображений восстанавливает объемное. В общем, имеем мгновенный трехмерный апертурный синтез. Интересно, что за построение двумерных радиоизображений (двумерный апертурный синтез) в 1965 г. Мартин Райл даже получил в 1974 г. Нобелевскую премию. Его работы были связаны с построением изображений (или, говоря радиоастрономическим языком, синтезом (u,v)-плоскости) на Кембриджском одномильном радиотелескопе (Англия), состоящим из двух стационарных 18-метровых парабалоидов, расположенных на расстоянии 800м друг от друга по линии восток - запад, и одного подвижного радиотелескопа того же диаметра.

Кроме синтеза изображений на радиотелескопе, необходимо также получить распределение радиояркости B в уравнении (3). Наличие случайных шумов не позволяет найти точное решение (3), но можно искать приближенное. Вот некоторые из используемых методов:

Обзор почти всех методов дается в сборнике докладов на конференции "Построение изображений в астрономии по функциям когерентности" ("Image Formation From Coherence Functions in Astronomy") под ред. ван Схонвелда (1978), которая имеется в русском переводе.

Методы регуляризации Тихонова подробно рассмотрены в работе Баукшинского и Гончарского (1989), а в приложении к астрофизике - в работе Гончарского и др. (1985).

Заметим, что о проблеме восстановления в присутствии шумов имеет смысл говорить только для достаточно сильных объектов с интенсивностью ge5 sigma, т.к. на более низком уровне мы начнем сталкиваться с ростом числа ложных источников, которые регистрируются при наличии шумов, а также пропуском объектов, связанным с несовершенностью обнаружителя. Величина 5sigma - не случайная, а связана с большей, чем 99.9% достоверностью обнаружения источника в случае нормального шума.

О сложности задачи решения уравнения (3) говорит пример с телескопом им. Хаббла. Сразу после запуска телескопа на орбиту оказалось, что качество изображений очень низко из-за неотъюстированности системы. После ремонта телескопа астронавтами изображения стали высококачественными. Но до этого момента делались попытки восстановить изображения, используя сложную аппаратную функцию телескопа. Было проведено несколько конференций, выпущено много работ в сумме страниц, превышающей 1000, показаны методы, прекрасно работающие на моделях и ожидаемые результаты восстановления для реальных объектов. Но... после юстировки все это оказалось неправильным.

Ниже мы вкратце рассмотрим наиболее часто используемые метод максимальной энтропии (MEM - maximum entropy method) и чистку (CLEAN).

Метод максимальной энтропии

Наше представление об оценивании параметров генеральной совокупности по данным конечной выборки, помогает нам и при восстановлении изображений. Здесь мы можем воспользоваться баесовским подходом, выраженным в уравнении (9). Правда, следует заметить, что имеется ограничение в выборе удобного выражения для априорной вероятности, например, для различных карт радионеба до того, как мы получим какие-либо данные.

Если записать выражение для априорной вероятности в виде exp(S/l), где S - функция от карты, а - фиксированная константа, то для отображения одиночной карты, которая дает максимум апостериорной вероятности, необходимо искать максимум выражения . Здесь в качестве функции карты S используется ее энтропия, определяемая в зависимости от школы как

[enthropy1] (30)

или как

[enthropy2] (31)

используя априорные предположения о небе. Здесь fi - поток от i-ой площадки. В случае, когда измерения имеют независимые гауссовы ошибки

chi2,

и априорная вероятность (данные | небо) в выражении (9) - это есть функция exp_chi2 - фиксированная константа. Итак, если число отсчитываемых точек (ячеек) на небе велико, распределение карт на небе оказывается сложным для представления. Тогда выбор единственно полезной карты состоит в нахождении той из них, для которой апостериорная вероятность максимальна.

Энтропийное выражение (31) можно переписать в виде (Галл, Даниэль, 1978)

[enthropy] (32)

и в случае независимых ошибок данные аппроксимируются пробной картой с помощью chi2. Вероятность появления данных при заданной карте fi exp_chi2 Нахождение максимума S-lambda chi^2 приводит к выражению

[Maximum enthropy formula] (33)

Здесь первый член - константа, выбирается таким, что chi^2 в окончательной карте равно своему статистически ожидаемому значению - числу отсчетов в карте.

В радиоастрономии MEM используется для заполнения "дыр" (а именно, отсутствующей информации) на (u,v)-плоскости и, таким образом, построения изображения.

MEM входит практически во все системы обработки астрономических изображений.

CLEAN

Другую методику предложил Хегбом (1974), которую он назвал чисткой.

Самый желанный для астронома случай, когда аппаратная функция близка к -функции и мы имеем уравнение (6). Однако, в реальности такого не бывает. Отсутствие пространственных частот или наличие дыр на (u,v)-плоскости при синтезе радиоизображения (что соответствует отсутствию баз в интерферометре) приводит к появлению боковых лепестков в диаграмме направленности радиотелескопа. При этом на изображении точечный источник кроме основного дает еще несколько слабых откликов, которые ``загрязняют'' основное изображение. Для получения ``чистой'' карты нужно суметь избавиться от лепестков (см. рис. 12).

Задача выглядит следующим образом.

Найти Mi(xi,yi) такие, что

[Clean methods] (34)

где ID(x,y) - грязная карта, AD(x-xi, y-yi) - аппаратная функция, IR(x,y) - оставшееся распределение яркости. Процедура CLEAN, которую предложил Хегбом, выглядит очень просто:

[Clean formula] (35)

где q - это так называемый коэффициент усиления, а максимумы mu_i с координатами (xi, yi) - это приближения Mi(xi, yi). Процедура продолжается до тех пор, пока остаточный максимум сигнала не достигнет заданного уровня. Необходимо напомнить, что интенсивность источников должна превышать уровень шума не менее, чем в 5 раз. В результате работы этой процедуры определяются положения максимумов и их амплитуды, которые используются для получения изображения c отдельными пиками, заданными -функциями соответствующей амплитуды, и формирования чистой карты. Чистая карта получается путем свертки (сглаживания) полученного изображения с заданной диаграммой направленности, но уже без боковых лепестков.

Методика CLEAN в различных модификациях (для протяженных источников, на Фурье-плоскости и др.) активно используется в радиоастрономических пакетах (например, в AIPS) при обработке интерферометрических данных

Заметим, что в общем случае процедура математически некорректна, т.к. для нее не доказана единственность представления карты неба набором диаграмм направленности. Тем не менее, она успешно применяется при построении радиоизображений с середины 70-х годов и практически все современные радиокарты неба получены этим способом.

[Clean results] Рис.12. Пример работы алгоритма чистки. На левом рисунке приводится модельное изображение, на среднем - грязная карта, на правом - изображение, восстановленное с помощью CLEAN. Рисунок воспроизведен из работы Стиэра и др. (1984).

Обзоры

При проведении наблюдений на РАТАН-600 можно выделить три основных направления исследований: индивидуальное изучение (например, мониторинг), статистическое (исследование свойств выборки) и поиск новых эффектов (куда можно включить и поиск флуктуаций фоновых излучений). Наиболее полная информация об общих свойствах объектов приходит к нам из обзоров неба. Рассмотрим теперь некоторые проблемы, связанные с обзорами.

Какие бывают обзоры ?

Классификация обзоров

Обзоры можно условно классифицировать следующим образом: В результате проведения обзоров и анализа полученных наблюдательных данных астрономическое сообщество получает каталог объектов и карты распределения яркости. Заметим, что `обзор' и `каталог' - различные термины. Понятие `обзор' используется для обозначения астрономических наблюдений по определенной методике либо данные, содержащие распределение яркости в области неба, где он был проведен. Понятие `каталог' используется для обозначения списка объектов, полученного при обработке обзора или скомпилированного из других списков. Однако, в астрономической лексике они часто смешиваются, т.к. пересекаются по ряду статистических свойств.

Основная проблема любого обзора (и полученного в результате обработки каталога) - полнота. Один из основных вопросов для тех, кто занимается обзорами - это качество обзора.

Статистические характеристики обзоров

Качество обзора определяется двумя статистическими характеристиками: величинами ошибок I и II рода, определяющими
     1) число ложных источников,
     2) число пропущенных (не обнаруженных) источников,
Естественно существуют и физические характеристики: чувствительность, апертура, область обзора и др. Но при работе с данными, особенно в автоматическом режиме, нужно уметь оценивать параметры обнаружителя сигнала. На рис. 13 показан вид зависимостей нормированного числа ошибок I и II рода (т.е. соответствующих вероятностей) от порога обнаружения.

[Probabilities] Рис.13. Примерный вид зависимостей вероятности ложной тревоги (слева) и правильного обнаружения (справа) от порога обнаружения в случае гауссовых шумов. Вид кривых (крутизна, точки перегибы) зависит от обнаружителя сигнала.

Полнота

Перейдем теперь к полноте. Рассмотрим случай радиоастрономического сигнала.

Одной из основных задач современной радиоастрономии является подсчет источников и построение кривой log N - log S - зависимости количества источников от плотности потока на логарифмической плоскости. Поведение этой кривой позволяет накладывать различные ограничения на современные космологические модели. Поэтому большое значение имеет правильная оценка количества источников в наблюдаемой площадке неба. Подобная оценка напрямую связывается с полнотой проводимого радиообзора или каталога.

Понятие полноты обзора призвано оценить насколько данный обзор смог охватить реально существующие источники в данной области неба (см. также работу Горохова и Верходанова, 1994). Наиболее традиционным следует считать определение интегральной полноты обзора - это отношение количества обнаруженных источников в данном обзоре в данной площадке неба к количеству реально существующих источников в площадке с потоком больше заданного:

[Completeness classical] (36)

с данными параметрами в данной площадке неба (или данном объеме пространства).

Важно отметить, что полнота обзора зависит как от телескопа, способа обработки обзора, процедур обнаружения, так и от принятой модели распределения радиоисточников, используемой при расчете полноты. Под полнотой каталога понимается практически то же самое, с тем отличием, что каталог может быть скомпилирован из нескольких обзоров. В таком случае измеренные потоки здесь уже представляют собой неоднородную в статистическом смысле выборку. Это может быть связано с различием в инструментах и методики измерения потоков, присущей разным авторам.

Покажем, как наиболее корректно можно ввести понятие полноты для радиоастрономического обзора. Пусть P(S)dS - реальное распределение плотностей потоков радиоисточников, P(F)dF - наблюдаемое распределение, P(F|S) - вероятность, что источник с плотностью потока S может наблюдаться в пределах [F, F+dF], тогда наблюдаемое распределение будет

[Probability in survey] (37)

Это основное уравнение радиоастрономического обзора, кстати, являющееся модификацией формулы эксперимента (уравнение (3)).

Таким образом, чтобы получить реальное распределение плотностей потоков, мы должны реконструировать (восстановить) его из наблюдаемого:

[Probability2 in survey] (38)

где hat P(S) - реконструируемое распределение, P(S|F) - оператор реконструкции. Для проверки реконструируемого распределения, можно провести машинную имитацию наблюдений и оценить, кроме применимости априорных моделей распределения источников, рабочие характеристики обнаружителей, позволяющие количественно учитывать качество обнаружения в системе обработки и число ложных источников, ею порождаемых.

Аналогичным образом можно учесть долю ложных источников, возникающих из-за особенностей антенной системы.

С учетом введенных выше соотношений становится возможным детализировать и классифицировать различные определения полноты.

Под дифференциальной полнотой понимается отношение числа источников, наблюдаемых с потоком F+dF, к числу источников, которые, как ожидается, будут из этого интервала:

[Differential completeness] (39)

Интегральная полнота C(F0) на уровне измерения потоков F0 есть число источников с измеренными потоками F >= F_0 и истинными потоками S >= F_0, деленное на полное число источников, удовлетворяющих требованию S >= F_0:

[Integral completeness] (40)

В качестве распределения P(S) обычно используется дифференциальная зависимость log N - log S:

[Log N - Log S] (41)

где a и b - коэффициенты, характеризующие свойства распределения на различных длинах волн, а для вероятности P(F|S) в предположении нормального (гауссового) шума используется формула

[P(S|F)] (42)

Использование двух последних формул может помочь сделать оценку интегральной полноты и достоверности обзора при определенном sigma и гауссовом шуме. Чтобы получить реальное значение, надо вместо взятия интеграла (37) использовать реально наблюдаемое распределение источников.

Можно избежать оценок полноты в проводимом обзоре и работать на уровне 5sigma или выше по отношению к записям обзора. Данная величина обосновывается в работе Мердока и др. (1973) и предполагает, что, начиная с этого значения уровня поиска источников, полнота равна 1.

В случае же, когда наблюдатель хочет работать с источниками, при которых его обнаружитель сигнала дает приемлимые значения вероятностей правильного обнаружения и ложной тревоги на уровне меньше 3sigma, необходимо проводить моделирование процесса для правильной оценки полноты.

Есть еще один оригинальный простой способ для оценки полноты обзора, используемый, например в работе (Парийский и др., 1991). Он заключается в том, что некоторым способом (например, используя дополнительные наблюдения и осредняя данные) улучшают чувствительность на некоторой площадке обзора. После этого можно оценить, сколько истинных источников было пропущено и обнаружено ложных при обработке обзора на данной глубине.

Имена объектов

Когда вы провели обзор и занесли в каталог открытые объекты, вы каким-то образом должны были дать им имена.

Если до 90-х годов имена открытым объектам присваивались по желанию наблюдателя, то в настоящее время ситуация изменилась.

Таблица 1. Примеры присвоения имен объектов в различных обзорах. перечислены соответственно имя каталога, пример имени объекта, комментарий.

Каталог Имя Комментарий
NGC NGC 2685 Номер в каталоге
3C 3C 273 Номер в каталоге
4C 4C+37.12 Номер в одной из полос обзора
PKS PKS 0430+052 Координаты на эпоху B1950.0 в формате hhmm+dd(m/6),
WENSSWNB1200.6+4448 Координаты на эпоху B1950.0 в формате hhmm(s/60)+ddmm
FIRSTFIRST J120329.5+443152Координаты на эпоху J2000.00

В таблице 5 приведены различные варианты присвоения имен источников после проведения обзоров. Для первых обзоров использовалась простая нумерация объектов в обзоре. Для каталога 4С, в котором почти 5000, использование простой нумерация объектов уже стало неудобным, и авторы составляли имена из склонения очередной полосы обзора и номера объекта в этой полосе. Но в дальнейшем пришлось отказаться и от такого обозначения.

В настоящее время при введении имен объектов используют рекомендации Комиссии No 5 Международного астрономического союза.

Рекомендации МАС

Рекомендации можно найти по адресу http://vizier.u-stasbg.fr/Dic/iau-spec.html, их предложения от 18 октября 1995.

МАС принял следующую форму обозначения имени объекта:

Ахроним space Последовательность space (Спецификатор)

Ахроним и последовательность в имени существенны, спецификатор используется по выбору автора; число полей может быть больше в электронных каталогах, чтобы правильно определить числовые или табулированные данные.

Здесь ахроним - последовательность из ge3 символов (например, имя обзора или аббревиатура, составленная из имен первых авторов). Специальные символы в этом поле использовать нельзя. Введенный ахроним должен быть уникальным, т.е. нельзя использовать уже введенный кем-то ахроним, чтобы избежать путаницы. Желательно избегать очень длинных ахронимов. Последовательность (или нумерация) - алфавитноцифровая строка (или только цифровая), которая однозначно идентифицирует источник внутри каталога или коллекции. Это может быть номер последовательности внутри каталога (например, HD224801), комбинация полей. Она также может использовать координаты.

Для последнего случая приняты следующие правила (для примера приводим лишь их часть):

В примерах имен, приведенных в таблице 5, обозначения, используемые для объектов каталога WENSS, не являются корректными из-за наличия дробной части в минутах. Обозначения имен источников в каталоге FIRST полностью удовлетворяют рекомендациям МАС.

Спецификатор используется по выбору исследователя и позволяет показать параметры объекта. Тем не менее, спецификатор не требует какого-либо синтаксиса и заключается в скобки. Например, H2O~G123.4+57.6~(VLSR=-185).

Проблемы архивизации

После завершения процесса наблюдений необходимо заняться анализом полученных данных, учитывая при этом все условия эксперимента, а довольно часто и предоставить свои данные другим астрономам. Не говоря уже о том, что их необходимо как-то доставить до своего компьютера. В простейшем случае это решается с помощью дискет или DAT-кассет, однако в современную эпоху для этого используются коммуникации (радио, оптоволокно и т.п.), которые управляются опять же компьютерными системами. Хотя в качестве обратного примера можно привести и систему VLBA (Very Large Base Array - Антенная решетка с очень большой базой), радиоинтерферометр в США, где для доставки информации с разнесенных по всей стране антенн используют специальных ежедневных курьеров, перевозящих ленты емкостью 1 террабайт, так как современные каналы связи не могут обеспечить требуемой пропускной способности. Для того, чтобы впоследствии иметь возможность анализировать полученную информацию и, вообще, вспомнить, что происходило во время наблюдений, все, что с ними связано должно быть сохранено в архиве. Здесь мы отметим, что система архивизации данных должна обеспечивать легкий доступ к данным наблюдений и сопутствующей информации и осуществлять селекцию по различным параметрам (например, типу прибора, датам и времени наблюдения, имени наблюдателя или эксперимента и т.п.). Многие проблемы архивизации данных уже решены В.К.Кононовым в действующей на РАТАН-600 системе архивизации ODA (см. например, работы Кононов и др., 1998, 1999).

Одним из существенных моментов здесь является формат записи данных. Международный Астрономический Союз (Комиссия 5) в сентябре 1982 г. одобрил и рекомендовал использование FITS формата для записи, хранения и архивизации астрономических данных. История FITS (Flexible Image Transport System - гибкая система передачи изображений) начинается с ноября 1976 г., когда потребовалось произвести обмен данными наблюдений между радиоастрономами в Голландии (Ronald Harten, NFRA) и астрономами - оптиками из Национальной оптической астрономической обсерватории в США (Donald Wells, NOAO). Группы работали на различных компьютерах, процессорах, операционных системах и алгоритмических языках. Необходимо было договориться о правилах записи данных и комментариях к ним. Весной 1977 был удачно произведен обмен данными. Однако, правила базового FITS формата (Basic FITS) появились в марте 1979 года в результате переговоров Дональда Уэллса из NOAO и Эрика Грейсена (Eric Greisen) из Национальной радиоастрономической обсерватории (NRAO) США. Позднее FITS формат начал описывать более разнородные данные: таблицы, калибровочные источники. И кроме базового FITS в настоящий момент существуют его различные расширения.

FITS

Что же такое FITS формат ?
FITS - это набор правил, по которым записываются данные. Файлы, записанные в базовом FITS формате, имеют строго определенную структуру, а именно: символьный (ASCII) заголовок, и двоичные данные. Заголовок содержит ключевые слова и их значения, а также комментарии. Заголовок обязательно заканчивается словом END. Ключевые слова, значения и комментарии записываются заглавными буквами в строго определенных позициях. Длина заголовка FITS файла пропорциональна размеру блока записи FITS: 2880 байтов. Длина строки в заголовке составляет 80 байтов. После символа '/' (слэш), который записан после 30-ой позиции, может идти комментарий. Двоичные числа хранятся в формате Sparc: сначала записываются старшие байты, затем - младшие. Длина ключевых слов не должна превышать 8 символов. В девятой позиции должен стоять знак равенства '=', кроме случая ключевых слов HISTORY и COMMENT, где он может вообще отсутствовать.

Таблица 2. Стандартные ключевые слова FITS-заголовка

Ключевое слово Комментарий
SIMPLE первое ключевое слово, имеет значением T
BITPIX число битов на пиксел, равно 8, 16 и 32 для 8, 16 и 32-битовых целых соответственно, -32 и 64 - для 32 и 64-битовых плавающих с одинарной и двойной точностью соответственно
BUNIT тип физических единиц измерений данных
BSCALE калибровочный множитель
BZERO смещение нуля
NAXIS количество осей данных
NAXIS1 количество пикселов (размерность вектора) в первом ряду
CTYPE1 единицы измерения по 1-ой оси
CRVAL1 точка привязки шкалы по 1-ой оси
CRPIX1 номер пиксела в точке привязки 1-ой оси
CDELT1 размер пиксела (шаг дискретизации) по 1-ой оси
HISTORY история работы с файлом
COMMENT комментарий
END обязательное ключевое слово, значения нет

Пример одного из простейших FITS файлов приведен в приложении (см. таблицу 3). В этом примере (полный вариант см. в работе Уэллса и др., 1981), показан стандартный набор ключевых слов, краткая характеристика которых дана в таблице 2. Здесь величины CRVAL1, CRPIX1 и CDELT1 связаны следующей формулой, используемой для вычисления координатной величины для i-ого пиксела:

value(i) = CRVAL1 + (1. - CRPIX1 + i) CDELT1         (43)

Из определения приведенных ключевых слов следует, что максимальное число осей, которое может быть описано стандартным FITS форматом - 999. Данные в формате FITS, описывающие изображение, имеют часто большую размерность, чем 2. Из правил определения ключевых слов видно, что максимальная размерность, определяемая этим форматом - 999. Данные, с которыми работают радиоастрономы, часто имеют размерность, равную 4 = две координаты + частота + поляризация (параметры Стокса).

Реальное значение данных в единицах BUNIT будет равно:

real(i,j) = BSCALE data(i,j) + BZERO.          (44)

В строках, начинающихся со слов COMMENT и HISTORY, записываются комментарии и история работы с файлом, т.е. фактически ведутся журналы наблюдений и обработки.

В таблице 4 (см. Приложение) показан пример FITS шапочки данных VLA. Прошу обратить внимание на размерность данных: NAXIS = 4. Кроме координат в заголовок описывает ось длин волн и ось параметров Стокса. Такие файлы называют кубами данных.

Переход к FITS формату решил многие проблемы, связанные с архивизацией и обменом астрономическими наблюдательными данными.

Расширения FITS

У FITS-формата есть расширения. Если в шапочке присутствует ключевое слово EXTEND и его значение равно 'T', то вслед за данными, которые описывает основной заголовок, идет описание расширения. Первое ключевое слово расширения XTENSION показывает тип расширения, который может быть либо TABLE, либо BINTABLE. В первом случае расширение содержит ASCII таблицу, во втором - двоичную информацию. Для табличных расширений существует стандартный набор ключевых слов описывающих поля таблицы (количество которых задается ключевым словом TFIELDS):
TTYPE? - тип поля,
TBCOL? - номер колонки, с которой начинается запись поля,
TFORM? - формат записи параметра,
TUNIT? - единицы измерения в системе СИ хранимых значений.
Вместо знака вопроса '?' в заголовке записывается соответствующий номер поля. В таблицах 5 и 6 (см. Приложение) приведены примеры заголовков 'FITS Table' и 'FITS Binary Table'. Таким образом, познакомившись с правилами хранения информации переходим к проблемам ее обработки.

Системы обработки данных

Самый трудоемкий процесс - обработка наблюдательных данных, которая может включать чистку записей от помех искусственного и естественного происхождения, сглаживание и осреднение для улучшения отношения сигнал/шум, получение изображений и параметров источников. На практике известны случаи, когда различные команды астрономов-наблюдателей после обработки одних и тех же наблюдательных данных, но различными методами, получали противоположные по смыслу результаты (например, ориентация оси объекта, наличие или отсутствие источника и т.п.). Обработка наблюдений предполагает знание, как алгоритмов, так и программного обеспечения.

Обработку данных можно разделить на несколько этапов, два основных из которых это первичная редукция данных и интерпретационная обработка. Первая использует различные численные методы анализа и включает, в частности, калибровку данных (т.е. привязку к стандартным шкалам антенных температур, плотностей потоков и координатам), улучшение отношения сигнал/шум, интерполяцию и экстраполяцию рядов данных наблюдений в случае пропуска пикселов, восстановление изображений при анализе распределения радиояркости, аппроксимацию кривых прохождения и спектров радиоисточников, оценка физических параметров объектов. Интерпретационная обработка включает моделирование физических процессов в объекте и проверку гипотез. Интерпретационная обработка часто является последним звеном в проблеме автоматизации эксперимента.

Не все перечисленные пункты выполняются при обработке данных, но без некоторых (таких, например, как калибровка данных) обойтись невозможно. Калибровка данных, подразумевающая приведение отсчетов регистрации к стандартной международной шкале измерений, на каждом приборе совершается своим способом, но всякая калибровка предполагает привязку по какому-либо известному стандарту. Как выполняется калибровка для работающих приборов обсерватории, можно узнать из опубликованных работ сотрудников или из соответствующих лекций. Многие современные системы обработки данных включают в себя шаги первичной редукции данных. Маленький обзор, которых мы проведем ниже. В современную эпоху объединения усилий разных стран в научных исследованиях происходит и объединение различных подходов и методов обработки, используемых отдельными группами, в мощные пакеты обработки данных. Эти пакеты (или даже, лучше сказать, системы обработки) разрабатываются и поддерживаются крупнейшими обсерваториями мира. Среди наиболее известных следует упомянуть AIPS, MIDAS и IRAF.

AIPS (Astronomical Image Processing System) - система обработки астрономических изображений, поддерживаемая в Национальной радиоастрономической обсерватории США (NRAO) и используемая многими радиоастрономическими институтами планеты, ориентирована прежде всего на решение задач, связанных с синтезом изображений при помощи радиоинтерферометров, но позволяющая также анализировать результаты наблюдений с одиночными зеркалами.

MIDAS (Munich Image Data Analysis System) - мюнхенская система анализа данных с изображениями, разрабатываемая и поддерживаемая Европейской Южной обсерваторией (ESO), используется для обработки оптических снимков неба, спектров объектов и рентгеновских данных, полученных на немецком спутнике ROSAT. Активно используется европейскими астрономическими институтами.

IRAF (Image Reduction and Analysis Facility) - система (или инструмент) для редукции и анализа изображений, разрабатывается и поддерживается Национальной оптической астрономической обсерватории США (NOAO). Используется американскими институтами. По классу решаемых задач пересекается с системой MIDAS.

Перечисленные системы являются крупнейшими в мире, и во многих обсерваториях можно найти их все. Они имеют много одинаковых по смыслу графических утилит, процедур сглаживания и восстановления, работы с разными форматами данных. В каждой из них есть уже готовые пакеты, используемые при обработке данных, поступающих с конкретного прибора и системы регистрации. Все три системы являются открытыми и программируемыми, т.е. существуют возможности включения своих программ и командных файлов в эти системы. Открытость систем предполагает и возможность их использования на всех видах компьютеров, включая и персональные. Для этого, в частности, существуют версии систем, исполняемые в среде свободно распространяемой ОС Linux, являющейся de facto самой ориентированной на астрономию системой по количеству действующих астрономических пакетов.

Наличие развитых систем обработки, конечно, не запрещает создание своих собственных пакетов. Однако, разработчику следует учитывать, что многие проблемы уже решены. Иногда для решения локальных задач обработки наблюдений легче воспользоваться пакетами, разработанными лабораториями, обслуживающими данный прибор, чем универсальными системами, которые хоть везде и существуют, но более громоздкие и медлительные, чем маленькие пакеты обработки.

Универсальные системы хороши еще и тем, что они достаточно быстро реагируют на появление новых методов и алгоритмов обработки, включая в себя соответствующие модули.

Иногда выбор операционной системы обусловлен системой обработки данных, которая требуется астроному. Если вы свой выбор еще не сделали, то совет - подумать об этом в самом начале. Практика показывает, что при ошибочном начальном выборе, вы впоследствии можете столкнуться с психологически сложной проблемой переориентации. Ниже я привожу некоторые плюсы системы, которые определили ее судьбу в САО:

  1. открытость: ``легкость'' написания драйверов и включения их в ядро системы;
  2. хорошая сетевая работа;
  3. быстрая коррекция ошибок в системе;
  4. дешевое (бесплатное) программное обеспечение;
  5. легкая установка системы;
  6. поддержка работы на различных процессорах;
  7. наличие опыта поддержки научных проектов;
  8. отсутствие вирусов и защищенность файловой системы.
Linux полностью удовлетворяет всем критериям и требованиям астрономической операционной системы, а по быстродействию, связанному с развитием разделяемых библиотек, превосходит все остальные. Кроме того, его удается инсталлировать на всех видах процессоров (см., например, http://www.atlas.net.ru/unix-nt/unix-nt.html). С этого момента можно отсчитывать новую эру в ``компьютерной'' астрономии.

Linux и астрономическое программное обеспечение

Поддержка Linux обсерваторией ESO определила его дальнейшую судьбу. Первая астрономическая система обработки, успешно используемая в Linux, - MIDAS, о которой уже говорилось выше. Вслед за ESO в Linux переходят крупнейшие обсерватории США: Национальные оптическая и радиоастрономические обсерватории: NOAO и NRAO. Они разворачивают под Linux соответственно системы IRAF и AIPS, которые до этого никогда не работали на персональных компьютерах.

В настоящий момент в Linux функционируют следующие астрономические программы, входящие в дистрибутив системы либо доступные по FTP-протоколу с открытых астрономических серверов:
xephem - программа расчета эфемерид, пересчета координат, фаз луны и планет, элементов орбит астероидов. Имеет подробную базу данных астероидов (свыше 3.000), ярких звезд, галактик. Позволяет подключать свои списки. Записывает расчетные эфемериды в сетевой файл (socket), что позволяет с помощью нее устанавливать телескопы после соответствующего программирования драйверов устройства АСУ.
skyview - система обработки инфракрасных данных. Позволяет визуализировать и обрабатывать двумерные изображения.
saoimage - система визуализации инфракрасных данных. Может работать как независимая программа.
skycat - система визуализации данных. Разработка ESO. Имеет доступ к удаленным базам данных изображений, например, к оцифрованному Паломарскому Атласу неба DSS.
xv - система визуализации данных, записанных в различных графических форматах, в том числе и астрономических (см. ниже о FITS формате).

Кроме вышеперечисленных бесплатных программ имеется большое количество профессиональных и любительских пакетов, распространяемых как бесплатно, так и за умеренную по западным меркам плату.

Из платных систем отметим пакет IDL, позволяющий обрабатывать многомерные данные и имеющий свой интерактивный язык. Из полезных компонентов Linux отметим прежде всего компиляторы ``C'' и FORTRAN, gcc, g++, f2c, fg77, свободно распространяемые как GNU продукт. Следует сказать и о наличии графического пакета Tcl/Tk, под управлением которого работают АСУ многими европейскими и американскими телескопами.

Резюмируя обзор программного обеспечения для профессиональной астрономии на конференции по анализу данных ADASS'96 ( http://www.nrao.edu/adass/adassVI/), повторим вывод конференции о том, что ОС Linux - лучшая система для астрономии.

Обработка данных на РАТАН-600

Скажем несколько слов и о шагах обработки данных на РАТАН-600, которые приводят к необходимому результату: списку объектов с некоторыми параметрами или картинке. Эти этапы обработки вам возможно придется пройти на практических занятиях по радиоастрономии на РАТАН-600.
1) При первичной обработке одномерных данных, поступаемых после наблюдений на облучателе РАТАН-600, первым шагом обычно является вычитание низкочастотной компоненты шума и тренда, которое на языке наблюдателей называется удалением фоновой компоненты или просто вычитанием фона. При этом под фоном понимается сглаженная в определенном интервале кривая, включающая в себя целый набор низкочастотных шумов. Интервал, в котором происходит сглаживание, обычно называется окном сглаживания.
2) После вычитания фона с окном несколько большим, чем размер наблюдаемого источника (от 1.5 и выше в зависимости от задачи), производится осреднение нескольких записей с целью улучшения отношения сигнал/шум за счет увеличения времени накопления.
Дальнейшие действия зависят от желания и опытности пользователя.
3) Можно бороться за улучшение отношения сигнал/шум с помощью сглаживания программами вычисления фона (когда задается достаточно маленькое окно: 3-5 пикселов записи), сверткой с аппаратной функцией (например, диаграммой направленности) или сжатием записей до собственного интервала.
4) Кроме того, пользователь может добиваться улучшения отношения сигнал/шум, используя Фурье-чистку, т.е. удаляя шумовой сигнал в пространственно-частотной области.
5) На последнем шаге оцениваются параметры искомых объектов.
Вообще-то, наблюдатель не обязан следовать описанным путем. Более того, у него могут быть другие задачи. Но при описании действующей интерактивной системы автор придерживается данного пути.

[fgr screen] Рис.14. Экран программы fgr с меню и визуализированными данными.

Для интерактивной обработки данных используется программа fgr (рис. 14), позволяющая оперировать другими программами системы обработки, визуализируя при этом результат. Детальное описание программы можно найти в работе (Верходанов, 1995) или по адреcу http://www.sao.ru/hq/lran/vo/fgr. В описании изложены основные шаги обработки данных, приводится короткие примеры исполнения программ в оболочке системы UNIX. Также приводятся ссылки на описания команд из справочного руководства по системе обработки данных FADPS (Верходанов и др., 1992a, 1992b, 1993). Заметим, что автор придерживается потоковой обработки данных, т.е. работы с командными файлами, без визуализации каждого шага.

Информация из Internet

Использованию информации из Интернета посвящена отдельная лекция. Здесь же мы скажем о том, что в современную эпоху представление данных и их использование связано с организацией электронного доступа, обеспечиваемого Всемирной паутиной. Для астрономов существует специальная служба, называемая AstroWeb (астрономическая паутина), обеспечивающая доступ к наблюдательным и моделированным данным, печатным работам и многому другому. Ее электронный адрес - http://fits.cv.nrao.edu/www/astronomy.html.

Отметим, что астрономические ресурсы в Интернете уже сейчас позволяют организовать технологическую цепочку получения данных. Единственно, что астрономам нужно иметь телескоп, приемник, системы сбора, управления и архивизации, а также понимать, для чего ему это все нужно. Тогда, может быть, и будут совершены великие открытия.

Схема получения астрофизического результата. Обзор проблем

Теперь можно выстроить цепочку шагов при получения астрономической информации астрономом-наблюдателем,которые решаются при автоматизации эксперимента, то можно выделить следующие звенья или пункты (Верходанов и др., 1995; Верходанов, 1998):
Постановка задачи.
Планирование наблюдений. Этот пункт включает в себя подготовка заявки на наблюдения.
Подготовка эксперимента. Кроме подготовки аппаратуры и методики наблюдений, астроном готовит таблицы наблюдаемых источников, рассчитывает их эфемериды и оценивает возможности их наблюдения в выделенное ему время на телескопе. Для всех этих задач уже разработаны и продолжают развиваться специальные программы планирования наблюдений и подготовки заданий, призванные ускорить и упростить астроному процедуру подготовки наблюдений.
Сбор данных. Системы регистрации, объединяющие техническое и программное обеспечение, непосредственно обслуживают прибор (например, ПЗС-матрицу или радиометр) и считывают с него информацию для дальнейшей обработки в компьютере.
Управление телескопом. АСУ телескопами, включая программный пользовательский интерфейс, являются одним из активно развивающихся направлений в последние годы, чему способствует высокий уровень электроники и требований к проведению сложных экспериментов. Сейчас технические и программные возможности позволяют не только вовремя наводиться на заданный объект и считывать полученную информацию, но также следить за погодными условиями и принимать решение о возможности или невозможности проведения эксперимента.
Архивизация.
Обработка данных. Обсуждение обоих шагов от нас потребовало отдельного рассмотрения (см.выше).
Подготовка и представление публикаций. Без публикации результатов все пункты приводимой последовательности шагов, конечно, не имеют никакого научного смысла. Только благодаря публикациям научное знание проверяется и распространяется. И от того, как оформлена научная работа, часто зависит может ли она быть продолжена.

При публикации статей астрономы обязаны придерживаться стандартных правил оформления статей в астрономических журналах. Это предполагает форматирование данных согласно требованиям редакции. Чаще всего в астрономии для этих целей используется издательская система LaTeX, входящая в дистрибутив ОС Linux, с которой работают все ведущие зарубежные и отечественные астрономические журналы. Кстати, лекция, которую вы сейчас читаете, тоже набрана и отформатирована с системе LaTeX.

Если астроном сдал статью в редакцию журнала, и она получила положительный отзыв, он может не дожидаться публикации и положить ее на общедоступный сервер препринтов (см., например, http://xxx.lanl.gov. На этом сервере можно ознакомиться с пока еще неопубликованными статьями, материалами конференций и даже лекциями в университетах.
Астрофизическая интерпретация, проверка и построение теории.
Базы данных. Последние годы вызвали бурное развитие нового направления астрономии, целиком обусловленного эволюцией компьютеров и коммуникаций. Назовем его ``Internet-астрономией''. Она связана с исследованием объектов, каталогизированных и хранящихся в базах данных. Кроме того, через Internet сейчас доступны оригинальные данные наблюдений, проводящихся как на наземных телескопах, так и на космических. Чтобы получить эту информацию, достаточно с помощью программы-браузера заполнить соответствующие формы. Объем информации по мировым базам данных настолько велик, что ему посвящена отдельная лекция. Итак, проходя через каждый вышеперечисленный этап в проведении научного эксперимента, астроном сталкивается с большим набором уже решенных или еще решаемых задач. Не удивительно, что над каждой из них работают группы сотрудников, или даже целые лаборатории исследователей, которые занимаются только этим вопросом, являющимся всего лишь малой частью науки - наблюдательной астрономии.

Многое из обозначенного в пунктах детально рассмотрено и опубликовано в специализированных работах. Стандартные методы обработки вошли в учебники для высших учебных заведений (см. например, Бахвалов и др., 1987).

На этом я заканчиваю и надеюсь, что эта небольшая лекция сможет в чем-то упростить ваше знакомство с данными наблюдений и понять, как их использовать для получения интересных результатов.

В заключение автор выражает глубокую признательность Г.М.Бескину за полезные замечания и дискуссии при редактировании этой лекции.

Литература

Приложение

Таблица 3. Простейший FITS заголовок.
1234567890123456789012345678901234567890123456789012345678901234567890
----------------------------------------------------------------------
SIMPLE  =                    T          / Basic format
BITPIX  =                   16          / 2-byte twos-compl integers
NAXIS   =                    2          / Number of axes
NAXIS1  =                  512          / Number of Pixels/row (RA)
NAXIS2  =                  512          / Number of rows (Dec)
BSCALE  =         1.234567E-08          / REAL = DATA*BSCALE+BZERO
BZERO   =                    0          / No bias added
BUNIT   =            'JY/BEAM'          / Units of brightness
OBJECT  =           '0810+665'          / Source name
CRVAL1  =          122.5419617          / Ref. point value degrees
CRPIX1  =               256.00          / Ref. pixel location
CTYPE1  = 'DEGS '                       / Coord. type: value is RA
CDELT1  =        -6.944167E-05          / Coord. value increment
CRVAL2  =           66.5995040          / Ref. point value degrees
CRPIX2  =               256.00          / Ref. pixel location
CTYPE2  = 'DEGS '                       / Coord. type: value is Dec
CDELT2  =        -6.944167E-05          / Coord. value increment
INSTRUME= 'VLA '                        / NRAO VLA mapping program
DATE-MAP= '16/10/78'                    / Map creation date DD/MM/YY
DATE    = '27/05/79'                    / Map writing  date DD/MM/YY
ORIGIN  = 'NRAO'
HISTORY VLACV MAP METHOD='FFT' DATA='OBS. VISIBILITY'
HISTORY VLACV MAP
END
...................
. Двоичные данные .
...................
Таблица 4. FITS Basic. Многоточием в конце таблицы мы заменили сокращенное значение HISTORY, которое в исходном файле занимает 300K. 
1234567890123456789012345678901234567890123456789012345678901234567890
------------------------------------------------------------------------
SIMPLE  =                    T /
BITPIX  =                  -32 /
NAXIS   =                    4 /
NAXIS1  =                  512 /
NAXIS2  =                  512 /
NAXIS3  =                    1 /
NAXIS4  =                    1 /
EXTEND  =                    T /Tables following main image
BLOCKED =                    T /Tape may be blocked
OBJECT  = '0015+064'
TELESCOP= 'VLA     '
INSTRUME= 'VLA     '
OBSERVER= 'LAWR    '
DATE-OBS= '11/05/81'
DATE-MAP= '05/05/95'
BSCALE  =    1.00000000000E+00 /REAL = TAPE * BSCALE + BZERO
BZERO   =    0.00000000000E+00 /
BUNIT   = 'JY/BEAM '
EPOCH   =      0.000000000E+00 /EPOCH OF RA DEC
VELREF  =                    3 />256 RADIO, 1 LSR 2 HEL 3 OBS
ALTRPIX =      1.000000000E+00 /ALTENATE FREQ/VEL REF PIXEL
OBSRA   =    3.76166666743E+00 /ANTENNA POINTING RA
OBSDEC  =    6.39999999993E+00 /ANTENNA POINTING DEC
XSHIFT  =     -2.981744707E-03 /NET SHIFT OF PHASE CENTER INX
YSHIFT  =      3.198635997E-03 /NET SHIFT OF PHASE CENTER INY
DATAMAX =      1.625937968E-02 /MAX PIXEL VALUE
DATAMIN =     -4.717980977E-03 /MIN PIXEL VALUE
CTYPE1  = 'RA-SIN'
CRVAL1  =    3.76166666743E+00 /
CDELT1  =     -1.000000047E-04 /
CRPIX1  =      2.263685608E+02 /
CROTA1  =      0.000000000E+00 /
CTYPE2  = 'DEC-SIN'
CRVAL2  =    6.39999999993E+00 /
CDELT2  =      1.000000047E-04 /
CRPIX2  =      2.250135498E+02 /
CROTA2  =      0.000000000E+00 /
CTYPE3  = 'FREQ    '
CRVAL3  =    4.88510000593E+09 /
CDELT3  =      5.000000000E+07 /
CRPIX3  =      1.000000000E+00 /
CROTA3  =      0.000000000E+00 /
CTYPE4  = 'STOKES  '
CRVAL4  =    1.00000000000E+00 /
CDELT4  =      1.000000000E+00 /
CRPIX4  =      1.000000000E+00 /
CROTA4  =      0.000000000E+00 /
HISTORY /----------------------------------------
HISTORY /Begin "HISTORY" information found in FITS tape header by UVLOD
HISTORY BLOCKED =                    T /Tape may be blocked
HISTORY  / Where baseline = 256*ant1 + ant2 + (array#-1)/100
HISTORY /----------------------------------------
HISTORY /Begin "HISTORY" information found in FITS tape header by UVLOD
HISTORY BLOCKED =                    T /Tape may be blocked
HISTORY  / Where baseline = 256*ant1 + ant2 + (array#-1)/100
HISTORY FILLM / Image created by user 1500 at 18-JUN-1993   12:12:04
HISTORY FILLM OUTNAME='11/05/81    '   OUTCLASS='C BAND'
HISTORY FILLM OUTSEQ=    1   OUTDISK=  6
HISTORY FILLM  INTAPE =  2, NFILES =    0
HISTORY FILLM  BAND = 'C', QUAL =     0
HISTORY FILLM  VLAMODE ='  '
...................
END
Таблица 5. Заголовок FITS Table к файлам каталога Guide Star Института научных космических телескопов (США). Приведены 2 шапочки. В первой, соответствующей стандарту FITS, значение NAXIS = 0, что говорит об отсутствии обычных FITS данных. Многоточием в примере помечены пропуски информации. В конце таблицы после слова END приведен пример записи ASCII данных, описываемых в шапочке.
SIMPLE  =                    T / Standard FITS format
BITPIX  =                    8 / Character Information
NAXIS   =                    0 / No image data array present
EXTEND  =                    T / Extension exists
FILETYPE= 'GSC_REGION'         / Indicates file type
ORIGIN  = 'ST ScI  '           / Site which issued tape
DATE    = '01/08/92'           / Date of issue
COMMENT  An all-sky astrometric and photometric catalog prepared for
COMMENT  the operation of the Hubble Space Telescope.
END
......................
XTENSION= 'TABLE   '           / Table Extension
BITPIX  =                    8 / Character Information
NAXIS   =                    2 / Two-dimensional table
NAXIS1  =                   45 / Number of characters per line
NAXIS2  =                 2605 / Number of rows
PCOUNT  =                    0 / No random parameters
GCOUNT  =                    1 / Only one group
TFIELDS =                   10 / Ten fields per row
EXTNAME = 'GSC_REGION_00001'   / GSC Region No. 00001
EXTVER  =                    1 / Integer Version Number
TTYPE1  = 'GSC_ID  '           / ID within Region
TBCOL1  =                    1 / Start in column 1
TFORM1  = 'I5      '           / Integer, 5 character field (I5.5 Style)
TTYPE2  = 'RA_DEG  '           / Right Ascension - Decimal Degrees (0 to 360)
TBCOL2  =                    6 / Start in column 6
TFORM2  = 'F9.5    '           / Floating, 9 character field
TTYPE3  = 'DEC_DEG '           / Declination - Decimal Degrees (-90 to +90)
TBCOL3  =                   15 / Start in column 15
TFORM3  = 'F9.5    '           / Floating, 9 character field
TTYPE4  = 'POS_ERR '           / Position Error in Arc Seconds
TBCOL4  =                   24 / Start in column 24
TFORM4  = 'F5.1    '           / Floating, 5 character field
TTYPE5  = 'MAG     '           / Magnitude
TBCOL5  =                   29 / Start in column 29
TFORM5  = 'F5.2    '           / Floating, 5 character field
TTYPE6  = 'MAG_ERR '           / Magnitude error
TBCOL6  =                   34 / Start in column 34
TFORM6  = 'F4.2    '           / Floating, 4 character field
TTYPE7  = 'MAG_BAND'           / Magnitude Band
TBCOL7  =                   38 / Start in column 38
TFORM7  = 'I2      '           / Integer, 2 character field (I2.2 Style)
TTYPE8  = 'CLASS   '           / Classification
TBCOL8  =                   40 / Start in column 40
......................
END
......................
00001  0.98809  2.33445  0.314.760.41 00012JT
......................
Таблица 6. Расширение заголовка FITS Binary Table к файлу каталога NVSS Национальной Радиоастрономической обсерватории (США). В расширении указаны дополнительные ключевые слова BM_MAJOR, BM_MINOR и BM_PA, характеризующие диаграмму направленности телескопа. Многоточием в примере помечены пропуски информации.
XTENSION= 'BINTABLE'           / Extension type
BITPIX  =                    8 / Binary data
NAXIS   =                    2 / Table is a matrix
NAXIS1  =                   84 / Width of table in bytes
NAXIS2  =              1814748 / Number of entries in table
PCOUNT  =                    0 / Random parameter count
GCOUNT  =                    1 / Group count
TFIELDS =                   18 / Number of fields in each row
EXTNAME = 'AIPS VL '           / AIPS table file
TFORM1  = '1D      '           / FORTRAN format of field  1
TTYPE1  = 'RA(2000)        '   / Type (heading) of field  1
TUNIT1  = 'DEGREE  '           / Physical units of field  1
TFORM2  = '1D      '           / FORTRAN format of field  2
TTYPE2  = 'DEC(2000)       '   / Type (heading) of field  2
TUNIT2  = 'DEGREE  '           / Physical units of field  2
TFORM3  = '1E      '           / FORTRAN format of field  3
TTYPE3  = 'PEAK INT        '   / Type (heading) of field  3
TUNIT3  = 'JY/BEAM '           / Physical units of field  3
TFORM4  = '1E      '           / FORTRAN format of field  4
TTYPE4  = 'MAJOR AX        '   / Type (heading) of field  4
TUNIT4  = 'DEGREE  '           / Physical units of field  4
TFORM5  = '1E      '           / FORTRAN format of field  5
TTYPE5  = 'MINOR AX        '   / Type (heading) of field  5
TUNIT5  = 'DEGREE  '           / Physical units of field  5
TFORM6  = '1E      '           / FORTRAN format of field  6
TTYPE6  = 'POSANGLE        '   / Type (heading) of field  6
TUNIT6  = 'DEGREEE '           / Physical units of field  6
TFORM7  = '1E      '           / FORTRAN format of field  7
TTYPE7  = 'Q CENTER        '   / Type (heading) of field  7
TUNIT7  = 'JY/BEAM '           / Physical units of field  7
TFORM8  = '1E      '           / FORTRAN format of field  8
TTYPE8  = 'U CENTER        '   / Type (heading) of field  8
TUNIT8  = 'JY/BEAM '           / Physical units of field  8
TFORM9  = '1E      '           / FORTRAN format of field  9
TTYPE9  = 'P FLUX          '   / Type (heading) of field  9
TUNIT9  = 'JY      '           / Physical units of field  9
TFORM10 = '1E      '           / FORTRAN format of field 10
TTYPE10 = 'I RMS           '   / Type (heading) of field 10
TUNIT10 = 'JY/BEAM '           / physical units of field 10
TFORM11 = '1E      '           / FORTRAN format of field 11
TTYPE11 = 'POL RMS         '   / Type (heading) of field 11
TUNIT11 = 'JY/BEAM '           / physical units of field 11
......................
BM_MAJOR=   0.1250000E-01
BM_MINOR=   0.1250000E-01
BM_PA   =   0.0000000E+00
END
......................
vo @ sao.ru
 (Oleg Verkhodanov)