Документ взят из кэша поисковой машины. Адрес оригинального документа : http://imaging.cmc.msu.ru/pub/2011.Book.Krylov_Nasonov.Resampling.ru.pdf Дата изменения: Fri Aug 19 13:57:55 2011 Дата индексирования: Mon Oct 1 19:38:07 2012 Кодировка: Windows-1251

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М. В. ЛОМОНОСОВА Факультет вычислительной математики и кибернетики

А.С. Крылов, А.В. Насонов

КОМПЬЮТЕРНОЕ ПОВЫШЕНИЕ РАЗРЕШЕНИЯ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ МАТЕМАТИЧЕСКОЙ ФИЗИКИ

Учебное пособие

Москва 2011


УДК 517.6 ББК 22.193 М18

Печатается по решению Редакционно-издательского совета факультета вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова
Р е ц е н з е н т ы:

Разгулин А.В., профессор, Баяковский Ю.М., доцент,
Крылов А.С., Насонов А.В.

д.ф.-м.н. к.ф.-м.н.

Компьютерное повышение разрешения изображений с использовани-

М18

ем методов математической физики:

Учебное пособие. М.: Издательский отдел факультета ВМК МГУ имени М.В. Ломоносова (лицензия ИД N 05899 от 24.09.2001 г.); МАКС Пресс, 2011. 72 с. ISBN 000-0-00000-000-0
Учебное пособие посвящено использованию регуляризирующих методов решения некорректных задач для повышения разрешения изображений и суперразрешения. Приводится обзор существующих методов повышения разрешения изображений. Строится математическая модель получения изображений для цифровых камер. На основе этой модели ставится задача повышения разрешения изображений, строятся и анализируются регуляризирующие методы для е? решения. Описаны базовые понятия, алгоритмы и численные методы минимизации используемых регуляризирующих функционалов. Пособие рассчитано на студентов старших курсов и аспирантов, специализирующихся в области математической физики и математических методов обработки изображений.

УДК 517.6 ББК 22.193

Рукопись подготовлена при поддержке ФЦП ?Научные и научно-педагогические кадры инновационной России? на 20092013 годы
КРЫЛОВ Андрей Серджевич, НАСОНОВ Андрей Владимирович КОМПЬЮТЕРНОЕ ИЗОБРАЖЕНИЙ С ПОВЫШЕНИЕ РАЗРЕШЕНИЯ МЕТОДОВ

ИСПОЛЬЗОВАНИЕМ ФИЗИКИ

МАТЕМАТИЧЕСКОЙ Учебное пособие

Издательский отдел Факультета вычислительной математики и кибернетики МГУ имени М.В. Ломоносова Лицензия ИД B 05899 от 24.09.01 г. 119992, ГСП-2, Москва, Ленинские горы, МГУ имени М.В. Ломоносова, 2-й учебный корпус Напечатано с готового оригинал-макета в издательстве ООО ?МАКС Пресс? Лицензия ИД N 00510 от 01.12.99 г. Подписано к печати 00.00.0000 г. Формат 60х90 1/16 Усл.печ.л. 4,5 Тираж 100 экз. Заказ 000. 119992, ГСП-2, Москва, Ленинские горы, МГУ имени М.В. Ломоносова, 2-й учебный корпус, 627 к. Тел. (495) 939-3890, 939-3891, Тел./Факс 939-3891.

ISBN 000-0-00000-000-0

c Крылов А.С., Насонов А.В., 2011 c Факультет вычислительной математики и кибернетики МГУ имени М.В. Ломоносова, 2011


3

Оглавление

Введение

5

1

Обзор методов повышения разрешения изображений

11

1.1 1.2
2

Линейные методы повышения разрешения изображений . . Нелинейные методы повышения разрешения изображений

11 15
20

Постановки задач повышения разрешения изображений

2.1 2.2 2.3
3

Модель получения цифровых изображений . . . . . . . . . Постановка задачи ресамплинга изображений . . . . . . . . Постановка задачи суперразрешения . . . . . . . . . . . . .

20 22 25

Построение и анализ регуляризирующих методов решения задачи повышения разрешения изображений и суперразрешения 30

3.1 3.2 3.3

Построение регуляризирующих методов решения задачи повышения разрешения изображений и суперразрешения . Оптимизация параметров регуляризирующих методов . . . Постобработка результатов повышения разрешения и суперразрешения . . . . . . . . . . . . . . . . . . . . . . . . . 53 31 42

4

Численные методы, используемые для решения поставленных задач 56

4.1

Субградиентный метод минимизации регуляризирующих функционалов ......................... 56


4

4.2

Метод минимизации квадратичных функционалов на множестве функций с ограниченной полной вариацией 4.2.1 4.2.2 .... 62 62 63 66 Метод условного градиента . . . . . . . . . . . . . . Применение метода условного градиента для задачи подавления эффекта Гиббса . . . . . . . . . . . . . .

4.3

Практический выбор параметра регуляризации для задачи повышения разрешения изображений . . . . . . . . . . . .


5

Введение

Быстрый прогресс в области компьютерной техники позволяет применять для решения задач обработки и анализа изображений вс? более современные математические методы. Более того, многие достижения в области обработки и анализа изображений во многом связаны именно с применением математических методов. Математические методы, ранее возникшие и развившиеся при решении задач в различных прикладных областях, в первую очередь в физике и химии, являются ценным источником создания новых мультимедийных алгоритмов. Во многом, это относится и к методам математической физики, в том числе и к методам решения некорректных задач математической физики, которые в данном пособии составляют базу построения эффективных алгоритмов компьютерного повышения разрешения изображений. Задача повышения разрешения изображений является важной для широкого класса практических приложений, таких как обработка и анализ медицинских изображений, обработка аэрокосмических снимков, обработка данных видеонаблюдения, трансляция видеопотока низкого разрешения на современных широкоформатных дисплеях и ряда других задач. Рост производительности компьютеров в настоящее время позволяет в реальном времени использовать сложные итерационные методы повышения разрешения изображений, а также решать задачу
ния суперразреше-

[1, 2]. Суперразрешение позволяет сразу по нескольким различным

изображениям низкого разрешения одного и того же объекта построить одно изображение высокого разрешения. Это позволяет достичь больше-


6

го качества по сравнению с применением повышения разрешения каждого из изображений низкого разрешения по отдельности. Задача повышения разрешения изображений обладает особенностями, не позволяющими эффективно применять общие методы интерполяции функций для е? решения, поэтому для повышения разрешения изображений требуется разработка специальных методов. Среди таких особенностей можно выделить следующие: 1. Наличие специфичной априорной информации о содержании и структуре изображения. Примером такой информации является информация о спектре непрерывного изображения: если изображение удовлетворяет условиям теоремы Котельникова [3], то возможно его однозначное восстановление по дискретному изображению низкого разрешения. Другими примерами являются предположения о сохранении полной вариации изображения при повышении разрешения, предположения о структуре контуров объектов. Для различных классов изображений эта априорная информация различается, поэтому невозможно разработать универсальный метод повышения разрешения изображений для произвольных изображений. 2. Значимость субъективной оценки результата повышения разрешения. Например, в случае отображения видеопотока низкого разрешения на экранах высокой ч?ткости, визуальное качество изображений имеет решающее значение. При этом имеет значение как отсутствие артефактов, так и правдоподобность получаемого результата (отсутствие искажений, таких как исчезновение мелких деталей или появление новых деталей). Наиболее распростран?нными артефактами, возникающими при повышении разрешения изображений, являются артефакты, связанные с искажением высокочастотной информации: (ступенчатость контуров) и
эффект размытия, алиасинг эффект Гиббса.

В задачах обработки изобложного оконтури-

ражений эффект Гиббса проявляется как эффект


7
вания,

возникающий при недостатке информации о высоких частотах

изображения и проявляющийся в виде ореолов возле резких контуров. В отличие от настоящего эффекта Гиббса, в случае ложного оконтуривания наблюдается обычно только одна или две осцилляции. На рис.1 приведены примеры этих артефактов.

Размытие

Алиасинг (ступенчатость контуров)

Ложное оконтуривание (эффект Гиббса)

Рис. 1: Примеры артефактов, возникающих при повышении разрешения изображений.

Для подавления артефактов, внес?нных методами повышения разрешения изображений, применяются методы постобработки. 3. В большинстве случаев требуется не построение непрерывного изображения, а переход с более грубой сетки на более мелкую. Такой процесс называют
ресамплингом изображений

, а коэффициент отношения шага
коэффициентом

крупной сетки к коэффициенту шага мелкой сетки
увеличения изображений

.

4. Имеет значение вычислительная сложность алгоритмов повышения разрешения изображений при их применении в реальном времени. Объективный анализ качества методов повышения разрешения изображений осуществляется с использованием специальных метрик, учитывающих как близость результата повышения разрешения к эталонному изображению, так и субъективную оценку качества изображения. Большинство алгоритмов повышения разрешения изображения работают с изображениям, содержащими только одну компоненту. Применение таких алгоритмов к цветным изображениям заключается в представлении цветного изображения в виде тр?х однокомпонентных изоб-


8

ражений и повышении разрешения каждого из этих изображений по отдельности. При этом часто производится переход в другое цветовое пространство, например, YUV, где первая компонента представляет из себя значение интенсивности, а оставшиеся две компоненты определяют цвет. В связи с тем, что чувствительность человеческого восприятия к яркости выше, чем к цвету, такой подход позволяет понизить вычислительную сложность при повышении разрешения цветных изображений, применяя для повышения разрешения цветовых компонент быстрые алгоритмы. Существуют алгоритмы, которые работают с компонентами пикселя цветного изображения как с единым целым. Например, в задачах выделения контуров используется цветовой градиент [4], позволяющий находить контуры, которые нельзя найти, используя только яркостную компоненту изображения. Однако в задачах повышения разрешения изображения такие алгоритмы не получили популярности из-за высокой сложности и отсутствия существенного повышения субъективного качества изображения. В настоящее время алгоритмы интерполяции цветных изображений применяются в основном для демозаикинга интерполяции байеровских шаблонов [5]. В большинстве устройств получения цветных цифровых изображений используются матрицы, состоящие из различных фотоэлементов, чувствительных к свету с определенной длиной волны. Используется три типа элементов: чувствительных к красному, зеленому и синему цветам. Эти три типа элементов расположены в виде мозаики, называемой обычно байеровским шаблоном. Задача демозаикинга состоит в получении полноцветного изображения по его байеровскому шаблону. Цифровое изображение в градациях серого

v = {vi,j },

i = 0, 1, . . . , Nx , j = 0, 1, . . . , Ny ,

представляет собой конечномерную двумерную таблицу размера (Nx +


9

1) Ч (Ny + 1), элементам которой, называемым

пикселями,

присвоено зна-

чение из некоторого конечного множества значений, в качестве которого обычно используется множество целых чисел на отрезке от 0 до 255. Данное значение называется интенсивностью. В случае цветного изображения значением пикселя является вектор из тр?х значений, соответствующих цветовым компонентам. Удобно использовать представление изображения в виде вещественной сеточной функции u(ihx , j hy ) = vi,j , заданной на двухмерной равномерной сетке

hx

,hy

= {(ihx , j hy ) : 0 i Nx , 0 j Ny }, hx > 0, hy > 0.

Для того, чтобы избавиться от задания граничных условий в явном виде для каждого конкретного метода повышения разрешения изображений, удобно произвести продолжение сеточной функции u с конечномерной сетки hx
,hy

на бесконечномерную



hx ,hy

= {(ihx , j hy ) : i, j Z}, hx > 0, hy > 0.

(1)

При этом значения функции u совпадают со значениями пикселей изображения u для 0 i Nx , 0 j Ny , а значения за пределами этого прямоугольника вычисляются пут?м ч?тного (можно также использовать и другие способы, например неч?тное продолжение) продолжения относительно его сторон. Ч?тное продолжение для изображения размера


10

(Nx + 1) Ч (Ny + 1) выглядит следующим образом: u i,j при 0 i < Nx , 0 j < Ny , u2N -i,j при Nx i < 2Nx , 0 j < Ny , x ui+2Nx p,j +2Ny q = u i,2Ny -j при 0 i < Nx , Ny j < 2Ny , u2N -i,2N -j при Nx i < 2Nx , Ny j < 2Ny , x y
где p, q Z.

(2)

Также используется -представление дискретного изображения в виде суммы дельта-функций в тех случаях, когда необходимо произвести переход от дискретного представления к непрерывному без изменения самого изображения
+

u(x, y ) =
i,j =-

ui,j (x - ihx ) (y - ihy ),

(3)

где (t) дельта-функция:
+

f (t) (t - t0 )dt = f (t0 ).
-

В данном учебном пособии рассматривается задача повышения разрешения и суперразрешения однокомпонентных изображений. Эта задача ставится как обратная задача для задачи понижения разрешения изображений. Она является некорректной, для е? решения используются методы, основанные на регуляризации Тихонова [6]. Также рассматривается задача подавления эффекта Гиббса после повышения разрешения. Описаны численные методы для решения поставленных задач.


11

Глава 1
Обзор методов повышения разрешения изображений

1.1

Линейные методы повышения разрешения изображений

Простейшим классом методов интерполяции изображений является класс линейных методов. В общем случае методы этого класса основаны на использовании непрерывной св?ртки -представления изображения и некоторого ядра K (x, y ) [7]


f (x0 , y0 ) =

u(x0 - x, y0 - y )K
- - + +

xy , hx hy

dxdy =
(1.1)

=
i=- j =-

ui,j K

x0 y0 - i, -j , hx hy

где f (x, y ) интерполированное изображение. На данном этапе не накладывается никаких ограничений на значения пикселей и размер исходного изображения. Как правило, используется ядро вида K (x, y ) =

K (x)K (y ). Это позволяет существенно повысить скорость работы алгоритма, так как в этом случае интерполяция разбивается на последовательную одномерную интерполяцию сначала по одной оси, затем по


12

другой:

+

fi (y ) =
j =- +

ui,j K fi (y )K
i=-

y -j , hy x -i . hx

(1.2)

f (x, y ) =

При этом на ядро K (t) накладываются следующие условия: 1. Условие интерполяции

K (0) = 1, K (n) = 0, n = +1, +2, . . . .

Это условие нужно для выполнения равенства значений исходного и интерполированного изображений

f (ihx , j hy ) = ui,j ,
в узлах сетки hx
,hy

i, j Z

.

2. Финитность ядра

K (t) = 0,

|t| > p > 0.

Так как вычислительная сложность метода интерполяции (1.1) пропорциональна количеству ненулевых слагаемых в сумме, то для достижения высокой скорости интерполяции выбираются ядра с небольшим

p.
3. Условие нормировки коэффициентов
+

K (t + i) = 1,
i=-

0 t < 1.

Данное условие следует из того, что интерполяция изображения, все пиксели которого имеют одинаковое значение ui,j = C , должна давать константную функцию f (x, y ) = C . В работах [810] собраны воедино, обобщены и подробно рассмотре-


13

ны практически все используемые в настоящее время методы линейной интерполяции. К наиболее популярным линейным методам можно отнести следующие методы: 1. Метод ближайшего соседа:

1 для - 1/2 t < 1/2, K (t) = 0 иначе.
Это самый быстрый метод интерполяции. В случае ресамплинга с целым коэффициентом увеличения он представляет собой простое повторение пикселей изображения. Данный метод обладает серь?зным недостатком: получаемая функция f (x, y ) является разрывной, а на изображении ярко выражен эффект ступенчатости. 2. Метод интерполяции первого порядка:

1 - |t| для - 1 < t < 1, K (t) = 0 иначе.
В двумерном случае этот метод называют
ей билинейной интерполяци-

. Получаемая с помощью этого метода функция f (x, y ) является непре-

рывной с кусочно-постоянной первой производной. Артефактами метода является эффект ступенчатости, но менее выраженный, чем в методе ближайшего соседа, и небольшой эффект размытия. 3. Метод сплайновой интерполяции третьего порядка (бикубическая
интерполяция

):

(a + 2)|t|3 - (a + 3)|t|2 + 1 для |t| 1, K (t) = a|t|3 - 5a|t|2 + 8a|t| - 4t для 1 < |t| < 2, 0 иначе.

(1.3)

Этот метод наиболее часто применяется для повышения разрешения


14

изображений из-за малого значения p (p = 2) и хорошего баланса между артефактами размытия, алиасинга и оконтуривания кра?в. 4. ?Идеальная? интерполяция, основанная на использовании теоремы Котельникова [3]:

K (t) = sinc t =

sin t . t

(1.4)

Теорема Котельникова гарантирует восстановление непрерывного сигнала по дискретному при условии, что в спектре непрерывного сигнале не было частот выше
1 2 max(hx ,hy )

. На практике применение этого метода за-

труднительно из-за того, что ядро (1.4) не является финитным (p = ), а спектр естественных изображений не является ограниченным. При интерполяции изображения с помощью данного метода, на изображении высокого разрешения наблюдается ярко выраженный эффект ложного оконтуривания, причиной которого является эффект Гиббса. 5. Метод Ланцоша, представляющий собой приближение идеальной интерполяции финитным ядром:

Kp (t) =

sinc(t) ћ sinc 0

t p

для |t| < p, иначе.

(1.5)

Параметр p N зада?т размер ядра. На практике обычно используют

p = 2 и p = 3.
6. Метод интерполяции с использованием фильтра Гаусса:

1 K (t) = e 2

-

t2 2 2

.

Данный метод интерполяции не удовлетворяет первому условию, тем не менее, он обладает рядом полезных свойств и широко используется в обработке изображений. Например, он используется для вычисления производных любых порядков в произвольных точках на изображении. Ядро фильтра не является финитным, тем не менее, оно быстро убывает при росте t, поэтому на практике обычно принимают K (t) = 0 при


15

|t| > t , где значение t выбирается таким образом, чтобы ошибка не
превышала заданного значения. При использовании t = 3 значение ошибки существенно ниже разницы между отображаемыми градациями интенсивности современных мониторов, поэтому на практике чаще всего используют именно это значение. Для эффективного вычисления св?ртки с фильтром Гаусса используется его приближение с помощью рекуррентных фильтров [11]. Среди класса линейных методов невозможно выбрать наилучший метод. Любой линейный метод представляет собой баланс между тремя типами артефактов: размытия, алиасинга и эффекта Гиббса (см. во введении, рис. 1). Подавление одного из артефактов приводит к усилению других артефактов.
1.2 Нелинейные методы повышения разрешения изображений

Добиться более качественных результатов можно с помощью нелинейных методов, в которых функция усреднения K (x, y ) зада?тся отдельно для каждого интерполируемого пикселя и, вообще говоря, зависит от значений пикселей интерполируемого изображения. Примером нелинейных методов является класс градиентных методов [12, 13]. В основе градиентных алгоритмов лежит тот факт, что интерполяция вдоль кра?в (контуров) деталей изображения да?т лучшие результаты, чем обычная линейная интерполяция. В целом результат, получаемый градиентными методами, получается близок к результату бикубической интерполяции, но эффект алиасинга оказывается практически полностью подавлен. Один из способов реализации такой интерполяции основан на использовании функции Гаусса с переменными радиусами по разным направлениям:
- 1 K (x , y , x0 , y0 ) = e 2 x y
x2 2 2x

-

y2 2 2y

.


16

y
1.2

1

0.8

0.6

x


K(x, y)

0.4 3 2 1 0 0 -1 -0.2 -3 -2 -1 0 1
x

0.2

-2 2 -3 3
y

Рис. 1.1: Пример ядра K (x, y ) в точке контура при интерполяции с помощью градиентных методов.

Здесь ядро K (x , y , x0 , y0 ) задано в декартовой системе координат

Ox y c центром в интерполируемом пикселе O = (x0 , y0 ) и осью Ox , совпадающую с направлением градиента исходного изображения в (x0 , y0 ). Радиус y фиксирован, а радиус x выбирается на основе анализа модуля градиента изображения: чем больше модуль градиента, тем меньше значение x . Пример ядра при интерполяции в точке границы привед?н на рис. 1.1. Ещ? один алгоритм, основанный на использовании градиента это метод WADI (Warped Distance) [14]. В н?м значение интерполируемого пикселя представляет собой взвешенную сумму значений четыр?х ближайших пикселей, прич?м веса выбираются в зависимости от расстояния до этих пикселей и модуля производной в этих пикселях. Чем больше производная, тем меньше весовые коэффициенты. Алгоритм NEDI (New Edge-Directed Interpolation) увеличивает изображение в 2 раза, используя предположение о самоподобии фрагментов изображения высокого разрешения и соответствующих им фрагментов изображения низкого разрешения [15, 16]. Значения интерполируемых пикселей представляют собой взвешенную сумму четыр?х соседних пикселей, при этом веса вычисляются в предположении, что исходное изображение было получено с теми же весами пут?м увеличения уменьшен-


17

ного в 2 раза исходного изображения. NEDI хорошо справляется с контурами объектов (визуально лучше, чем градиентные методы), но плохо обрабатывает участки изображения, для которых предположение о самоподобии неверно. К методу NEDI близок класс фрактальных алгоритмов, в основе которых лежит свойство самоподобия целых блоков изображения. Принцип работы алгоритмов фрактального ресамплинга аналогичен алгоритмам фрактального сжатия и основан на методах фрактального кодирования. Различные методы фрактального кодирования, в том числе использующие итерации сжимающих отображений (Iterated Function System, IFS), рассматриваются в статьях [1720]. Широкий класс методов представляет задачу повышения разрешения изображений как обратную задачу для уравнения

Az = u,

(1.6)

где u исходное изображение низкого разрешения, z искомое изображения высокого разрешения, A оператор понижения разрешения. Таким образом, задача формулируется в виде: построить такое изображение высокого разрешения, которое после уменьшения даст известное изображение низкого разрешения. Эта постановка задачи повышения разрешения как обратной задачи позволяет использовать для ее решения методы теории решения обратных задач. Эта теория была создана А.Н.Тихоновым [6] и ориентирована, в первую очередь, на решение некорректных задач математической физики. Однако, за последнее время, регуляризирующие методы решения обратных задач математической физики нашли широкое применение в различных областях прикладной математики. Созданный математический аппарат для использования дополнительной информации о решении оказался эффективным и в области обработки изображений. Обратная задача, определяемая уравнением (1.6), является некоррект-


18

но поставленной. Для е? решения применяются следующие методы, основанные на использовании априорной информации об изображении: 1. Регуляризиризующие методы [21]. В общем случае задаются два функционала: функционал соответствия изображения высокого разрешения изображению низкого разрешения Id (z , u), например, невязка

Id (z , u) = Az - u

2 2

и функционал соответствия изображения высокого разрешения априорной информации Is (z ) стабилизатор [22]. Для нахождения изображения высокого разрешения производится минимизация регуляризирующего функционала

z = arg min (Id (z , u) + Is (z )) ,
z

где параметр регуляризации контролирует баланс между соответствием изображению низкого разрешения и априорной информации. Также используются следующие регуляризирующие методы [2325]

zC = arg min Id (z , u),
z M
C

MC = {z |Is (z ) C }

и

z = arg min Is (z ),
z M


M = {z |Id (z , u) }.

2. Метод обратной проекции ошибки [26, 27], заключающийся в итерационной минимизации невязки Az - u :

zk

+1

= zk + U (Azk - u),

где U оператор повышения разрешения изображений. Недостатком метода является, вообще говоря, отсутствие устойчивости и сходимости. Результат зависит от выбора начального приближения z0 и оператора

U . Тем не менее, данный метод используется в практических приложениях, так как часто позволяет за малое количество итераций получить


19

результат с хорошим визуальным качеством. 3. Метод проекции на выпуклые множества, заключающийся в проектировании приближения z0 на множество изображений M , где M выпуклый компакт [28, 29]:

zR = prM z0 = arg min z - z0 2 . 2
z M


20

Глава 2
Постановки задач повышения разрешения изображений

2.1

Модель получения цифровых изображений

В данном разделе приводится математическая модель получения изображений в градациях серого, используемая в большинстве методов повышения разрешения изображений, представляющих задачу повышения разрешения изображений как обратную задачу для задачи понижения разрешения изображений.







Рис. 2.1: Модель получения дискретного изображения с помощью цифровой камеры.

В цифровой камере изображение проецируется на матрицу, состоящую из светочувствительных элементов (сенсоров), каждый из которых соответствует пикселю на изображении. Значение пикселя ui,j равно сум-


21

марной интенсивности непрерывного светового потока

f (x, y ) F = L(R2 ),
попавшего на сенсор:

ui,j =
x,y

f (x, y )Ki,j (x - xi , y - yi )dxdy ,

(2.1)

где (xi , yi ) координаты центра пикселя, Ki,j (x, y ) функция усреднения в координатах относительно центра пикселя, называемая также
point spread function

(PSF), или

функцией распределения точки

, L(R2 )

банахово пространство вещественных функций, определ?нных на R2 с некоторой нормой

ћ

F

. (1).

Предполагается, что все сенсоры одинаково усредняют световой поток

Ki,j (x, y ) = K (x, y ) и расположены в узлах равномерной сетки hx

,hy

Дополнительно накладывается условие центральной симметричности на

K (x, y ). Этим условиям удовлетворяет большинство современных камер.
При данных условиях модель (2.1) принимает вид:

ui,j = [f K ](xi , yj ),
где f K операция св?ртки
+ +

(2.2)

[f (x, y ) K (x, y )](x0 , y0 ) =
- -

f (x, y )K (x0 - x, y0 - y )dxdy .

Для прямоугольных сенсоров функция распределения точки принимает вид

1 при - K (x, y ) = 0 иначе.

hx 2

x<

hx 2

,-

hy 2

y<

hy 2

,

(2.3)

Хорошим приближением функции распределения точки является двух-


22

мерная функция Гаусса

K (x, y ) = G
где
радиусы

x

,y

x2 y2 1 exp - 2 - 2 , (x, y ) = 2 x y 2 x 2 y

2 2 x и y (квадратные корни дисперсий x , y ) выбираются

исходя из размеров сенсоров hx и hy . Для сенсоров с одинаковыми размерами по вертикали и горизонтали

h = hx = hy используются одинаковые значения радиусов = x = y ,
и функция распределения точки записывается в виде

G (x, y ) =

1 x2 + y exp - 2 2 2 2

2

.

(2.4)

Значение радиуса бер?тся пропорционально размеру сенсоров =

0 h. Параметр 0 определяется конструкцией камеры, обычно используются значения 0 из интервала [0.4, 0.5]. При обработке реальных изображений в подавляющем большинстве случаев нет информации о камере, поэтому используются универсальные параметры, хорошо приближающие параметры камеры. При этом предполагается, что камеры имеют квадратные сенсоры hx = hy = h, а функция распределения точки описывается в виде (2.4). Построение методов повышения разрешения изображений производится исходя из этих параметров.
2.2 Постановка задачи ресамплинга изображений

Обозначим пространство (h ) банахово пространство вещественных сеточных функций, заданных на бесконечномерной равномерной сетке с шагом h

h = {(xi , yj ) : xi = ih, yj = j h,
с нормой

i, j Z}

ћ

(h )

.


23
Построение непрерывного изображения

Согласно введ?нной в предыдущем разделе математической модели (2.2), задача построения непрерывного изображения f L(R2 ) по изображению u (h ) формулируется в виде

ui,j = [f G0 h ](xi , yj ) = [Dh H0 h f ]i,j ,
где H
0

h

оператор св?ртки с функцией Гаусса G0 h ,

Dh : L(R2 ) (h )
оператор дискретизации:

[Dh f ]i,j = f (ih, j h).
Таким образом, в непрерывном случае задача повышения разрешения изображений ставится в виде обратной задачи для задачи получения дискретного изображения с камеры:

Ah f = Dh H0 h f = u,
Ресамплинг изображений

f L(R2 ), u (h ).

(2.5)

В реальных задачах требуется не построение непрерывного изображения

f , а переход на сетку с меньшим шагом ресамплинг изображений.
Задача понижения разрешения изображений ставится в следующем виде: по имеющемуся изображению z (h/s ), полученного с помощью камеры с размером сенсоров

h/s,

построить

изображение

u (h ) для камеры с размером сенсоров h, где s коэффициент
масштабирования, s > 1.


24

Согласно математической модели (2.2):

zi,j = [f G

0

h/s

]

ih j h s, s

,

ui,j = [f G0 h ](ih, j h).
Используя свойство Ga Gb = G записана в виде
a2 +b
2

, вторая формула может быть

ui,j = [f G

0

h/s

G h
0

1-1/s2

]

ih j h s, s

.

(2.6)

Для вычисления ui,j необходимо иметь непрерывное изображение

f G

0

h/s

, но известным является только дискретное изображение zi,j . В
0

этом случае используется -представление z (3) вместо f G ^ в качестве аппроксимации:

h/s

в (2.6)

ui,j = [z G h ^
0

1-1/s2

]

ih j h s, s

.

При этом оста?тся лишь зависимость от s:
i,j Z

zi,j G h
0

1-1/s
2

2

(i0 h -

ih s

, j0 h -

jh s

) =

ui

0

,j0

=

i,j Z i,j Z

G h
0 0

1-1/s

(i0 h -

ih s

, j0 h -

jh s

)

zi,j G G

0

1-1/s2

i (i0 - s , j0 - j ) s

=

i,j Z i,j Z

s2

-1

(i0 s - i, j0 s - j ) (si0 - i, sj0 - j )

=

zi,j G G
0


0

s2 -1

=



i,j Z

s2 -1

(si0 - i, sj0 - j )

.

Если коэффициент масштабирования s целый, то все узлы грубой сетки h являются узлами исходной сетки
h/