Документ взят из кэша поисковой машины. Адрес оригинального документа : http://qsft.phys.msu.ru/biblioteka/lecturesPS/presentations/presentation9.pdf Дата изменения: Mon Dec 7 01:16:47 2015 Дата индексирования: Sat Apr 9 22:50:04 2016 Кодировка: Windows-1251

Метод максимального правдоподобия

Теория вероятностей и математическая статистика

7 декабря 2015 г.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Содержание

1

Метод максимального правдоподобия Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Функция правдоподобия и ее свойства
В отличии от метода наименьших квадратов, метод наибольшего правдоподобия не требует от вероятностного распределения существования конечных абсолютных моментов какого-либо порядка, но предполагает существование плотности вероятности и ее гладкость по параметрам распределения в точке максимума. Например, для оценки показателя степени полиномиального хвоста a можно использовать часть эмпирических данных {xk }K {n }N , его 1 1 правый конец с отброшенными редкими максимальными значениями. Оставшиеся точки сортируются в порядке возрастания (строится вариационный ряд) и показатель степени a оценивается по формуле метода максимального правдоподобия (maximum likelihood method)
N

a N = 1 + N
1

ln

xn x1

-1

,

xn < x

n+1

,

(1)

который обсуждается в настоящей лекции.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Если независимо распределенные случайные точки {xn } имеют общее распределение p (x |), зависящее от неизвестного параметра , то N -точечная плотность вероятности такого набора равна

pN (x1 , . . . , xN |) =

def

N

p (xn |).
1

Аргумент максимума этой функции по характеризует наиболее вероятное событие. Положение экстремума не изменяется при любом монотонном преобразовании этой функции, поэтому можно перейти к логарифмической функции правдоподобия

L(x|) = ln pN (x|),

def

x = {xn }N -выборочные значения. 1

def

(2)

Для отыскания экстремума используется необходимое условие 2 N : L(x|) = p (x|)/p (x|) = 0. Вторая производная L(x| ) отрицательна, и чем больше ее модуль, тем быстрее убывает 2 плотность pN (x|) при отклонении от : т.е. | L(x| )| характеризует локализацию экстремума функции L(x|) в точке .
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Информацией Фишера называется величина
2 I () = -E L(x |),

(3)

являющаяся в силу ЗБЧ пределом выборочных средних при N : 12 1 L(x|) = N N
N n =1

2 2 L(xn |) E L(x |) = -I ().

Для многомерных параметров эту роль играет определитель матрицы вторых производных функции правдоподобия, характеризующая локализацию экстремума по совокупности параметров, а также 2 производные -k L(x |), характеризующие локализацию экстремума по каждому параметру k в отдельности. Производная функции правдоподобия возникает при дифференцировании матожиданий, зависящих от оцениваемого параметра:
E f ( ) = dx f (x ) p (x |) = dx f (x ) p (x |) = E f ( ) L( |)

Нетрудно видеть, что функция правдоподобия объединения множеств независимых эмпирических данных равна сумме логарифмических функций правдоподобия этих множеств.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Предположим, что истинное значение неизвестного параметра распределения. Поскольку L(x|) = 0 в точке N и, согласно закону -1 2 2 L(x | ) при N , больших чисел или ЦПТ, N L(x|) E то, разлагая L(x |) в ряд Тейлора в окрестности точки N , получим

p (x|) = e

L(x| )

e
N

L(x|N )+

( -N )2

2

2 L(x|N )

e

L(x|N )-N

( -N )2 2I ()-1

,

L(x| ) N (E L(x | )) -N I ().
N

2

2

Это наблюдение объясняет роль информации Фишера и мотивирует гипотезу о предельном распределении погрешности оценок ММП:
P N 2 ( - N ) B N

1 2
-1 2

e
B

2 - x2

dx ,

2 N =

def

2 | L(x|N )| N

-1

I

-1

( ),

(4)
то есть - N = O N , где N = argmax L(x|).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Вернемся к примеру. Если д. с. в. x [xmin , ) имеет распределение Парето с неизвестным показателем

p (x |) =

- 1 xmin xmin x



N

, pN (x1 , . . . , xN |) =
1

- 1 xmin xmin xn



,

то с учетом нормировки функция правдоподобия L равна
N

L(x|) = N ln( - 1) - N ln xmin -

ln
1

xn . xmin

Точку экстремума этой функции находим из условия 0 = L/ =

N - -1

N

ln
1

x

N n N = 1 + N

xmin

ln
1

xn x1

-1

Нетрудно видеть, что 2 L/ 2 = -N ( - 1)-2 < 0, так что точка выборочная оценка аргумента максимума. В качестве точки xmin естественно использовать оценку xmin x1 , x1 < x2 < ћ ћ ћ < xN .
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля

N


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Теорема 1 Пусть {x1 , . . . , xN } -упорядоченная по возрастанию выборка {1 , . . . , N } из распределения Парето P (xmin , ). Выборочное среднее
N
-1 n

ln

xn = (N - 1) x1

-1

( - 1)

-1

дает состоятельную оценку показателя , а точка x1 является состоятельной оценкой для xmin . Доказательство . Минимум i. i. d. r. v. {n } имеет плотность распределения
P {x1
(N ) N ( -1)

def

= min(1 , . . . , N ) dx } = dP ( > x )N = -d

xmin x

.

Обезразмеривая интеграл с помощью замены xmin y и интегрируя по x частям логарифм отношения min(1 , . . . , N )/xmin , получаем
E ln x1 =- xmin =
1
(N )

d
xmin

xmin x
N ( -1)

N ( -1)

ln

x xmin



=-

1

d

1 y

N ( -1)

ln y (5)

1 y

dy 1 = 0, y N ( - 1)

N .

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Докажите, что имеют место следующие выражения для плотностей распределения минимального и максимального выборочного значений: Упражнение 1
150 0.25

px
100

n xmin

xmin x

n1
0.20

px

n

xmin xmin x

1

1

a xmin

n1

0.15

0.10 50 0.05

0 2.00 2.01 2.02 2.03 2.04 2.05

0.00 5 10 15 20 25 30

Рис. 1: Гистограммы и функции распределения оценок P (minxn > x ) (слева) и P (maxxn > x ) (справа) по N = 1000 выборкам размера n = 13 из распределения Парето p2,3 (x ): xmin = 2, = 3, = + 1.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Покажем, что из (5) следует состоятельность оценки (N ) x1 = x1 = min{1 , . . . , N } для точки xmin , то есть (N ) P (x1 - xmin ) 0 при N . Действительно,

E ln

x x1 > E ln 1 I{ xmin xmin = E ln 1 + > ln 1 + x

(N )

(N )

x1 -x

min

}

(x1 ) I{
min

x

1

(N )

-x
min

min

x

x1 -xmin }

(x1 )


min

E I{

x1 -x

}

(x1 ).

Поэтому при N из (5) вытекает условие состоятельности:

P (x

1

(N )

-xmin ) = E I{ ln 1 + x
min

x1 -x -1

min

}

(x1 )
(N ) -1

E ln

x1 = ln 1 + xmin xmin

1 0. N ( - 1)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Используя (5), покажем, что E

N

1

n

ln

xn x1

= ( - 1)-1 + O (N

-1

):

E

1 N

ln
n

xn 1 E x1 N
1 =E N

n

n

xn xmin + E ln = xmin x1 xn ln + O (N -1 ). xmin
ln

xn 1 С другой стороны, E N n ln xmin несмещенная оценка параметра -1 ( - 1) . Действительно, для переменной y = xmin имеем x

E

1 N

N

ln
n=1

x

n



xmin

=
xmin

d

xmin x


-1

ln

x = xmin

=

1

dy

- +1

ln y =

1

y

-

dy =

1 . -1

Теорема доказана.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

0.9 0.3 1.0 1.1 1.2 1.3 1.6 1.8 2.0 2.2 2.4 2.6 2.8 3.0 0.4 0.5 0.6 0.7 0.8 1.0 1.5 2.0 2.5 3.0 3.5 4.0

Рис. 2: Графики функции правдоподобия LN (x|)/N для случайных выборок из
распределений Парето (слева) ( = [1, ), p (x |) = e -x , x R+ , = 2 (справа). По объема выборки N {100, . . . , 500} длина максимума является случайной величиной,
p (x ) = O (x - ), = 2) и Пуассона оси x меняется . С увеличением пунктира увеличивается. Положение которая сходится к = 2 при N

Упражнение 2 Показать, что если имеет распределение Парето на (xmin , ), то дисперсия случайной величины log xmin равна 2 = ( - 1)-2 .
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

С помощью ММП несложно получить совместную оценку среднего и дисперсии нормального распределения. В этом случае
N

L(x|ч, ) = -N ln -
1
N

(xn - ч)2 , 2 2
1 N

ч : 0 = ч L(x|ч, ) N
1

(xn - ч) = 0 ч = N
1 N
N

xn ,
n

2 N : 0 = L(x|ч, ) N =

(xn - ч )2 . N

1

Как нам уже известно, такая оценка среднего является несмещенной, а оценка дисперсии смещена (несмещенная оценка имеет вид
2 N =

def

N -1

1

N

1

(xn - ч )2 ), но состоятельна, то есть N . N
P

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Доказательство сходимости по вероятности выглядит следующим образом:

P (|N - | ) = P P =P

1 N -1 (N - ) - N N 1 N -1 ( N - ) - N N + N - + 0 при N N -1
N

1 2 так как несмещенная оценка N = N -1 1 (xn - ч )2 состоятельна. N Действительно, N по закону больших чисел и поэтому

P

N - +

+ N -1



2 E(N - )2 EN - 2 = 0 + + N -1 + N + -1

при

N

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

2.0 8 1.8 1.6 8 1.4 6 1.2 10 4 1.0 12 0.8 8 10 0.6 12 1.0 0.5 0.0 0.5 1.0

2.0 1.8 1.6

90

90

2.0 1.8 1.6

900 800

900

80 70

700

1.4 60 1.2 100 1.0 120 0.8 0.6 1.0 0.5 90 0.0 0.5 1.0 110 130

1.4 600 1.2 500 1.0 0.8 1300 0.6 1.0 0.5 900 0.0 0.5 1.0 1000 1100 1200 1300

Рис. 3: На рисунках изображены линии уровня логарифмической функции правдоподобия -L(x|ч, ), x = {x1 , . . . , xN } стандартного нормального распределения, построенные по 10, 100 и 1000 случайных точек в переменных ч, . По оси абсцисс меняется среднее значение, по оси ординат - дисперсия. Правильная локализация экстремума ч = 0, = 1 заметно улучшается (см. правый график) при увеличении объема выборки до N = 1000.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Рассмотрим применение ММП для определения параметра экспоненциального распределения p ( |) = e - , > 0. Пусть = {n }N экспоненциально распределенные i. i. d. r. v. 1 с неизвестным , которым соответствует функция правдоподобия
N

L( |) = ln e
Используя ММП, находим

N -

N

1

n

= N ln -
1

n .

N : L( |) = 0 N =

1 N

N

-1

n
n=1

.

Упражнение 3
Доказать, что оценка N интенсивности экспоненциальной д. с. в. несмещенная, а ее информация Фишера равна I () = -2 .

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Информация Фишера и неравенство РаоКрамера
Информация Фишера используется для характеризации достоверности оценок. Она является аналогом обратной дисперсии в центральной предельной теореме, но для ее существования не требуется, чтобы дисперсия была конечна.
Лемма 1 Пусть x д. с. в. с распределением p (x |), зависящим от , и T (x) = T (x1 , . . . , xN ) некоторая статистика (функция от случайной выборки, не зависящая от параметра явно ). Тогда
1) 2) 3)

E L(x|) = 0; E T (x) = E T (x) L(x|);
2 Информация Фишера I () = -E L(x |), связанная с наблюдением случайной величины x , может быть записана в одной из трех эквивалентных форм: 2 NI () = -E L(x|) = E


def

L(x|)

2

= D L(x|), x = {x1 , . . . , xN }.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Доказательство . Утверждение (1) вытекает из формулы интегрирования по частям:

E L(x|) =
n X

N

p (xn |) p (xn |)

N

p (xk |) dx =
k =1

=
n


X

p (xn |) dxn =
n

1 = 0.

Формула (2) доказывается с помощью дифференцирования под знаком интеграла:
N

E T (x) =
X

N

T (x)
1

p (xn |) d N x =
N

=
X
N

T (x)
n

p (xn |) p (xn |)

p (xn |) d N x = E T (x) L(x|).
n=1

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

(3) вытекает из нормировки плотности вероятности X p (x |)dx = 1 . В случае N = 1, L(x |) = ln p (x |), имеем p (x |) = p (x |) L(x |) поэтому
2 0 =
X

p (x |)dx =
X

L(x |) p (x |)dx
2 L(x |) p (x |)dx
X

=
X

L(x |)

p (x |) p (x |)dx + p ( x | )
2 2

=
X

L(x |)

p (x |)dx +
X

2 L(x |) p (x |)dx

= E L( ћ |)

2 2 + E L( ћ |) = D L( ћ |) + E L( ћ |),

(6)

2 поскольку E L( ћ |) = 0 в силу (1), где E L( ћ |) = -I (). Таким образом, доказано, что

I () = D L( ћ |) = E L( ћ |) .
А.М. Чеботарев, Физический факультет МГУ

2

(7)

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Если N > 1, то для независимых д. с. в. {xn } равенство (6) выполняется в силу линейности операции дифференцирования
2 0 =
N

p (xn |)dx =
X n =1 X n

L(xn |) p (xn |)dx
2 = D L(xn , ) + E L(xn , ),

=
n

E



L(xn , )

2

2 + L(xn , |)

Поэтому
E L(x|)
2

=
k =n

+
k =n XN

p (xk |) p (xn |) p (xk |) p (xn |) +N
X

N

p (xm |) dx
m =1

= N (N - 1)
X

2

p (x1 |) dx1

p (x1 |) p (x1 |)

2

p (x1 |) dx1

= N E ( L(ћ|))2 = N I (),

(8)

так как p (x |)dx = p (x |)dx = 1 = 0. Отсюда следует утверждение (3) в многомерном случае.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Упражнение 4 Вычислить информацию Фишера для распределения Парето P (xmin , ) с плотностью

p (x |xmin , ) =
Упражнение 5

xmin

xmin x

+1

I[

xmin ,)

(x ).

Убедитесь, что информация Фишера для оценки параметров основных вероятностных распределений вычисляется по формулам, указанным в следующей таблице:
N ( , ) I ( )
2

1

N (ч, )
2

2

(, )
2

C ( , 1)
1 2

()
1


Bi (n, )
n (1- )

P (1, )
2

1

Таблица 1: Информация Фишера I () для основных распределений

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Неравенство РаоКрамера
Статистикой (в узком смысле этого слова) называется любая функция T : X Y выборочных данных x = {x1 , . . . xN }. Если статистика используется для оценки параметра распределения д. с. в. xn , то функция T называется несмещенной статистикой, если E T (x) = . Разность b () = E T (x) - называется смещением:

E (T (x) - )2 = D T + b 2 (),
где D T дисперсия статистики T . Если оценивается функция () от параметра , то определения не меняются: условие несмещенности имеет вид E T (x) = (), а смещение по определению равно b () = E T (x) - (). Если смещения нет, то

() = E T (x),

D T = E T (x) - ()

2

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Неравенство РаоКрамера устанавливает нижнюю границу для дисперсии смещенной статистики. Статистика называется эффективной, если ее дисперсия достигает нижней границы. Теорема 2 Если b (), () гладкие функции, то
D T (x) ( () + b ())2 . NI ()

(9)

Если b () = 0, то эффективность статистики T (x ) достигается, если T (x) - () = a() L(x|), где a() некоторая функция. Это условие выполнено, если
p (x |) =e T (x) =
A( )B (x )+C ( )+E (x ) N

, C ( ) . A ( )
1
NA ( )

def 1

N

B (xn ), () = -
n =1

(10)

При этом T (x) - () = a() L(x|), где a() =
А.М. Чеботарев, Физический факультет МГУ

.

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Доказательство . Докажем первую часть теоремы. Равенство

E T (x) = b () + ()
выполнено по условию теоремы. С другой стороны,

E T (x) = E T (x) L(x|) = E (T (x) - E T (x)) L(x|)
согласно утверждениям (2) и (1) леммы 1 соответственно. Применяя неравенство Коши E |(a, b )H | E ||a||2 E ||b ||2 в случае H H H = L2 (R, dp (x )), a = T (x) - E T (x), b = L(x|), получаем

b () + () = E T (x) L(x|)

D T (x) D L(x|),

где D L(x|) = NI () в силу третьего утверждения леммы 1. Отсюда следует неравенство РаоКрамера:

DT (x)

(b () + ())2 NI ()

Первая часть теоремы доказана.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Докажем достаточность второго условия теоремы. В случае ))2 b () = 0, неравенство (9) переходит в D T (x) ( (() . Из второго и NI первого утверждений леммы 1 следует, что

() = E T (x) = E T (x) L(x|) = E (T (x) - ()) L(x|).
C учетом связи T (x) - () = a() L(x|), правая часть в последнем равенстве имеет две эквивалентные формы:

() = E (T (x)- ()) L(x|) = a()E ( L(x|))2 = a()
Перемножим последние два равенства:

-1

D T (x).

( ())2 = E ( L(x|))2 D T (x) = NI () D T (x)
Используя это равенство получаем оценку дисперсии снизу:

D T (x) =

( ())2 , если b () = 0 NI ()

и T (x) - () = a() L(x|)
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Для завершения доказательства убедимся, что из (10) следует

T (x) - () =

1 L(x|). NA ()

(11)

Достаточно рассмотреть случай N = 1 (см. n. (3) леммы 1). Для функции L(x |) = A()B (x ) + C () + E (x ) при выборе ( ) T (x ) = B (x ), () = - C () имеем A

T (x ) - () = B (x ) +

C () 1 = A ()B (x ) + C () A ( ) A () 1 = L(x |). A ()
A ( )

Поэтому T (x ) - () = a() L(x |) при N = 1, a() = РаоКрамера достигает нижней границы.

1

и оценка

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Доказательство необходимости условий (10) можно найти в книге Крамер Г. Математические методы статистики. М.: Мир, 1975. Следующее утверждение вытекает из ЦПТ. Следствие 1 Если () = и статистика T несмещенная, т.е. b () = 0, то I () D T (x ) 1. Если выполнено (10), то оптимальная оценка параметра определяется из условия L(x |N ) = 0 или
N

T (x) =
При этом lim P

def 1

N

B (xn ) = -
n

C (N ) def ) = (N ). A (N

(N ) - ()

N

D T (x)

B

1 = 2

e
B

- x2

2

dx ,

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

P (x ) ( ) I () D T B (x )

N ( , ) -2 2 x

N (ч, ) 2 2-2 24 (x - ч)2

(, ) -2 2 x

() -1 x

Bi (n, ) n n/(1 - ) (1 - )/n x /n

P (1, ) -1 -2 -2 ln x

Таблица 2: Таблица значений (), B (x ) и D T (x) для основных распределений

Упражнение 6 Учитывая, что p (x |) = e
A( )B (x )+C ( )+E (x )

и T (x) =

def 1

вычислите () = E T (x), I (), B (x ) и D T (x ) = распределений, указанных в таблице 2.

N n =1 N ( ( ))2 для I ( )

B (xn ),

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Оптимальные статистики
Статистика, имеющая минимальную дисперсию, называется оптимальной. Предположим, что для оценки параметра используется несмещенная статистика T (x). Далее мы рассмотрим примеры и свойства оптимальных статистик. Пример 1 Пусть x бернуллиевская с. в., принимающая значения {0, 1} с вероятностью и 1 - и x = {x1 , . . . , xN } серия независимых испытаний. Выборочное среднее

T (x) = x

def

N

=

1 N

N

x
1

n

(12)

является несмещенной оценкой параметра = E x .

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

- Ее дисперсия равна D T (x) = (1N ) . Точно так же свойством несмещенности E T (x) = обладают статистики

T (a, x,) =

1 N

N

an xn ,
1

an C,
n

an = N , a2 (1 - ) , N

D T (a, x,) =

(1 - ) N2

2 an
n

где a = max |an |. Таким образом, существует континуум несмещенных статистик и возникает задача построения и характеризации оптимальных.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

Покажем, как решается задача для распределения Бернулли. Лемма 2 Статистика (12) является оптимальной в классе несмещенных статистик.
- ^ Доказательство . Покажем, что D T (x) (1N ) для любой другой ^ статистики T . Рассмотрим функцию правдоподобия и ее производную для распределения Бернулли P (x ) = x (1 - )1-x , где x {0, 1}:

L(x|) = ln
n

xn + ln(1 - )
n

(1 - xn ),
n (xn - ) . (1 - )

L(x|) =

1

xn -
n

1 1-

( 1 - xn ) =
n

Напомним, что Exn = , Dxn = p (1 - p ). Поэтому E L(x|) = 0, I () = E ( L(x|))2 = (1N ) . -
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

^ Заметим, что E T (x ) = по определению для любой несмещенной ^ (x), Как следует из леммы 1, пп. 12 и условия статистики T несмещенности E L(x|) = 0, ^ ^ E T (x) L(x|) = E T (x ) = = 1.

^ Поэтому E (T (x) - ) L(x|) = 1, так как параметр неслучайный. Теперь из неравенства КошиБуняковскогоШварца E |a b | E |a|2 E |b |2 или (неравенства РаоКрамера (9) без ^ смещения) получаем требуемое неравенство для a = T (x) - , ^ ^ b = L(x|), D T (x) = E (T (x) - )2 : ^ D T (x)
Лемма доказана. 1 1 (1 - ) = = = D T (x). E ( L(x|))2 I ( ) N

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Метод максимального правдоподобия

Функция правдоподобия и ее свойства Информация Фишера Неравенство РаоКрамера Оптимальные статистики

В заключение приведем два примера оптимальных статистик. Пример 2 Для равномерного распределения на [0, ] оптимальной состоятельной оценкой параметра является maxn xn . Пример 3 Для отрицательного распределения Бернулли Bi (M , ) оптимальной несмещенной оценкой параметра является

N =
Упражнение 7

MN
N n=1 xn

+ NM

.

Убедитесь в справедливости утверждений примеров 2 и 3.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля