Документ взят из кэша поисковой машины. Адрес оригинального документа : http://qsft.phys.msu.ru/biblioteka/lecturesPS/presentations/presentation1.pdf Дата изменения: Thu Mar 3 19:54:22 2016 Дата индексирования: Sat Apr 9 22:47:32 2016 Кодировка: Windows-1251

Глава 1. Вероятностные пространства и распределения

Теория вероятностей и математическая статистика

3 марта 2016 г.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Глава 1. Вероятностные пространства и распределения

Содержание курса
Вероятностные пространства и распределения Сходимость случайных величин и предельные теоремы Теорема БохнераХинчина и ЦПТ Проблема моментов и теорема Бернштейна Статистическая обработка экспериментальных данных Критерий Пирсона Линейный метод наименьших квадратов Критерий Колмогорова Метод максимального правдоподобия Марковские цепи и случайные блуждания Метод Монте-Карло и алгоритм Метрополиса
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Глава 1. Вероятностные пространства и распределения

Содержание

1

Глава 1. Вероятностные пространства и распределения Введение Аксиоматика Колмогорова Случайные величины и операции над ними Примеры Упражнения

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Введение
Теория вероятностей возникла в XVIXVI I веках как раздел математики, объясняющий причины выигрыша или проигрыша в азартных играх. В настоящее время вероятностные методы предоставляют адекватный инструмент обработки результатов экспериментов и проверки научных гипотез, во-первых, потому, что новые гипотезы обычно основаны на неполных экспериментальных данных, полученных на пределе технических возможностей. Достоверность таких гипотез оценивается вероятностными методами.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Во-вторых, существуют явления случайные по своей природе, такие как тепловые шумы, квантовые флуктуации и турбулентность, полное детерминистическое описание которой невозможно по принципиальным причинам. Наличие тепловых или квантовых шумов ограничивает пропускную способность каналов связи и производительность микропроцессоров, а принцип неопределенности Гейзенберга ограничивает точность измерения некоммутирующих наблюдаемых.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

В-третьих, со случайностью не всегда нужно бороться. Ее можно использовать, поскольку ряд физических величин выражается в виде математического ожидания функционалов по вероятностным мерам. Для вычисления таких величин используются методы статистического моделирования методы Монте-Карло для случайных величин и алгоритмы Метрополиса для многочастичных ансамблей. Достоинствами этих методов обычно является их численная устойчивость, наличие априорных оценок скорости сходимости и возможность распараллеливания вычислений.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Удачной книгой по теории вероятностей и математической статистике для физиков является сравнительно небольшая монография Д. Хадсона Статистика для физиков, написанная в 1964 г. Дополнением является двухтомник В. Феллера Введение в теорию вероятностей и ее приложения. Русский перевод был сделан известными математиками Р. Л. Добрушиным, С. А. Молчановым и А. А. Юшкевичем под редакцией Е.Б. Дынкина и опубликован всего через год после выхода английского издания. Среди сравнительно недавно изданных монографий весьма интересна книга М. Б. Лагутина Наглядная математическая статистика, (2007).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Аксиоматика Колмогорова
(, , P ), пространства элементарных событий , -алгебры , содержащей подмножества множества , счетно-аддитивной вероятностной меры P : [0, 1],
Вероятностное пространство это тройка состоящая из удовлетворяющей условиям

и

P () = 1,
Точки

P () = 0.
а

называются элементарными событиями, элементы -алгебры называются событиями.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

В отличие от алгебры,



-алгебра множеств замкнута

относительно счетного числа операций объединения и пересечения. Вместе с каждым множеством так и



-алгебра

(от англ.

, содержат complement).

его дополнение

A как алгебра, Ac = \ A



-алгебра конструируется как результат применения

счетного числа операций объединения, пересечения и дополнения к алгебре подмножеств множества наличии топологии на являются

, .
При

содержащему пустое множество и все множество

наиболее распространенными -алгебры, порождаемые всеми открытыми (или замкнутыми) подмножествами.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

В простейшем случае множество вероятности. Например,



конечно или счетно, а

все элементарные события имеют неотрицательные

pn = z ()-1 e
В конечном случае множества есть

-

En

,

z () =
n

e

-

En

< .



есть множество всех подмножеств

,

а вероятностная мера конечно-аддитивна:

P (n An ) =
n

P (An ), An Am = ||
и

при

n = m.

(1)

Используя обозначение

|| = N

для числа элементов

множеств, можно написать равенство

1 2 || = 1 + CN + CN + ћ ћ ћ =
k
А.М. Чеботарев, Физический факультет МГУ

C|k | = (1 + 1)

||

=

|| 2

.

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Как было отмечено выше, в общем случае множество



замкнуто относительно операций дополнения и счетного числа объединений и пересечений, а вероятностная мера должна обладать свойством счетной аддитивности. Для бесконечномерных множеств



, являющихся векторными

топологическими пространствами, соответствующие вероятностные пространства устроены аналогичным образом и являются стандартными объектами теории интеграла Лебега. В наиболее важных примерах, связанных с изучением случайных процессов, точками пространства



являются

траектории процессов, принадлежащие нормированным, метрическим или топологическим функциональным пространствам.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

В простейших нетривиальных случаях борелевская плотностью стандартной

= Rn , = B (Rn )

P мера, задаваемая некоторой вероятности p (x ) интегрируемой относительно n меры Лебега на R :
-алгебра,



P (B ) =
B

p (x ) d n x ,

p L1 (R). B (Rn )
это

Напомним, что борелевская

-алгебра

алгебра, относительно которой измеримы все непрерывные вещественные функции, то есть при любом непрерывном n -1 отображении f : R R прообраз f (B ) любого n множества B B (R) принадлежит B (R ). Она

порождается операциями дополнения, счетного объединения и пересечения, действующими на множестве всех открытых (или замкнутых) подмножеств Rn .
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Примером вероятностной меры, не имеющей плотности из

L

1 , является

пусть



фиксированная точка, если

индикаторная функция множества IA ( ) Aи

:

P (A) = IA ( ) = {1,
Очевидно, что

def

A; 0,
1,

если



A}.

P (

n

An ) =

P () = n P (An )

0,

P () =

для непересекающихся

An

и

P (B ) =

P (dx )IB (x ).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Операция объединения событий на множестве возможных исходов имеет смысл логической операции ИЛИ, а операция пересечения операции И. События, соответствующие непересекающимся множествам, называются (см. (1)). Примерами несовместных событий являются обнаружение нескольких состояний одной классической частицы одновременно, обнаружение нескольких ферми-частиц в одном состоянии и т. п. Несовместные события не могут произойти одновременно по принципиальным причинам.

несовместными

. Вероятность суммы

несовместных событий равна сумме их вероятностей

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Если

событие B можно представить в виде n суммы непересекающихся событий B = n Bn ,

{An } непересе An = , то любое

кающиеся события, такие, что

Bn = An B

. Поэтому справедлива следующая формула

разложения вероятности события

B

:

P (B ) =
n

P (B An ),
n

An = ,

Am An = .

(2)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

События называются

независимыми

, если вероятность их

пересечения равна произведению их вероятностей:

P (A B ) =P (A) P (B ).
Примерами независимых событий являются результаты

(3)

бросания игральных костей, распределение координат или скоростей невзаимодействующих частиц, а также любые случайные события, между которыми либо нет никаких причинно-следственных связей, либо информация об одном из событий недоступна или не может повлиять на исход другого.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Условной вероятностью

события называется вероятность

одновременного появления пары, состоящей из события и условия, перенормированная на вероятность условия:

P (A|B ) =

def

P (A B ) , P (B )

A

событие

,B

условие

.

Это определение корректно, поскольку из следует, что

AB B
то

P (A|B ) [0, 1], и если A и B независимы, P (A B ) = P (A) P (B ) и в этом случае P (A|B ) = P (A).
Из (2) и определения условной вероятности следует формула

полной вероятности

P (B ) = P ( i (B Ai )) = = P (Ai ) P (B |Ai ),

P (B Ai )
(4)

i

Ai =

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Из определения условной вероятности вытекает равенство

P (B ) P (A|B ) = P (A B ) = P (B A) = P (A) P (B |A),
и разложение вероятности совместных событий в произведение условных вероятностей:

P (N=1 An ) = P (A1 ) P (A2 |A1 ) P (A3 |A1 A2 ) . . . P (An | n
которую легко доказать по индукции:

N -1 n=1

An ),

N- - P (N=1 An ) = P (n=11 An ) AN = P (N=11 An ) P AN | n n
а также формула

N -1 n =1

An ,

Байеса
P (A|B ) = P (A) P (B |A). P (B )
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Формула Байеса описывает изменение оценки вероятности события

B : вероятность P (A) называется априорной, вероятность P (A|B ) называется апостериорной. Если множество всех исходов состоит из объединения непересекающихся событий Ai , то апостериорная вероятность события Aj при условии, что произошло событие B , равна
если произошло событие

A,

P (Aj |B ) =

P (Aj ) P (B |Aj ) . i P (B |Ai ) P (Ai )

(5)

Нетрудно видеть, что в знаменателе вероятность события

B

.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Пример 1

Физический тест сложных молекул правильно различает молекулы A и B в 99% случаев, т.е. P (a|A) = 0.99, P (b |B ) = 0.99, где a и b означают результат тестирования для соответствующей молекулы. Следовательно, вероятности ошибочных результатов равны P (b |A) = P (a|B ) = 0.01. Эти цифры характеризуют аппаратную надежность тестов. Предположим, что молекулы типов A и B в потоке частиц встречаются с вероятностями P (A) = 0.95 и P (B ) = 0.05 соответственно. Какова вероятность P (B |b ) того, что молекула действительно имеет тип B при условии, что об этом свидетельствует результат тестирования b ?
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Решение

.

Согласно формуле Байеса (5), получаем следующий ответ:

P (B |b ) =P (b |B ) =
Здесь 0.99

P (B ) P (b |B ) P (B ) = = P (b ) P (b |B ) P (B ) + P (b |A) P (A) 0.99 ћ 0.05 0.839. ћ 0.05 + 0.01 ћ 0.95 P (a|A) = 0.
99 и

P (b )

вычислено по формуле полной вероятности 99, тест дает верный результат только в

(4). Несмотря на высокие значения

P (b |B ) = 0.

четырех случаях из пяти.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Случайные величины и операции над ними
Измеримым пространством называется пара, состоящая из множества и -алгебры его подмножеств. Прообразом любого множества C F при измеримом отображении f : (, ) (F , F ) является множество f -1 (C ) . Случайной величиной на вероятностном пространстве (, , P ) со значениями в измеримом пространстве (F , F ) называется измеримое отображение f : F . Случайная величина генерирует вероятностную меру на F : Pf (B ) = P (f -1 (B )), сопоставляя событиям из F их прообразы в .

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

В векторном пространстве определены линейные операции. Если элементов случайные

A и x , то A + x состоит из всех вида x + y , y A. Если заданы независимые величины , принимающие значения в

векторном пространстве, то вероятностная мера их суммы определяется как сумма по несовместным событиям

{ d }, =
сумма

d

, произведений вероятностей . Поскольку

независимых событий

{ d }, { A - } + принадлежит A, то: P (A - )P (d ) =


P+ (A) =

P (A - )P (d ).

(6)

Если распределения

P

и

P

имеют плотности, то

p+ () =


p ( - )p ( )d =


p ( - )p ( )d .

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Для д. с. в. аналогичная формула справедлива для произведения. Несовместными событиями являются те же

{ dx }, R = dx , а независимыми { A/x } в силу независимости д. с. событий A, поэтому Pћ (A) =
R

в.

{ dx } и и . Для

таких

P (A/x )P (dx ) =
R

P (A/x )P (dx ).

(7)

Если вероятностные меры имеют плотности, то

pћ (a) =
R

p (a/x )p (x )x

-1

dx =
R

p (x )p (a/x )x

-1

dx .
(8)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Действительно, используя (8), получим

Pћ (A) =
A

pћ (a) da = p (x ) dx
R A

= =
R
поскольку

dx p (a/x )p (x ) A Rx da p (a/x ) |y =a/x x da P (A/x ) P (dx ),
R

p (x ) dx
A/x

p (y ) dy =

p (y ) dy = P (A/x ).
A/x

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Если

группе

(G , , P ) является G с операцией

вероятностным пространством на (например, множеством

обратимых матриц или операторов и соответствующих операций композиции, операций с угловыми переменными, а



операция композиции), то формулы сверток должны,

вообще говоря, учитывать порядок элементов группы, но вероятности могут входить в интеграл в произвольном порядке. Важно, чтобы состоит множество

A

для событий, из которых

A:
-1

P (A) =
G

P (A y

)P (dy )
-1

(9)

=
G

P (dy )P (y

A) =
G

P (y

-1

A)P (dy ).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Простейшая д. с. в.

имеет [0, 1]: P ( < x ) = x , p (x ) =
Например,

равномерное распределение на 1. Функции от



используются для

получения новых случайных величин и случайных процессов.

=e , P ( t ) = P = =
1 1

ln

t

=
1

ln

t 1 , p (t ) = , t [1, e ], t
1 1

-
1

, P ( t ) = P 1 -
2

t -

= 1 - , p (t ) = 2 , t [1, ), t t
1

1

-

, P ( t ) = P
1 2t 2 1 1

1

t

=

1

-, t

1

p (t ) =

-

1
t

, t [1, ).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Если

=R

, вероятностная мера имеет плотность

относительно стандартной меры Лебега и отображение

f : RR

однозначно, то в точке

x =f

-1

(y )

элемент объема

вычисляется по формуле

dy = |f (x )| dx = |f (f

-1

(y ))| dx ,

dx =

dy |f (f
-1

(y ))|

и входит в формулу замены меры

F
где

p

=
R

F (x ) p (x ) dx =
Y

F (f

-1

(y ))

p (f -1 (y )) dy , |f (f -1 (y ))| F (x )


(10)

y = f (x ), Y

образ множества

=R (y )) (y ))|

,а

ограниченная измеримая функция,

pf (y ) =

p (f |f (f

-1

-1

новая плотность вероятности.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

40 20 0 20 A 40 60 80 2 0 2 4 6 8 B

Рис. 1: Для функции f , изображенной на графике, X1 = (-, 0], X2 = (0, B ], X3 = (B , ), Y1 = (-, 0], Y2 = (A, 0], Y3 = (A, )

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Для немонотонных функций сумма по прообразам точки

f y

под знаком интеграла стоит , то есть по причем

xk (y ) : f (xk (y )) = y . Более точно, пусть R = Xk , def сужение f |Xk = fk является однозначной функцией fk : Xk Yk , fk-1 : Yk Xk . Тогда
K

(x ) p (x ) dx =
k =1 Y
k

(f

-1 k

p (fk-1 (y )) dy (y )) |f (fk-1 (y ))|

(11)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Пример 2

Пусть y = x 2 . Тогда x+ (y ) = + y , dx = F (x 2 )p (x ) dx =
R

2y

dy

и поэтому

0

dy F (y ) p ( y ) + p (- y ) . 2y

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

y = x 2 , если 1 величина x имеет распределение P (dx ) = e -x /2 dx , 2 называемое стандартным нормальным распределением.
распределение

Рассмотрим важный частный случай. Вычислим

P (dy )

случайной величины

2

Из

примера 2 имеем

P (dy ) =
Это частный случай плотность

1 2

y

1/2-1 -y /2

e

dy ,

y R+ .
, имеющего

(12)

гамма-распределения
1

p, (y ) =
так что

()
, где



y

-1 -y /

e

,

(13)

P (dy ) = p

1 2

,2

(y ) dy



гамма-функция.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Напомним определение гамма-функции и ее свойства:



(a) =
0

y

a-1 -y

e

dy , (a + 1) = a(a), (1/2) = x
2



.

Распределение (12) случайной величины 1 2

нормировано:





y
0

-1/2 -y /2

e

dy =

1





x
0

-1/2 -x

e

dx =

(1/2) = 1.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Для случайных величин, принимающих значения в векторных пространствах, определено понятие математического ожидания. Интеграл случайной величины

X по вероятностной мере P (d ) называется математическим ожиданием, или средним значением
обозначается

,и

E =
X
(от англ.

P (d )

expectation

). Эта операция линейная, поэтому

математическое ожидание суммы случайных величин равна сумме математических ожиданий:

E ( + ) = E + E .

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Математическое ожидание произведения абсолютно интегрируемых функций независимых случайных величин равно произведению математических ожиданий. Действительно, из условия независимости (3) имеем

Ef ( ) g () =
X ЧY

f (x ) g (y ) P ({ dx } { dy }) = f (x ) g (y ) P (dx ) P (dy ) =

=
X ЧY

=
X

f (x ) P (dx ) Ч
Y

g (y ) P (dy ) = Ef ( ) Eg ().
(14)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Дисперсией случайной величины характеризующая отклонение



называется величина,



от среднего значения

2 = E| - E |2 = E 2 - |E |2 .
Нетрудно видеть, что сдвиг случайной величины на константу не меняет дисперсии. Случайная величина

= - E имеет нулевое скомпенсированной.

среднее и называется

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Вычисление дисперсии нелинейная операция, но дисперсия суммы

независимых

случайных величин равна

сумме их дисперсий. Для доказательства этого факта достаточно рассмотреть скомпенсированные независимые случайные величины



и



и воспользоваться тем, что

E = E E =
2

0 в силу независимости и равенства нулю

средних значений:

+

= E| |2 + E||2 +

2

Re

2 2 E E = E( )2 + E()2 = + .

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Для действительных или комплексных случайных величин



и



, имеющих конечные средние и дисперсии, величина

Cov

( , ) = E( - E )( - E) = E - E E
ковариацией
случайных величин

называется



и



,а

ковариация, нормированная на дисперсию

Cor
называется

( , ) =

Cov

( , )

22 ,

корреляционной независимы, то Cov ( , ) =

функцией. Если

Cor



и



( , ) =

0. Обе функции

характеризуют степень зависимости случайных величин. Если



и



многомерные случайные величины, то

обычные произведения следует заменить на скалярные. Величина

Cor

( , )

называется

автокорреляцией

д.с.в.



.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

ковариационная матрица

Для многомерных случайных величин, принимающих d значения в R , аналогичным образом определяется

Cov

( , )

с элементами

Cov

( , )k

,m

= E(k - Ek )(m - Em ) = Ek m - Ek EHm

и связанные с ней матрицы ковариации и автокорреляции. Легко видеть, что матрица автокорреляций всегда неотрицательно определена. Действительно, в случае

E = (g ,

0 имеем

Cor

- - ( , )g ) = 2 E (g , ) ( , g ) = 2 E |(g , )|2 0. - 2 E |(g , - E )|2
0.

В общем случае правая часть равна

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Корреляция нормирована на дисперсию и не зависит от среднего значения, поэтому она обладает свойством

|

Re Cor

( , )| 1.
и

(15)

Действительно, для случайных величин средним и единичной дисперсией имеем 0



с нулевым

E| + |2 = 2 +

2

Re

E ( , ) = 2(1 +

Re Cor

( , )).

Отсюда следует оценка (15).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Рассмотрим ковариационную функцию Cov (x , y ) компонент случайного вектора {x , y } R2 c распределением 1 - c 2 - 1 (x 2 +y 2 +2cx ) p (x , y ) = e2 , |c | < 1. 2
4 2 0 2 4 1.0 0.5 0.0 0.5 1.0
2

c (x , y ) = E xy = - 1-c . Чему 2 2 равны средние E x , E y и дисперсии x , y ? Почему корреляции отрицательны при c (0, 1)? Что происходит при вырождении распределения в одномерное при c = +1?
Рис. 2: График изображает
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля

Cov


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Пусть

P вероятност моментами степени n

ная мера д. с. в.



. Е?

абсолютными

называются интегралы

mn =
R
Если

|x |n P (dx ) = E | |n .
и корректно

def

mn < , то mk < для любого 0 < k < n def n n определены моменты чn = R x P (dx ) = E . Энтропией распределения p (x )) называется E ( ) = -
Если независимые с. в. пространствах распределение

p (x )

ln

p (x ) dx .



RNn , то p (dx ) =

их

n принимают значения в векторных прямая сумма n n R n Nn имеет n

pn (xn )dx

n , а энтропия прямой суммы

независимых случайных величин рана сумме их энтропий.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Важной характеристикой случайной величины

характеристическая функция h (z ) = Ee
обладает следующими свойствами: 1)

i z

,

является ее z R, которая

h ( 0 ) =

1,

|h (z )|

1,

h (z )

непрерывная функция;

2) для любого набора вещественных чисел коэффициентами

{zk }

матрица с

hij = h (zk - zj )

неотрицательно

определена, то есть

h (zi - zj ) ui u j 0,
i ,j
3) моменты случайной величины производные в точке 0:

ui C;
через ее

выражаются (n) чn = (-i )n h (0);

4) характеристическая функция суммы независимых случайных величин равна их произведению.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

В дальнейшем будет показано, что cвойства 1 и 2, рассматриваемые как условия, являются необходимыми и достаточными для того, чтобы функция

h(z )

являлась

характеристической функций некоторой действительной случайной величины. Более того, распределение вероятностей случайных величин может быть реконструировано по ее характеристической функции.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Пример 3

Биномиальное распределение описывает вероятность n исходов события e , имеющего вероятность p в серии N испытаний.
Характеристическая функция биномиального распределения

Bi n PN (n) = CN p n (1 - p )

N -n равна iu

h(u ) = Ee

=

1

+ (e iu - 1)p

N

.

Отсюда нетрудно вычислить ее момент и дисперсию:

ч=

h(u )|u=0 = Np , E n2 = -h(2) (0) = N (N - 1)p 2 + Np , i u 2 2 1 1 2 = h(u )|u=0 - h(u ) |u=0 = Np (1 - p ). i u i u
1
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Пример 4

Отрицательное биномиальное распределение описывает вероятность N исходов события e , происходящего с вероятностью p в серии из N + n испытаний, при условии, что серия заканчивается событием e .
Название распределения объясняется тем, что доказательство формулы полной вероятности Bi Bi n N n n=0 PN (n ) = 1 для PN (n ) = CN +n-1 p (1 - p ) , n = 0, 1, . . . использует биномиальную формулу с отрицательным показателем: 1



(1 - x )N

=
n=0

n CN

+n-1

x n,

x = 1 - p.

(16)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Действительно, при для что

N=

1 формула (16) дает сумму его для

геометрической прогрессии. Пусть тождество (16) выполнено

N = 1, 2, . . . , M . Докажем n n n CN = CN -1 + CN-1 : -1
M

N=M+


1, учитывая,

(1 - x )-

=1+
n=1

C

n n M +n -1 x

=1+
n =1

(C
n CM-1n +

n M +n

-C

n -1 M +n-1

)x

n

=1+
n =1

C

n n M +n x

-x
n =1

-1

x

n-1



=
n =0

n CM

+n

xn - x
n=0

C

n n M +n x

= (1 - x )
n =0

C

n n M +n x

.

Отсюда следует утверждение индукции:

(1 - x )

-(M +1)

=

n =0

C

n n M +n x .
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Поэтому характеристическая функция отрицательного биномиального распределения равна

Bi PN (n) = C

n N N +n -1 p (1

- p)

n



h(u ) = Ee

iu

=p

N n =0

C

n inu (1 N +n-1 e

- p )n =

1

p - (1 - p )e

N iu

.

Отсюда нетрудно вычислить ее момент и дисперсию: 1

ч= 2 =
1

h(u )|u i u
2

=0

=N =N

1

-p , p -p . p2

i u

2

h(u )|u

=0

-

1

h(u ) i u

|u

=0

1

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Таблица 1 (см. ниже) содержит характеристические функции, моменты и дисперсии биномиального [Bi отрицательного биномиального [Bi [

(N , p )],

()],

экспоненциального

(N , p )], пуассоновского [E ()], гамма [(, )],
и распределений

нормального [ Коши [

N (ч, )] распределений C (ч, )] и Леви [L( )].

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Таблица 1:

Распределение

Bi (N , p ) Bi (N , p ) () E () (, ) N (ч, ) C (, ч) L()

{n }N 0 {n }0 {n } 0 R+ R+ R R R+

P ( ) n CN p n q N -n n CN +n-1 p N q n - e n! e -x
x e
-1 e -x /

h (z ) (pe iz + q )
n

N

1-qe

p

N
iz

e

(e iz -1) -iz

()


2

(1 - i z )- e e e
-|z |+iz ч
1



ч1 Np Nq p -1 ч ч

2 Npq N pq -2 2
2

-(x -ч)2 /2

(2 +(x -ч)2 ) e
-/2x

2

- 2 z 2 /2+iz ч

2

2

-|z | 2 (1-i

z |z |

)

2 x /
3 МГУ



(см.Чеботарев, e1-15-2013.nb) файл Физический факультет А.М.

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

0.10 0.08 0.06 0.04 0.02 0.00 0

Bi 100,p , p

0.2, 0.5, 0.8

,
0.14 0.12 0.10 0.08 0.06 0.04 0.02 0.00 0 5 10

8, 12, 16

20

40
2

60

80

100

15

20

25

30

N 0,2 ,
0.8 0.6 0.4

0.5, 1, 2
0.5 0.4 0.3 0.2

2 n , n

2, 4, 8, 16

0.2 0.0 4 2 0 2 4

0.1 0.0 0 5 10 15 20

Рис. 3: Распределения Бернулли, Пуассона, нормальное и гамма-распределение для различных значений параметров
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Пример 5

Сумма независимых случайных величин n , имеющих гамма-распределения с одинаковыми и различными n , имеет характеристическую функцию (1 - i z )- n n . Следовательно, сумма n n имеет распределение Pa, с a = n n . В частности, если = 1/2 (см. пример 3), то a = n/2.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Упражнения
Упражнение 1

Решение. Пусть IA ( ) индикаторная функция множества A . Используя свойство дистрибутивности A (B C ) = (A B ) (A C ), убедитесь по индукции, что имеют место разложения
N

I

N= n

1

A

n

( ) =
n=1 N

IAn ( ) -
i ,j

IA

i

A

j

( ) + ћ ћ ћ - (-1)N IA

1

ћћћA

N

( ),

P (N=1 An ) = n

P (An ) -
n=1 i ,j

P (Ai Aj ) + ћ ћ ћ - (-1)N P (N=1 An ). n

Файл e1-1
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Упражнение 2

Пусть x и y независимые действительные случайные величины с плотностями распределения px (r ) и py (r ). Вычислите плотность вероятности случайной величины z = Ax + By , если заданы A, B R+ . Обобщить результат на многомерный случай для обратимых матриц A и B . Как обобщить решение на случай вырожденных матриц A, B ?
Файл e1-4

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Упражнение 3

Пусть x = {n }N RN , где n независимые случайные 1 величины со стандартным нормальным распределением. Вычислите распределение случайной величины r = |x |2 R+ .
Файл e1-5
Упражнение 4

Пусть n (0, 1) независимые случайные величины равномерно распределенные на отрезке (0, 1). Вычислите распределение случайных величин

1 + 2 ,
Файл e1-6rep

1 ћ 2 ,

max

{1 , 2 },

2 2 1 + 2 .

(17)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Упражнение 5

Пусть B c = \ B дополнение множества B , a, b R, и действительные случайные величины. Проверьте соотношения

P ( > a) P ( > b ) P ( > a) P ( > a) P ( A) = E IA ( ), P (A \ P (A) P (A B c )
Файл e1-7

a b, , B ) = P (A B c ), + P (B ).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Упражнение 6

Покажите, что корреляционная функция случайных величин и , связанных линейным соотношением = a + b , равна Cor ( , ) = b/|b|.
В то же время, если случайная величина



имеет

распределение симметричное относительно точки нуль, то таким же свойством обладает и любая ее нечетная степень. Поэтому

E = E

2n+1

=

0, и для пары

, =

2 имеем

Cov

( , 2 ) = E 3 - E E 2 = 0,

Cor

( , 2 ) = 0,
и

несмотря на то, что в данном случае связь между



неслучайна. Таким образом, равенство нулю корреляционной функции не является достаточным условием независимости.

Файл e1-9
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Введение Аксиоматика Колмогорова Глава 1. Вероятностные пространства и распределения Случайные величины и операции над ними Примеры Упражнения

Упражнение 7

Пусть a и b случайные величины со значениями в гильбертовом пространстве H. Показать, что справедливо неравенство КошиБуняковскогоШварца:

Re

E (a, b )H

E ||a||2 E ||b ||2 . H H

(18)

Вывести отсюда неравенство для ковариации a и b : Re Cov(a, b) = Re E (a, b)H - (E a E b)H Da Db,

(19)

где Da, Db дисперсии случайных величин. Указание. Рассмотрите необходимое условие отсутствия нулей квадратичной функции f (x ) = E ||a - xb ||2 0 при условии, H что a - xb = 0 при любом x R (то есть a и b не являются линейно зависимыми). Файл e1-10
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля