На главную страницу НМУ
А.Н.Соболевский
Введение в теорию вероятностей и математическую статистику
Предлагаемый односеместровый вводный курс теории вероятностей основан на
курсе, который автор читал в 2006–2009гг. на физическом факультете МГУ
им. М.В.Ломоносова студентам кафедры квантовой статистики и теории поля и
весной 2009г. в Независимом Московском университете.
Общей целью при разработке курса было добиться широкого охвата материала и
ясного показа взаимосвязи различных областей теории. Изложение проведено в
минимально необходимой степени общности (как правило, для совокупностей
независимых одинаково распределенных случайных величин) и дополнено разбором
типичных примеров и контрпримеров. Аппарат теории меры, как правило, не
используется. Подчеркнут вычислительный аспект теории.
Центральное место в курсе занимает комплекс асимптотических результатов
теории вероятностей, включающий, наряду с законом больших чисел и
классической центральной предельной теоремой, обобщение последней для
устойчивых законов и теоремы о предельных распределениях экстремальных
значений и больших уклонений.
Назначение раздела, посвященного математической статистике — ознакомить
слушателей с основными концепциями и постановками задач математической
статистики и показать связь математической статистики и теории информации с
теорией вероятностей, прежде всего с теорией больших уклонений.
Заключительный раздел курса содержит традиционный материал по основам теории
цепей Маркова.
Краткая программа курса
- * Теория распределений
- Случайные величины, принимающие значения в Z и R, и их распределения
вероятности. Функция плотности вероятности и кумулятивная функция
распределения. Интеграл Римана-Стильтьеса, математическое ожидание и
моменты, дисперсия. Производящие функция дискретных распределений
вероятности, характеристические функции в скалярном и векторном случае.
Теоремы Бохнера-Хинчина и Марцинкевича (без доказательства). Совместное
распределение пары и вектора случайных величин, маргинальные и условные
распределения, матрица ковариации. Независимость случайных величин
(попарная и в совокупности), аддитивность дисперсии, факторизация
распределения вероятности, производящих и характеристических функций.
- Примеры дискретных распределений: биномиальное, геометрическое,
отрицательное биномиальное, пуассоново. Предельная теорема Пуассона.
Примеры абсолютно непрерывных распределений: равномерное, показательное,
гамма-распределение (хи-квадрат распределение), распределение Гаусса в
скалярном и векторном случае, распределения Коши, Стьюдента, Гумбеля, Фреше,
Вейбулла. Канторова лестница, фрактальные и мультифрактальные меры.
- * Асимптотические теоремы теории вероятностей
- Слабая сходимость распределений. Закон больших чисел. Сходимость
характеристических функций. Центральная предельная теорема. Обобщенная
центральная предельная теорема и устойчивые распределения. Безгранично
делимые распределения, формула Леви-Хинчина (с наброском доказательства).
Статистика экстремальных значений, предельная теорема
Фишера-Типпета-Гнеденко (с наброском доказательства). Большие уклонения в
последовательности испытаний Бернулли, асимптотическое равнораспределение,
теорема Санова. Большие уклонения в последовательности непрерывно
распределенных величин, теорема Крамера.
- * Энтропия, информация, статистический вывод
- Энтропия, относительная энтропия, взаимная информация распределений
вероятности. Проверка простой гипотезы. G-статистика, статистика
хи-квадрат, биномиальная статистика для малых выборок. Выбор между
альтернативными гипотезами. Ошибки первого и второго рода, теорема
Неймана-Пирсона. Отношение правдоподобия. Асимпотика вероятности ошибок и
теория больших уклонений. Статистическое оценивание параметров.
Несмещенные, состоятельные, эффективные оценки. Метод наибольшего
правдоподобия. Неравенство Рао-Крамера и информация по Фишеру. Понятие об
информационной геометрии семейства распределений.
- * Цепи Маркова и случайные процессы
- Вероятностное пространство Штейнгауза. Пространство элементарных событий,
алгебры событий, фильтрации. Однородная цепь Маркова с конечным множеством
состояний в дискретном времени. Классификация стационарных распределений.
Цепь Маркова в непрерывном времени, процесс Пуассона. Случайное блуждание и
процесс Винера. Эвристический вывод уравнения Фоккера-Планка, задача о
моменте выхода.
Примерное распределение материала по лекциям
- 1. Целочисленные случайные величины, производящие функции, примеры
целочисленных распределений, теорема Пуассона.
- 2. Скалярные непрерывные случайные величины, фрактальные меры,
характеристические функции, примеры непрерывных распределений.
- 3. Распределения случайных векторов. Статистическое моделирование
распределений вероятности.
- 4. Закон больших чисел и слабая сходимость распределений.
- 5. Центральная предельная теорема, обобщенная центральная предельная
теорема, устойчивые распределения.
- 6. Безгранично делимые распределения и формула Леви-Хинчина.
- 7. Причина нарушения закона больших чисел для распределений с «тяжелыми
хвостами», статистика экстремальных значений, предельная теорема
Фишера-Типпета-Гнеденко.
- 8. Энтропия и большие уклонения для дискретных и непрерывных распределений.
- 9. Проверка простой гипотезы, выбор между альтернативными гипотезами.
- 10. Статистическое оценивание параметров, неравенство Рао-Крамера.
- 11. Вероятностное пространство бесконечной последовательности испытаний
Бернулли как пример пространства элементарных событий, оснащенного
фильтрацией алгебр событий.
- 12. Однородная цепь Маркова с конечным числом состояний.
- 13. Цепь Маркова в непрерывном времени, процесс Пуассона и его варианты.
- 14. Случайное блуждание и процесс Винера как его предел, уравнение
Фоккера-Планка.
