1.1.1. Основные способы математического описания случайных величин

Величина х, принимающая в каждом новом опыте при одинаковых условиях его проведения новое значение, называется случайной величиной (СВ), а конкретное значение x _х, которое она принимает в результате опыта - реализацией случайной величины. Совокупность реализаций СВ x _х(1),:, x _х(N), которая получается в результате проведения N опытов, называется выборкой реализации СВ х объема N [1].

Под вероятностью появления в результате опыта значения Х случайной величины х будем понимать относительную частоту попадания реализаций x _х в бесконечно малый интервал (Х, Х+dХ) для выборки реализаций бесконечно большого объема.

Полной характеристикой скалярной СВ х является плотность распределения вероятности СВ p_x(X), характеризующая относительную вероятность попадания реализации x _х СВ в бесконечно малый интервал (Х, Х+dХ) :

, (1.1)

где Х - фиксированное значение СВ х,

а также функция распределения вероятности СВ F_x(Х)=P(x _х£ Х), связанная с p_x(Х) соотношением

. (1.2)

Свойства плотности распределения вероятности p_x(Х) скалярной СВ х:

- p_x(Х)³ 0;

- p_x(Х) =0 при Х=+ ¥ ;

- знание p_x(Х) позволяет вычислить вероятность события Р(a£ x£ b) :

; (1.3)

- p_x(Х) удовлетворяет условию нормировки - . (1.4)

Для векторных случайных величин х= (x₁,...,x_n), где x₁,...,x_n - скалярные СВ (компоненты векторной СВ), вводятся аналогичные понятия [2].

Полной характеристикой векторной СВ х= (x₁,...,x_n) является n-мерная совместная плотность распределения вероятности р_x(Х) = р_x(Х₁,...,Х_n), имеющая интерпретацию и свойства аналогичные скалярной СВ:

- р_x(Х₁,...,Х_n) ³ 0 (неотрицательная функция n аргументов);

- р_x(Х₁,...,Х_n) =0 при Х_j=+ ¥ , где j изменяется от 1 до n;

- знание р_x(Х₁,...,Х_n) позволяет вычислить вероятность события

, (1.5)

где D - заданная область в n-мерном пространстве переменной Х;

- р_x(Х₁,...,Х_n) удовлетворяет условию нормировки

. (1.6)

В дальнейшем, если это не оговаривается отдельно, для функции плотности распределения вероятности и функции распределения вероятности будут использоваться следующие упрощенные обозначения - р(х) вместо р_х(X), F(x) вместо F_x(X)

Для векторных СВ вводится дополнительная система понятий, отображающая взаимосвязь между отдельными ее компонентами. Если в векторной СВ х размерности n выделить две векторные СВ меньшей размерности y=(x₁,..,x_k) и z=(x_k+1,...,x_n), то для отображения свойств этих отдельных векторных СВ рассматриваются соответствующие совместные плотности распределения вероятности меньших размерностей :

, (1.7)

. (1.8)

Вводится понятие условной плотности распределения вероятности p(y/Z) СВ y в предположении, что СВ z приняла значение Z, которая связана с совместной плотностью распределения р(х)=p(y,z) соотношением

. (1.9)

Аналогично можно ввести понятие условной плотности распределения вероятности p(z/Y) для СВ z в предположении, что СВ y приняла значение Y:

. (1.10)

На основании соотношений (1.7)-(1.10) можно выразить одну условную плотность распределения вероятности через другую (формулы Байеса) :

, . (1.11)

Случайные величины y и z называются независимыми, если выполняется условие

р(y/Z)=р(y); р(z/Y)=р(z). (1.12)

Отсюда для независимых СВ y и z совместная плотность распределения вероятности р(х) может быть найдена по соотношению

р(x) = p(y,z)= р(y)р(z), (1.13)

а если все компоненты векторной СВ х= (x₁,...,x_n) являются независимыми скалярными СВ, то можно записать

, (1.14)

где р(х_i) - плотность распределения вероятности соответствующей скалярной СВ х_i.

Описания свойств и действия с СВ удобнее производить, используя их моментные характеристики, которые являются детерминированными величинами, вместо плотности распределения вероятности. Однако при этом снижается полнота информации о СВ. Чем выше порядок моментных характеристик, которыми характеризуется СВ, тем больше имеется о ней информации.

Общее выражение для определения моментной характеристики СВ x, которую можно представить в виде функции f(x), имеет вид

. (1.15)

Для скалярных СВ наиболее часто используются следующие моментные характеристики.

Математическое ожидание СВ М_х - определяет наиболее вероятное значение реализации СВ x, т.е. в выражении (1.15) положено f(x)=x :

. (1.16)

Элементарные свойства математических ожиданий СВ:

- если С - константа, то M[C] = C,

- если y = Сx и С - константа, то M_y = СM_x, (1.17)

- если , то ,

Дисперсия СВ D_x - характеризует наиболее вероятный разброс реализаций СВ x относительно ее математического ожидания, т.е. в выражении (1.15) положено f(x) = (x - M_x)² :

. (1.18)

Для сохранения размерности исходной СВ удобно рассматривать в качестве меры разброса реализаций среднеквадратическое отклонение СВ :

. (1.18")

Для двух скалярных СВ, например x и y, вводится понятие взаимный ковариационный момент K_xy , отражающий статистическую взаимосвязь между ними :

. (1.19)

Если K_xy=0 для скалярных СВ x и y, то такие СВ называются некоррелированными.

Если скалярные СВ x и y являются независимыми, т.е. p(x, y) = p(x)p(y)), то из (1.19) следует, что K_xy = 0, т.е. они являются также некоррелированными.

Часто вместо K_xy рассматривают нормированный ковариационный момент (или коэффициент корреляции) :

, . (1.20)

Элементарные свойства дисперсий СВ :

- если С - константа, то D[С] = 0,

- если y = Cx и С - константа, то D_y = С²D_x,

- если , то (1.21)
(если y = x₁ + x₂, то ),

- если и x₁, :, x_n - некоррелированные СВ, то .

Аналогично вводятся моментные характеристики для векторных СВ

Математическое ожидание векторной СВ х=(x₁,:,x_n) есть вектор-столбец математических ожиданий ее компонент, т.е. .

Ковариационная матрица векторной СВ х=(x₁,:, x_n) (аналог дисперсии для скалярной СВ) есть симметричная относительно главной диагонали квадратная матрица размера n´ n вида

. (1.22)

Также часто используется нормированная ковариационная матрица R_x (матрица коэффициентов корреляций) :

, (1.23)

(если векторная СВ x имеет некоррелированные компоненты, то R_x = Е - единичная матрица).

1.1.2. Функциональные преобразования случайных величин

В практических задачах случайные величины часто подвергаются функциональным преобразованиям вида y=f(x). При этом, если х является СВ с заданной плотностью распределения вероятности р(х), то в результате функционального преобразования у будет также СВ, плотность распределения вероятности которой p(y) необходимо найти. Эта задача может быть аналитически решена только для случая взаимно- однозначного соответствия между х и у.

Пусть х и у скалярные СВ и существует зависимость х=j (у), где j (у)=f^-1(у) - функция обратная f(x). Тогда легко показать, что

, (1.24)

где p_х(j (у)) - функция плотности распределения вероятности р(х), в которой вместо х подставляется j (у).

Докажем результат (1.24), для чего вернемся к ранее введенным обозначениям в функции плотности распределения вероятности p_x(X) и функции распределения вероятности F_х(X).

Пусть у=f(х) является монотонно возрастающей функцией. Тогда выполняется равенство P(x _x£ X)=P(x _y£ Y), если Y=f(X).

Так как , то

и из правил дифференцирования интеграла следует выражение (1.24).

Аналогично доказывается соотношение (1.24) для случая монотонно убывающей функции y=f(x).

В случае, если х и у векторные СВ одинаковой размерности n, связанные взаимно-однозначным функциональным преобразованием y=f(x), то выражение (1.24) принимает вид

, (1.25)

где |J| - определитель матрицы Якоби ,.

При отсутствии взаимно однозначного соответствия между х и у функцию р_y(Y) найти аналитически не удается и ограничиваются отысканием только главных моментных характеристик.

Так, например, в скалярном случае

, (1.26)

. (1.27)

Для линейных функциональных преобразований вышеприведенное соотношение (1.24) существенно упрощается. Если х и у векторные СВ одинаковой размерности n связаны линейным преобразованием у=Ах+В, где А матрица размера nxn, В - вектор столбец размера nx1, то соотношение (1.25) примет вид

. (1.24")

Для скалярного случая - у=ах+в, . (1/24")

Если линейные преобразования не являются взаимно однозначными, то есть хÎ Еⁿ, уÎ Е^m (m¹ n), и матрица А размера mxn , а вектор-столбец В размера mx1, то ограничиваются определением главных моментных характеристик по соотношениям

М_у=АМ_х+В (1.28)

К_у=М[(у-М_у)(у-М_у)^Т]=АК_хА^Т (1.29)

1.1.3. Моделирование случайных величин

Получение реализации СВ необходимо при выполнении моделирования на ЭВМ поведения динамической системы (например, движения летательного аппарата) под действием случайных факторов и возмущений, что является элементарной операцией для ряда численных методов статистического анализа.

Среди большого числа функций плотности распределения вероятности, наиболее часто используемых в технических приложениях, являются равномерное (или равновероятное), нормальное (или гауссово), экспоненциальное (или показательное) распределения [1], [5].

Закон равномерного распределения СВ p_р(х) на практике используется, когда отсутствует какая-либо дополнительная информация о СВ кроме интервала значений, в который попадают ее реализации. Это наиболее 'грубое' описание СВ, которое позволяет получить "гарантированные" оценки и избежать принятия ошибочных технических решений. Для СВ x, равномерно распределенной на интервале [а, в], функция плотности распределения вероятности имеет вид

, (1.30)

при этом главные вероятностные характеристики определяются по соотношениям, .

Для получения реализаций x _x СВ x применяются датчики псевдослучайных чисел, которые реализованы в виде стандартных программ для ЭВМ. Эти датчики позволяют получать реализации x a СВ, в дальнейшем обозначаемой a , имеющей равномерное распределение на интервале [0, 1] (стандартное равномерное распределение). Как правило, эти датчики псевдослучайных чисел также применяются для получения реализаций СВ, имеющих другие сложные законы распределения. При этом решается задача отыскания функционального преобразования, позволяющего получить из стандартного равномерного закона распределения требуемый закон распределения. Если такая задача решается для класса взаимно однозначных функциональных преобразований, то можно воспользоваться результатами подраздела 1.1.2.

Например, если необходимо получить реализации x _x СВ х, равномерно распределенный на интервале [а, в], то реализации x a СВ a необходимо подвергнуть линейному преобразованию вида

x _x = a + (b-a) x a . (1.31)

Закон нормального распределения СВ p_г(х) является наиболее распространенным в практической деятельности в силу своих свойств [1].

Функция плотности распределения вероятности p_г(х) для нормально распределенной скалярной СВ x имеет вид

, (1.32)

Рекомендации по получению реализаций других законов распределения приведены в [5].

Для произвольного вида закона распределения p(x) СВ x функциональ-

, (1.43)

что легко доказывается с помощью соотношения (1.24).

В ряде задач закон распределения СВ может быть задан графическим образом (рис.1). Тогда выполняется кусочно-постоянная аппроксимация графической зависимости с обязательным удовлетворением условий нормировки [2]

,

где Р_j - вероятность попадания реализаций СВ х в j-й подынтервал.

Рис.1

. (1.44)

Этот алгоритм получения реализаций СВ x может быть применен и для случая аналитического задания функции плотности распределения вероятности p(x).

1.2.1. Основные способы математического описания

случайных процессов

Если переменная x зависит от скалярного аргумента tÎ T и является случайной величиной для каждого значения t из области возможных значений аргумента T, то x называется случайной функцией (СФ) [3].

Если аргумент t изменяется непрерывно, то СФ является непрерывной, если аргумент t изменяется дискретно, то СФ является дискретной (или называется случайной последовательностью). Таким образом, любая СФ может быть представлена в виде бесконечномерной или конечномерной совокупности СВ.

Значения СФ, наблюдаемые в результате опыта, называются реализацией СФ. Если аргументом СФ является время, то такая СФ называется случайным процессом(СП). В дальнейшем, если не оговаривается особо, будут рассматриваться СП.

Случайный процесс полностью описывается бесконечным набором плотностей распределения вероятностей вида:

p(x,t) - одномерная плотность распределения вероятности СП, характеризующая распределение СВ x в произвольно выбранном временном сечении t;

p(x₁,t₁;x₂,t₂) - двумерная плотность распределения вероятности СП, характеризующая совместную плотность распределения вероятности двух СВ x₁ и x₂ в произвольно выбранных временных сечениях t₁ и t₂;

p(x₁,t₁;: ;x_n,t_n) - n-мерная совместная плотность распределения вероятности СП, характеризующая совместную плотность n СВ x₁ , :, x_n в произвольно выбранных n временных сечениях t₁ , :, t_n;

и.т.д. nR ¥ .

Кроме этого для СП введены переходные плотности распределения вероятности вида:

p(x₂,t₂|Х₁,t₁) - это плотность вероятности СВ x₂, наблюдающаяся во временном сечении t₂ при условии, что в предыдущий момент времени t₁ СВ x₁ приняла значение Х₁;

p(x₃,t₃|Х₁,t₁;Х₂,t₂) - это плотность вероятности СВ x₃, наблюдающаяся во временном сечении t₃ при условии, что в предыдущие моменты времени t₁ и t₂ соответствующие СВ x₁ и x₂ приняли значение Х₁ и Х₂;

и т.д.

В дальнейшем ограничимся рассмотрением только плотностей распределения вероятностей вида p(x,t), p(x₁,t₁;x₂,t₂), p(x₂,t₂|Х₁,t₁), которые связаны между собой соотношением:

p(x₁,t₁;x₂,t₂)=p(x,t)p(x₂,t₂|Х₁,t₁) (1.45)

и обладают следующими очевидными свойствами[3] :

(1.46)

где (х₂-Х₁) -дельта-функция.

Так же, как для СВ, на практике широко используют описания СП через их моментные характеристики (выигрывая в простоте описания, но проигрывая в информативности), которые являются неслучайными функциями времени.

Обычно ограничиваются рассмотрением главных моментных характе-ристик СП (моментные характеристики первого и второго порядков) :

математического ожидания СП M_X(t), определяющего среднее протекание во времени СП

(1.47)

корреляционной функции СП R_X(t₁, t₂), определяющей как статистическую взаимосвязь между СВ x₁ и x₂, наблюдающимися в двух временных сечениях t₁, t₂, так и средний разброс реализаций СП относительно математического ожидания M_X(t) :

= (1.48)

Корреляционная функция СП для совпадающих значений аргументов t₁, t₂ называется дисперсией СП D_X(t) и характеризует разброс реализаций СВ x, наблюдающийся в сечении t :

. (1.49)

Так же, как и для СВ, вводятся понятия среднеквадратического отклонения СП и нормированной корреляционной функции (аналог коэффициента корреляции)

(1.50)

Математическое ожидание СП M_x(t) обладает свойствами, аналогичными свойствам моментных характеристик СВ :

(1.51)

где g(t) - неслучайная функция.

Свойства корреляционной функции R_x(t₁,t₂) СП:

(1.52)

где g(t) - неслучайная функция.

Для векторного СП x(t)=(x₁(t), : , x_n(t)), где компоненты x₁(t), : , x_n(t) являются скалярными СП, главные моментные характеристики вводятся аналогичным образом, как для векторных СВ:

- вектор-столбец математических ожиданий векторного СП x(t)

;

- матричная корреляционная функция (или матрица корреляционных функций) векторного СП x(t)

(несимметричная квадратная матрица размера nхn ) ;

- матричная ковариационная функция (или матрица ковариационных функций) векторного СП x(t)

(симметричная квадратная матрица размера nхn, являющаяся аналогом дисперсии для скалярного СП).

Из большого числа видов СП, которые можно выделить при классификации СП, рассмотрим наиболее часто встречающиеся в технических применениях [2], [3].

Стационарные СП в широком смысле - это СП, у которых совместные плотности распределения вероятностей остаются неизменными при одинаковом изменении значений всех аргументов

Стационарные СП в узком смысле (ССП) - это СП, у которых главные моментные характеристики обладают свойствами

(1.53)

Стационарный СП называется эргодическим, если любая его реализация бесконечной продолжительности содержит всю информацию о моментных характеристиках СП, т.е.

(1.54)

Достаточное условие эргодичности .

Марковский СП - это СП, поведение которого в последующий момент времени определяется только его текущим состоянием и не зависит от предыстории (при анализе движения летательных аппаратов в условиях статистической неопределенности часто рассматриваются марковские СП). Марковские СП полностью описываются одномерной p(x,t) и переходной p(x₁,t₁ ê Х₂,t₂) плотностями распределения вероятности, так как

(1.55)

Нормальный СП - это СП, у которого все совместные плотности распределения вероятности имеют нормальные (гауссовы) законы распределения, то есть полностью описываются их главными моментными характеристиками.

Разделение СП на стационарные и нестационарные, марковские и немарковские, нормальные и ненормальные осуществлено по независимым признакам.

Кроме вышеперечисленных важным для технических приложений также является класс абсолютно случайных процессов.

Абсолютно случайный процесс (АСП) - это СП, у которого СВ, наблюдаемые в сколь угодно близких временных сечениях, являются независимыми СВ. АСП полностью описываются одномерной плотностью распределения вероятности, так как

(1.56)

Если у АСП одномерная плотность распределения вероятности имеет нормальный закон распределения, то такой СП называется белым шумом(БШ). Корреляционная функция БШ записывается в виде

(1.57)

где - дельта-функция, N(t₁) - интенсивность БШ (отражает дисперсию нормально распределенной СВ, которая наблюдается в фиксированном временном сечении БШ). Для стационарного БШ , где N - постоянная величина.

При исследовании СП x(t) часто удобно его представлять в виде [3]

(1.58)

где M_X(t) - математическое ожидание СП x(t); V_K - некоррелируемые СВ с нулевыми математическими ожиданиями и дисперсиями D_K; j _K(t) - неслучайные функции времени (называются координатными функциями), удовлетворяющие условию ортонормированности

(1.59)

Форма представления СП в виде (1.58) называется каноническим разложением СП. Корреляционная функция и дисперсия СП, представленного в виде (1.59), находятся по соотношениям:

, (1.60)

(1.61)

Для стационарных случайных процессов в качестве координатных функций удобно рассматривать функции вида , где - частоты, i - мнимая единица. При этом ССП выражается через тригонометрические функции sin и cos и представляется в виде бесконечной суммы гармоник различной частоты со случайными амплитудами, имеющими нулевые математические ожидания и заданные дисперсии D_K, а само каноническое разложение называется спектральным или частотным разложением.

В этом случае корреляционная функция R_X(t ) может быть записана в виде

-прямое преобразование Фурье, (1.62)

где S_X(w ) - спектральная плотность ССП, связанная взаимно однозначно с R_X(t ) соотношением

- обратное преобразование Фурье. (1.63)

Из (1.62) следует выражение для дисперсии ССП

(1.64)

Так как R_X(t ) и S_X(w ) являются четными функциями своих аргументов, то выражения (1.62) и (1.63) могут быть переписаны в виде

(1.65)

(1.66)

Таким образом спектральная плотность S_X(w ) позволяет перевести изучение свойств ССП из временной области в частотную область и характеризует распределение дисперсии ССП по частотам непрерывного спектра (то есть по дисперсиям амплитуд гармоник спектрального разложения). Как правило спектральная плотность S_X(w ) представляется в виде дробно-рациональной функции. Например, для экспоненциально коррелированного ССП с корреляционной функцией

(1.67)

спектральная плотность ССП имеет вид

(1.68)

Использование спектральной плотности вместо корреляционной функции в ряде случаев является более удобным.

Для стационарного БШ интенсивности N из (1.63) следует

(1.69)

то есть дисперсия распределяется по всем частотам непрерывного спектра равномерно.

1.2.2. Интегрирование и дифференцирование случайных процессов

Считается, что последовательность СВ x₁,x₂ , :, x_n сходится в среднеквадратичном смысле к СВ x

если выполняется условие

Для выполнения условия сходимости последовательности СВ необходимо и достаточно существование двух пределов и .

Производная и интеграл от СП x(t) для аргумента tÎ [t₀,t_K] являются соответственно СП и СВ и определяются как

Главные вероятностные характеристики СП, получающиеся при дифференцировании и интегрировании СП, находятся по соотношениям [2] :

(1.70)

(1.71)

(1.72)

(1.73)

Проиллюстрируем применение этих соотношений на примере [2]. Пусть требуется найти математическое ожидание и дисперсию импульса тяги двигательной установки летательного аппарата , если тяга F(t) реализуется с ошибкой , где F₀(t) - номинальное значение тяги, - стационарный случайный процесс, определяющий разброс тяги относительно номинального значения с вероятностными характеристиками

.

Очевидно, что на основании (1.51), (1.52) .

Тогда после использования соотношений (1.70), (1.72) можно получить

.

1.2.3. Моделирование стационарных случайных процессов

Получение реализаций СП на ЭВМ является достаточно сложной проблемой. Если для СП известно его канонические разложение, то моделирование СП сводится к получению реализаций совокупности случайных величин.

Моделирование стационарных СП является наиболее часто встречающимся на практике случаем. Для решения этой проблемы используется метод формирующих фильтров [4].

Под формирующим фильтром(ФФ) здесь понимается динамическая система, относящаяся к классу линейных стационарных устойчивых систем, на вход которой подается стационарный БШ заданной интенсивности N, а на выходе наблюдается стационарный СП с требуемой корреляционной функцией .

Таким образом, в проблеме моделирования стационарных СП выделяются две основные задачи:

- получение реализаций стационарного БШ на ЭВМ,

- отыскание математической модели формирующего фильтра.

Для определенности рассмотрим получение реализаций x _V(t) центрированного стандартного стационарного БШ , (N_V=1). Аппро-ксимацией такого БШ является абсолютно случайный ступенчатый процесс (АССП) . Реализацией x a (t) АССП является кусочно-постоянная функция с интервалом дискретности аргумента , в пределах которых наблюдаются независимые СВ, имеющие нормальный закон распределения с моментными характеристиками М=0, D=1.

Следовательно, для моделирования АССП достаточно использовать датчик случайных чисел или алгоритм моделирования, реализующий стандартный нормальный закон распределения.

Для того, чтобы реализация x a (t) АССП , имеющего дискрет-изацию , соответствовала реализации x _V(t) стандартного БШ наилучшим образом, необходимо подвергнуть ее линейному преобразованию , С - коэффициент, определяющийся из условия

. (1.74)

Корреляционная функция АССП описывается соотношением

. (1.75)

Тогда с учетом того, что , из соотношения (1.74) вытекает следующее условие для нахождения коэффициента С :

. (1.76)

Для выполнения второго этапа моделирования стационарного СП и получения математической модели ФФ воспользуемся соотношением, связывающим спектральные плотности на входе и выходе динамической системы

, (1.77)

где и - соответственно частотная и сопряженная частотная функции формулирующего фильтра.

Из соотношения (1.77) следует, что

. (1.78)

Таким образом, отыскание математической модели ФФ сводится к представлению выражения в виде произведения двух комплексно-сопряженных множителей, выделению частотной функции ФФ, получению передаточной функции ФФ и записи соответствующего ей дифференциального уравнения.

В качестве примера рассмотрим процедуру отыскания ФФ для моделирования ССП, имеющего экспоненциально коррелированную функцию .

С учетом (1.68) можно записать

,

откуда следует, что .

Найденной частотной функции соответствуют передаточная функция

и дифференциальное уравнение искомого формирующего фильтра

,

интегрируя которое находится реализация x _x(t) требуемого стационарного СП из реализации x _V(t) стандартного БШ .

Следует помнить, что в результате выполнения вышеописанной процедуры получаются реализации центрированного стационарного СП . Если необходимо осуществить моделирование стационарного СП, имеющего ненулевое математическое ожидание , то к полученной по описанному алгоритму реализации x _x(t) СП следует прибавить .