МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ

 

К классу случайных функций, полностью определяемых своей двумерной плотностью вероятности, относятся марковские случайные процессы, получившие название по, фамилии впервые исследовавшего их русского математика А. А. Маркова (1856 — 1922). Определяющей особенностью марковских процессов является то, что их вероятностные свойства в будущем при точно известном значении процесса в настоящем не зависят от того, какие значения он принимал в прошлом (отсюда другое название марковского процесса" — «процесс без последействия»). Использование этого свойства позволило построить для марковских процессов мощный математический аппарат, дающий возможность решать большой класс важных практики задач. Поэтому, хотя большинство физических процессов и не являются строго марковскими, их приближенное исследование методами теории марковских процессов оказывается весьма эффективным.

ОПРЕДЕЛЕНИЕ И КЛАССИФИКАЦИЯ МАРКОВСКИХ ПРОЦЕССОВ

Случайный процесс X (t), tÎ T называется марковским, если любых t_l < t₂ < ... < t_n, принадлежащих области Т, условная функция распределения случайной величины X(t_n) относительно X(t₁), ..., X(t_n-1) совпадает с условной функцией распределения X(t_n) относительно X(t_n-1) в том смысле, что для любого x_nÎ X справедливо равенство

(3.1.1)

Рассмотрение определения (3.1.1) при последовательно увеличивающихся n позволяет установить, что для марковских случайных процессов n-мерная функция распределения может быть представлена в виде

(3.1.2)

 

Аналогично свойство марковости (3.1.1), (3.1.2) может быть записано и для плотностей вероятности

Таким образом, для марковского процесса функция распреде­ления или плотность вероятности любой мерности n может быть найдена, если известна его одномерная плотность вероятности при t = t₁ и последовательность условных плотностей для моментов t_i> t₁, i = .Эта особенность по существу и определяет практи­ческое удобство аппарата марковских случайных процессов.

Для марковских процессов полностью справедлива общая клас­сификация, приведенная в параграфе 1.1. В соответствии с этой классификацией обычно выделяется четыре основных вида про­цессов Маркова [8]:

— цепи Маркова — процессы, у которых как область значе­ний X, так и область определения Т — дискретные множества;

— марковские последовательности — процессы, у которых об­ласть значений X — непрерывное, а область определения Т —дис­кретное множество;

— дискретные марковские процессы — процессы, у которых область значений X — дискретное, а область определения Т — не­прерывное множество;

- непрерывнозначные марковские процессы — процессы, у ко­торых как область значений X, так и область определения Т — непрерывные множества.

Возможны и более сложные виды марковских процессов, на­пример дискретно-непрерывные, когда случайный процесс X (t) при некоторых значениях аргумента t имеет скачки, а в проме­жутках между ними ведет себя как непрерывнозначный. Подоб­ные процессы называются смешанными. Похожая ситуация имеет место и для векторных процессов Маркова — отдельные состав­ляющие такого процесса могут относиться к разным типам. Про­цессы таких сложных видов в дальнейшем не рассматриваются.

Отметим, что при изучении марковских процессов традиционно принято под аргументом t понимать время. Поскольку это пред­положение не ограничивает общности и способствует наглядности изложения, такая трактовка физического смысла аргумента t и принята в данной главе.

ЦЕПИ МАРКОВА

Пусть случайный процесс X (t) может принимать конечное (L < ) множество значений

{q_l, l= } = С. Конкретное зна­чениеq_l; Î С, которое принял процесс X (t) в момент t, определя­ет его состояние при данном значении аргумента. Таким образом,

 

в рассматриваемом случае процесс X (t) имеет конечное мно­жество возможных состояний.

Естественно, что с течением времени процесс X (t) будет слу­чайным образом изменять свое состояние. Допустим, что такое изменение возможно не при любом t, а лишь в некоторые дискрет­ные моменты времени t₀< t₁< t₂< …, когда процесс X (t) скачком изменяет свое состояние. Иначе говоря, в моменты времени t_t имеют место переходы X(t₀) ®X(t₁) ®..., причем X(t)Î C, i= 0, 1, 2, …

Два указанных признака определяют последовательность ди­скретных случайных величин X_i — X (t_i), i = 0.1, ... (дискретную случайную последовательность в терминах, параграфа 1.1), у ко­торой область значений представляет собой дискретное конечное множество С ={q_l, l = ], а область определения — дискрет­ное бесконечное множество t_i, i = 0, 1, 2,...

Если для определенной таким образом дискретной случайной последовательности справедливо основное свойство (3.1.1) про­цессов Маркова, приобретающее в данном случае вид

(3.2.1)

то такая последовательность называется простой цепью Маркова.

Отметим, что из выражения (3.2.1) непосредственно вытекает

такое же равенство и для условных вероятностей нахождения

простой цепи Маркова в некотором состоянии

Р{х₁/х₀, х₁, ..., x_i-1} = Ρ {x_i /x_i-1 }, i = 1, 2,....

Введенное определение допускает некоторое обобщение. По­ложим, что значение х_iÎ С рассматриваемого процесса X (t) за­висит не от одного, а от m(l£ m < i) непосредственно предшест­вующих ему значений. Тогда, очевидно, что

(3.2.2)

Процесс, определяемый соотношением (3.2.2), называется сложной цепью Маркова порядка т. Соотношение (3.2.1) выте­кает из (3.2.2) как частный случай. В свою очередь, сложная цепь Маркова порядка т может быть сведена к простой цепи Маркова для m-мерного вектора. Для того чтобы показать это, положим, что состояние процесса в момент i_i описывается с помощью m-мерного вектора.

(3.2.3)

На предыдущем шаге аналогичный вектор запишется как

(3.2.4)

Сравнение (3.2.3) и (3.2.4) показывает, что «средние» компо­ненты этих векторов (кроме X_l в (3.2.3) и Х^l_-m в (3.2.4)) совпадают. Отсюда следует, что условная вероятность попадания про­цесса X (t) в состояние `X<sub>i</sub> в момент t<sub>1</sub>, если он находился в состоя­нии `X_i-1 в момент t_i-1, может быть записана в виде

 

(3.2.5)

 

В (3.2.5) символ обозначает j-ю компоненту вектора `x_i; α (μ, ν ) — символ Кронекера: α (μ, ν ) = 1 при ν = μ и α (μ, ν ) = ϋ при μ ¹ ν. Возможность указанных обобщений позволяет ограничить­ся в дальнейшем рассмотрением только простых цепей Маркова.

Как система дискретных случайных величин простая цепь Мар­кова X_i, i = 0, 1, 2, ..., i, ... при любом фиксированном i может быть исчерпывающим образом описана i-мерной совместной вероят­ностью

ρ {θ _0L, θ _{ί κ} ,..., θ _{ί m}, } = P{Х₀ =θ _L, X₁=θ _k, …, X_j=θ _m}, (3.2.6)

где индексы l, k,..., т принимают все значения от 1 до L неза­висимо друг от друга. Выражение (3.2.6) определяет матрицу с L строками и i+1 столбцом, элементами которой являются вероят­ности совместного пребывания системы случайных величин Χ ₀, Χ ₁,..., Χ _ί в некотором конкретном состоянии. Данная матрица по аналогии с рядом распределения скалярной дискретной слу­чайной величины может быть названа матрицей распределения системы дискретных случайных величин

Χ ₀, Χ ₁,..., Χ _{ί .}

На основании теоремы умножения вероятностей вероятность (3.2.6) может быть представлена в виде

 

Но согласно основному свойству (3.2.1) цепи Маркова

P{X_l = m/X₀= _l, X₁ = _k, …, X_i-1= _r}=P{X_i= _m/X_i-1= _r}

откуда

(3.2.8)

Повторение аналогичных рассуждений для входящей в (3.2.8) вероятности _r} позволяет привести это выра­жение к виду

Отсюда окончательно получаем

(3.2.9)

Таким образом, полное вероятностное описание простой цепи Маркова достигается заданием вероятностей начального состояния цепи в момент t₀, Ρ {Θ _0l, } = Р{Х₀ = Θ _l}, l= и условных вероятностей

Ρ {X_l = Θ _k/X_i-1= Θ _m}, i = 1, 2, ... · k, m =

Отметим, что поскольку возможные состояния Θ _lÎ `C цепи X (t) фиксированы и известны, для описания ее состояния в лю­бой момент времени достаточно указать номер l этого состояния. Это позволяет ввести для безусловных вероятностей нахождения цепи в l-м состоянии в момент t_i (на i-м шаге) упрощенное обоз­начение

(3.2.10)

Для этих вероятностей, очевидно, имеют место свойства неот­рицательности и нормированности к единице

P_l(i)> 0, l = , i = 0, 1, 2,...; (3.2.11)

При использовании матричных обозначений совокупность без­условных вероятностей записывается в виде матрицы-строки

(3.2.12)

Как следует из ранее изложенного, фундаментальную роль в теории цепей Маркова (и процессов Маркова вообще) играют ус­ловные вероятности вида В соответствии с физическим смыслом их принято называть вероятностями пере­хода и обозначать как

(3.2.13)

Выражение (3.2.13) определяет вероятность прихода цепи в состояние _l, в момент t за ν — μ шагов при условии, что в момент t_μ цепь находилась в состоянии _A. Нетрудно видеть, что для вероятностей перехода также имеют место свойства не­отрицательности и нормированности, поскольку на любом шаге цепь всегда будет находиться в одном из L возможных состояний

(3.2.14)

 

Упорядоченная совокупность вероятностей перехода для любой пары может быть представлена в виде квадратной мат­рицы

 

(3.2.15)

 

Как следует из выражения (3.2.14), все элементы этой матри­цы неотрицательны и сумма элементов каждой строки равна еди­нице. Квадратная матрица, обладающая указанными свойствами, называется стохастической.

Таким образом, вероятностное описание цепи Маркова может быть задано матрицей-строкой (3.2.12) и стохастической матри­цей (3.2.15).

С использованием введенных обозначений решим основную задачу теории цепей Маркова — определим безусловную вероят­ность Ρ _l (ί ) того, что за i —μ шагов процесс придет в некото­рое состояние l, l= . Очевидно, что в момент t_m процесс может находиться в любом из L возможных состояний с вероятностью P_k(m), k = . Вероятность же перехода из k-гo в l-е состояние задается вероятностью перехода p_{k l}(m, i). Отсюда на основании теоремы о полной вероятности получаем

; (3.2.16)

или в матричной форме

P(i)=P(m)P(m, i); (3.2.17)

Рассмотрим в соотношении (3.2.16) вероятность перехода π _kl (m, i). Очевидно, что переход цепи из состояния k в момент t_m в состояние l в момент t_i за несколько шагов может осущест­вляться различными путями (через различные промежуточные со­стояния). Введем в рассмотрение промежуточный момент времени t_m, t_m < t_m< t_ί . Β этот момент процесс может находиться в любом из L возможных состояний, причем вероятность его попадания в r-е состояние в момент t_m при условии, что в момент t_m он был в состоянии k, равна π _kr(μ, m). В свою очередь, из состояния r в состояние l процесс переходит с вероятностью π _rl(m, i). Отсю­да с использованием теоремы о полной вероятности получаем уравнение Маркова для вероятностей перехода

 

 

 

матричная форма которого имеет вид

П(m, ί ) = П(μ, m) П(m, I); 0£ m < m < I; (3.2.19)

Уравнения (3.2.18), (3.2.19) определяют характерное для це­пей Маркова свойство вероятностей перехода, хотя справедливос­ти (3.2.18) еще недостаточно, чтобы соответствующая цепь была марковской.

Расписывая последовательно формулу (3.2.19), получаем

П(μ, i) = П (μ, i - 1) П (i - 1, ί ) = П (μ, μ + 1)... П (ί - 1, i), (3.2.20)

где p(ν, μ ), μ —n= 1— одношаговая вероятность перехода. Полагая теперь в выражении (3.2.17) μ =0, получаем

(3.2.21)

откуда следует, что полное вероятностное описание простой цепи Маркова достигается заданием вероятностей начального состоя­ния и последовательности матриц вероятностей одношаговых пе­реходов.

Очевидно, что свойства цепи Маркова в значительной мере определяются свойствами вероятностей перехода. С этой точки зрения, в частности, среди простых цепей Маркова выделяют од­нородные, для которых вероятности перехода зависят только от разности аргументов

p_kl(m, i) =p_kl (i-m), i> m> 0; (3.2.22)

и не зависят от номера шага. Все остальные виды простых цепей Маркова, не удовлетворяющие условию (3.2.22), относятся к клас­су неоднородных,.

Поскольку для однородной цепи вероятность перехода опре­деляется лишь разностью аргументов и не зависит от номера ша­га, очевидно, что для произвольных пар (μ, m), (j, i), удовлетво­ряющих условиям т — μ = 1, ί — j = 1, m¹ i, справедливо

 

p_kl(m-m) =p_kl (i-j)= p_kl(1) =p_kl ;

 

Отсюда следует, что для описания однородной марковской це­пи достаточно задать вместе с вероятностями начального состоя­ния не последовательность, а одну стохастическую матрицу одношаговых вероятностей перехода

 

(3.2.23)

 

 

 

Кроме того, очевидно, что

(3.4.7)

поскольку первый сомножитель под интегралом не зависит от пе­ременной интегрирования, а интеграл от второго равен единице. Вычитание уравнения (3.4.7) из (3.4, 6) дает

 

(3.4.8)

Предположим, что плотность вероятности перехода рассматри­ваемого процесса может быть разложена в ряд Тейлора. Тогда выражение в квадратных скобках под интегралом в уравнении (3.4.8) может быть представлено в виде

(3.4.9)

 

Подставив выражение (3.4.9) в (3.4.8), разделив обе части полученного выражения на ∆ t и перейдя к пределу при Δ t → 0, получим

 

(3.4.10)

где

(3.4.11)

 

Уравнение (3.4.10) определяет широкий класс непрерывных марковских процессов, причем нетрудно видеть, что совокупность коэффициентов А_ν (x₀, t₀) определяет физические свойства каждо­го из них. Так, коэффициент A₁ (x₀, t₀) может трактоваться как среднее значение локальной (в точке x (t₀)) скорости изменения процесса, коэффициент A₂ (x₀, t₀) — как локальная скорость изме­нения дисперсии его приращения и т. д. Однако марковские про­цессы такого общего вида сравнительно редко рассматриваются в приложениях. Наибольшее практическое значение имеет под­множество марковских процессов, удовлетворяющее условию

A_ν (x₀, t₀)¹ 0; n=1, 2, A_ν (x₀, t₀)=0, n³ 3; (3.4.12)

 

 

При исследовании марковских процессов первоначально было установлено, что уравнению (3.4.10) при условии (3.4.12) удовле­творяют законы движения (диффузии) броуновских частиц, вслед­ствие чего соответствующие марковские процессы назвали диф­фузионными. Исходя из этого, коэффициент A₁ (x₀, t₀)=a (x₀, t₀) назвали коэффициентом сноса, о A₂ (x₀, t₀)=b(x₀, t₀) -- коэффици­ентом диффузии. В рамках (3.4.12) уравнение (3.4.10) приобре­тает окончательный вид

(3.4.13)

 

 

Это уравнение, в котором переменными являются х₀ и t₀, носит название первого (обратного) уравнения Колмогорова.

Аналогичным образом может быть получено и второе урав­нение

Это уравнение, в честь впервые исследовавших его ученых, называется уравнением Фоккера, — Планка — Колмогорова или прямым уравнением Колмогорова (поскольку в нем фигурирует производ­ная по конечному моменту времени t> t₀).

Таким образом; показано, что плотности вероятности перехода диффузионных марковских процессов удовлетворяют уравнениям (3.4.13), (3.4.14), которые и являются основным инструментом их исследования. При этом- свойства конкретного процесса опреде­ляются «коэффициентами» a(x, tί ) и b(x, t) которые, согласно уравнения (3.4.11), равны

(3.4.15)

(3.4.16)

 

Из выражений (3.4.15), (3.4.16) следует, что эти «коэффици­енты» имеют смысл условных математических ожиданий, опре­деляющих характер изменений реализаций процесса за бесконеч­но малый промежуток времени Δ t. Допускаются весьма быстрые изменения процесса X (t), но в противоположных направлениях, в результате чего среднее приращение процесса за малое время Δ t конечно и имеет порядок .

 

 

⇐ Предыдущая1234

Поделиться:

Популярное:

1. Активные морфонологические процессы в структуре русского производного слова.
2. БИЗНЕС-ПРОЦЕССЫ И БИЗНЕС-СИСТЕМЫ.
3. Влияние эмоций на физиологические процессы в организме ребенка
4. ВООБРАЖЕНИЕ И ОРГАНИЧЕСКИЕ ПРОЦЕССЫ
5. Вопрос 2. Влияние космических тел Солнечной системы на процессы и явления, происходящие на Земле.
6. Вопрос 46. Россия в 1990-е годы. Социально-экономические и политические процессы.
7. Геологические процессы в земной коре
8. Геополитические процессы в Западной и Восточной Европе и в Прибалтике
9. Геополитические процессы и картины мира Нового времени
10. Геофизические процессы в ландшафтах
11. Глава 17. Психические процессы как структурные элементы управления – 419
12. Глава 4. Геополитические процессы, картины мира и эпохи