Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология
Образование Политология Производство Психология Стандартизация Технологии


Эргодические и поглощающие цепи



 

Все множество состояний системы можно разбить на подмножества сообщающихся состояний. Эти подмножества находятся в иерархической зависимости между собой, которая отражает динамику переходов состояний системы в течение времени.

 

Самое низшее подмножество состояний называется эргодическим множеством. Остальные подмножества называются невозвратными.

В частном случае эргодическое множество может состоять из одного состояния, которое называется поглощающим.

В соответствии с таким разделением различают эргодические и поглощающие цепи Маркова.

Эргодические цепи Маркова

Для этих цепей характерно то, что при достаточно большом количестве шагов k наступает стационарный режим, при котором Pi(k) независимы от времени и равны Pi. Вектор (Pi)n – вектор финальных стационарных вероятностей. До наступления стационарного режима имеет место переходной режим, длительность которого можно определить задавшись величиной ei=|Pi -Pi(k)|, если ei> eдоп – условие наступления стационарного процесса.

Каждая компонента Pi характеризует среднюю долю времени, в течение которого система находилась в состоянии Si.

Условием эргодичности однородной Марковской цепи является то, что все ее состояния являются сообщающимися, а граф системы сильно связан (возможен переход Si®Sj за конечное число шагов).

Для определения стационарных вероятностей нужно составить систему из n алгебраических уравнений:

Pi = Pj*Pji, i=1, n, (6.15)

Pj = 1. (6.16)

В левой части – вероятности состояния соответствующие рассматриваемым вершинам графа.

В правой части – сумма произведений, число слагаемых равно числу дуг. Слагаемое – произведение вероятности того состояния, из которого выходит дуга, на вероятность соответствующего перехода.

P1 = P2P21 + P3P31

P1 = P2P21 + P3P31

(6.17)

P1 = P2P21 + P3P31

P1 + P2 +... + Pn = 1

Поглощающие цепи Маркова

Поглощающие цепи характеризуются тем, что их эргодическое состояние является поглощающим. В установившемся режиме независимо от начального состояния вероятность нахождения такой Марковской цепи в поглощающем состоянии равна 1, а вероятности всех остальных близки к нулю. В этой связи в поглощающих Марковских цепях интерес представляет переходный процесс в отличие от эргодических, где интерес – установившийся режим, так как задачей анализа Марковских цепей является расчет вероятностей нахождения системы в одном из ее состояний в определенный момент времени t.

Непрерывные Марковские цепи

 

На практике часто встречаются системы, которые могут принимать конечное число состояний, а переходы между ними могут происходить в любой случайный момент времени.

Пример: отказ любого элемента аппаратуры может произойти в любой момент времени – непрерывный случайный процесс.

Непрерывные Марковские цепи – случайный процесс, при котором поведение системы после произвольного момента времени t зависит только от процессов в этот момент времени и не зависит от истории процесса, предшествующего этому t. Для непрерывного Марковского процесса необходимо определить вероятности всех состояний системы для любого момента времени t, учитывая при этом, что для любого момента времени эти вероятности представляют собой полную группу событий:

Pi = 1.

Пусть система в момент времени t находится в состоянии Si. Рассмотрим промежуток времени Dt, прилегающий к моменту времени t, при этом назовем плотностью вероятности lij(t) предел отношения вероятности перехода Pij(t) к промежутку времени Dt, при Dt®0:

lij(t) = lim ; (6.18)

Pij(t) » lij*Dt , при малых Dt. (6.19)

Если плотности вероятностей переходов не зависят от t, т.е. не зависят от начала отсчета элементарного участка Dt, то Марковский процесс называется однородным, т.е. lij=const. Если lij представляет собой функцию времени, то процесс неоднородный.

Пусть известно конечное множество состояний системы и плотности вероятностей переходов lij для моментов времени (t+Dt)

Pi(t+Dt) = Pi(t)Pji(Dt) = Pi(t)Pii(Dt) + Pj(t)Pji(Dt) (6.20)

Граф состояний:

 

 

 


Из свойства матрицы переходных вероятностей:

 

Pii(Dt) = 1 – Pij(Dt); (6.21)

Pi(t+Dt) – Pi(t) = -Pi(t) Pij(Dt) + Pj(t)Pji(Dt); (6.22)

 

= -Pi(t) + Pj(t) ; (6.23)

 

= -Pi(t) lij + Pj(t)lij, i=1, n Pi(0)=Pi 0; (6.24)

 

Система уравнений Колмогорова для непрерывных Марковских цепей (система дифференциальных уравнений).


Поделиться:



Популярное:

Последнее изменение этой страницы: 2017-03-03; Просмотров: 1169; Нарушение авторского права страницы


lektsia.com 2007 - 2024 год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! (0.017 с.)
Главная | Случайная страница | Обратная связь