Тема: Элементы теории Марковских процессов

Марковский процесс

Одним из важнейших факторов, который должен учитываться в процессе принятия оптимальных решений, является фактор случайности. Следует отметить при этом, что упомянутый выше фактор " неопределенности" не адекватен фактору " случайности", так как при учете " случайности" необходимо, чтобы массовые случайные явления обладали свойством статической устойчивости. Это означает, что учитываемые случайные явления подчиняются определенным статическим закономерностям, требования которых не обязательны при учете неопределенности. Условие статической устойчивости позволяет использовать в процессе принятия решений эффективные математические методы теории случайных процессов и, в частности, одного из ее разделов - теории марковских процессов.

Марковские случайные процессы названы по имени выдающегося русского математика А.А.Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать " динамикой вероятностей". В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как: теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория марковских процессов и ее приложения широко применяются в самых различных областях таких наук, как механика, физика, химия и др.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений, особое внимание марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Несмотря на указанную выше простоту и наглядность, практическое применение теории марковских цепей требует знания некоторых терминов и основных положений, на которых следует остановиться перед изложением примеров.

Как указывалось, марковские случайные процессы относятся к частным случаям случайных процессов (СП). В свою очередь, случайные процессы основаны на понятии случайной функции (СФ).

Случайной функцией называется функция, значение которой при любом значении аргумента является случайной величиной (СВ). По иному, СФ можно назвать функцию, которая при каждом испытании принимает какой-либо заранее неизвестный вид.

Такими примерами СФ являются: колебания напряжения в электрической цепи, скорость движения автомобиля на участке дороги с ограничением скорости, шероховатость поверхности детали на определенном участке и т.д.

Как правило, считают, что если аргументом СФ является время, то такой процесс называют случайным. Существует и другое, более близкое к теории принятия решений, определение СП. При этом под случайным процессом понимают процесс случайного изменения состояний какой-либо физической или технической системы по времени или какому-либо другому аргументу.

Нетрудно заметить, что если обозначить состояние S_i и изобразить зависимость S_i(t), то такая зависимость и будет случайной функцией.

СП классифицируются по видам состояний S_iи аргумента t. При этом СП могут быть с дискретными или непрерывными состояниями или временем. Например, любой выборочный контроль продукции будет относиться к СП с дискретными состояниями (S₁- годная, S₂ - негодная продукция) и дискретным временем (t₁, t₂ - времена проверки). С другой стороны, случай отказа любой машины можно отнести к СП с дискретными состояниями, но непрерывным временем. Проверки термометра через определенное время будут относиться к СП с непрерывным состоянием и дискретным временем.

Кроме указанных выше примеров классификации СП, существует еще одно важное свойство. Это свойство описывает вероятностную связь между состояниями СП. Так, например, если в СП вероятность перехода системы в каждое последующее состояние зависит только от предыдущего состояния, то такой процесс называется процессом без последействия.

Зависимость P _i/i+1 = f(S_i) называют переходной вероятностью, часто говорят, что именно процесс без последействий обладает марковским свойством, однако, строго говоря, здесь есть одна неточность. Дело в том, что можно представить себе СП, в котором вероятностная связь существует не только с предшествующими, но и более ранними - S_i-1, S_i+2... состояниями, т.е.

P_i/i+1 = f (S_i, S_i-1, S_i-2)

Такие процессы также рассматривались А.А.Марковым, который предложил называть их в отличие от первого случая (простой цепи) - сложной цепью. В настоящее время теория таких цепей разработана слабо и обычно применяют так называемый процесс укрупнения состояний путем математических преобразований, объединяя предшествующие состояния в одно. Это обстоятельство должно обязательно учитываться при составлении математических моделей принятия решений. Выше мы совершили незаметный терминологический переход от понятия СП к " марковской цепи". Теперь эту неясность следует устранить. Отметим, во-первых, что случайный процесс с дискретными состояниями и временем называется случайной последовательностью.

Если случайная последовательность обладает марковским свойством, то она называется цепью Маркова. С другой стороны, если в случайном процессе состояния дискретны, время непрерывно и свойство последействия сохраняется, то такой случайный процесс называется марковским процессом с непрерывным временем. Марковский СП называется однородным, если переходные вероятности P_i/i+1 остаются постоянными в ходе процесса.

Цепь Маркова считается заданной, если заданы два условия:

1. Имеется совокупность переходных вероятностей в виде матрицы:

П_[n] (2)

2. Вектор начальных вероятностей

P⁽⁰⁾_<_n_> = < P₀₁, P₀₂,.., P₀_n > (3)

описывающий начальное состояние системы.

Матрица (2) называется переходной матицей (матрицей перехода). Элементами матрицы являются вероятности перехода из i-го в j-е состояние за один шаг процесса. Переходная матрица (2) обладает следующими свойствами:

a) " P _ij ³ 0 (4)

б)

Матрица, обладающая свойством (4), называется стохастической.

Кроме матричной формы модель марковской цепи может быть представлена в виде ориентированного взвешенного графа.

Вершины графа обозначают состояние S_i, а дуги - переходные вероятности.

Множество состояний системы марковской цепи определенным образом классифицируются с учетом дальнейшего поведения системы:

1. Невозвратное множество.

В случае невозвратного множества возможны любые переходы внутри этого множества. Система может покинуть это множество, но не может вернуться в него.

2. Возвратное множество

В этом случае также возможны любые переходы внутри множества. Система может войти в это множество, но не может покинуть его.

3. Эргодическое множество

В случае эргодического множества возможны любые переходы внутри множества, но исключены переходы из множества и в него.

4. Поглощающее множество.

При попадании системы в это множество процесс заканчивается.

Кроме описанной выше классификации множеств различают состояния системы:

а) существенное состояние: возможны переходы из S_i в S_j и обратно.

б) несущественное состояние: возможен переход из S _i в S _j, но невозможен обратный.

В некоторых случаях, несмотря на случайность процесса, имеется возможность до определенной степени управлять законами распределения или параметрами переходных вероятностей. Такие марковские цепи называются управляемыми. Очевидно, что с помощью управляемых цепей Маркова (УЦМ) особенно эффективным становится процесс принятия решений.

Как указывалось выше, основным признаком ДМЦ является детерминированность временных интервалов между отдельными шагами (этапами) процесса. Однако, часто в реальных процессах это свойство не соблюдается и интервалы оказываются случайными с каким-либо законом распределения, хотя марковость процесса сохраняется. Такие случайные последовательности называются полумарковскими.

Кроме того, с учетом наличия и отсутствия тех или иных, упомянутых выше, множеств состояний, марковские цепи могут быть поглощающими, если имеется хотя бы одно поглощающее состояние, или эргодическими, если переходные вероятности образуют эргодическое множество.

В свою очередь, эргодические цепи могут быть регулярными или циклическими. Циклические цепи отличаются от регулярных тем, что в процессе переходов через определенное количество шагов (цикл) происходит возврат в какое-либо состояние. Регулярные цепи этим свойством не обладают.

Классификация состояний

Состояние j достижимо из состояния i, если существует такое k, что w_ij⁽^k)> 0.

Подмножество С множества возможных состояний Е называется замкнутым, если за один шаг невозможны никакие переходы из состояния, входящего в С, в состояние, не входящее в С, т.е. w_ij=0 для всех i C и j C.

Цепь называется неприводимой, если соответствующее ей множество всех возможных состояний не содержит никаких замкнутых подмножеств, кроме самого себя.

Состояние i называется возвратным, если вероятность того, что система, выйдя из этого состояния, когда-либо вернется в него же, равна единице. Если же эта вероятность меньше единице, то состояние называется невозвратным.

Если цепь Маркова имеет конечное число состояний, причем каждое из них достижимоиз любого другого состояния, то все они являются возвратными.

Состояние i называется поглощающим, если вероятность ухода системы из этого состояния в любое другое равно нулю, т.е. w_ij=0, j E, j i.

Если хотя бы одно состояние поглощающее, то ни одно состояние не является возвратным.

Введем параметр μ _i= _i⁽^l) – математическое ожидание времени возвращения. Возвращенное состояние i, для которого μ _{i= ,}называется нулевым. Возвратное состояние, для которого возвращение возможно лишь через число шагов, кратное d, называется периодическим (с периодом d). Возвратное состояние, не нулевое и не периодическое называется эргодическим.

⇐ Предыдущая 1 2 3 456 7 8 9 10 Следующая ⇒