Дискретные марковские процессы с доходностью

Случайный процесс называется марковским процессом (или процессом без последействия), если для каждого момента времени t вероятность любого состояния системы в будущем зависит только от ее состояния в настоящем и не зависит от того, как система пришла в это состояние.

Марковский процесс удобно задавать графом переходов из состояния в состояние. Существуют два варианта описания марковских процессов — с дискретным и с непрерывным временем.

В первом случае переход из одного состояния в другое происходит в заранее известные моменты времени − такты или этапы (1, 2, 3, 4, …). Переход осуществляется на каждом такте, то есть исследователя интересует только последовательность состояний, которую проходит случайный процесс в своем развитии, и не интересует, когда конкретно происходил каждый из переходов.

Во втором случае исследователя интересует и цепочка меняющих друг друга состояний, и моменты времени, в которые происходили такие переходы.

Если вероятность перехода не зависит от времени, то марковскую цепь называют однородной.

Рассмотрим первый случай − моделирование Марковского процесса с дискретным временем.

Модель марковского процесса представим в виде графа (рис. 3.1), в котором состояния (вершины) связаны между собой связями (переходами из i-го состояния в j-е состояние).

 

 

 

Рис. 3.1. Пример графа переходов

 

Каждый переход характеризуется вероятностью перехода P_ij. Вероятность P_ij показывает, как часто после попадания в i-е состояние осуществляется затем переход в j-е состояние. Конечно, такие переходы происходят случайно, но если измерить частоту переходов за достаточно большое время, то окажется, что эта частота будет совпадать с заданной вероятностью перехода.

У каждого состояния сумма вероятностей всех переходов (исходящих стрелок) из него в другие состояния должна быть всегда равна 1, т.к. переходы из i-го состояния являются полной группой случайных событий (рис. 3.2).

 

 

Рис. 3.2. Фрагмент графа переходов

 

Например, полностью граф может выглядеть так, как показано на рис. 3.3.

 

 

 

Рис. 3.3. Пример марковского графа переходов

 

Реализация марковского процесса (процесс его моделирования) представляет собой вычисление последовательности (цепи) переходов из состояния в состояние. Цепь на рис. 3.4 является случайной последовательностью и может иметь также и другие варианты реализации [6].

 

 

 

Рис. 3.4. Пример марковской цепи, смоделированной
по марковскому графу

Далее подробно рассматриваются дискретные марковские процессы с доходностью и алгоритм вычисления оптимальной стратегии для них на основе рекуррентного метода [7]. Суть задачи состоит в том, что есть система, для который выделено конечное множество состояний. Рассмотрим депозитный портфель коммерческого банка как пример системы. Зададим множество состояний депозитного портфеля банка – хорошее и плохое. Для перехода системы из состояния в состояние используются стратегии. В нашем случае стратегиями выступают открытие нового депозита со ставкой 9% годовых, со ставкой 10, 5% годовых и со ставкой 12% годовых. Для каждой стратегии задаются вероятности переходов системы из состояния в состояние, а также доходности, соответствующие таким переходам. В нашем случае должны быть известны три матрицы для вероятностей перехода из состояния в состояние и три матрицы доходностей, поскольку стратегий три. Размер матриц 2х2, поскольку состояний выделено два.

Постановка задачи

Дано:

N – число состояний системы (оно неизменно на каждом этапе);

k – номер стратегии;

n – количество этапов моделирования;

 – вероятность перехода от одного состояния (i) к другому (j);

 – доходность.

Обозначим:  – ожидаемая доходность; – полная ожидаемая доходность на n-ом этапе моделирования.

Требуетсянайти: – номера оптимальных стратегий на каждом этапе процесса (n=1, 2, 3…) для каждого i-того состояния системы.

 

Алгоритм решения

Шаг 1. Вычислим ожидаемую доходность за один переход при выходе из i-го состояния и при выборе стратегии k:

 

i, j=1,... N,

где i, j –состояния.

Шаг 2. Для каждого состояния i найдем полную ожидаемую доходность за n этапов моделирования при выборе оптимальной стратегии:

Зададим граничные доходы процесса:

Шаг 3. Найдем решение: −  номера оптимальных стратегий на каждом этапе процесса (n =1, 2, 3…), для каждого i-того состояний системы:

.

Пример

Дано:

2 состояния системы − «Удовлетворительное» («У») и «Плохое» («П»);

3 стратегии L, M, N, а также матрицы переходных вероятностей (табл. 3.2) и доходностей для них(табл. 3.3):                          

Таблица 3.2

Матрицы переходных вероятностей

L(1)	Удовл.	Плохое	M(2)	Удовл.	Плохое	N(3)	Удовл.	Плохое
Удовл.	1	0	Удовл.	1	0	Удовл.	1	0
Плохое	0, 1	0, 9	Плохое	0, 33	0, 67	Плохое	0, 33	0, 67

 

Таблица 3.3

Матрицы доходностей

L(1)	Удовл	Плохое	M(2)	Удовл	Плохое	N(3)	Удовл	Плохое
Удовл	8, 68	0	Удовл	16, 83	0	Удовл	3, 23	0
Плохое	2, 43	3, 29	Плохое	14, 11	7, 63	Плохое	10, 07	7, 86

 

Найти: номера оптимальных стратегий на каждом этапе процесса (n =1, 2, 3…) для каждого состояния системы.

Решение. Рассмотрим первый этап моделирования (принятия решений).

Шаг 1. Величина  является ожидаемым доходом за один переход при выходе из состояния i и при выборе стратегии k. Таким образом:

Занесем вычисленные показатели в табл. 3.4.

                                                                                             

Таблица 3.4

Результаты первого этапа моделирования

Состояния	Стратегии	Переходные вероятности		Доходности		Ожидаемые доходности
У	1	1	0	8, 68	0, 00	8, 68
	2	1	0	16, 83	0, 00	16, 83
	3	1	0	3, 23	0, 00	3, 23
П	1	0, 10	0, 90	2, 43	3, 29	3, 20
	2	0, 33	0, 67	14, 11	7, 63	9, 77
	3	0, 33	0, 67	10, 07	7, 86	8, 59

 

Оптимальным является такое поведение, которое максимизирует полный ожидаемый доход для всех i и n.

Шаг 2. Полный ожидаемый доход вычисляется по следующей рекуррентной формуле:

Зададим

Вычислим полный ожидаемый доход для 1-ой стратегии на первом этапе моделирования:

Вычислим полный ожидаемый доход для 2-ой стратегии на первом этапе моделирования:

Вычислим полный ожидаемый доход для 3-ей стратегии на первом этапе моделирования:

Найдем максимальное значение полного ожидаемого дохода для каждого состояния для первого этапа моделирования:

Шаг 3. Если система находится в «удовлетворительном» состоянии, то рекомендуется придерживаться 2-ой стратегии. Эта стратегия принесет доход на 1-ом этапе моделирования в размере 16, 83 у.е.

Если же система находится в «плохом» состоянии, то рекомендуется также придерживаться 2 стратегии. Эта стратегия принесет доход на 1-ом этапе моделирования в размере 9, 77 у.е. Таким образом, d_У(1) = 2, d_П(1) = 2.

Рассмотримвторой этап моделирования (принятия решений). Найдем полные ожидаемые доходности и решение, которое следует принять на втором этапе моделирования.

Вычислим полный ожидаемый доход для 1-ой стратегии на втором этапе моделирования:

Вычислим полный ожидаемый доход для 2-ой стратегии на втором этапе моделирования:

Вычислим полный ожидаемый доход для 3-ей стратегии на втором этапе моделирования:

Найдем максимальное значение полного ожидаемого дохода для каждого состояния на втором этапе моделирования:

На втором этапе моделирования в «удовлетворительном» состоянии рекомендуется придерживаться 2-ой стратегии, то есть стратегии М. Поддержание этой стратегии принесет прибыль в размере 33, 66 у.е. Если же система находится в «плохом» состоянии, то также рекомендуется придерживаться 2-ой стратегии. Поддержание этой стратегии принесет прибыль в размере 21, 87 у.е.

Рассмотрим третий этап моделирования (принятия решений). Найдем полные ожидаемые доходности и решение, которое следует принять на третьем этапе моделирования.

Вычислим полный ожидаемый доход для 1-ой стратегии на третьем этапе моделирования:

Вычислим полный ожидаемый доход для 2-ой стратегии на третьем этапе моделирования:

Вычислим полный ожидаемый доход для 3-ей стратегии на третьем этапе моделирования:

Найдем максимальное значение полного ожидаемого дохода для каждого состояния на третьем этапе моделирования:

На третьем этапе моделирования в «удовлетворительном» состоянии рекомендуется придерживаться 2-ой стратегии, то есть стратегии М. Поддержание этой стратегии принесет прибыль в размере 50, 49 у.е. Если же система находится в «плохом» состоянии, то рекомендуется придерживаться 2 стратегии. Поддержание этой стратегии принесет прибыль в размере 35, 53 у.е. Основные результаты представлены в табл.3.5:

                                                                                         Таблица 3.5

Итоговая таблица выбора стратегий

n	0	1	2	3
vУ( n )	0	16, 83	33, 66	50, 49
vП( n )	0	9, 77	21, 87	35, 53
dУ( n )	-	2	2	2
dП( n )	-	2	2	2

 

 

Логико-вероятностный метод

ЛВМ возник в результате исследований проблем безопасности сложных систем. С его помощью можно оценить вероятность отказа сложной системы. ЛВМ относится к аксиоматическим методам принятия решений в условиях стохастической неопределенности. Он позволяет снизить эту неопределенность своим доказательным подходом и результатами экспериментов – вероятностными характеристиками альтернатив [8, 9].

В пособии ЛВМ рассмотрен на примере решения задачи выбора наиболее надежной информационной системы.

Пусть множество альтернатив – это множество показателей рисков информационных систем (ИС). Требуется найти такую ИС, риск которой минимален.

Под риском системы рассматривается сумма рисков ресурсов, из которых она состоит:

(3.1)

где R_i – риск i-го ресурса, n – количество ресурсов. С каждым ресурсом связано множество опасных состояний (ОС), реализация которых приводит к отказу данного ресурса.

В качестве примеров ресурсов ИС могут выступать информационные ресурсы, сервисы, физические или аппаратные ресурсы, программное обеспечение. Одним из примеров информационного ресурса может выступать база данных ИС.

Под риском i-го ресурса понимается сумма рисков, связанных с реализацией опасных состояний данного ресурса:

(3.2)

где r_{i j} – риск реализации j-го опасного состояния i-го ресурса, ; M _i – количество опасных состояний i-го ресурса.

Примерами ОС для ресурса «БД» являются нарушение конфиденциальности информации, полная или частичная потеря информации из-за выхода из строя носителя информации, нарушение доступа.

Под риском реализации j-го опасного состояния i-го ресурса понимается произведение вероятности P_ij и стоимости потерь C_ij  от реализации данного опасного состояния ресурса:

.

Таким образом, задачу оценки риска системы можно разбить на следующие этапы:

1) описание структуры ресурсов системы;

2) описание множества опасных состояний ресурсов системы;

3) оценка вероятностей P_ij реализации опасных состояний, в том числе, выявление меры влияния угроз на реализацию опасных состояний;

4) оценка стоимости потерь C_ij от реализации опасных состояний.

Далее будет рассмотрен этап оценки вероятностей P_ij реализации опасных состояний на основе логико-вероятностного метода.

 

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: