Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология
Образование Политология Производство Психология Стандартизация Технологии


Часть 4. Марковская задача принятия решений



Постановка задачи

1. Сформулировать задачу принятия решения в условиях риска с тремя альтернативами.

2. На основе данных задачи выбрать оптимальную альтернативу.

Описание алгоритма решения задачи

Марковские процессы применяются при решении стохастических задач, где изменения в системе можно представить в виде ряда ее чередующихся состояний. Переходные вероятности между состояниями описывают Марковскую цепь. Структура данных в этом процессе представляется в виде матриц, элементы которых могут в самом общем виде изменятся при переходе из одного состояния в другое. В настоящем случае рассматриваются стационарные данные, представленные в матрице переходных вероятностей P и матрице доходов R.

Рассмотрим матрицу переходных вероятностей:

    Состояние системы на следующем этапе
  Текущее состояние системы   x y z
Р1 = x 0, 3 0, 6 0, 1
  y 0, 1 0, 5 0, 4
  z 0, 6 0, 4

Матрица переходных вероятностей отражает вероятности перехода системы из одного состояния в другое. Так если в данный момент система находится в состоянии «у», то вероятность того, что на следующем этапе она перейдет в состояние «z» равна 0, 4.

Переходные вероятности могут быть изменены путем организации каких-либо мероприятий. Так, например, если представленная выше матрица переходных вероятностей характеризует спрос, то при применении различных мероприятии по стимулированию спроса (организация рекламной компании) эта матрица может принять следующий вид:

    Состояние системы на следующем этапе
  Текущее состояние системы   x y z  
Р2 = x 0, 1 0, 6 0, 3  
  y 0, 05 0, 2 0, 75  
  z 0, 1 0, 2 0, 7  

С каждой матрицей переходных вероятностей P связывают матрицу доходов R, которая определяет прибыль или убыток в зависимости от состояний, между которыми осуществляется переход.

В настоящем случае матрицы R1 и R2, соответствуют матрицам переходных вероятностей P1 и P2.

R1 =   x y z
x
y
z -2 -1

 

R2 =   x y z
x
y -1
z -2 -1

Элементы матриц учитывают затраты, связанные с проведением рекламной компании. Соответственно, доход или убыток будет изменяться в зависимости от принятого решения.

Лицо, принимающего решения, может также интересовать оценка ожидаемого дохода при заранее определенной стратегии поведения в случае того или иного состояния системы. При этом говорят, что процесс принятия решений описывается стационарной стратегией.

Целью решения задачи является нахождение оптимальной стратегии, максимизирующей ожидаемый доход. Следует отметить, что структура марковского процесса позволяет моделировать его на основе модели динамического программирования. При этом период прогнозирования может иметь конечное или бесконечное число этапов.

Модель динамического программирования с конечным числом этапов

При условии, что количество этапов в задаче выбора наилучшей стратегии ограничено, эту задачу можно представить как задачу динамического программирования с конечным числом этапов. Пусть число состояний для каждого этапа равно m. Обозначим через оптимальный ожидаемый доход, полученный на этапах от n до N включительно, при условии, что система находилась вначале этапа n в состоянии i.

Обратное рекуррентное уравнение, связывающее и , запишем в виде:

,

где для всех j.

k – альтернативы.

- вероятности перехода системы из i в j при альтернативе k.

- элемент матрицы доходов R при переходе системы из i в j при альтернативе k.

- доход, который был получен на этапе n+1, когда система была в состоянии j.

Приведенное уравнение основано на том, что накапливающийся доход получается в результате перехода из состояния i на этапе n в состояние j этапе n+1 с вероятностью . Введя обозначение

,

рекуррентное уравнение динамического программирования можно записать следующим образом:

.

Для промежуточных значений функция состояния:

.


Поделиться:



Популярное:

  1. II. Экспериментальная часть.
  2. III Часть. Аппаратное обеспечение обработки информации
  3. III. Экспериментальая часть.
  4. Анализатор – это сложная нейродинамическая система, которая представляет собой афферентную часть рефлекторного аппарата.
  5. Аналитическая часть дипломного проекта
  6. Апелляция решений, разрешающих или отказывающих в разрешении использовать запрещенные препараты исключительно по терапевтическим показаниям
  7. Боязливых же и неверных, и скверных и убийц, и любодеев и чародеев, и идолослужителей и всех лжецов участь в озере, горящем огнем и серою. Это смерть вторая.
  8. В зависимости от способа функционирования и порядка принятия решения : коллегиальные (предст.орган) и единоличные (глава местной админ.)
  9. В каком предложении придаточную часть сложноподчинённого предложения нельзя заменить обособленным определением, выраженным причастным оборотом?
  10. В результате в менталитете древнерусского человека стало складываться двоеверие - часть населения приняло христианство, а другая часть долгое время была языческой
  11. Виды налоговых правонарушений и ответственность за их совершение. Процедура обжалования решений налоговых органов
  12. Воинская часть с лучшим во всей имперской армии столом


Последнее изменение этой страницы: 2016-08-31; Просмотров: 907; Нарушение авторского права страницы


lektsia.com 2007 - 2024 год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! (0.016 с.)
Главная | Случайная страница | Обратная связь