Приложения марковских процессов

В приложениях чаще всего применяют цепи с дискретным временем и конечным (или счетным) множеством состояний. Для такого процесса моменты времени t₁, t₂ , … , когда система может менять свое состояние , рассматриваются как последовательные шаги, а в качестве аргумента этого случайного процесса рассматривается не время t, а номер шага 1, 2, … .

С другой стороны, цепи Маркова можно интерпретировать с точки зрения потоков случайных событий, представляющих собой исходы всех испытаний, которые трактуются как состояния s_1, s_2, …, s_n. Во-вторых, вероятность любого исхода (состояния) s_j  на  (n+1)-м шаге при любом исходе s_i на предыдущем n-м шаге известна; при этом эта вероятность p_ij одна и та же на любом шаге. Таком образом, цепь Маркова представляет собой случайный процесс, память которого простирается в прошлое не более, чем на одно испытание.

Концепция марковских цепей и их интерпретация в виде потоков случайных событий находит приложения в экологической, экономической и социальной сферах, а также в задачах управления и менеджмента.

1. Экосистемы. Математическая модель прохождения частиц пестицидов, используемых в сельском хозяйстве, допускает интерпретацию в виде цепи Маркова. Простая модель экосистемы имеет четыре возможных состояния частиц пестицида (например, фосфора): s₁ – почва ; s₂ – травяной покров ; s₃ – скот ; s₄ – внешнее окружение пастбища. В начальном состоянии молекула пестицида находится в почве ; далее она может быть абсорбирована каким-либо растением и перейти в другое состояние – травяной покров, выйти из системы во внешнее окружение или перейти с травяным покровом в скот. Из состояния s₃ она может перейти обратно в состояние s₁ или в s₄ (с мясом или молоком на рынке). Таким образом, находясь в одном из состояний, экосистема может переходить в другие состояния ; при этом состояние s₄ является поглощающим. Для дальнейшего должны быть приведены переходные вероятности и ориентированный граф экосистемы.

Этот пример представляет собой цепь Маркова, ибо в любой момент времени следующее состояние частицы пестицида полностью зависит лишь от ее настоящего положения и не зависит от предыстории.

2. Маркетинг. Проводится исследование рынка в части поведения потребителей n сортов определенного товара (например, кофе). Анализ касается проблемы переключения потребительского спроса в какой-либо момент времени ( в определенном месяце) и прогнозами потребительского спроса на этот товар в будущем. Состояния системы спроса на товар определяются соответственно сортом – s₁, s₂, …, s_n. Переключение спроса означает, что часть покупателей i-го сорта товара на следующем шаге переходит к j-му сорту (система переходит из состояния s_i в s_j-е состояние), или покупает тот же i-й сорт. Считая процесс изменения спроса на товар марковским, можно по состояниям и переходным вероятностям построить ориентированный граф. Задача заключается в прогнозе спроса на сорт товара в последующее время.

3. Финансы. Счета фирмы, занимающейся продажей товаров, должны быть оплачены в течение трех месяцев. В случае неуплаты в течение первого месяца по некоторому лицевому счету существует положительный баланс в пользу покупателя, который (в случае дальнейшей неуплаты) может сохраняться в течение второго и третьего месяца. Однако после третьего месяца, если положительный баланс в пользу покупателя остается, неоплаченные счета считаются безнадежными. Фирму интересует вероятность того, что положительный баланс в пользу покупателя, появившийся впервые в первом месяце, сохранится еще через два или три месяца.

Считая систему счетов фирмы марковской цепью, можно сформировать состояния цепи Маркова следующим образом: s₁, s₂, s₃ – счет имеет положительный баланс в пользу покупателя в течение первого, второго, третьего месяцев соответственно; s₄ – счет оплачен; s₅ – счет безнадежен. По состояниям и переходным вероятностям можно построить ориентированный граф системы оплаты счетов этой фирмы.

4. Прогноз погоды. Многолетние наблюдения за погодой показывают, что последовательность дождливых и солнечных дней за определенный период наблюдения можно считать случайным процессом с памятью в один день. Таким образом, одна из возможных стратегий предсказания погоды заключается в использовании данных о погоде в предшествующий день.

Считая эту систему прогноза цепью Маркова, можно сформировать состояния системы: s₁ – дождь, s₂ – ясно. Если иметь соответствующие данной местности переходные вероятности, можно построить матрицу переходных вероятностей и соответствующий ориентированный граф. Обычно задача для данной модели (для данной местности за определенный период) ставится следующим образом: какова вероятность того, что нынешняя погода (скажем, дождь) сохранится еще 2-3 дня.

5. Энергетика. Известно, что потребление электроэнергии летом тесно связано с температурой воздуха. Поэтому, планируя ежедневно производство и потребление электроэнергии, ее производители должны в принципе учитывать вероятности установления жаркой, умеренно теплой или холодной погоды. Предположим, что в течение лета возможность наступления завтра жаркой, умеренно теплой или холодной погоды зависит лишь от того, был ли сегодняшний день жарким, умеренным или холодным. Тогда этот случайный процесс следует считать цепью Маркова с тремя состояниями : s₁ – жарко; s₂ – умеренно тепло; s₃ – холодно. Переходные вероятности должны быть заданы матрицей; затем должен быть построен ориентированный граф. Таким образом задача планирования производства и потребление энергии на последующие 2-3 дня сводится к задаче прогноза погоды на эти дни.

6. Экология. Совет директоров утверждает, что бльшая часть стоков их предприятия, спускаемых в отстойник системы очистных сооружений, очень быстро выносится в море. Более того, они утверждают, что вероятность выноса в море в течение дня какой-либо частицы ртути, обнаруженной в стоках его завода, равна p (близкой к единице). Если эта частица оказывается на месте по прошествии нескольких дней, вероятность ее выноса к морю на следующий день остается равной p. Предполагается, что частица, вынесенная в море, назад не возвращается. Если пометить эту частицу, ее можно наблюдать, отмечая ее присутствие или отсутствие в отстойнике очистных сооружений предприятия.

Легко видеть, что последовательность таких наблюдений обладает свойствами марковской цепи с двумя состояниями: s₁ – частица присутствует в отстойнике; s₂ – частица отсутствует (вынесена в море). После того, как будет построен ориентированный граф и соответствующая матрица переходных вероятностей, можно решать содержательные задачи, например, какова вероятность того, что частица ртути, освобожденная в процессе производства сегодня, будет находится в сточных водах еще неделю.

7. Водоснабжение. Снабжение водой города осуществляется из некоторого естественного резервуара. Наблюдения в течение многих лет показали, что если резервуар был полон в начале лета, то он оказывался полным к началу следующего лета с вероятностью p независимо от состояния его пополнения в предшествующие годы. Если же резервуар к началу лета был незаполненным, то вероятность того, что к началу следующего лета он окажется полным, равна  q (q<p).

Очевидно, что последовательность состояний резервуара представляет собой цепь Маркова с двумя состояниями : s₁ – резервуар полный, s₂ – резервуар неполный. По данным этой задачи легко сформировать матрицу переходных вероятностей и соответствующий ориентированный граф. Можно поставить, например, задачу об определении вероятности того, что резервуар будет полон, например через три года, если известно, что заполнение его наблюдалось в нынешнем году.

8. Социология. Социологи интересуются перемещениями, возникающими между различными профессиональными группами. Интегрируемая мобильность трудоспособного населения рассматривается как цепь Маркова, состояниями которой служат профессиональные группы по степени квалификации : s₁ – высшая; s₂ – средняя; s₃ – низшая. Переходная вероятность p_ij интерпретируется как вероятность того, что сын человека, работающего в i-й группе занятости, получит работу в j-ой группе. Переходные вероятности должны быть заданы и базироваться на материалах, собранных социологами, работающими над этой проблемой. После этого может быть сформирована матрица переходных вероятностей и построен соответствующий ориентированный граф. Ставится задача прогнозирования тенденций в перемещениях, возникающих между профессиональными группами.

9. Реклама. Две компании А и В являются монополистами, производящими и продающими в данном городе определенный товар. Ежегодно рынок этого города может поглотить N единиц товара. В настоящее время на долю компании А приходится α% объема продажи, а на долю компании В – остальные β% (α<β). Компания А решает начать активную рекламную акцию. В результате рекламы объем продажи компанией А может возрасти на n единиц (n<N) с вероятностью p и уменьшиться на n единиц с вероятностью q (q<p). Если объем продажи падает до нуля, компания прекращает свою деятельность в этом городе.

Рекламную акцию и ее последствия можно описать цепью Маркова, состояниями которой служат все возможные ситуации, связанные с соотношениями продаж компаниями А и В, и возможными последствиями рекламной акции, включая состояния до рекламы , и кончая состояниями, когда объемы продаж одной из компаний падают до нуля .

Последние состояния являются поглощающими.

После формирования матрицы переходных вероятностей и ориентированного графа, можно решать задачу о нахождении вероятности любого состояния через несколько лет после начала рекламы.

10. Генетика и демография. Пусть в некотором обществе у каждого мужчины имеется только один сын. И пусть рослый отец имеет сына высокого роста с вероятностью p₁, сына среднего роста с вероятностью p₂ и низкого сына с вероятность p₃ (р₁+р₂+р₃ = 1). Отец среднего роста имеет сына высокого роста, среднего или низкого с вероятностями q₁, q₂, q₃ соответственно (q₁+q₂+q₃ = 1). Низкорослый отец имеет сына высокого, среднего или низкого роста с вероятностями r₁, r₂, r₃ соответственно (r₁+r₂+r₃ = 1). Данная ситуация является цепью Маркова с шагом, соответствующим переходу к следующему поколению с тремя состояниями : s₁ – высокий рост ; s₂ – средний рост;  s₃ – низкий рост.

После формирования матрицы переходных вероятностей и ориентированного графа можно ставить различные содержательные задачи, например, найти вероятность того, что правнук высокого мужчины будет низкорослым.

⇐ Предыдущая78910111213141516Следующая ⇒

Поделиться: