Управление дискретными системами. Необходимые условия оптимальности

Математическая модель процесса управления в дискретном случае имеет вид

, , , ,

(16.1)

где  - вектор состояния; - векторы управления в -й момент времени; - допустимые множества. Считается, что множества  не связаны. В качестве критерия оптимальности, как и прежде, рассмотрим функцию конечного состоянияния.

.

(16.2)

Будем полагать, что управляющая последовательность , , выбирается из условия обращения критерия (16.2) в минимум, а последовательность ,  - из условия обращения его в максимум.

Данная задача может быть интерпретирована как задача соперничества двух противодействующих сторон со стратегиями  и  соответственно.

Именно поэтому подобные задачи называют многошаговыми играми.

Первая особенность, с которой приходится сталкиваться при исследовании таких задач, связана с самой постановкой задачи. Дело в том, что возможны различные постановки задач управления в конфликтной ситуации, отличающиеся друг от друга и приводящие к разным результатам. Речь идет прежде всего о том, в какой последовательности производят выбор управлений противодействующие стороны. Если в детерминированных задачах с " односторонним" управлением безразлично, как выбирать управление - сразу за весь процесс или отдельно по шагам, зная на каждом шаге предыдущий ход процесса, то в конфликтной ситуации в этих случаях получаются разные результаты. Это различие объясняется тем, что при выборе управлений до начала процесса каждой из сторон не известны действия противоположной стороны, и поэтому не может быть использована информация о ходе процесса. При выборе управлений по шагам предполагается, что такая информация может быть использована перед очередным выбором управления.

Если управления выбираются до начала процесса, то минимальный гарантированный для стороны  результат определится из условия (минимаксная задача)

;

(16.3)

максимальный гарантированный для стороны  результат определится из условия (максиминная задача)

.

(16.4)

В общем случае между минимаксным и максиминным значениями критериев имеет место неравенство

.

(16.5)

Поэтому задачи (16.3) и (16.4) следует различать. Только в том случае, когда критериальная функция имеет седловую точку, т.е. для точки  выполняются условия

(16.6)

для любых допустимых  и , решения обеих задач совпадают

.

(16.7)

Седловая точка  в данном случае и дает искомое решение задачи. Оказывается [3], что при наличии седловой точки у критериальной функции выбор управлений до начала процесса совпадает с выбором управлений по шагам.

Для решения задач (16.3), (16.4) можно применять два подхода.

Первый подход основан на поэтапном решении исходной задачи. Так, для минимаксной задачи (16.3) на первом этапе отыскивается функция максимума

(16.8)

многократным решением задачи максимизации  по  при фиксированных .

На втором этапе с использованием численных методов решается задача минимизации функции  по . При численной реализации данного подхода оба этапа, естественно, совмещаются. В результате первый этап приводит к организации внутреннего цикла, а второй этап - к организации внешнего цикла последовательного решения исходной задачи. Следует отметить, что при решении задач оптимизации на указанных этапах приходится использовать в общем различные методы. Если для первого этапа принципиально применимы любые методы математического программирования, то о втором этапе этого сказать нельзя. Дело в том, что функция максимума  в общем случае даже при условии непрерывности и дифференцируемости функции  по  и  является недифференцируемой по , хотя и непрерывной. Именно недифференцируемость функции максимума  приводит к значительному усложнению процесса получения решения минимаксной задачи. Так как производные функции  по  в отдельных точках могут не существовать, то применение традиционных градиентных методов и методов второго порядка становится невозможным. Приходится ограничиваться методами нулевого порядка, не требующими вычисления ни первых, ни вторых частных производных.

Второй подход к решению задачи заключается в использовании условий оптимальности непосредственно для минимаксной (максиминной) задачи.

Для определенности ограничимся рассмотрением минимаксной задачи (16.3). Представим ее в виде

,.

(16.9)

Необходимые условия оптимальности управления  для данной задачи заключаются, как и для любой задачи математического программирования, в требовании неотрицательности производной функции  по любому допустимому направлению

, ,

(16.10)

Однако в отличие от традиционных задач математического программирования теперь выражение для производной  в условии (16.10) не может быть выражено через частные производные функции , так как эта функция недифференцируема. Тем не менее можно показать, что производная по любому направлению  функции максимума  существует и определяется следующим образом [4]

(16.11)

где через  обозначено множество таких , для которых выполняется равенство , т.е.

.

(16.12)

С учетом (16.11) необходимые условия оптимальности для исходной минимаксной задачи (16.3) принимают вид

.

(16.13)

для всех допустимых .

Условия (16.13) достаточно сложны для практического использования. В настоящее время представляется наиболее целесообразным применение этих условий для проверки подозреваемого на оптимальность решения. Сам процесс поиска такого решения может осуществляться по схеме

,

где  - -е приближение;  - направление поиска;  - шаг поиска на -й итерации. Направление поиска  следует подбирать так, чтобы производная функции максимума по этому направлению, вычисляемая согласно (16.11), была наименьшей или, но крайней мере, отрицательной. Таким образом, на каждой итерации для выбора направления поиска необходимо многократно получать решение своей оптимизационной задачи (16.11). При этом для вычисления составляющих  производной  целесообразно использовать соотношения (11.9) и (11.11)

, ;
, .

С некоторыми специальными методами решения минимаксной задачи (16.3), использующими необходимые условия оптимальности (16.13), можно познакомиться в работе [4].

Наиболее простой вид необходимые условия оптимальности принимают в том случае, когда критериальная функция имеет седловую точку. В этом случае условия (16.6) можно представить в виде

(16.14)

для любых допустимых , .

Зададим ,  в виде

, , ,

(16.15)

где допустимые направления ,  выберем так, чтобы

(16.16)

Разделив (16.14) на , выразив управления ,  с помощью соотношений (16.15), (16.16) и устремив , получим

(16.17)

Учитывая, что производные  и  могут быть вычислены с помощью гамильтониана :

; ,

(16.18)

где

, ,

(16.19)

необходимые условия оптимальности (16.17) принимают вид

.

(16.20)

Итак, если последовательности  и ,  являются оптимальными для процесса, описываемого уравнением (16.1) и оцениваемого критерием качества (16.2), то существует такой сопряженный вектор , определяемый уравнением (16.19), что на любом шаге процесса управления производная гамильтониана по любому допустимому направлению  неотрицательна, а производная гамильтониана по любому допустимому направлению  неположительна. Условия оптимальности (16.20) можно записать иначе. Введем в рассмотрение функцию

,

(16.21)

, , .

Тогда вместо неравенств (16.20) можно записать

(16.22)

или

.

(16.23)

Следовательно, необходимые условия оптимальности (16.20) эквивалентны существованию седловой точки функции  при оптимальных управлениях . При этом, как следует из (16.21), значение минимакса (максимина) функции  равно нулю:

.

Если предположить, что гамильтониан - является выпуклой по  и вогнутой по  функцией, то условия (16.20) можно рассматривать как условия существования у самого гамильтониана седловой точки при оптимальных управлениях , :

,

(16.24)

или  

,

Необходимое условие (16.24) является аналогом принципа минимума в детерминированном случае и поэтому может быть названо принципом минимакса. Непосредственная проверка справедливости принципа минимакса в общем случае затруднительна. Однако в некоторых случаях она монет быть обоснована анализом рассматриваемой задачи.

 

Упражнение 1. Доказать неравенство (16.5).

Упражнение 2. Показать, что неравенства (16.6) и соотношение (16.7) эквивалентны.

Упражнение 3. Показать, что в случае дискретного множества  производная функция максимума

по направлению  вычисляется следующим образом

,

(16.25)

где . Дать геометрическую интерпретацию соотношения (16.25).

 

Управление линейной системой. Пример двусторонней операции

Рассмотрим задачу управления системой, линейной относительно переменных состояния

, ,

(16.26)

где через  обозначена матрица, зависящая от управлений , . В качестве критерия оптимальности примем линейную функцию конечного состояния

,

(16.27)

где вектор с считается заданным.

Сторона, выбирающая управление , стремится минимизировать критерий (16.27), а сторона, выбирающая управление , преследует противоположную цель - максимизировать этот критерий.

Составим гамильтониан для данной задачи:

.

(16.28)

Сопряженный вектор согласно (16.19) определится с помощью уравнения

(16.29)

при граничном условии .

Нетрудно убедиться в том, что значение критерия (16.27), выраженное через вектор текущего состояния, а вместе с этим и через текущие управления, совпадает со значением гамильтониана для соответствующего момента времени. Действительно,

;	(16.30)
и т.д.;
.

Если теперь выбор управлений  производить из условия достижения критериальной функцией своего минимаксного значения, то согласно (16.30) минимаксного значения должен достигать и гамильтониан

.

(16.31)

Если при оптимальных управлениях критериальная функция имеет седловую точку, то и гамильтониан при этом должен иметь седловую точку. Другими словами, для линейного случая принцип минимакса справедлив независимо от свойств гамильтониана по управлениям  и .

Для иллюстрации применения принципа минимакса рассмотрим следующий пример. Пусть математическая модель операции описывается следующими уравнениями

;	(16.32)
;
;
,

где -  - фазовые переменные; - заданные параметры; ,  -управляющие параметры одной стороны; ,  - управляющие параметры другой стороны в -й момент времени. На управления ,  накладываются ограничения

, , , , , .

Считается также, что все переменные состояния .

В качестве критерия примем

.

(16.33)

Требуется найти такое управление для обеих сторон, чтобы в конце операции критерий принял минимаксное значение.

Для решения задачи обратимся к анализу необходимого условия оптимальности (16.31). Гамильтониан в данной задаче

.

(16.34)

Сопряженные переменные определяются согласно уравнениям

; ;	(16.35)
;

при граничных условиях

; ; ; .

Отсюда, в частности, следует, что ;  для всех . Так как граничные условия для сопряженных переменных задаются на правом конце (при ), определять оптимальные управления  будем в обратном времени, начиная с . Для простоты ограничимся рассмотрением лишь двух последних шагов.

Итак, при  согласно (16.34), (16.35) имеем

.

Из условия (16.31) находим оптимальные управления , . При этом очевидно, что , .

Перейдем теперь к моменту . Согласно (16.35) получим ,  и гамильтониан (16.34) примет вид

.

Из условия (16.31) находим

.

Аналогично может быть осуществлен выбор оптимальных управлений  и для других шагов.

 

Упражнение. Выявить структуру оптимального управления линейной системой вида

, ,

принимая в качестве критерия

и считая, что управляющая последовательность  стремится к его минимизации, а последовательность  - к максимизации. Ограничения на управления  и  отсутствуют. Какими свойствами должны обладать матрицы , ,  для существования оптимального решения?

 

⇐ Предыдущая3456789101112Следующая ⇒

Поделиться: