Роль методов теории оптимальных процессов. Общая задача оптимального управления и ее математическая модель

ОГЛАВЛЕНИЕ 1. Роль методов теории оптимальных процессов 1.1. Общая задача оптимального управления и ее математическая модель 1.2. Задачи управления 1.3. Классификация методов теории оптимальных процессов 1.4. Необходимые условия оптимальности управления, достаточные условия оптимальности и проблема существования оптимального управления 1.5. Общая характеристика результатов, которые могут быть получены методами теории оптимального управления 1.6. Условие рационального применения методов оптимизации 2. Основные понятия и определения математической теории оптимальных процессов 2.1. Математические модели. Переменные состояния (фазовые координаты) управляемого процесса 2.2. Управление 2.3. Эволюция состояния системы. Дифференциальные уравнения движения 2.4. Функционал. Критерий качества управления 2.5. Автономные системы 2.6. Допустимое программное управление 2.7. Допустимый закон управления 2.8. Допустимые траектории и процессы 2.9. Граничные условия. Краевая задача 3. Постановка основных задач оптимального управления 3.1. Основная задача оптимального координатного управления 3.2. Оптимальные траектории 3.3. Свойства оптимальных управлений и оптимальных траекторий 3.4. Геометрическая интерпретация основной задачи оптимального управления 4. Необходимые условия оптимальности для основной задачи программного управления. Принцип максимума 4.1. Краткая формулировка задачи 4.2. Некоторые вспомогательные построения и терминология 4.3. Принцип максимума Л.С. Понтрягина 4.4. Некоторые следствия принципа максимума 5. Необходимые условия оптимальности для основной задачи синтеза закона управления. Метод динамического программирования 5.1. Задача синтеза оптимального закона управления 5.2. Принцип оптимальности динамического программирования 5.3. Ослабленное необходимое условие 5.4. Сводка общих процедур метода динамического программирования для вычисления оптимального закона управления 6. Необходимые условия оптимальности управления в задачах с ограничениями типа неравенств, содержащих только фазовые координаты x 6.1. Краткая формулировка задачи 6.2. Необходимые условия оптимальности 6.3. Первый тип необходимых условий оптимальности для граничных участков траектории 6.4. Второй тип необходимых условий для оптимальности управления на граничных участках 7. Численные методы решения задач оптимального управления 7.1. Метод локальных вариаций 7.2. Метод вариаций в пространстве управлений СПИСОК ЛИТЕРАТУРЫ 1.4. Необходимые условия оптимальности управления, достаточные условия оптимальности и проблема существования оптимального управления Рассмотренные в данном пособии необходимые условия оптимальности управления для различного типа задач оптимизации получены на основе использования аналитических непрямых методов оптимизации и образуют совокупность функциональных соотношений, которым обязательно должно удовлетворять экстремальное решение. При выводе их сделано существенное для последующего применения предположение о существовании оптимального управления (оптимального решения). Другими словами, если оптимальное решение существует, то оно обязательно удовлетворяет приведенным (необходимым) условиям. Однако этим же необходимым условиям могут удовлетворять и другие реdf = 0 для минимума функции одной шения, не являющиеся оптимальными (подобно тому, как необходимому условию dx переменной удовлетворяют, например, точки максимума и точки перегиба функции f (x)). Поэтому, если найденное решение удовлетворяет необходимым условиям оптимальности, то это еще не означает, что оно является оптимальным. Использование одних только необходимых условий дает возможность в принципе найти все решения, им удовлетворяющие, и отобрать затем среди них те, которые действительно являются оптимальными. Однако практически найти все решения, удовлетворяющие необходимым условиям, чаще всего не представляется возможным в силу большой трудоемкости такого процесса. Поэтому после того, как найдено какое-либо решение, удовлетворяющее необходимым условиям, целесообразно проверить, является ли оно действительно оптимальным в смысле исходной постановки задачи. Аналитические условия, выполнимость которых на полученном решении гарантирует его оптимальность, называются достаточными условиями. Формулировка этих условий и особенно их практическая (например, вычислительная) проверка часто оказывается весьма трудоемкой задачей. В общем случае применение необходимых условий оптимальности было бы более обоснованным, если бы для рассматриваемой задачи можно было установить факт существования или существования и единственности оптимального управления. Этот вопрос является математически весьма сложным. Проблема существования, единственность оптимального управления состоит из двух вопросов. 1. Существование допустимого управления (т.е. управления, принадлежащего заданному классу функций), удовлетворяющего заданным ограничениям и переводящего систему из заданного начального состояния в заданное конечное состояние. Иногда граничные условия задачи выбраны так, что система – в силу ограниченности ее энергетических (финансовых, информационных) ресурсов – не в состоянии их удовлетворить. В этом случае не существует решения задачи оптимизации. 2. Существование в классе допустимых управлений оптимального управления и его единственность. Эти вопросы в случае нелинейных систем общего вида не решены еще с достаточной для приложений полнотой. Про блема осложняется также тем обстоятельством, что из единственности оптимального управления не следует единственность управления, удовлетворяющего необходимым условиям. К тому же, обычно удовлетворяется какое-либо одно, наиболее важное необходимое условие (чаще всего – принцип максимума). Проверка дальнейших необходимых условий бывает достаточно громоздкой. Это показывает важность любой информации о единственности управлений, удовлетворяющих необходимым условиям оптимальности, а также о конкретных свойствах таких управлений. Необходимо предостеречь от заключений о существовании оптимального управления на основании того факта, что решается «физическая» задача. На самом деле, при применении методов теории ОП приходится иметь дело с математической моделью. Необходимым условием адекватности описания физического процесса ММ как раз и является существование решения для математической модели. Поскольку при формировании математической модели вводятся различного рода упрощения, влияние которых на существование решений трудно предсказать, доказательство существования является отдельной математической проблемой. Таким образом: • из существования ОУ вытекает существование, по крайней мере, одного управления, удовлетворяющего необходимым условиям оптимальности; из существования управления, удовлетворяющего необходимым условиям оптимальности, не вытекает существование оптимального управления; • из существования ОУ и единственности управления, удовлетворяющего необходимым условиям, вытекает единственность оптимального управления; из существования и единственности ОУ не следует единственность управления, удовлетворяющего необходимым условиям оптимальности [1]. 1.5. Общая характеристика результатов, которые могут быть получены методами теории оптимального управления ТОП является основой единой методологии проектирования оптимальных движений, технических, экономических и информационных систем. В результате применения методов ТОП к задачам конструирования различных систем могут быть получены: 1) оптимальные по тому или иному критерию временные программы изменения управляющих воздействий и оптимальные значения постоянных управляющих (проектных, настроечных) параметров с учетом различного рода ограничений на их значения; 2) оптимальные траектории, режимы с учетом ограничений на область их расположения; 3) оптимальные законы управления в форме обратной связи, определяющие структуру контура системы управления (решение задачи синтеза управления); 4) предельные значения ряда характеристик или иных критериев качества, которые затем можно использовать как эталон для сравнения с другими системами; 5) решение краевых задач попадания из одной точки фазового пространства в другую, в частности, задача попадания в заданную область; 6) оптимальные стратегии попадания в некоторую движущуюся область [1]. 1.6. Условие рационального применения методов оптимизации Методы оптимизации управления рационально применить: 1) в сложных технико-экономических системах, где отыскание приемлемых решений на основе опыта затруднительно. Опыт показывает, что оптимизация малых подсистем может приводить к большим потерям в критерии качества объединенной системы. Лучше приближенно решить задачу оптимизации системы в целом (пусть в упрощенной постановке), чем точно для отдельной подсистемы; 2) в новых задачах, в которых отсутствует опыт формирования удовлетворительных характеристик процесса управления. В таких случаях формулировка оптимальной задачи часто позволяет установить качественный характер управления; 3) на возможно ранней стадии проектирования, когда имеется большая свобода выбора. После определения большого количества проектных решений система становится недостаточно гибкой и последующая оптимизация может не дать существенного выигрыша. При необходимости определить направление изменения управления и параметров, дающих наибольшее изменение критерия качества (определение градиента качества). Следует отметить, что для хорошо изученных и долго эксплуатируемых систем методы оптимизации могут давать небольшой выигрыш, так как найденные из опыта практические решения обычно приближаются к оптимальным. В некоторых практических задачах наблюдается определенная «грубость» оптимальных управлений и параметров, т.е. большим локальным изменением управлений и параметров отвечают малые изменения критерия качества. Это дает иногда повод к утверждению, что на практике всегда пологие и строгие методы оптимизации не нужны. На самом деле «грубость» управления наблюдается лишь в случаях, когда оптимальное управление соответствует стационарной точке критерия качества. В этом случае изменение управления на величину ε приводит к отклонению критерия качества на величину ε2. В случае управлений, лежащих по границе допустимой области, указанная грубость может и не иметь место. Это свойство должно исследоваться для каждой задачи специально. Кроме того, в некоторых задачах даже небольшие улучшения критерия качества, достигаемые за счет оптимизации, могут иметь существенное значение. Сложные задачи оптимизации управления часто предъявляют чрезмерные требования к характеристикам ЭВМ, используемых при решении [1]. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ УПРАВЛЕНИЯ 2.1. Математические модели. Переменные состояния (фазовые координаты) управляемого процесса ТОП управления имеет дело с ММ технических или экономических (ТЭ) задач оптимизации процесса управления физическими системами. ММ есть достаточно полная сводка функциональных соотношений, описывающих основные свойства физических объектов, процессы их функционирования и управления в рамках выбранной степени приближения и детализации и отражающая все существенные требования к конкретным техническим характеристикам системы. Математическая модель ТЭ задачи оптимизации процесса управления состоит из ряда частных математических моделей, включая ММ управляемого процесса, математическая модель ТЭ ограничений на величины управляющих воздействий и на возможное расположение на траектории, математическое описание показателя эффективности (критерия качества) процесса управления и т.д. Основные элементы общей ММ ТЭ задачи оптимизации процесса управления приведены в табл. 1. Математическая задача оптимизации процесса управления считается полностью определенной (корректно поставленной), если точно описаны все элементы ММ, представленные в табл. 1. В основе ММ ТЭ задачи ОПУ лежит ММ управляемого процесса. Эта модель основывается на понятии переменных состояния (фазовых координат), которые вводятся в задачу следующим образом. Пусть управляемая система S может быть идеализирована настолько, что в каждый фиксированный момент времени наблюдения t = t ′ на интервале T = {t , t0 ≤ t ≤ t1}, t ′ ∈ T ее свойства могут быть описаны конечным множеством действительx1 (t ′), x2 (t ′), ..., xn (t ′) , ных чисел которые рассматриваются как компоненты некоторого вектора x(t ′) = ( x1 (t ′), x2 (t ′), ..., xn (t ′))T . При изменении момента времени наблюдения, вообще говоря, изменяется и вектор х. Это изменение может быть вызвано приложенными к объекту воздействиями. Если и при t > t ′ свойства системы по-прежнему полностью описываются вектором x = ( x1 (t ), K , xn (t ))T и если n – наименьшее количество величин xi (t ′) , с помощью которых оказывается возможным предсказать значение x(t ) при всех t > t ′ по известным значениям x(t ′) и известным на Т значениям приложенных воздействий, то вектор x(t) называется вектором состояния (детерминированной) системы S в момент t (или векторам фазовых координат). Величины xi называются компонентами вектора состояния, или фазовыми координатами. Множество всех возможных состояний x = ( x1 (t ), K , xn (t ))T в различные моменты времени t ∈ T образуют n-мерное пространство состояний X n ⊂ R n (n – мерное фазовое пространство), точка x ∈ X n является изображающей точкой этого пространства [1]. 1. Этапы построения и элементы математической модели технической задачи оптимизации процесса управления для детерминированных систем с сосредоточенными параметрами и непрерывным временем [1] Этап Содержание этапа I Неформальное описание задачи и ее анализ; выбор и обоснование степени точности и детализации описания системы физическими теориями. Физическая постановка задачи II Формирование ММ. Математическая постановка задачи II Элементы ММ Примечания Формулировка рассмотренного случая или узкой задачи исследования в содержательных терминах. Установление физических законов, которым подчиняются различные объекты задач Подготавливают данные, на основе которых в дальнейшем строится ММ и формулируются специфические допущения, позволяющие использовать математические допущения На базе I этапа Выбор и перечисление переменных состояния (фазовых координат), области их определения и интервала времени, на котором целесообразно рассматривать управляемый процесс. Выбор системы (или систем) координат, в которых целесообразно рассматривать процессы движения и управления Вектор (фазовых координат) состояния Выбор фазовых координат для конкретной задачи не является единственным (например, он зависит от T n n x = ( x1 , x2 , x3 ,..., xn ) , x ∈ X ⊂ R , выбора системы координат) dim( x ) = n размерность фазового пространства. Область определения x: Xn, отрезок времени T = {t , t0 ≤ t ≤ t1} Установление общих законов, которым подчиняется эволюция состояния рассматриваемой системы. Оценка области их применимости (области определения). ДУ движения dx = f (x, y, t ) ; dt f = ( f1 , f 2 , ..., f n )T ; Здесь y – вектор пока неопределенных элементов в правой части уравнений движения. область определения f: t ∈ T , x ∈ X n , y ∈ Y m1 . Выбор и перечисление Управляющие переменные управляющих переменных к u = (u , u , ..., u m )T , u ∈ U m ⊂ R m . 1 2 Вектор неопределенных элементов y либо становится управлением u, области их определения, а Управляющие (проектные) также управляющих пара- параметры метров и возмущений. a = (a1 , a2 , ..., an )T , a ∈ Ar ⊂ R r ; возмущение w = ( w1 , w2 , ..., ws )T , w ∈ W s ⊂ R s ; либо известной функцией (t, x), либо управляющим параметром а. В стохастических задачах w – случайные функции. m + r + s = m1. Анализ технических ограничений на значение управляющих воздействий, фазовые координаты и управляющие параметры. II Ограничения типа равенств T ψ (t , x) = (ψ1 , ψ 2 , ..., ψ µ ) = 0 ; k (t , x, u, a) = (k1 , k 2 , ..., k v )T = 0 . Ограничения типа неравенств. Выбор функциональных классов для управлений и траекторий. Определение допустимых траекторий, управлений и управляющих параметров. Формулировка начальных и Условие типа граничных условий (цели g (t , t , x(t ), x(t ), a) = 0 1 1 эволюции системы). T = ( g1 , g 2 , ..., g l ) = 0 (l ≤ 2n + 2 + r ); h(t 0 , x(t 0 ), a) = (h1 , h2 , ..., hl1 )T = 0; g(t1 , x(t1 ), a) = ( g1 , g 2 , ..., g l 2 )T = 0. Выбор показателя оценки Различного рода функционалы качества управления, на- J[u, a] , определение на решениях правленного на достижение системы: поставленной цели. Иногда ограничения представляют ~ ~ в виде: u ∈U m ⊂ U m ; x ∈ X n ⊂ X n ; ~ a ∈ Ar ⊂ A r , где U m , X n , Ar – замкнутые ограничения области. Обычно u(t) – кусочно-непрерывные ограничения функции времени t, x(t) – непрерывные кусочногладкие функции времени. Формируются также граничные условия свободные III Выбор вычислительного опеmax J [u]; u∈U ратора (max, min, max min, min J [u]; min max, …), применение u∈U которого к показателю качеmin max J [u]; ства является математичеu∈U , t∈T ским выражением техниче- min max J [u, w ] ского понимания оптималь- u∈U , w∈W ности системы. Фиксация аргументов этого оператора (u, a, t и т.д.). Формулировка задач оптимизации Корректировка технической Число переменных, вид уравнений, Аналитические трудности, изучепостановки задачи. критерий, граничные условия и т.д. ние сформулированной модели могут заставить пойти на дальнейшие упрощения. Эквивалент преобразования Переход к новым фазовым и (или) В частности, использование метоММ для удобства изменения управляющим переменным, гранич- дов штрафных функций, редукции к аналитических численных ным условиям и т.д. более простым задачам и т.д. методов решения задач оптимизации. Производится на базе содержательИзменение ММ для удобства ной (этап I) и математической вычислений. Формулировка (этап II) формулировок задач понятий «практически оптимальной системы», «практической точности получения результата» в конкретной задаче Вектор z = (x, t)T , т.е. состояние в момент t, называется событием (фазой). Множество всех возможных событий z образует пространство Z n +1 ⊂ R n +1 событий. Точка z ∈ Z n +1 является изображающей точкой пространства событий. 2.2. Управление Система S называется управляемой на отрезке (одно из определений управляемости) [t0 , t1 ] , если ее поведение при t > t 0 зависит только от начального состояния (t = t0 , x 0 = x(t0 )) , будущего поведения некоторого переменного вектора u (входа системы) u = (u1 , K , u m )T , m ≥ 1 , называемого управляющим вектором (или просто управлением) u, и постоянного вектора a : a = (a1 , K , ar )T , r ≥ 0 , называемого вектором управляющих (проектных) параметров. Вектор u принимает значение из некоторого множества U m m-мерного пространства R m с координатами u1 , u 2 , ..., u m . Это множество может быть всем пространством R m или его частью U m ⊂ R m . U m – чаще всего компактное множество пространства R m . Множество U m называется множеством допустимых значений управления. Некоторые виды множества U m приведены на рис. 2. Постоянный вектор a обычно принадлежит некоторому замкнутому множеству A r ⊂ R r [1]. 2.3. Эволюция состояния системы. Дифференциальные уравнения движения Изменение состояния (эволюция) системы S на временном интервале T = {t , t0 ≤ t ≤ t1} часто с хорошей степенью приближения описывается системой обыкновенных дифференциальных уравнений первого порядка: dx = f (t , x, u, a) , (1) dt где x = ( x1 , x2 , ..., x n )T – вектор состояния; u = (u1 , u 2 , ..., u m )T – управляющий вектор; a = (a1 , a2 , ..., a r )T – вектор проектных параметров. u2 u2 u2 M u2 u1m u1M u2 uR u1 u1 u2m u1m ≤ u1 ≤ u1M ;  а) U 2 :   u2 m ≤ u2 ≤ u2 M  б) U 2 : {u12 + u 22 ≤ u R2 } u2 u2 uM u 2 u2 u1 uM в) U 2 : { u1 + u2 ≤ u M } u2 uR u12 г) U 2 : { f (u1, u2 ) ≤ 0} uR u 2 + u 22 = u R2 ;  д) U 2 :  1   u1 + u 2 = u R  u2 u2 M 2 u1M u 22 u1 u1 1 u1M u1 3 u2 M 4 (u1M , u 2 M ), (u1m , u 2 M ); е) U 2 :   (u1M , u 2 m ), (u1M , u 2 m )  Рис. 2. Виды множества U2 допустимых управлений: а – в – замкнутые ограничения выпуклые области, содержащие начало координат; г – невыпуклая область, не содержащая начало координат; д – невыпуклые одномерные области U 12 , U 22 ; е – дискретное множество допустимых значений (1 – 4 изолированные точки) Система (1) образует существенную часть математической модели динамической системы S. В ММ, описываемой сисdx в левой части системы (1). темой ДУ, формальным признаком переменной состояния x является наличие ее производной dt Управляющая переменная u входит только в правую часть системы (1) и не встречается под знаком производной (это формальный признак управляющей переменной). Предполагается, что вектор-функция f(t, x, u, a) определена для любых значений x ∈ X n , u ∈ U m , a ∈ A r , t ∈ T , непрерывна по совокупности переменных t, x, u, a и непрерывно дифференцируема по x, a. Хотя гладкость является достаточно жестким требованием и может быть заменена требованием измеримости и ограниченности. Так как поведение вектора u может быть произвольным (за исключением условия u ∈ U m ) и, кроме того, можно произвольно выбрать постоянный вектор a ∈ Ar , то система уравнений (1) определяет управляемый процесс. Ход управляемого процесса будет определен на некотором интервале t0 ≤ t ≤ t1 , если на этом интервале вектор u задан в одной из двух форм: u = u(t ) = (u1 (t ), u 2 (t ), ..., u m (t ))T ; u = v (x, t ) = ( v1 (x, t ), v 2 (x, t ), ..., v m (x, t ))T . (2) (3) Вектор-функцию u(t) называют программным (временным) управлением, а вектор-функцию v(x, t) – координатным управлением или законом управления. Закон управления (3) физически выражает известный принцип обратной связи, согласно которому величина управляющего воздействия определяется на основании измерения текущего состояния системы x и, быть может, момента времени t. Каждому выбору векторов управляющих параметров a и управления u (вида (2), (3)) и каждому начальному состоянию (t 0 , x0 ) соответствует по (1) временная последовательность состояний x(t , x 0 , t 0 ) , которая называется фазовой траекторией (поведением, эволюцией, движением) системы S. Пара вектор-функций {u(t), x(t)} или {v(x, t), x(t)} называется процессом управления или режимом [1]. 2.4. Функционал. Критерий качества управления Величина J [u (t )] называется функционалом функции u(t) на отрезке t0 ≤ t ≤ t1 , если каждой функции u(t), t ∈ [t 0 , t1 ] , принадлежащей некоторому классу функций, поставлено в соответствие определенное число t ( f (a), f ′( x), f (t ) и т.д.) из R. ∫ f (t )dt , tmax ≤t ≤t Таким образом, функционал J[u(t)] – это отображение, в котором роль независимого переменного (функционального аргумента) играет функция u(t). При этом J[u(t)] зависит от совокупности всех значений, принимаемых функцией u(t) на отрезке [t 0 , t1 ] , и может рассматриваться как функция бесконечного числа независимых переменных. Для каждого фиксированного конечного момента времени t1 = t1′ состояние x(t1′ ) системы S, движущейся из начального состояния (t 0 , x 0 ) в соответствии с уравнением (1), является одновременно векторным функционалом (т.е. вектором, компонентами которого являются функционалы) от управления u(t) и вектор-функцией от вектора a и вектора начальных условий x 0 (t0 ) . Критерии качества процессов управления являются функционалами. Достаточно общая форма критерия качества в ТОП имеет вид t1 J [u(t ), a] = Φ (t 0 , t1 , x 0 , x1 , a) + ∫ f 0 (t , x(t ), u(t ), a)dt , (4) t0 где x(t) удовлетворяет системе (1); u(t) – некоторое выбранное управление; а – управляющий параметр [1]. В частности, каждую из координат xi (t ) системы (1) можно записать в форме xi (t ) = t1 ∫ f i (t, xi (t ), u(t ), a) + xi (t0 ), i = 1, n . t0 2.5. Автономные системы Если правые части (1) и функции Φ и f0 в (4) от времени явно не зависят, то соответствующая задача называется автономной: dx = f (x, u, a) ; dt J [u(t ), a] = Φ (x0 , x1 , a) + t1 ∫ f0 (x, u, a)dt . t0 Автономные системы инвариантны относительно сдвига вдоль оси t, поэтому для автономных систем важна только длительность процесса t1 − t0 и можно положить t0 = 0 . 2.6. Допустимое программное управление Вектор-функция u(t) называется допустимым программным управлением в задаче, если: а) u(t) принадлежит к выбранному классу в большинстве практических приложений кусочно-непрерывных по t на интервале [t 0 , t1 ] функций, т.е. может иметь лишь конечное число точек разрыва первого рода; б) значения u(t) принадлежат заданному множеству U m для всех t ∈ [t 0 , t1 ] . Кусочно-непрерывные управления соответствуют предположению о «безынерционности». Если желательно учесть «инерцию», то следует искать управление в классе непрерывных кусочно-гладких функций u(t). Такой класс допустимых управлений иногда сводится к предыдущему путем введения нового безынерционного управления u (t ) , связанного со «старым» управлением u(t) соотношением du = u, u ∈U m , dt где u = (u1, u2 ,..., um )T ; u = (u1, u2 ,..., um )T . (5) m Если U – замкнутая и ограниченная область, то это означает, что введены ограничения на значения первых производных от вектор-функции u(t). Кусочно-непрерывным функциям u (t ) отвечают кусочно-гладкие функции u(t) в силу (5). Таким образом, в новой задаче u(t) становится переменной состояния, управляемой посредством u (t ) через систему (5). Если условие u ∈ U m в новой задаче можно снять, то задача сводится к предыдущей для кусочно-непрерывного управления u ∈ U m . В противном случае следует обратиться к задаче оптимизации с ограничениями на фазовые координаты. На рис. 3 приведены примеры управлений, принадлежащих как к классу кусочно-непрерывных функций, так и к другим классам. Рассмотрение допустимых управлений в классе кусочно-непрерывных функций объясняется тем, что для оптимизации функционалов на этом классе функций разработан соответствующий математический аппарат – принцип максимума. Рис. 3. Примеры управлений uj (t), принадлежащих различным классам функций: а – гладкое управление; б – кусочно-гладкое непрерывное управление; в – непрерывное управление (в окрестности uj (t), t недифференцируема); г – кусочно-непрерывное управление; д – управление, не являющееся кусочно-непрерывным (u'j содержит бесконечное число переключений в окрестности t1; u 2j (t ) – элемент последовательности, сходящейся к функции, разрывной в каждой точке [t0, t1]); е – управление, содержащее δ-функции Дирака; u 0 , u1 , u 2 – константы Для каждого допустимого управления u(t) в силу сделанных предположений относительно f(t, x, u) существует единственное абсолютно-непрерывное решение системы x(t ) = x(t , x0 , t0 ) , которое удовлетворяет системе (1) почти всюду на [t 0 , t1 ] [т.е. за исключением конечного числа или счетного множества точек разрыва функции u(t)] и при t = t0 принимает заданное значение x0 = x(t0 ) [1]. 2.7. Допустимый закон управления Закон управления v(x, t) является допустимым на x ∈ X n , t ∈ [t 0 , t1 ] , если 1) v(x, t ) ∈ U m , ∀t ∈ T = [t 0 , t1 ], x ∈ X n ; 2) v (x(t ), t ) = u(t ) , где x(t) – траектория системы S; u(t) – допустимое программное управление при законе управления v(x, t). Вектор а управляющих параметров называется допустимым, если его значение принадлежит заданному множеству r A ⊂ R r [1]. 2.8. Допустимые траектории и процессы Фазовая траектория x(t) системы S называется допустимой, если: а) она получена из решения системы ДУ при допустимом управлении u(t) или при допустимом законе управления v(x, t); б) значения x(t) принадлежат заданной области X n пространства состояний X n . Управляемый процесс (x, u) называется допустимым, если в нем под действием допустимого управления u(t) или допустимого закона управления v(x, t) реализуется допустимая траектория [1]. 2.9. Граничные условия. Краевая задача Цель управляемого процесса (x, u) состоит в переходе системы S из некоторого заданного при t = t0 начального состоя- ния x0 = x(t0 ) в заданное конечное состояние x1 = x(t1 ) за время T = t1 − t 0 . При этом все компоненты векторов x 0 , x1 и моменты времени t 0 , t1 обязательно должны быть фиксированными, некоторые могут оставаться незаданными (свободными). В общем случае система S в начальный и конечный моменты времени может находиться в состояниях, описываемых уравнениями вида а) б) в) г) д) е) Рис. 4. Примеры граничных условий: a – левый и правый концы фазовой траектории закреплены; б – левый конец закреплен, правый – свободен; в – левый и правый концы подвижные; г – левый конец закреплен, правый – свободен, за исключением координаты x1; д – общий случай подвижных граничных условий; е – граничные условия в задаче встречи движений; – оптимальная траектория; - - - - - - – произвольная траектория h(t0 , x0 , a) = (h1, h2 ,..., hl1 )T = 0 ; (6) g (t1, x1, a) = (h1, h2 ,..., hl1 )T = 0 (7) g (t 0 , t1 , x 0 , x1 , a) = ( g1 , g 2 , ..., g l )T = 0 , (8) или более общими уравнениями вида где l1 + l 2 ≤ 2n + 2 + r ; l ≤ 2n + 2 + r . Уравнения (6) и (7) описывают (при фиксированном управляющем параметре а) обычно поверхность размерности (n + 1 − l2 ) и (n + 1 − l1 ) , и (u − l2 ) в пространстве (t, x) называются раздельными граничными условиями для концов фазовой траектории. Примеры граничных условий приведены на рис. 4. Уравнения (8) называются смешанными граничными условиями. Если значения фазовых координат в момент t0 (или t1) не фиксируются, то граничные условия для левого (или правого) конца траектории называются свободными. Раздельные условия вида (6) и (7) часто называют подвижными граничными условиями. Определение уравнений u(t), при которых решение системы (1) удовлетворяет условиям (6) и (7), называется двухточечной краевой задачей. Перевод начального состояния x0 в конечное состояние x1 на заданном отрезке [t0, t1] не всегда возможен. Однако, если найдется хотя бы одна пара векторов {u(t), a} или {v(x, t), a}, осуществляющая указанный переход, то обычно существуют и другие пары векторов, реализующие этот же самый переход. В этом случае каждой паре {u(t), a} соответствует определенное значение критерия качества J[u, a]. Можно ставить задачу об отыскании таких {u(t), a}, которые минимизируют или максимизируют этот критерий [1]. 3. ПОСТАНОВКА ОСНОВНЫХ ЗАДАЧ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ Основная задача оптимального программного управления в форме временной программы (2) для системы (1) с критерием (4) и краевыми условиями (8) формулируется следующим образом. Среди всех допустимых на отрезке [t 0 , t1 ] программных управлений u = u(t ) ∈ U m и управляющих параметров a ∈ Ar , переводящих точку (t 0 , x 0 ) в точку (t1 , x1 ) , найти такие, для которых функционал (4) на решениях системы (1) примет наименьшее (наибольшее) значение с выполнением условий (8). Управление u(t), решающее эту задачу, называется оптимальным (программным) управлением, а вектор а – оптимальным параметром. Если пара {u*(t), a*} доставляет абсолютный минимум функционалу J[u(t), a] на решениях системы (1), то выполняется соотношение J min = J * = J [u * (t ), a * ] ≤ J [u(t ), t ] (9) для ∀u ∈ U m , a ∈ A r , являющихся допустимыми и осуществляющих заданный переход с выполнением условия (8). Аналогичное определение имеет место для абсолютного максимума (с заменой знака неравенства ≤ знаком ≥). Из определения абсолютного минимума (9) следует, что абсолютное минимальное значение функционала * J = J [u * , a * ] является единственным, чего нельзя утверждать, вообще говоря об оптимальном управлении u*(t) и оптимальном параметре a* . [1] 3.1. Основная задача оптимального координатного управления Основная задача оптимального координатного управления известна в теории оптимальных процессов как проблема синтеза оптимального закона управления, а в некоторых задачах – как задача об оптимальном законе поведения. Задача синтеза оптимального закона управления для системы (1) с критерием (4) и краевыми условиями (6) и (7), где для упрощения предполагается, что функции f0, f, h, g, Φ от вектора а не зависят, формулируется следующим образом. Среди всех допустимых законов управления v(x, t) найти такой, что для любых начальных условий (t0, x0) из (6) при подстановке этого закона в (1) и в (4) осуществляется заданный переход (7) и критерий качества J[u] принимает наименьшее (наибольшее) решение [1]. 3.2. Оптимальные траектории Траектория системы (1), соответствующая оптимальному управлению u*(t) или оптимальному закону v*(x, t), называется оптимальной траекторией. Совокупность оптимальных траекторий x*(t) и оптимального управления u*(t) образует оптимальный управляемый процесс {x*(t), u*(t)}. Установлено, что при отсутствии вектора а управляющих параметров в f0, f, h, g, Φ задача программного и координатного управления эквивалентны. Так как закон оптимального управления v*(x, t) имеет форму закона управления с обратной связью, то он остается оптимальным для любых значений начальных условий (x0, t0) и любых координат x. В отличие от закона v*(x, t) программное оптимальное управление u*(t) является оптимальным лишь для тех начальных условий, для которых оно было вычислено. При изменении начальных условий будет меняться и функция u*(t). В этом состоит важное, с точки зрения практической реализации системы управления, отличие закона оптимального управления v*(x, t) от программного оптимального управления u*(t), поскольку выбор начальных условий на практике никогда не может быть сделан абсолютно точно [1]. 3.3. Свойства оптимальных управлений и оптимальных траекторий 1. Всякая часть оптимальной траектории (оптимального управления) также, в свою очередь, является оптимальной траекторией (оптимальным управлением). Это свойство математически формулируется следующим образом. Пусть u*(t), t0 ≤ t ≤ t1 – оптимальное управление для выбранного функционала J[u], соответствующее переходу из состояния(t 0 , x 0 в) состояние (t1 , x1 ) по оптимальной траектории x*(t). Числа t 0 , t1 и вектор x0 – фиксированные, а вектор x1 , вообще говоря, свободен. На оптимальной траектории x*(t) выбираются точки x* (τ 0 ) и x* (τ1 ) , соответствующие моментам времени t = τ 0 , t = τ1 , где t0 ≤ τ0 ≤ τ1 ≤ t1 . Тогда управление u*(t) на отрезке [τ 0 , τ1 ] является оптимальным, соответ- ствующим переходу из состояния x * (τ 0 ) в состояние x * (τ1 ) , а дуга [x * (τ 0 ), x * (τ1 )] является оптимальной траекторией S. Таким образом, если начальное состояние системы есть x* (τ 0 ) и начальный момент времени t = τ0 , то независимо от того, каким образом пришла система к этому состоянию, ее оптимальным последующим движением будет дуга траектории x*(t), τ0 ≤ t ≤ τ1 , являющейся частью оптимальной траектории между точками (t 0 , x 0 ) и (t1 , x1 ) . Это условие является необходимым и достаточным свойством оптимальности процесса и служит основой динамического программирования. П р и м е ч а н и е . Приведенная краткая формулировка основного свойства оптимальных траекторий не должна толковаться слишком широко. Требование, чтобы начальная и конечная точки траекторий сравнения лежали на оптимальной траектории в те же моменты времени τ 0 , τ1 , что и точки оптимальной траектории, или чтобы свободный правый конец x1′ траектории сравнения оканчивался в тот же момент t1 , что и конец оптимальной траектории, являются существенными. Без их выполнения это свойство, вообще говоря, не имеет места. Так, если заданы только начальная точка x0 = x(t0 ) и моменты времени t0 и τ 0 , а x(τ0 ) свободен, то отрезок траектории x*(t), t0 ≤ t ≤ τ0 может и не быть оптимальным. В этом случае оптимальным может быть, вообще говоря, другой отрезок x′(t ) (рис. 5). Рис. 5. Основное свойство оптимальных траекторий: J 2′ > J 2 ; J1 , J1′ (i = 1, 2, 3) – значения функционала на участках оптимальной траектории и на траекториях сравнения, соответственно 2. Автономные системы инвариантны относительно сдвига вдоль оси t. Это означает, что если u*(t), t0 ≤ t ≤ t1 совершает переход x0 → x1 и сообщает функционалу J[u] значение J*, то при любом действительном τ управление u* (t + τ), t 0 − τ ≤ t ≤ t1 − τ также совершает переход x0 → x1 и придает функционалу J[u] значение J*. 3.4. Геометрическая интерпретация основной задачи оптимального управления Основным задачам оптимального управления при закрепленных концах можно дать следующую эквивалентную геометрическую формулировку. Пусть при t = t0 задано начальное состояние x0 = x(t0 ) , а при t = t1 – конечное состояние x1 = x(t1 ) , где t 0 , t1 , x0 , x1 – фиксированные значения. Тогда в функционале J[u] (4) слагаемое Φ (t 0 , t1 , x0 , x1 ) является известным числом Φ 0 . Введем новую переменную x0, закон изменения которой имеет вид dx0 = f 0 (t , x, u, a) dt (10) с начальным условием x0 (t0 ) = x00 = Φ 0 . Присоединим эту переменную к системе (1). Тогда при t = t0 система находится в точке ( x0 (t 0 ), x1 (t 0 ), ..., xn (t 0 ))T , а при t = t1 – в точке ( x0 (t1 ), x1 (t1 ), ..., xn (t1 ))T , где t1 x0 (t1 ) = Φ 0 + ∫ f 0 (t , x, u, a)dt = J [u] . t0 Таким образом, если в (n + 1)-мерном пространстве точек ( x0 , x) провести через точку (0, x1 ) прямую П параллельно оси 0x0 , то решение системы (1), (10) проходит при t = t1 через точку на прямой П с координатой x0 (t1 ) = J . Теперь основная задача оптимального программного управления формулируется геометрически как на рис. 6. Рис. 6. Геометрическая формулировка основной задачи оптимального управления: 1 – оптимальная траектория; 1' – изменение критерия качества J вдоль оптимальной траектории; 2, 3 – неоптимальные траектории, проходящие через точки (x0, t0), (x1, t1); 2', 3' – изменение критерия качества J вдоль неоптимальных траекторий В (n + 1)-мерном фазовом пространстве ( x0 , x1 , ..., xn ) T даны: 1) при t = t0 точка (Φ 0 , x 0 ) ; 2) прямая П, параллельная оси 0x0 и проходящая через точку (0, x1 ) . Среди всех допустимых программных управлений u = u(t), обладающих тем свойством, что соответствующее решение ( x0 (t ), x(t )) системы (1), (10) с начальным условием (Φ 0 , x1 (t 0 ), ..., xn (t 0 ))T пересекает при t =t1 прямую П, найти такое, для которого точка пересечения с прямой П имеет наименьшую (наибольшую) координату x0 (t1 ) = J [1]. 4. НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ДЛЯ ОСНОВНОЙ ЗАДАЧИ ПРОГРАММНОГО УПРАВЛЕНИЯ. ПРИНЦИП МАКСИМУМА 4.1. Краткая формулировка задачи Пусть даны: • система дифференциальных уравнений движения dx = f (t , x, u, a) , dt (11) ~ где f (t , x, u, a) определены для всех x = ( x1 , x2 , ..., xn )T ∈ X n ⊂ R n , t 0 ≤ t ≤ t1 , u ∈ U m , a ∈ A r , непрерывны по совокупности переменных (t, x, u, a) и непрерывно дифференцируемы по (x, a); • соотношения, которым удовлетворяют начальные (t 0 , x 0 ) и конечные (t1 , x1 ) фазы движения системы (11): g j (t 0 , t1 , x 0 , x1 , a) = 0 ( j = 1, 2, ..., l < 2n + 2 + r ) , (12) где функции g j непрерывно дифференцируемы по всем своим аргументам; • критерий качества управления (функционал) t2 J [u(t ), a] = Φ (t 0 , t1 , x 0 , x1 , a) + ∫ f 0 (t , x, u, a)dt , (13) t1 где Φ, f 0 обладают всеми необходимыми производными. Множество U m представляет собой замкнутую и ограниченную область евклидова m-мерного пространства R m . Функ- ция u(t) считается допустимой, если она кусочно-непрерывна и ее значения принадлежат множеству U m : u(t ) ∈ U m , т.е. такие управления ui(t), каждое из которых непрерывно для всех рассматриваемых t, за исключением лишь конечного числа моментов времени, где функция ui (t) может терпеть разрывы первого рода. Во избежание недоразумений отметим, что, по определению разрывов первого рода, в точке разрыва τ предполагается существование конечных пределов: u (τ − 0) = lim u (t ), u (τ + 0) = lim u (t ) . t →τ t <τ t →τ t >τ 4.2. Некоторые вспомогательные построения и терминология Вводятся: • зависящий от времени вектор сопряженных координат (вектор-функция множителей Лагранжа) λ (t ) = (λ 0 (t ), λ1 (t ), ..., λ n (t ))T ; (14) • постоянный вектор µ : µ = (µ1 , µ 2 , ..., µ l )T ; (15) • вспомогательные функции (гамильтониан задачи оптимизации и функция Лагранжа) H (t , x, u, λ , a) = n ∑ λi fi (t , x, u, a) + λ0 f0 (t , x, u, a) (16) i =1 и l L(t0 , t1, x0 , x1, a, µ) = ∑ µ j g j (t0 , t1, x0 , x1, a) + λ 0Φ (t0 , t1, x0 , x1, a) ; (17) j =1 • система дифференциальных уравнений, сопряженная к (11) (13) и определяющая изменение вектора λ(t ) , n dλ i ∂f (t , x, u, a) ∂H = − λk k =− dt ∂xi ∂xi k =0 ∑ (i = 0, n) . (18) З а м е ч а н и е . Система линейных дифференциальных уравнений y& = B (t )y называется сопряженной для системы x& = A(t)x + f(t), если B (t ) = − AT (t ) и размерность векторов x и y (а также матриц B(t) и A(t)) одинаковы. Таким образом, система (18) является фактически сопряженной к линеаризованной системе (11), (20): δx& = ∂f ∂x ) ) x ((t ), u (t ) δx + ∂f ∂u ) ) x (t ), u (t ) δu(t ) , где xˆ (t ), uˆ (t ) – некоторая опорная траектория и опорное управление, соответственно. С помощью функции H исходная система уравнений (1) записывается в виде dxi ∂H = = f i (t , x, u, a) (i = 0, n) . ∂λ i dt Индексу i = 0 соответствует новая переменная x0 (t ) , определяемая скалярным уравнением (19) dx0 = f 0 (t , x, u, a) , dt (20) x0 (t 0 ) = x00 = Φ (t 0 , t1 , x 0 , x1 , a) . (21) с начальным условием Система уравнений    (22) T  ~ T &λ = − ∂H  = − ∂ f  λ , ~  ∂~    ∂x   x  ~ ~ ~ ~ x = ( x0 , x1 , ..., x n ) , f = ( f 0 , f1 , ..., f n ) ; x ∈ X n+1 , называется канонической системой где H = λ T f , ∂ f ∂x – матрица Якоби, ~ дифференциальных уравнений, связанной с основной задачей [1]. T ~  ∂H  x& =   = f; λ ∂   4.3. Принцип максимума Л.С. Понтрягина Пусть u (t ) = t ∈ [t 0 , t1 ] – такое допустимое управление, а a* = (a1* , a 2* , ..., a r* )T – такое допустимое значение вектора параметров, что соответствующая им траектория x*(t) системы (11) удовлетворяет условиям (12) для концов. Для оптимальности (в смысле минимума) критерия качества (13) управления u*(t), траектории x*(t) и вектора управ* (u1* (t ), ..., u m* (t ))T , необходимо существование такого ненулевого переменного вектора ляющих параметров а* T λ (t ) = (λ 0 (t ), λ1 (t ), ..., λ n (t )) , λ 0 (t ) = const ≥ 0 (обычно можно принимать λ 0 = 1 , см. следствие 2, п. 4.4) и такого постоянного вектора µ = (µ1 , µ 2 , ..., µ l )T , что выполняются следующие условия. 1. Вектор-функции x*(t), u*(t), λ (t ) и вектор a* удовлетворяют системе dx1* ∂H (t , x* (t ), u * (t ), λ (t ), a* )  = ; ∂λ i dt  * * *  λ d i ∂H (t , x (t ), u (t ), λ (t ), a )  =−  ∂xi dt   (i = 0, n) .   (23) 2. Функция H (t , x* (t ), u , λ (t ), a* ) переменного u ∈ U m при каждом t ∈ [t 0 , t1 ] , т.е. при фиксированных x* и λ и при фиксированном векторе а* достигает при u = u*(t) минимума): H (t , x* (t ), u * (t ), λ (t ), a* ) = H * (t , x* (t ), λ (t ), a* ) = = min H (t , x* (t ), u, λ (t ), a* ) . u∈U (24) m Случай максимума функционала J[u, a] сводится к задаче в данной постановке путем рассмотрения функционала J1[u, a] = − J [u, a] . З а м е ч а н и е . В отличие от классической формулировки принципа максимума Л.С. Понтрягина в данном случае операция max в (24) заменена на min. В соответствии с такой заменой необходимое условие (24) можно было бы назвать принципом минимума. Следует обратить внимание, что в данном случае λ 0 ≥ 0 , тогда как в классической формулировке λ 0 ≤ 0 . Таким образом, оптимальное управление определяется как u * (t ) = u * (t , x* (t ), λ (t ), a* ) = arg min H (t , x* (t ), u, λ (t ), a* ) . (25) u∈U m Принцип максимума, следовательно, утверждает, что оптимальное управление u*(t) в каждый момент времени t мини~ мизирует проекцию фазовой скорости ~ x& = f (t , x, u) управляемого процесса (т.е. проекцию скорости изображающей точки ~ ~ x ∈ X n+1 ) на направление, задаваемое вектором λ (t ) ; напомним, что H= n ~ ∑ λi fi = λT ~x& = λT f (t , x, u, a) – i =0 x& . скалярное произведение векторов λ (t ) и ~ 3. Сопряженные переменные λ i (t ) и функция H (t , x * (t ), u * (t ), λ (t ), a * ) непрерывны вдоль оптимальной траектории (аналог условия Эрдмана-Вейерштрасса классического вариационного исчисления). 4. Условия трансверсальности. Для концевых точек (t 0 , x 0 ) , (t1 , x1 ) и вектора параметров а* при произвольных вариациях концевых точек и параметров выполняются обобщенные условия трансверсальности t1 n r t1   ∂H δaρ dt = 0 .  Hδt − λ i δxi  + dL + ∂ i =0 ρ =1 t 0 aρ  t  ∑ ∑∫ (26) Здесь dL – полная вариация функции L(t 0 , t1 , x 0 , x1 , µ, a) , определяемой уравнением (17): dL = + n ∂L ∂L ∂L δt0 + δt1 + δxi (t0 ) + ∂t0 ∂t1 ∂ x i (t 0 ) i =0 ∑ n ∂L r ∂L ∑ ∂xi (t1 )δxi (t1 ) + ∑ ∂aρ δaρ , i =0 ρ =1 (27) где δt 0 , δt1 , δxi (t 0 ), δxi (t1 ), δaρ – произвольные вариации концевых точек и параметров. Обобщенные условия трансверсальности (26) с учетом выражения (27) приводят в силу независимости δt0, δt1, δti(t0), δti(t1), δaρ к следующим 2n + 2 + r соотношениям:  ∂L − H +  t0 ∂    δt 0 = 0 ;   t0 (28)  ∂L   δt1 = 0 ;  H + ∂t1   t1  ∂L  λi +  ∂xi  (29)   δxi (t 0 ) = 0 (i = 1, n) ;   t0  ∂L  − λi +  ∂xi  (30)   δxi (t1 ) = 0 (i = 1, n) ;   t1 (31)  ∂L t1 ∂H    (32)  ∂a + ∫ ∂a dt δaρ = 0 (ρ = 1, r ) . ρ ρ t   Если какое-либо конечное условие xi (t 0 ), xi (t1 ) или параметр aρ закреплены (не варьируются), то соответствующая вариация равна нулю: δz = 0 ( z = t 0 , t1 , xi (t 0 ), xi (t1 ), aρ ) . Если какое-либо конечное условие xi (t0 ) , xi (t1 ) или управляющий параметр aρ свободны, то равен нулю коэффициент при свободной вариации δz в (30) – (32). Таким образом, совокупность условий, выражающих принцип максимума (23), (25), условий трансверсальности (26), дают необходимые условия оптимальности программного управления. Условия принципа максимума позволяют среди множества всех траекторий и управлений, переводящих систему из (t0 , x0 ) в (t1 , x1 ) , выделить те отдельные, вообще говоря, изолированные траектории и управления, которые могут быть оптимальными. В формулировке принципа максимума участвует 2n + 2 + m + 1 неизвестных функций x0 (t ), x1 (t ), ..., xn (t ) : λ 0 (t ), λ1 (t ), ..., λ n (t ) ; u1 (t ), ..., u m (t ) , для определения которых имеется (n + 1) дифференциальных уравнений физической системы (11), (20), (n + 1) дифференциальных уравнений сопряженной системы (18) и m конечных соотношений для u j , вытекающих из (24). Следовательно, для (2n + 2 + m) неизвестных функций имеется (2n + 2 + m) соотношений. Если известны все начальные условия ~ x0 = ~ x (t 0 ) = (Φ, x1 (t 0 ), x2 (t 0 ), ..., xn (t 0 ))T ;   λ 0 = λ (t 0 ) = (λ 0 (t 0 ), λ1 (t 0 ), λ 2 (t 0 ), ..., λ n (t 0 ))  T (33) и фиксированное значение управляющего параметра а, то система (23) может быть проинтегрирована. Однако начальный и конечный моменты времени t0, t1, начальное и конечное значения вектора фазовых координат x 0 = ( x10 , ..., xn 0 ), x1 = ( x11 , ..., xn1 ) , начальное и конечное значения вектора сопряженных переменных λ 0 = (1, λ10 , ..., λ n 0 ) , λ 1 = (1, λ11 , ..., λ n1 ) , постоянный вектор µ = (µ1 , µ 2 , ..., µ l ) и вектор управляющих параметров a = (a1 , a2 , ..., ar ) для оптимального решения заранее неизвестны. Они могут быть определены из условий трансверсальности (28) – (32) и граничных условий (12). В самом деле, для определения (2 + 4n + l + r) неизвестных t 0 , t1 , x 0 , x1 , λ 0 , λ 1 , µ, a имеется два условия (28), (29), 2n условий (30), (31), r условий (32) и l условий (12); кроме того, 2n соотношений вида x(t1 ) = ϕ1 (t 0 , t1 , λ 0 , x 0 ) , λ (t1 ) = ϕ 2 (t 0 , t1 , λ 0 , x 0 ) будут получены в результате интегрирования системы (23). Таким образом, для полученной краевой задачи имеется достаточное число соотношений, позволяющих считать ее, по крайней мере, теоретически разрешимой. Необходимо также отметить, что принцип максимума дает глобальный минимум. Численные методы решения краевых задач приведены в [4, 7]. [1] 4.4. Некоторые следствия принципа максимума 1. Непосредственным следствием системы (23) и условия (24) является выполнение между точками разрыва функции u(t) соотношения dH ∂H = . dt ∂t (34) Это условие для автономных систем (т.е. систем, не зависящих явно от t) приводит к первому интегралу: H = const вдоль всей оптимальной траектории, хотя в общем случае условие (34) неверно, условия скачка обоснованы и получены. 2. В большинстве практических случаев λ 0 > 0 (так называемый нормальный случай), и поэтому без нарушения общности в силу однородности функции H по переменным λi можно принять λ0 = 1. П р и м е ч а н и е . Из-за однородности H по λi управление u из (25) определяется не самими величинами λi, а их отношениями к одной из них, например, к λ0. Это эквивалентно принятию λ0 = 1. Случай λ0 = 0 является особым (анормальным) и здесь не рассматривается. 3. Условия (24), (25) принципа максимума позволяют найти оптимальные значения всех m компонент вектора u. Если минимум H по u достигается во внутренней точке множества Um и функции fi дифференцируемы по u, то u *j определяются из условия ∂H ∂u j = 0 ( j = 1, m) . (35) u = u* Это условие совместно с (23) образует условие Эйлера-Лагранжа классического вариационного исчисления для задачи (11) – (13) [24 – 27]. П р и м е ч а н и е . Минимум H по u далеко не всегда достигается во внутренней точке множества U m , а в тех случаях, когда он достигается во внутренней точке, последняя не обязательно является стационарной (рис. 7). Типы минимизирующих точек довольно разнообразны. Из них особо следует отметить случаи нестрогого минимума, так как принцип максимума не позволяет для них однозначно определить u*. Этот случай в теории оптимального управления является особым. а – внутренний min H(u) в стационарной точке; б, в – граничный min H(u); г – граничный min H(u); uс1, uс2 – стационарные точки локальных max и min; д – внутренний min H(u) в угловой точке; uс3 – точка перегиба; е – две изолированные минимизирующие точки 2 и 3; ж – нестрогий min H(u) на отрезке 4 – 5 и изолированный min H(u) в точке 6 Если функция H достигает минимального значения в точке на границе ГU m области U m , то условие (35) не является более необходимым в этой точке. При этом возможны три случая: а) множество U m описывается системой связей в виде равенств χ S (u1 , u 2 , ..., u m ) = 0 ( s = 1, 2, ..., ν < m) ; (36) тогда минимум H при условиях (36) находится методом неопределенных множителей Лагранжа; б) множество U m задано системой неравенств ℵs1 (u1 , u 2 , ..., u m ) ≤ 0 ( s1 = 1, 2, 3, ...) ; (37) тогда задача сводится на каждом шаге интегрирования к проблеме нелинейного программирования; в) множество U m является ограниченной областью, не имеющей границ (например, замкнутой двумерной поверхностью типа сферы или эллипсоида в трехмерном пространстве). Для всякой непрерывной функции H(u), имеющей непрерывные частные производные, заданной на замкнутой поверхности и выраженной через параметрические координаты этой поверхности, точка максимума H по этим параметрическим координатам принадлежит к числу решений (35), где роль u j играют параметрические координаты поверхности. П р и м е р . Пусть H (u1 , u 2 , u3 ) задана на сфере. Тогда замена u1 = r sin θ cos ϕ , u2 = r sin θ sin ϕ , u3 = r cos θ приводит к ~ ~ H (u1 , u 2 , u3 ) = H (θ, ϕ, r ) – периодической функции с периодом 2π по θ и ϕ и в точке минимума H = H имеют место равенства ~ ~ ∂H ∂H =0. = ∂ϕ ∂θ 4. Условия (35) определяют лишь внутреннюю стационарную точку функции H. Если u* = u удовлетворяет системе (35) и доставляет минимум функции H(u), то должны быть выполнены необходимые условия второго порядка: матрица частных производных второго порядка функции H(u)  ∂ 2 H  (38) H uu =   (i, j = 1, m)  ∂ui ∂u j  должна быть неотрицательно определенной в точке u* минимума функции H(u). Положительная определенность матрицы Нuu при выполнении условий (35) в точке u* является достаточным условием для относительного (но не абсолютного!) минимума H(u) в этой точке. Условие (38) неотрицательной определенности матрицы Нuu представляет собой условия Лежандра-Клебша классического вариационного исчисления [25 – 27]. Проверка положительной определенности матрицы Нuu может проводиться по критерию Сильвестра: для положительной определенности матрицы Нuu необходимо и достаточно, чтобы ее угловые миноры были положительными. В частности, для положительно определенной матрицы Нuu выполняется условие  ∂ 2 H  det   >0,  ∂ui ∂u j  u* (39) являющееся аналогом условия Гильберта неособенности (невырожденности) вариационной задачи (см. п. 9.4). 5. Приведенная формулировка принципа максимума остается справедливой и для случая, когда область U m зависит явным образом от времени t: U m = U m (t ) . З а м е ч а н и е . Принцип максимума является, вообще говоря, лишь необходимым условием. Любое допустимое оптимальное управление, если оно существует, удовлетворяет принципу максимума. Однако не всякое допустимое управление, удовлетворяющее принципу максимума, является оптимальным. Поэтому после определения управления на основе необходимых условий следует убедиться в его оптимальности. Для этого служат достаточные условия оптимальности. В некоторых случаях принцип максимума является не только необходимым, но и достаточным условием оптимальности управления u(t). Пусть, например, найдено допустимое управление u*(t), которое переводит заданное начальное состояние x(t0 ) = x0 линейной относительно фазовых координат системы x& = A(t )x + h(u, t ), u ∈ U m , где U m (40) – замкнутое ограниченное множество; A(t), h(u, t) – непрерывные функции t, u; x = ( x1 , x2 ,..., xn ) , u = (u1 , u 2 , ..., u m ) в заданное конечное состояние x(t1 ) = x1 . Введем такую систему начальных значений сопряженных переменных λ (t 0 ) = (λ 00 , λ10 ,..., λ n 0 )T , λ 00 > 0 , что u*(t) минимизирует в каждый момент t функцию H = λ 00 h0 (u, t ) + λ T (t )h(u, t ) по всем u ∈ U m , где ∂f T (x* (t ), t ) . λ& (t ) = − AT (t )λ (t ) − λ 00 0 ∂x Тогда управление u*(t) минимизирует на траекториях x*(t) системы (40), проходящих через x 0 , x1 , критерий качества t1 ∫ J [u(t )] = [ f 0 (x, t ) + h0 (u, t )]dt , t0 если только f 0 (x, t ) является однозначной выпуклой вниз функцией x для всех t ∈ [t 0 , t1 ] . З а м е ч а н и е . Функция f 0 (x, t ) называется выпуклой вниз по x при t ∈ [t 0 , t1 ] , если для всех x ∈ R n , x ∈ R n ∂f 0 (x, t ) ( x − x) + f 0 (x, t ) ≤ f 0 ( x, t ) [1]. ∂x 5. НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ДЛЯ ОСНОВНОЙ ЗАДАЧИ СИНТЕЗА ЗАКОНА УПРАВЛЕНИЯ. МЕТОД ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ 5.1. Задача синтеза оптимального закона управления Для синтеза оптимального закона управления систем с обратной связью, оптимальных замкнутых контуров управления, оптимальных законов наведения и т.д. более естественен другой подход, чем использованный при решении задач, описанных в гл. 4, 9. В отличие от уравнений Эйлера–Лагранжа и принципа максимума Понтрягина, использующих временное представление оптимального управления [в форме u* = u(t)] для единичного объекта управления, этот подход рассматривает оптимальное управление в форме закона u* = v*(x, t) (координатное управление, управление в форме обратной связи) для множества однородных объектов, отличающихся различными начальными состояниями. С точки зрения механики, этот подход соответствует рассмотрению распространения «волн возбуждения» от некоторого источника в неоднородной среде. Общность обоих подходов устанавливает проективная геометрия, с точки зрения которой траектория точки в фазовом пространстве может рассматриваться и как последовательность точек и как огибающая своих касательных. Последовательное применение описываемого подхода к задачам оптимального управления приводит для непрерывных процессов к дифференциальному уравнению (нелинейному) в частных производных первого порядка типа уравнения Гамильтона–Якоби [9 – 11]. Один из возможных способов получения этого уравнения состоит в использовании принципа оптимальности динамического программирования. Динамическое программирование является довольно общим методом, разработанным для решения общих задач многоэтапного выбора (т.е. задач, в которых результаты предыдущих операций можно использовать для управления ходом будущих операций) [1]. 5.2. Принцип оптимальности динамического программирования Принцип оптимальности. В основе динамического программирования лежит сформулированный Р. Беллманом принцип оптимальности: «Оптимальная политика обладает тем свойством, что каковы бы ни были начальное состояние и первоначально принятое решение, последующие решения должны составлять оптимальную политику относительно состояния, получившегося в результате первоначально принятого решения» [3, 11]. Или, оптимальное управление не зависит от того, каким образом пришла система к данному состоянию при t = t ′ (т.е. не зависит от «предыстории» движения) и для будущих моментов времени полностью определяется лишь состоянием системы в рассматриваемый момент времени. Как частный случай в динамическом программировании рассматриваются задачи управления непрерывными процессами (основная задача оптимального координатного управления). Краткая формулировка задачи. Пусть дана система уравнений движения dx = f (t , x, u) , (41) dt u = (u1 , u 2 , ..., u m )T ∈ U m ; где x = ( x1 , x 2 , ..., xn )T ∈ X n ; f = ( f1 (t , x, u), f 2 (t , x, u ), ..., f n (t , x, u ))T , и граничные условия x(t 0 ) = x 0 ; x(t1 ) = x1 . (42) Требуется синтезировать закон оптимального управления u* = v*(x, t), минимизирующий значение функционала J [t 0 , x 0 , u] = t1 ∫ f 0 (t, x, u)dt . (43) t0 Необходимые условия. Пусть в (n + 1)-мерном пространстве ( X n , T ) имеется некоторая область G(x, t) начальных значений x 0 , t 0 ((x 0 , t 0 ) ∈ G (x, t )) , для каждой точки которой существует оптимальное (в смысле минимума J [t 0 , x 0 , u] управление u*(t), переводящее эти начальные точки в некоторую фиксированную точку (x(t1 ) = x1 , t1 ) ; x1 , t1 – заданы. На таких оптимальных управлениях минимальное значение критерия качества (43) будет зависеть лишь от начальных значений x 0 , t 0 . Таким образом, J min = J * = V (t 0 , x 0 ) , где V (t 0 , x 0 ) – некоторая функция (n + 1) переменного t 0 , x10 , ..., xn 0 . Имея в виду произвольную точку области G(x, t), в дальнейшем, в целях упрощения записи, нижний индекс «0» будем опускать. Таким образом, функция V(t, x) – минимальное значение критерия качества (43) на оптимальных траекториях системы (41), начинающихся в точке (t, x) и заканчивающихся в фиксированной точке (t1, x1), V (t , x) = min u∈U m t1 ∫ f 0 (t, x, u)dt (44) t на траекториях (1) из (t, x) в (t1, x1). Функция V(t, x) является аналогом «действия» в аналитической механике и «экстремального интеграла» в классическом вариационном исчислении. Если функция V(t, x) существует и является непрерывно дифференцируемой по (t, x), то она удовлетворяет основному уравнению динамического программирования, которое является необходимым и достаточным условием, – дифференциальному уравнению в частных производных первого порядка (уравнению Гамильтона–Беллмана) ∂V ∂V , u) = 0 + min H (t , x, ∂t u∈U m ∂x (45) с граничным условием V (t1 , x1 ) = 0 ; (46) здесь H (t , x, Vx , u) = f 0 (t , x, u) + Vx f (t , x, u) , где V x= ∂V ∂x (47) (см. табл. 2). Уравнение (45) аналогично уравнению Гамильтона–Якоби классического вариационного исчисления – достаточное условие: ∂V ∂V + H (t , x, )=0, ∂t ∂x (48) где функция H получена в результате подстановки в функцию H (t , x, V x , u) управления u 0 = u 0 (t , x, Vx ) , найденного из условия стационарности этой функции, ∂H = 0 ( j = 1, m) . ∂u j (49) Из (45) можно определить оптимальный закон управления ∂V ∂V     , u  = u *  t , x, u * = v * (t , x) = arg min H  t , x, . ∂x ∂x     u∈U m (50) Геометрический смысл условия (50) пояснен на рис. 3.8. Если функция V(t, x) найдена путем решения уравнения (45) с условием (46), то проблема синтеза решена, так как для известной функции V(t, x) имеем ∂V (t , x)   * u * = u *  t , x, (51)  = v (t , x) . ∂x   Рис. 3.8. Геометрический смысл условия min H (t , x, Vx , u) = min [Vx f (t , x, u)] : u∈U m u∈U m V (t , x) = min J [u (t )], Vx = u∈U m ∂V , n = m = 2, f 0 = 0, ∂x x& * – оптимальная фазовая скорость: x& * = f (t , x, u * ) ; u*(t, x) – оптимальное управление: u* = arg min H (t , x, Vx , u) ; u∈U m * x – оптимальная траектория Подобно тому, как принцип максимума Понтрягина придает удобную форму и уточняет условие Вейерштрасса (см. п. 9.3) для основной задачи оптимального программного управления в случае замкнутой области значений управления U m , так и уравнение Гамильтона–Беллмана является уточнением и обобщением уравнения Гамильтона–Якоби. Уточнение состоит в том, что вместо условия стационарности ∂H ∂u = 0 там, где оно не отвечает существу дела, в (45) используется условие ∂V   min H  t , x, , u . ∂x   u∈U m В приведенном условии (45) требование непрерывной дифференцируемости (гладкости) функции V(t, x) является существенным. Но в отличие от принципа максимума, где утверждается существование необходимой для него вектор-функции λ (t) , существование гладкого потенциала V(t, x) в методе динамического программирования не доказывается. Это снижает ценность необходимого условия (45), так как для негладкой функции V(t, x) трудно сохранить необходимость его в полном объеме [1]. 5.3. Ослабленное необходимое условие Уточненное необходимое условие для основной задачи оптимального координатного управления на основе принципа оптимальности, частично свободное от требования непрерывной дифференцируемости функции V(t, x), формулируется следующим образом. Формулировка задачи. Пусть краевые условия имеют вид x(t 0 ) = x 0 ; q(t1 , x(t1 )) = 0 . (52) Минимизируемый функционал имеет вид t2 J [t 0 , x 0 , u] = Φ (t1 , x(t1 )) + ∫ f 0 (t , x, u)dt (53) t1 и определен на траекториях системы (41) с управлением u(t ) ∈ U m (t , x) . Закон управления v(t, x) считается допустимым, если u(t) = v(t, x(t)), v(t , x(t )) ∈ U m (t , x) , и является кусочнонепрерывным. Если управление u = u*(t), t0 ≤ t ≤ t1 доставляет минимум функционалу J, то ему соответствует оптимальная траектория x*(t). Пусть t1   V (t0 , x 0 ) = min Φ (t1 , x(t1 )) + ∫ f 0 (t , x, u)dt  = u∈U m   t0  = Φ(t1 , x * (t1* )) + t1* ∫ f 0 (t, x (t ), u (t )) dt . * * (54) t0 Тогда t1 V (t 0 , x 0 ) ≤ Φ (t1 , x(t1 )) + ∫ f 0 (t , x(t ), u(t ))dt , t0 где u(t) произвольно. Необходимые условия. Предполагается, что искомое оптимальное управление u* = v*(t, x) существует. Тогда можно установить необходимые условия для основной задачи оптимального координатного управления. Пусть в области G пространства состояний X n выполняются следующие условия. 1. Для x ∈ G в момент t функция n ∂V ∂V   H  t , x, , u  = f 0 (t , x, u) + ∑ f i (t , x, u) ∂ x ∂   i =1 xi имеет абсолютный минимум по u, т.е. min H = H * (t , x, Vx ) при u * = v * (t , x) = u * (t , x, Vx ) u по всем допустимым u(t ) ∈ U m (t , x) , где Vx = ∂V ∂x – градиент V(t, x). 2. Решение x(t) системы (41) существует и является непрерывной функцией для всех допустимых u(t ) ∈ U m (t , x) . 3. Функция f 0 (t , x, u) непрерывна по t. 4. Функция Vt (t , x) = ∂V ∂t непрерывна по t и x; вектор-функции Vx (t , x) и f(t, x, u) либо непрерывны по t и x, либо имеют равные левый и правый пределы для скалярного произведения Vx f вдоль любой траектории x(t) системы (41): lim [Vx (t , x)f (t , x(t )), u(t ))] = lim [Vx (t , x)f (t , x(t ), u(t ))] . t →t 0 + 0 t →t 0 − 0 5. Существует оптимальное движение для каждого начального x0 ∈ G в некоторое состояние, удовлетворяющее условию q(t1 , x1 ) = 0 , и причем такое, что траектория не выходит из G. 6. Каждая точка в G, не удовлетворяющая условию q(t, x) = 0, имеет окрестность, целиком лежащую в G. Тогда функция V(t, x) в области G удовлетворяет уравнению Гамильтона–Беллмана или  dV   min   + f 0 (t , x(t ), u(t )) = 0 , u∈U m   dt  u   (55)   ∂V (t , x) min  + Vx (t , x)f (t , x, u) + f 0 (t , x, u) = m t ∂ u∈U   ∂V (t , x) = + min H (t , x,Vx (t , x), u) = ∂t u∈U m ∂V (t , x) + H * (t , x, Vx (t , x)) = 0 = ∂t (55') с граничным условием V (t , x) = Φ(t , x) (55") на гиперповерхности q(t, x) = 0. Здесь обозначено H * (t , x, Vx (t , x)) = min H (t , x, Vx (t , x), u) ; u∈U m  dV   dt  – полная производная вдоль траектории, реализуемой под действием управления u.  u Так как при известной функции V(t, x) u * = arg min H = u * (t , x,Vx (t , x)) = v * (t , x) , u∈U m то найденное решение V(t, x) уравнения (55) одновременно дает решение проблемы синтеза оптимального закона управления. Замечания.  dV  1. Требование 4 влечет за собой непрерывность функций   и V(t, x) по времени t.  dt  u 2. Когда Vt , Vx и fi непрерывны по t и x, уравнение (55) представляет собой уравнение Гамильтона–Якоби. Общая последовательность действий, которой целесообразно придерживаться при решении задачи синтеза оптимального закона управления методом динамического программирования, представлена в табл. 2. 2. Последовательность действий при использовании метода динамического программирования [1] Шаг Последовательность действий 1 Образуется функция H, в которой сопряженные переменные λ i заменяются на компоненты вектора  ∂V (t , x) ∂V (t , x) ∂V (t , x)  dV  , т.е. = grad xV (t , x) = Vx =  , ,..., ∂x2 ∂xn  dx  ∂x1 H (t , x, u,Vx ) = Vxf (t , x, u) + f 0 (t , x, u) 2 Минимизируется H (t , x, u,Vx ) по u ∈U m и находится явная зависимость управления u* от компонент вектора Vx : u * = u * (x, Vx , t ) = arg min H (t , x, u, Vx ) u∈U m 3 Находится минимальное значение H* путем подстановки в H значения u * (t , x, Vx ) : H * (t , x,Vx ) = H (t , x, u * (t , x, Vx ),Vx ) 4 Решается дифференциальное уравнение в частных производных Гамильтона–Беллмана H * (t , x, Vx ) + ∂V =0 ∂t с соответствующим граничным условием для функции V(t, x) V (t , x) = Φ (t , x) на гиперповерхности q(t, x) = 0 5 Подставляя результаты шага 4 в выражение для u * (t , x, Vx ) , получаем закон управления с обратной связью ∂V (t , x)   u * = v * (t , x) = u *  t , x,  ∂x   5.4. Сводка общих процедур метода динамического программирования для вычисления оптимального закона управления u* = v*(t, x) [1] П р и м е р 2. Синтез оптимального закона управления для линейной системы с квадратичным критерием качества. Проблема аналитического конструирования оптимальных автопилотов. Пусть нестационарная линейная система описывается векторным линейным дифференциальным уравнением x& = A t )x + B (t) u + Cf (t) ( с начальным условием x(t 0 ) = x; t 0 ≤ t ≤ t1 , (I) (II) где t1 – фиксировано; t 0 , x 0 – известные величины (которые, однако, специально не выбираются), и пусть критерий качества имеет вид 1 T x1 R1x1 + 2 t1 l T (t ) x(t ) + l T (t )u +  2 3 dt . + ∫ 1 T + (x Q(t )x + x T N (t )u + u T N T (t )x + u T P (t )u) t0   2  J [u] = l1T x1 + (III) Здесь x = ( x1 , x2 , ..., xn )T ; f = ( f1 , ..., f n )T ; C, A(t) – матрицы размерности n × n; u = (u1 , ..., u m )T , x1 = x(t1 ) ; B(t), N(t) – матрицы размерности n × m; R1 , Q(t ) – положительно полуопределенные симметричные матрицы размерности n × n; P(t) – положительно определенная симметричная матрица размерности m × m; P(t) – известная функция времени; l1 , l 2 (t ) , l1 , l 2 (t ) – n-мерные векторы; l 3 (t ) – m-мерный вектор. Напомним, что симметричная матрица Q называется положительно полуопределенной, если все ее собственные значения неотрицательны или если соответствующая ей квадратичная форма неотрицательна, т.е. xT Qx ≥ 0 для всех x = ( x1 , x2 , ..., x n )T ≠ 0 . Для того чтобы матрица Q была положительно полуопределенной, необходимо и достаточно, чтобы все главные (а не только угловые!) миноры были неотрицательны:  i i ... i p   ≥ 0 (1 ≤ i1 < i2 < ... < i p ≤ n; p = 1, n) . Q 1 2   i1 i2 ... i p  Предполагается, что на значения управляющего вектора u не накладывается каких-либо ограничений, а матрицы Q(t), N(t), P(t) таковы, что выполняется условие Q(t ) − N (t ) P −1 (t ) N T (t ) ≥ 0 (это условие гарантирует отсутствие сопряженных точек в данной задаче). Необходимо найти закон управления с обратной связью u* = v*(x, t), минимизирующий критерий J[u]. Заметим, что значения вектора фазовых координат x при t = t1 не заданы (т.е. рассматриваемая задача относится к числу задач оптимального управления со свободным правым концом). Пусть V(t, x) – минимальное значение критерия качества J[u] при движении системы (I) из произвольной начальной точки (t, x) (нижний индекс «0» опущен) на отрезке времени [t , t1 ], t ≤ t1 : J * = J minV (t , x) = min J [u] . u При решении задачи методом динамического программирования целесообразно руководствоваться последовательностью действий, изложенной в сводке общих процедур (см. табл. 2). В соответствии с табл. 2 составляем функцию H (t , x, λ , u) (гамильтониан) для данной задачи H (t , x, λ , u) = f 0 (t , x, u) + λ T f (t , x, u) = l T2 x + l T3 u + + 1 T (x Qx + xT Nu + u T N T x + u T Pu) + λ T ( Ax + Bu + Cf ) 2 и заменяем сопряженный вектор λ T на градиент Vx (t , x) (градиент ∂V (t , x) = Vx (t , x) функции V (t , x) считается вектором∂x строкой) функции V(t, x) по x: H (t , x,Vx , u) = l T2 x + l T3 u + 1 T (x Qx + 2xT Nu + u T Pu) + Vx ( Ax + Bu + Cf ) . 2 Дифференциальное уравнение Гамильтона–Беллмана (45) в данном случае имеет вид 1 T  T T T T ∂V l 2 x + l 3 u + (x Qx + 2x Nu + u Pu) +  + min  2 =0, u ∂t  + Vx ( Ax + Bu + Cf )   (IV) где функция V(t, x) удовлетворяет граничному условию (55"): V (t1 , x) = l 1T x + 1 T x R1x . 2 (V) Поскольку, по предположению, P(t) – положительно определенная матрица, то минимум H (t , x, Vx , u) достигается в стационарной точке, где ∂H = 0. ∂u u* = arg min H (t , x, Vx , u) = − P −1[l 3 + N T x + B T VxT ] . (VI) u Подставляя теперь полученное выражение для u* в (VI), находим окончательный вид основного дифференциального уравнения динамического программирования (в данном случае это будет дифференциальное уравнение Гамильтона–Якоби, так как u* найдено из условия стационарности H): 1 1 ∂V + Vx Ax − Vx BP −1l 3 − Vx BP −1 N T x − Vx BP −1B T VxT + 2 2 ∂t 1 1 + VxCf + l T2 x − l T3 P −1l 3 − l T3 P −1 N T x − l 3 P −1B T VxT + 2 2 1 T 1 T + x Qx − x NP −1 N T x = 0. 2 2 (VII) Доказано, что в линейных системах с квадратичным критерием качества при сделанных предположениях относительно матриц Q(t), P(t), N(t), R1 решение уравнения (VII) с краевым условием (V) существует и его можно искать в виде V (t , x) = 1 T x R (t )x + q T (t )x + r (t ) , 2 (VIII) где R(t) – симметричная матрица размерности n × n; q(t) – n-мерный вектор; r(t) – скаляр. Частные производные функции V(t, x), записанной в форме (VIII), имеют вид ∂V (t , x) 1 T & = x R (t )x + q& T (t )x + r&(t ) ; ∂t 2 (IX) T ∂V (t , x)  ∂V (t , x)  VxT (t , x) =  = xT R + qT . (X)  = R(t )x + q(t ); x ∂ x ∂   Подставляя выражения (IX) и (X) в уравнение (VII) и учитывая, что: 1) при одновременном умножении произвольной матрицы М слева и справа на вектор x имеет место соотношение 1 1 T x Mx = xT ( M + M T )x (т.е. происходит выделение симметричной части ( M + M T ) матрицы М); 2 2 2) скалярное произведение обладает свойством транспонируемости y T b = b T y , получим 1 T & x [ R + R ( A − BP −1 N T ) + ( A − BP −1 N T )T R + Q − NP −1 N T − 2 − RBP −1B T R]x + [q& T + qT ( A − BP −1 N T ) − l T3 P −1B T R − qT BP −1B T R − − l T3 P −1 N T + l T2 + (Cf )T R ]x + r& − − 1 T −1 l3 P l3 = 0 . 2 1 T −1 T q BP B q − l T3 P −1B T q + qT Cf − 2 (XI) Поскольку условие (XI) должно выполняться тождественно для любых значений x и поскольку при t = t1 для любых значений x должно выполняться тождественно следующее соотношение [см. (V) и (VIII)] 1 1 T x R (t1 )x + q T (t1 )x + r (t1 ) = xT R1x + l1T x , 2 2 то для определения матрицы R(t), вектора q(t) и скаляра r(t) получаем следующие уравнения и граничные условия: 1) R& + R ( A − BP −1 N T ) + ( A − BP −1 N T )T R − RBP −1 B T R + Q − − NP −1 N T = R& + RA + AT R − ( RB + N ) P −1 ( N T + B T R ) + Q = 0; (XII) R (t1 ) = R1. (XII') 2) q& T + qT ( A − BP −1 N T ) − l T3 P −1 BT R − qT BP −1B T R − − l T3 P −1 N T + l T2 + (Cf )T R = 0 ; qT (t1 ) = l1T . (XIII) (XIII') 3) 1 1 r& − q T BP −1 B T q − l T3 P −1 B T q + q T Cf − l T3 P −1l 3 = 0 ; 2 2 r (t1 ) = 0 . (XIV) (XIV') Полученные уравнения следует интегрировать в обратном времени от t = t1 к t = t0 . Оптимальный закон управления с обратной связью имеет вид u * (x, t ) = − P −1 (t )[ B T (t ) R(t ) + N T (t ))x + B T (t )q(t ) + l 3 (t )] . (XV) Решения некоторых других задач оптимального управления для линейных систем с квадратичным критерием качества приведены в табл. 3. В пп. 1 – 7 (строках 1 – 7) этой таблицы приведены постановка и решения задачи синтеза оптимального закона управления при свободных граничных условиях на правом конце траектории, а в п. 8 – постановка и решение задачи при заданных граничных условиях на правом конце. В пп. 1 – 6, 8 рассматриваются однородные линейные системы, в п. 7 – неоднородная линейная система. В п. 1 дано решение задачи синтеза для нестационарной линейной системы и нестационарного квадратичного критерия качества при фиксированном конечном интервале времени процесса управления, в п. 2 – для стационарной (независящей явно от t) системы и стационарного критерия качества при фиксированном конечном интервале времени процесса управления, в п. 3 – для стационарной системы и стационарного критерия качества на неограниченном интервале времени ( [0, ∞ ] ), в п. 4 – для нестационарной системы и нестационарного квадратичного критерия более общего вида, чем в пп. 1 – 3 (критерий содержит перекрестные члены типа xT Nu ). В п. 5 приведено решение задачи, которая в определенном смысле эквивалентна задаче п. 4 (см. 5-й столбец таблицы), в п. 6 дано решение для оптимизации отклонения системы от заданного желаемого поведения, в п. 7 рассмотрен случай синтеза оптимального закона управления для неоднородной линейной системы, в п. 8 – синтез оптимального закона управления при заданных граничных условиях на правом конце и квадратичном критерии более общего вида. Некоторые из приведенных в табл. 3 решений (пп. 1 – 4, 6, 7) являются частными случаями рассмотренной выше задачи. . 6. НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ УПРАВЛЕНИЯ В ЗАДАЧАХ С ОГРАНИЧЕНИЯМИ ТИПА НЕРАВЕНСТВ, СОДЕРЖАЩИМИ ТОЛЬКО ФАЗОВЫЕ КООРДИНАТЫ x В технических приложениях имеется ряд задач, когда при формировании оптимальной траектории необходимо учитывать ограничения на область допустимых значений фазовых координат. Например, при наборе самолетом высоты или при рассмотрении траекторий спуска [1] q= ρ(h(t ))v 2 (t ) ≤ qзад , 2 т.е. q(h(t ), v(t ), t ) − q зад ≤ 0 . При движении ЛА типичными также являются ограничения на допустимые значения высоты полета h и массы m ЛА: h(t) ≥ 0; m(t) ≥ m. В общем случае ограничения указанного типа можно записать в виде φ(t , x) ≥ 0 , (72) где φ = (φ1 , φ 2 , ..., φ µ1 )T ; x = ( x1 , x2 , ..., xn )T . 6.1. Краткая формулировка задачи Пусть эволюция рассматриваемой системы S описывается векторным дифференциальным уравнением dx = f (t , x, u) , dt (73) где f = ( f1 , f 2 , ..., xn )T ; x = ( x1 , x2 , ..., xn )T ; u = (u1 , u 2 , ..., u m )T ; u ∈ U m ; U m – некоторая замкнутая и ограниченная область в пространстве R m . Заданы: • начальное значение x(t 0 ) = x 0 , • интервал времени [t0 , t1 ] , • критерий качества J [u] = Φ (t1 , x(t1 )) + (74) t1 ∫ f 0 (t, x, u)dt . (75) t0 Необходимо найти такое кусочно-непрерывное управление u(t ) ∈ U m , которое переводит начальное условие (t 0 , x 0 ) в некоторую конечную точку (t1 , x(t1 )) , удовлетворяющую условиям q(t1 , x(t1 )) = 0, q = (q1 , q 2 , ..., ql )T , (76) l < n + 1, и минимизирует функционал J[u] на траекториях, удовлетворяющих условиям φ(t , x) ≥ 0, φ = (φ1 , φ 2 , ..., φ µ1 )T . (76') Здесь значения функции φi не зависят явно от управления u. Предполагается, что t , f 0 , φ обладают непрерывными производными до второго порядка [1]. 6.2. Необходимые условия оптимальности В постановке п. 7.1 вся оптимальная траектория полета в общем случае может состоять из двух типов участков: участков, целиком лежащих внутри допустимой области, и участков, лежащих на границе допустимой области (рис. 10). Количество таких участков и их чередование зависит от конкретной задачи и граничных условий. На участках, целиком расположенных внутри допустимой области, условия (72) выполняются в виде строгих неравенств φ t , x) > 0 . ( Для этих участков справедлив принцип максимума, сформулированный в п. 4.3. На участках, лежащих на границе допустимой области, одно или несколько условий типа (72) выполняются в виде равенств. Эти участки называются граничными, для них принцип максимума п. 4.3 уже не справедлив. Наличием этих участков данная задача и отличается от задач п. 4.1. Известно несколько эквивалентных подходов к получению необходимых условий оптимальности для участков, расположенных на границе φ(t , x) = 0 . Будучи эквивалентными, эти подходы ведут к различным вычислительным процедурам получения решения [1]. Рис. 10. Типы возможных оптимальных траекторий в задачах с ограничениями на фазовые координаты: а – г – случаи, когда допустимые траектории располагаются внутри некоторой области (не обязательно замкнутой); а – траектория, целиком лежащая внутри допустимой области; б – траектория, имеющая с границей области одну общую точку (типа отражения от границы); в – траектория, целиком лежащая на границе; г – траектория, частично расположенная на границе; д – з – случаи, когда допустимые траектории располагаются вне некоторой области; д – случай двух траекторий, доставляющих относительный минимум в задаче о кратчайшем пути на плоскости; е – случай невыпуклой запрещенной области, траектории с несколькими участками входа и схода; ж – 1–2 – траектория, не имеющая общих точек с границей; 1–3 – траектория, имеющая одну общую точку (касание) с границей; з – случай негладкой границы допустимой области; 1 – начальная точка траектории; 2 – конечная точка траектории; 1' – точка входа на границу; 2' – точка схода с границы Рассмотрим случай одного скалярного ограничения вида φ i (t , x) ≥ 0 . 6.3. Первый тип необходимых условий оптимальности для граничных участков траектории Для простоты рассматривается случай, когда лишь одно из ограничений типа (72) выполняется в виде равенства (например, ограничение φ1 ). Пусть это ограничение φ1 (t , x) = 0 (77) таково, что полная производная по времени dφ1 (t , x) ∂φ1 ∂φ1 ∂φ  ∂φ  x& = 1 +  1 f (t , x, u) + = dt ∂t  ∂x  ∂x ∂t (78) содержит управление u явно. Необходимое и достаточное условие того, что (77) имеет место на некотором ненулевом отрезке [t1′ , t 2′ ] , вводится в уравнение dφ (t , x) ∂φ1  ∂φ1  + φ& 1 = 1 =  f (t , x, u) = φ& 1 (t , x, u) = 0 ∂t  ∂x  dt (79) H 1 = H + βφ& 1 (t , x, u) , (80) Составляется гамильтониан H1 для граничных участков где H = λ0 f0 + n ∑ fiλi ; i =1 β = 0 на участках, где φ1 > 0; β ≠ 0 на участках, где φ1 = 0 . Теперь необходимые условия для граничного участка совпадают с необходимыми условиями п. 8.3 с заменой в условиях (95), (97), (101) функции ℵ на φ& 1 . Отличие этой задачи от задачи п. 8.2 заключается в условиях, накладываемых на переменные в точках выхода траектории на границу и схода с нее. В этих точках сопряженные переменные λ i (t ) могут претерпевать разрывы. Если имеется всего два участка, то сопряженные переменные непрерывны. При этом условие φ1 (t , x) = 0 может толковаться либо как связь, наложенная на начальные значения (t 0 , x 0 ) , либо как связь, наложенная на конечные значения (t1 , x1 ) , в зависимости от порядка следования участков с φ1 > 0 и φ1 = 0 . При трех участках, если сначала идет граничный участок, затем участок с φ1 > 0 и далее снова граничный участок, множители тоже непрерывны вдоль всей траектории. При всех других порядках следования участков, если последних больше трех, сопряженные переменные имеют разрыв типа скачка. Этот скачок в значениях λ i (t ) можно осуществить на любом конце граничного участка, при этом на другом конце множители уже могут быть выбраны непрерывными (выбор конца, на котором происходит скачок, не имеет значения). Если этот конец выбран в момент времени t 2′ , то условия скачка имеют вид λ + (t 2 ) = λ − (t 2 ) − C ∂φ1 (t 2 ) ; ∂x H + (t 2′ ) = H −1 (t 2′ ) + C φ1− (t 2′ ) = 0 , ∂φ1 (t 2′ ) ; ∂t (81) (82) (83) где С – произвольная постоянная; индексы «+» и «–» обозначают пределы справа и слева, соответственно. Если условия (81) подставить в (82), то коэффициент при С будет φ& 1 и, таким образом, условие (82) не зависит от С, а содержит только значения λ− (t 2′ ) . После указанной подстановки уравнение (82) может быть использовано в качестве эквивалентного необходимого условия. В данной задаче решение x(t ), λ (t ) не зависит от λ i 0 , С как от параметров x = x(t , λ i 0 , C ); λ = λ (t , λ i 0 , C ) . В каждой точке разрыва непрерывности сопряженных переменных должна добавляться новая константа С. Величина С не может быть определена заранее из необходимых условий и является дополнительным параметром, определяющим точку схода. Поскольку число граничных участков заранее неизвестно, задача становится проблемой с переменным числом параметров, что существенно усложняет ее практическое решение даже с помощью ЭВМ. П р и м е р 3. Пусть имеются три участка оптимальной траектории, следующие в таком порядке: 1 участок – траектория в открытой области, φ1 > 0 ; 2 участок – граничная траектория, φ1 = 0 ; 3 участок – снова траектория в открытой области, φ1 > 0 . Необходимые условия в конечной точке дают (n + 1) уравнение относительно (n + 2) неизвестных λ i 0 , t1 , C . Условия (82), (83) и β(t 2′ + 0) = 0 (84) определяют точку t 2′ и дают дополнительное уравнение относительно неизвестных λ i 0 , t1 , C . Задача, таким образом, свелась к нахождению решения (n + 2) уравнений с (n + 2) неизвестными. Если участков больше, чем три, задача сводится к многоточечной краевой проблеме [1]. 6.4. Второй тип необходимых условий для оптимальности управления на граничных участках Пусть tвх – момент входа траектории на границу допустимой области, tсх – момент схода с этой границы. Гамильтониан H 2 для граничных участков может быть представлен в следующем виде: H 2 = λ0 f0 + n ∑ λ i f i + β1φ1 + β 2φ& 1 = H + β1φ1 + β 2 φ& 1 , i =1 где β1 = β2 = 0, если φ1 > 0 ; β1 ≠ 0, β 2 ≠ 0 , если φ1 = 0 , а φ& 1 определяется правой частью соотношения (78). На граничном участке (т.е. при t вх ≤ t ≤ t сх ) вдоль оптимальной траектории выполняются условия t T  ∂H 2   ∂H 2  x& =   , λ& = −  , φ1 = 0, φ& 1 = 0 .  ∂λ   ∂x  (85) Оптимальное управление на граничном участке определяется из условия минимума H по u ∈ U1m (t , x) , где U1m (t , x) – та часть значений u из области U m , которая удовлетворяет условию φ1 (t , x, u) = 0 . Если минимум H по u в области U1m (t , x) достигается в ее внутренней точке, то ∂H 2 ∂H ∂ & = (φ(t , x, u)) = 0, φ1 (t , x) = 0, φ& 1 (t , x, u) = 0 . + β2 ∂u ∂u ∂u Значения вектора λ и гамильтониана H 2 непрерывны в точке входа на границу допустимой области: λ (t вх + 0) = λ (t вх − 0); H 2 (t вх + 0) = H 2 (t вх − 0) . Остальные недостающие граничные условия могут быть найдены из общих условий трансверсальности (см. п. 4.3). В частности, из этих условий следует, что при t = t1  ∂L  λ (t1 ) =    ∂x  T ; L = Φ (t1 , x(t1 )) + µ T q(t1 , x(t1 )) ; t = t1 ∂L + H 2 (t1 ) = 0 (если t1 – не задано). ∂t1 Кроме того, к этим условиям надо добавить заданное граничное условие (76): q(t1 , x(t1 )) = 0 . СПИСОК ЛИТЕРАТУРЫ 1. Громов Ю.Ю., Земской Н.А., Лагутин А.В., Иванова О.Г., Тютюнник В.М. Специальные разделы теории управления. Оптимальное управление динамическими системами. Учебное пособие. Тамбов. Издательство ТГТУ, 2004. 2. Болтянский, В.Г. Математические методы оптимального управления / В.Г. Болтянский. - М. : Наука, 1969. - 408 с. 3. Беллман, Р. Динамическое программирование / Р. Беллман. - М., 1960. - 326 с. 4. Федоренко, Р.П. Приближенное решение задач оптимального управления / Р.П. Федоренко. - М. : Наука, 1978. – 488 с. 5. Поляк, Б.Т. Методы линеаризации при наличии ограничений / Б.Т. Поляк // Итоги науки и техники. Матем. анализ Е. 2 / ВИНИТИ. - М., 1974. - С. 147 - 148. 6. Поляк, Б.Т. Методы решения задач на условный экстремум при наличие случайных помех / Б.Т. Поляк // ВМ и МФ. - М., 1979. - Т. 19, № 1. - С. 147 - 148. 7. Полак, Э. Численные методы оптимизации. Единый подход / Э. Полак. - М. : Мир, 1974. - 374 с. 8. Эльсгольц, Л.Э. Дифференциальные уравнения и вариационное исчисление / Л.Э. Эльсгольц. - М. : Наука, 1969. - 424 с. 9. Цлаф, Л.Я. Вариационное исчисления и интегральные уравнения / Л.Я. Цлаф. - М. : Наука, 1970. - 191 с. 10. Петров, Ю.П. Вариационные методы теории управления / Ю.П. Петров. - М. : Наука, 1973. 11. Цирлин, А.М. Вариационные методы оптимизации управляемых объектов / А.М. Цирлин, В.С. Балакирев, Е.Г. Дудников. - М. : Наука, 1984. 12. Калихман, И.А. Динамическое программирование в примерах и задачах / И.А. Калихман. - М. : Высшая школа, 1979. - 125 с. 13. Карпенко А.П. Курс лекций: Методы оптимизации. bigor.bmstu.ru/?cnt/?doc=MO/base.cou 14. Черноусько Ф.Л., Баничук Н.В. Вариационные задачи механики и управления: Численные методы. М.: Наука, 1973. 238 с