Теорія оптимального управління

Оптимальне управління — вибір і здійснення найкращої програми дій для досягнення бажаного стану керованого об'єкта (виходячи з його певного початкового стану) впливом на параметри управління. Критерієм ОУ можуть бути різні технічні, економічні та інші показники функціонування об'єкта. ОУ має теоретичні, обчислювальні та прикладні аспекти. Поведінка об'єкта описується математично, рівняннями. Математична теорія ОУ розглядає некласичні варіаційні задачі. При розв'язанні задач ОУ застосовують ідеї динамічного програмування. Оптимальне управління можливе лише на основі взаємозв'язку економіко-математичних моделей та ітеративного людино-машинного процесу і їхньої узгодженості. ОУ сприяє успішному розв'язанню науково-технічних і господарських завдань на базі раціонального використання наявних ресурсів. Основою ОУ є оптимальне планування, головною умовою якого є порівняння очікуваних результатів і затрат при розподілі ресурсів на розв'язання найважливіших соціально-економічних проблем та при розподілі виробничих завдань і ресурсів між галузями. ОУ забезпечує випуск заданого обсягу продукції з найменшими затратами або максимізацію економічного результату, узгодженість економічних інтересів, наближення господарської діяльності до економічного оптимуму.

Для розв'язання задачі ОУ будується математична модель об'єкта або процесу, яким управляють, яка буде проводити опис його поведінки з плином часу під впливом управляючих факторів. Математична модель для задачі ОУ включає в себе: формулювання мети управління, що виражається через критерій якості; визначення диференціальних рівнянь, які описують усі можливі способи руху об'єкту управління; задання обмежень на ресурси, які можна використовувати, у вигляді нерівностей або рівнянь.

При ОУ ієрархічними багаторівневими системами, наприклад, великими хімічними виробництвами, металургійними та енергетичними комплексами, використовуються багатоцільові та багаторівневі ієрархічні системи ОУ. В математичну модель вводяться критерії якості управління для кожного рівня управління і для всієї системи в цілому, а також координація дій між рівнями управління.

Якщо управляємий об'єкт або процес є детермінованим, то для його опису використовуються диференціальні рівняння. Найбільш часто використовуються звичайні диференціальні рівняння виду ${\dot {x}}(t)=a[x(t),u(t),t]$. У більш складних математичних моделях для опису об'єкта використовуються диференціальні рівняння з частинними похідними. Якщо управляємий об'єкт є стохастичним, то для його опису використовуються стохастичні диференціальні рівняння.

Якщо рішення поставленої задачі ОУ не є неперервно залежним від початкових даних (некоректна задача), то така задача розв'язується спеціальними чисельними методами.

Система оптимального управління, яка може накопичувати досвід і шляхом цього покращувати свою роботу, називається системою з можливістю навчання оптимального управління.

Реальна поведінка об'єкта або системи завжди відрізняється від програмного за рахунок неточності у початкових даних, неповної інформації про зовнішні фактори, які впливають на об'єкт, неточності реалізації програмного управління тощо. Тому для мінімізації відхилення поведінки об'єкти від оптимального зазвичай використовується система автоматичного керування.

Іноді в початкових даних та інформації про управляємий об'єкт при поставленні задачі ОУ міститься невизначена або нечітка інформація, яка не може бути використана традиційними якісними методами. В таких випадках можна використовувати алгоритми ОУ на основі математичної моделі нечітких множин (Нечітке керування). Поняття, що використовується приймають нечітку форму, визначаються нечіткі правила виводу прийнятих рішень, потім здійснюється обернене перетворення нечітких прийнятих рішень у фізичні змінні.

Оптимальне управління детермінованими системами

Системи зі звичайними параметрами

Найбільш широко при проектуванні систем управління детермінованими об'єктами зі звичайними параметрами, які описуються звичайними диференціальними рівняннями, використовуються наступні методи: варіаційне числення, динамічне програмування Річарда Беллмана та принцип максимуму Понтрягіна.

Задача оптимального управління

Сформулюємо задачу оптимального управління:

• Рівняння стану: ${\dot {x}}(t)=a[x(t),u(t),t]$ (1).
• Граничні умови $x(t_{0})=x_{0}^{*}$, $x(t_{1})=x_{1}^{*}$ (2).
• Функціонал, що мінімізується: $\eta =\int _{t_{0}}^{t_{1}}F[x(\tau ),{\dot {x}}(\tau ),\tau ]d\tau ,$.

тут $x(t)$ — вектор стану $u(t)$ — управління, $t_{0},t_{1}$ — початковий та кінцевий моменти часу.

Задача оптимального управління полягає в знаходженні функцій стану $x(t)$ та управління $u(t)$ для часу $({t_{0}}\leqslant {t}\leqslant {t_{1}})$, які мінімізують функціонал.

Варіаційне числення

Розглянемо цю задачу оптимального управління як задачу Лагранжа варіаційного числення. Для знаходження необхідних умов екстремуму, треба застосувати теорему Ейлера-Лагранжа. Функція Лагранжа $\Lambda$ має вигляд: $\Lambda =\int _{t_{0}}^{t_{1}}(F[x(t),{\dot {x}}(t),t]+\lambda _{1}^{T}(t)({\dot {x}}(t)-a[x(t),u(t),t]))dt+l$, де $l=\lambda _{2}^{T}(x(t_{0})-x_{0}^{*})+\lambda _{3}^{T}(x(t_{1})-x_{1}^{*})$ — граничні умови. Лагранжиан $L$ має вигляд: $L[x(t),{\dot {x}}(t),u(t),\lambda (t),t]=F[x(t),{\dot {x}}(t),t]+\lambda _{1}^{T}(t)({\dot {x}}(t)-a[x(t),u(t),t])$, де $\lambda _{1}$, $\lambda _{2}$, $\lambda _{3}$ — n-вимірного вектора множників Лагранжа.

Необхідні умови екстремуму, згідно цій теоремі, мають вигляд:

• стаціонарність по u: ${\hat {L}}_{u}=0$, (3)
• стаціонарність по x, рівняння Ейлера: ${\hat {L}}_{x}-{\frac {d}{dt}}{\hat {L}}_{c{\dot {x}}}=0$ (4)
• трансверсальність по x: ${\hat {L}}_{\dot {x}}(t_{0})={\hat {l}}_{x(t_{0})}$, ${\hat {L}}_{\dot {x}}(t_{1})=-{\hat {l}}_{x(t_{1})}$ (5)

Необхідні умови (3-5) складають основу для визначення оптимальних траєкторій. Записавши ці рівняння, отримаємо граничну задачу, де частина граничних умов задана у початковий момент часу, а останні граничні умови — в кінцевий момент. Методи рішення подібних задач детально розглядаються.

Принцип максимуму Понтрягіна

Необхідність принципу максимуму Понтрягіна виникає у випадку, коли в допустимому діапазоні управляюча змінна не може задовольнити необхідну умову (3), а саме ${\hat {L}}_{u}=0$.

У цьому випадку умова (3) замінюється на умову (6):

${\begin{aligned}\min _{u\in U}L(t,x(t),{\dot {x}}(t),u)&=L(t,{\hat {x}}(t),{\dot {x}}(t),{\hat {u}})\Longleftrightarrow \\&\Longleftrightarrow \min _{u\in U}\left(F(t,x(t),u)-\lambda (t)a(t,x(t),u)\right)=f(t)-\lambda (t)a(t).\end{aligned}}$ (6)

У цьому випадку, згідно з принципом максимуму Понтрягіна, значення оптимального управління дорівнює значенню управління на одному з кінців допустимого діапазону. Рівняння Понтрягіна записують за допомогою функції Гамільтона Н, яка визначається з відношення $H=F(t,x(t),u)-\lambda (t)a(t,x(t),u)$. Із рівнянь випливає, що функція Гамільтона H пов'язана з функцією Лагранжа L наступним чином: $L=H+\lambda (t){\dot {x}}(t)$. Підставляючи L із останнього рівняння в рівняння (3-5), отримаємо необхідні умови, які тепер виражаються через функцію Гамільтона:

• рівняння управління по u: ${\hat {H}}_{u}=0$, (7)
• рівняння стану: ${\dot {x}}=-{\hat {H}}_{\lambda }$, (8)
• спряжене рівняння: ${\dot {\lambda }}={\hat {H}}_{x}$, (9)
• трансверсальність по x: $\lambda (t_{0})={\hat {l}}_{x(t_{0})}$, $\lambda (t_{1})=-{\hat {l}}_{x(t_{1})}$ (10)

Необхідні умови, що записані в такій формі, називаються рівняннями Понтрягіна.

Де застосовується

Принцип максимуму особливо корисний в системах управління з максимальною швидкодією та мінімальним споживанням енергії, де використовуються рівняння релейного типу, які приймають крайні, а не проміжні значення на допустимому інтервалі управління.

Історія

За розробку теорії оптимального управління Л. С. Понтрягіну та його співробітникам В. Г. Болтянському, Р. В. Гамкрелідзе, та Е. Ф. Міщенко у 1962 році була присуджена Ленінська премія.

Метод динамічного програмування

Метод динамічного програмування побудований за принципом оптимальності Беллмана, який формулюється наступним чином: оптимальна стратегія управління характеризується властивістю, що, який би не був початковий стан та управління на початку процесу, наступні управління повинні складати оптимальну стратегію управління відносно стану, отриманого після початкової стадії процесу.

Достатні умови оптимальності

Достатні умови оптимальності керованих процесів були запропоновані В. Ф. Кротовим, на основі яких були побудовані обчислювальні алгоритми послідовного покращення, які дозволяють знаходити глобальний оптимум у задачах управління.

Оптимальне управління системами з розподіленими параметрами

У задачах оптимального управління такими об'єктами, як прохідна нагрівна пічь, теплообмінний апарат, установка для нанесення покриттів, сушильний агрегат, хімічний реактор, установка для розділення сумішей, доменна піч або мартенівська піч, коксова батарея, прокатний стан, індукційна піч тощо, процес, що підлягає керуванню, описується за допомогою диференціальніх рівнянь у частинних похідних, інтегральними рівняннями та інтегрально-диференційними рівняннями.

Теорія оптимального управління у цьому випадку розроблена лише для окремих випадків таких рівнянь: еліптичного, параболічного та гіперболічного типу.

У деяких простих випадках вдається отримати аналог принципу максимума Понтрягіна.

Задача оптимального управління

• Задана область визначення управляємого процесу $0\leqslant x\leqslant a,0\leqslant y\leqslant b$
• Рівняння, що описують управляємий процес: ${\frac {\partial ^{2}Q_{i}}{\partial x\partial y}}=f_{i}(x,y,Q,{\frac {\partial Q}{\partial x}},{\frac {\partial Q}{\partial y}},u);(1)$ , де $Q$ — $n$-вимірний вектор, який описує управляємий процес, ${\frac {\partial Q}{\partial x}}$ — $n$-вимірний вектор похідних вектора $Q$ за координатою $x$, ${\frac {\partial Q}{\partial y}}$ — $n$-вимірний вектор похідних вектора $Q$ за координатою $y$, $u$ — $r$-вимірний управляючий вектор.
• Граничні умови для управляємого процесу: $Q_{i}(0,y)=\phi _{i}(y);Q_{i}(x,0)=\psi _{i}(x);i=1,...,n;(2)$
• Задача оптимального управління полягає в тому, щоб знайти таке управління $u(x,y)$, при якому допустиме рівняннями $(1),(2)$ рішення $Q(x,y)$ приводило до максимуму функціонал $J=\sum _{i=1}^{n}c_{i}Q_{i}(a,b)$.

Принцип максимуму для систем з розподіленими параметрами

Введемо функцію Гамільтона, щоб сформулювати принцип максимуму для систем з розподіленими параметрами: $H(N,Q,{\frac {dQ}{dx}},{\frac {dQ}{dy}},u)=\sum _{i=1}^{n}N_{i}f_{i}(x,y,Q,{\frac {dQ}{dx}},{\frac {dQ}{dy}},u)$, де допоміжні функції $N_{1}(x,y),...,N_{n}(x,y)$ повинні задовольняти рівнянням ${\frac {dN_{i}}{dxdy}}={\frac {H}{Q_{i}}}-{\frac {d}{dx}}{\frac {dH}{dQ_{ix}}}-{\frac {d}{dy}}{\frac {dH}{dQ_{iy}}}(2)$ та граничним умовам ${\frac {dN_{i}}{dx}}=-{\frac {dH}{dQ_{iy}}}$ при $y=b(3)$, ${\frac {dN_{i}}{dy}}=-{\frac {dH}{dQ_{ix}}}$ при $x=a(4)$, $N_{i}(a,b)=-c_{i}(5)$.

Якщо $u^{0}(x,y)$ - оптимальне управління, $Q^{0}(x,y),N^{0}(x,y)$ - отримуємо при оптимальному управлінні функції, і воно задовольняє рівнянням $(1),(2),(3),(4),(5)$, то функція $H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)$, яку ми розглядаємо як функцію від аргументу $u$ досягає максимуму в області $\omega$ при $u=u^{0}(x,y)$, тобто, майже для всіх точок $(x,y)\in D$ виконується рівність $\max _{u\in \omega }H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)=H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)$

Якщо система $(1)$ є лінійною системою виду ${\frac {d^{2}Q_{i}}{dxdy}}=\sum _{k=1}^{n}{\Bigl [}m_{ik}(x,y){\frac {dQ_{k}}{dx}}+p_{ik}(x,y){\frac {dQ_{k}}{dy}}+q_{ik}(x,y)Q_{k}{\Bigr ]}+f_{i}(u)$, то виконується теорема

Для оптимальності управління $u(x,y)$ у лінійному випадку необхідно і достатньо, щоб виконувався принцип максимуму.

Оптимальне управління стохастичними системами

У такому випадку управляємий об'єкт або процес описується стохастичними диференціальними рівняннями. В цьому випадку розв'язання задачі оптимального управління будується на розв'язанні рівняння Ріккаті.

Задача оптимального управління

• Система описується стохастичними диференціальними рівняннями $dx=Axdt+Budt+dv,dy=Cxdt+de$, де $x$ — $n$-вимірний вектор стану, $u$ — $p$-вимірний вектор управління, $y$ — $v$-вимірний вектор змінних, які відстежуються, $v(t),e(t)$ — незалежні вінерівські процеси з нульовими середніми значеннями та заданими коваріаціями приростів, $A,B,C$ — матриці.
• Необхідно знайти оптимальне управління, яке буде мінімізувати математичне сподівання функції втрат $x^{T}(t_{1})Q_{0}x(t_{1})+\int _{t_{0}}^{t_{1}}[x^{T}(t)Q_{1}x(t)+u^{T}Q_{2}u(t)]dt]$.

Див. також

• Бізнес-симуляція
• Система керування
• Теорія автоматичного керування
• Правило Кейнса — Ремзі

Джерела

• ОПТИМАЛЬНЕ УПРАВЛІННЯ [Архівовано 4 березня 2016 у Wayback Machine.]
• Бушуев А.Ю Введение в оптимальное управление. Электронное учебное издание. — М.: МГТУ им. Н. Э. Баумана, 2014. 23 с. [Архівовано 19 січня 2015 у Wayback Machine.]