Принципы динамического программирования. Функциональные уравнения Беллмана

3. Принципы динамического программирования. Функциональные уравнения Беллмана

Принцип оптимальности и погружения. Любую многошаговую задачу можно решать по-разному. Во-первых, можно считать неизвестными величинами u_t и находить экстремум целевой функции одним из существующих методов оптимизации, т. е. искать сразу все элементы решения на всех N шагах. Следует заметить, что этот путь не всегда приводит к цели, особенно когда целевая функция задана в виде таблиц или число переменных очень велико. Во-вторых, можно проводить оптимизацию поэтапно. Поэтапность отнюдь не предполагает изолированности в оптимизации этапов. Наоборот, управление на каждом шаге выбирается с учетом всех его последствий. Обычно второй способ оптимизации оказывается проще, чем первый, особенно при большом числе шагов. Идея постепенной, пошаговой оптимизации составляет суть метода динамического программирования. Оптимизация одного шага, как правило, проще оптимизации всего процесса в целом. Лучше много раз решать простую задачу, чем один раз – сложную.

С первого  взгляда идея может показаться тривиальной: если трудно оптимизировать сложную  задачу, то следует разбить ее на ряд более простых. На каждом шаге оптимизируется задача малого размера, что уже нетрудно. При этом принцип динамического программирования вовсе не предполагает, что каждый шаг оптимизируется изолированно, независимо от других. Напротив, пошаговое управление должно выбираться с учетом всех его последствий.

Пусть, например, планируется работа группы промышленных предприятий, из которых одни заняты выпуском предметов потребления, а  другие производят для этого машины. Задачей является получение за T лет максимального объема выпуска предметов потребления. Пусть планируются капиталовложения на первый год. Исходя из интересов только этого года, мы должны были бы все средства вложить в производство предметов потребления, пустить имеющиеся машины на полную мощность и добиться к концу года максимального объема выпуска продукции. Однако относительно всего периода планирования такое решение будет нерациональным. Необходимо выделить часть средств на производство машин. При этом объем продукции за первый год снизится, зато будут созданы условия, позволяющие увеличить его выпуск в последующие годы.

Приведем  второй пример. Пусть прокладывается участок железнодорожного пути между  пунктами А и В. Различные варианты трассы требуют неодинаковых затрат, связанных с неоднородностью грунта, особенностями рельефа, естественными препятствиями и т. д. Требуется так провести дорогу из A в В, чтобы суммарные затраты были минимальны.

Заметим, что  в данной задаче нет естественного  деления на шаги, поэтому деление  вводится искусственно, для чего расстояние между А и В разбивается на N частей и за шаг оптимизации принимается каждая такая часть.

Таким образом, одним из условий применимости метода динамического программирования является возможность разбиения процесса оптимизации решения на ряд однотипных шагов (этапов), каждый из которых планируется  отдельно, но с учетом состояния  системы на начало этапа и последствий  принятого решения. Однако, среди всех шагов существует один, который может планироваться без оглядки на будущее. Это последний шаг, поскольку за ним нет больше этапов. Он может быть изучен и спланирован сам по себе наилучшим. Отсюда получаем одну из специфических особенностей динамического программирования: всю вычислительную процедуру программирования целесообразно разворачивать от конца к началу. Раньше всех планируется последний N-й шаг, за ним (N–1)-й и т. д. Возникает вопрос, как найти оптимальное управление u_N на N-м шаге, если оно определяется не только целью управления, но и состоянием системы на начало этого шага? Сделать это можно на основе предположений об ожидаемых исходах предшествующего, но еще не исследованного этапа, т. е. о значениях x_N-1.

Для каждого возможного исхода х_N-1 на (N – 1)-м этапе находим оптимальное управление на N-м этапе. Такой набор оптимальных управлений, зависящих от возможных исходов предыдущего этапа, называется условно-оптимальным решением (x_N-1). Завершив анализ конечного этапа, рассматривают аналогичную задачу для предпоследнего этапа, требуя, чтобы функция цели достигала экстремального значения на двух последних этапах вместе. Это дает условно-оптимальное решение на предпоследнем этапе  
(x_N-2) т.е. делаются всевозможные предположения о том, чем кончился предыдущий (N-2)-й шаг, и для каждого из предположений находится такое управление на (N–1)-м шаге, при котором эффект за последние два шага (из них последний уже оптимизирован) будет максимален. Тем самым мы найдем для каждого исхода (N–2)-го шага условно-оптимальное управление на (N–1)-м и условно-оптимальное значение функции цели на последних двух шагах. Проделав такой поиск условно-оптимальных управлений для каждого шага от конца к началу, найдем последовательность условно-оптимальных управлений (x₀), (x₁),…, (x_N-1).

Условно-оптимальные  управления дают возможность найти  не условное, а просто оптимальное  управление на каждом шаге. В самом  деле, пусть начальное состояние x₀ известно. Тогда, проделав процедуру движения от конца к началу, находим (х₀). Так как начальное состояние x₀ определяется однозначно, это оптимальное управление для первого шага. Вместе с тем находим экстремальное значение целевой функции относительно всего процесса. Зная оптимальное действие (с точки зрения всего процесса) для первого шага, выявим, к какому состоянию перейдет система в результате этого действия, т. е. найдем оптимальное состояние системы на начало второго этапа. Но для всех возможных состояний на начало второго этапа выявлены оптимальные управления. Таким образом, зная , установим оптимальное управление для второго этапа (x₁) и т.д. Проделав обратное движение по условно-оптимальным управлениям от начала к концу, найдем просто оптимальные управления для всех этапов.

Таким образом, в процессе оптимизации управления методом динамического программирования многошаговый процесс проходится дважды.

• Первый раз – от конца к началу, в результате чего находятся условно-оптимальные управления и условно-оптимальное значение функции цели для каждого шага, в том числе оптимальное управление для первого шага и оптимальное значение функции цели для всего процесса.
• Второй раз – от начала к концу, в результате чего находятся уже оптимальные управления на каждом шаге с точки зрения всего процесса. Первый этап сложнее и длительнее второго, на втором остается лишь отобрать рекомендации, полученные на первом. Следует отметить, что понятия «конец» и «начало» можно поменять местами и разворачивать процесс оптимизации в другом направлении. С какого конца начать – диктуется удобством выбора этапов и возможных состояний на их начало.

Из анализа  идеи поэтапной оптимизации можно  сформулировать следующие принципы, лежащие в основе динамического  программирования: принцип оптимальности  и принцип погружения.

Принцип оптимальности. Оптимальное управление на каждом шаге определяется состоянием системы на начало этого шага и целью управления. Или в развернутой форме: каково бы ни было начальное состояние системы перед очередным шагом, надо выбрать оптимальное управленческое решение на этом шаге так, чтобы прибыль на этом шаге плюс оптимальная прибыль на всех последующих шагах была максимальной.

Принцип погружения. Форма задачи, решаемая методом динамического программирования, не меняется при изменении количества шагов N, т.е. форма такой задачи инвариантна относительно N. В этом смысле всякий конкретный процесс с заданным числом шагов оказывается как бы погруженным в семейство подобных ему процессов и может рассматриваться с позиции более широкого класса задач.

Реализация  названных принципов дает гарантию того, что решение, принимаемое на очередном шаге, окажется наилучшим  относительно всего процесса в целом, а не узких интересов данного  этапа. Последовательность пошаговых  решений приводит к решению исходной N -шаговой задачи.

Функциональные уравнения Беллмана. Как отмечалось выше, в основе динамического программирования лежит принцип оптимальности, направленный на процедуру построения оптимального управления. Так как оптимальной стратегией может быть только та, которая одновременно оптимальна и для любого количества оставшихся шагов, ее можно строить по частям: сначала для последнего этапа, затем для двух последних, для трех и т. д., пока не придем к первому шагу. Отсюда принцип оптимальности связан со вторым принципом – принципом погружения, согласно которому при решении исходной задачи ее как бы погружают в семейство подобных ей и решают для одного последнего этапа, для двух последних и т. д., пока не получат решение исходной задачи.

Дадим математическую формулировку принципа оптимальности. Для простоты будем считать, что  начальное x₀ и конечное x_T состояния системы заданы. Обозначим через z₁(х₀, u₁) значение функции цели на первом этапе при начальном состоянии системы x₀ и при управлении u₁, через z₂(х₁,u₂) – соответствующее значение функции цели только на втором этапе, ..., через 
z_i(х_i-1,u_i) – на i-м этапе, ..., через z_N(х_N-1, u_N) —на N-м этапе. Очевидно, что

Z = =  (1)

Надо найти  оптимальное управление u*= ( ; ;...; ), такое, что доставляет экстремум целевой функции (1) при ограничениях .

Для решения  этой задачи погружаем ее в семейство  подобных. Введем обозначения. Пусть  – соответственно области

определения для подобных задач на последнем этапе, двух последних  и т. д.; 
– область определения исходной задачи. Обозначим через F₁(x_N-1), F₂(x_N-2), …, F_k(x_N-k), …, F_N(x₀) соответственно условно-оптимальные значения функции цели на последнем этапе, двух последних и т. д., на k последних и т. д., на всех N этапах.

Начинаем  с последнего этапа. Пусть х_N-1 – возможные состояния системы на начало N-го этапа. Находим:

F₁(x_N-1) = z_N(x_N-1, u_N). (2)

Для двух последних  этапов получаем

F₂(x_N-2) = (Z_N-1(x_N-2, u_N-1) + F₁(x_N-1)). (3)

Аналогично:

F₃(x_N-3) = (Z_N-2(x_N-3, u_N-2) + F₂(x_N-2)). (4)

………………………………………………….

F_k(x_N-k) = (z_N-k+1(x_N-k, u_N-k+1) + F_k-1(x_N-k+1)). (5)

…………………………………………………..

F_N(x₀) = (z₁(x₀, u₁) + F_N-1(x₁)). (6)

Выражение (6) представляет собой математическую запись принципа оптимальности. Выражение (5) – общая форма записи условно-оптимального значения функции цели для k оставшихся этапов. Выражения (2) – (6) называются функциональными уравнениями Беллмана. Отчетливо просматривается их рекуррентный (возвратный) характер, т. е. для нахождения оптимального управления на N шагах нужно знать условно-оптимальное управление на предшествующих N – 1 этапах и т. д. Поэтому функциональные уравнения часто называют рекуррентными (возвратными) соотношениями Беллмана.

1. Особенности задач динамического программирования

На основании  выше сказанного можно выделить следующие  особенности задач динамического  программирования.

• Рассматривается система, состояние которой на каждом шаге определяется вектором x_t. Дальнейшее изменение ее состояния зависит только от данного состояния x_t и не зависит от того, каким путем система пришла в это состояние. Такие процессы называются процессами без последействия.
• На каждом шаге выбирается одно решение u_t, под действием которого система переходит из предыдущего состояния x_t-1 в новое х_t. Это новое состояние является функцией состояния на начало интервала x_t-1 и принятого в начале интервала решения u_t, т. е. x_t = x_t(x_t-1,u_t).
• Действие на каждом шаге связано с определенным выигрышем (доходом, прибылью) или потерей (издержками), которые зависят от состояния на начало шага (этапа) и принятого решения.
• На векторы состояния и управления могут быть наложены ограничения, объединение которых составляет область допустимых решений .
• Требуется найти такое допустимое управление u_t для каждого шага t, чтобы получить экстремальное значение функции цели за все Т шагов.

Любую допустимую последовательность действий для каждого  шага, переводящую систему из начального состояния в конечное, называют стратегией управления. Стратегия управления, в результате которой можно получить экстремальное значение функции цели, называется оптимальной.

Геометрическая  интерпретация задачи динамического  программирования состоит в следующем. Пусть n – размерность пространства состояний. В каждый момент времени координаты системы имеют вполне определенное значение. С изменением времени t могут изменяться значения координат вектора состояния. Назовем переход системы из одного состояния в другое траекторией ее движения в пространстве состояний. Такой переход осуществляется воздействием на координаты состояния. Пространство, в котором координатами служат состояния системы, называется фазовым. Особенно наглядно задачу динамического программирования можно интерпретировать в случае, если пространство состояний двухмерно. Область возможных состояний в этом случае изобразится некоторой фигурой , начальное и конечное состояния системы – точками х₀, , (рис. 1). Управление – это воздействие, переводящее систему из начального состояния в конечное. Для многих экономических задач не известно начальное либо конечное состояние, а известна область X₀ или X_T, которой эти точки принадлежат.

Рисунок 1