Дискретный Марковский процесс с дискретным временем

Дискретный  Марковский процесс с дискретным временем.

 

Марковский случайный дискретный процесс, протекающий в системе  S, характеризуется состояниями и моментами времени, в которые происходит переход системы из одного состояния в другое. Такие моменты времени могут быть заранее известными или случайными.

Определение 1. Случайный процесс, протекающий в некоторой системе S, называется процессом с дискретным временем, если переходы системы системы из одного состояния в другое происходит в заранее известные моменты времени t₀, t₁, …, t_k, которые называют шагами или этапами процесса. В промежутки времени между смежными шагами состояние системы не изменяется.

Определение 2. Случайный процесс, протекающий в некоторой системе S, называется процессом с непрерывным временем, если переходы системы из одного состояния в другое возможны в любые, заранее неизвестное, случайные моменты времени.

Рассмотрим Марковский случайный процесс с дискретным временем.

Пусть S₁, S₂, …, S_k – возможные состояния системы S. Переходы системы из одного состояния в другое может происходить только в моменты времени t₀, t₁, …, t_k. В момент времени tÎ [t_k, t_k+1), k=1, 2, 3…, система находится в состоянии S(t)=S(t_k) и процесс можно рассматривать как случайную функцию шагов t_k или номеров шагов.

Обозначим S_i(k) (i=1, 2, …n, k= 1, 2, …) событие, состоящее в том, что система S с k-го шага до (k+1)-го находится в состоянии S_i. Тогда случайный процесс с дискретным временем можно представлять случайной последовательностью (по индексу k) случайных событий S_i(k), i=1, 2, …,n; k=1, 2 …, называемой цепью.

Определение 3. Случайная последовательность называется Марковской цепью, если для каждого шага вероятность перехода из любого состояния S_i в любое состояние S_j не зависит от того когда и как система S оказалась в состоянии S_i.

В любой момент времени  t, система S может пребывать только в одном из состояний S₁, S₂, …, S_n, то при каждом k= 1, 2,… события S₁(k), S₂(k), …, S_n(k) несовместны и образуют полную группу событий.

Реализация дискретного  случайного процесса с дискретным временем: за любой конечный промежуток времени можно представить неслучайной конечной последовательностью (цепью) по индексу k событий S_i(k), (i=1, 2, …,n; k=1, 2 …)

Основными характеристиками Марковских цепей является вероятности  
P_i(k) = P(S_i(k)), (i=1, 2, …,n; k=1, 2 …) событий S_i(k).

Определение 4. Вероятности Р_i(k), (i=1, 2, …,n; k=1, 2 …) называются вероятностями состояний.

Для вычисления вероятностей состояния  Р_i(k) используются переходные вероятности, которые определяются следующим образом.

Определение 5. Переходной вероятностью P_ij(k) из i-го состояния в j-e состояние для k-го шага (i=1, 2, …,n; j= 1, 2, …,n ; k=1, 2 …) называют вероятность непосредственного перехода системы S в момент времени t_k из состояния S_i в состояние S_j.

Если i=j, то переходная вероятность P_ij(k)=P_ii(k) называют вероятностью задержки системы S в состоянии S_i.

Определение 6. Если переходные вероятности не зависят от шагов k, то Марковская цепь называется однородной, P_ij(k)=P_ij.

Переходные вероятности для  однородной Марковской цепи можно представить в виде квадратной матрицы n-го порядка.

Элементы матрицы Р не зависят  от номера шага k и ее порядок определяется числом возможных состояний системы S, на главной диагонали находятся вероятности задержки состояния системы S.

Переходная вероятность как условная вероятность

События S₁(k), …, S_n(k) несовместны, образуют полную группу событий, и,

,

что означает равенство 1 суммы элементов  каждой из строк матрицы Р.

Определение 7. Матрица, каждый элемент которой неотрицателен и сумма элементов каждой строки равен 1, называется стохастической.

Если стохастическая матрица обладает тем свойством, что сумма элементов каждого из столбцов равна 1, то такая матрица называется двоякостохастической.

Определение 8. Граф состояний системы S с указанием переходных вероятностей называется размеченным.

 

 

Пример размеченного графа состояний  системы.

Вероятности переходов равные 0 и  вероятности задержек на размеченном  графе не обозначаются.

В силу свойств стохастической матрицы  Р вероятности задержки можно  вычислить по формуле:

Определение 9. Вектор- строка вероятностей состояния (P₁(0), P₁(0), …, P_n(0)) в начальный момент времени t=0, непосредственно предшествующий первому шагу, называется вектором начального распределения вероятностей.

Свойства:

1. P₁(0)+P₂(0)+…+P_n(0)=1
2. Если в начальный момент времени t=0 система S находилась в состоянии S_m, то P_m(0)=1 и начальное распределение вероятностей P₁(0)=0, P₂(0)=0, …, P_m(0)=1, P_m+1(0)=0,…, P_n(0)=0.
3. Если известно начальное распределение вероятностей и матрица переходных вероятностей, то можно вычислить вероятности состояния системы для любого k-го шага.

Теорема 1.

Для однородной Марковской цепи вектор- строка вероятностей состояния от k-го до (k+1)-го шага равна произведению вектор- строки вероятностей состояния от (k-1)-го до k-го шага на матрицу переходных вероятностей.

 (1)

Доказательство

Произведение вектор- строки вероятностей состояния размерности (1´n) на матрицу размерности (n´n) определяет вектор строку размерности (1´n) вероятностей состояний системы на k-м шаге.

Для каждого шага k=1, 2, … рассмотрим n гипотез H_i(k-1), i= 1, 2, …,n состоящих в том, что от (k-1)-го шага до k-го система S находилась в состоянии S_i. Эти гипотезы для каждого шага несовместны и образуют полную группу событий, с вероятностями состояния P(H_i(k-1))=P_i(k-1).

Условная вероятность P(S_j(k)/S_i(k-1)) есть переходная вероятность P_ij и по формуле полной вероятности получим:

что и доказывает справедливость формулы (2.1), которая является рекуррентной и позволяет вычислять вероятности состояния системы для любого k-го шага, и для однородной Марковской цепи справедлива формула

 (2)

 

Пример дискретного Марковского процесса с дискретным временем для экономической системы.

Состояние коммерческого банка  характеризуется одной из процентных ставок 2%, 3%, 4% которые устанавливаются в начале каждого квартала и могут изменяться только в начале следующего квартала.

Состояние системы S₁- процентная ставка 2%, S₂- ставка 3%, S₃-ставка 4%.

Анализ работы в предыдущие годы показал, что изменение переходных вероятностей с течением времени пренебрежимо мало. Определить вероятности состояний банка на конец текущего года, если в конце прошедшего процентная ставка составляла 3%, размеченный граф состояний имел вид:

В данном случае смоделировать поведение банка на конец года можно в виде однородного Марковского дискретного случайного процесса с дискретным временем, или в виде однородной Марковской цепи.

По размеченному графу состояний  составим матрицу переходных вероятностей.

 

 

(P₁(4), P₂(4), P₃(4))= (0, 1, 0)*P⁴= (0.2020, 0.4015, 0.3965)

 

P₁(4)=0.2020, P₂(4)=0.4015,  P₃(4)=0.3965

 

Наиболее вероятное состояние  процентной ставки на конец года P₂(4)=0.4015 т.е. ставка 3%.