Марковский случайный процесс

В случае процесса размножения  и гибели с дискретным временем вероятности переходов между состояниями

 

 

Здесь d_i - вероятность того, что на следующем шаге (в терминах биологической популяции) произойдет одна гибель, уменьшающая объем популяции до i-1 при условии, что на данном шаге объем популяции равен i. Аналогично, b_i - вероятность рождения на следующем шаге, приводящего к увеличению объема популяции до i+1; 1-d_i-b_i представляет собой вероятность того, что ни одно из этих событий не произойдет и на следующем шаге объем популяции не изменится. Допускаются только эти три возможности. Ясно, что d₀=0, так как гибель не может наступить, если некому погибать.

Однако в противовес интуиции допускается, что b₀>0, что соответствует возможности рождения, когда в популяции нет ни одного члена. Хотя это можно расценивать как спонтанное рождение или божественное творение, но в теории дискретных систем такая модель представляет собой вполне осмысленное допущение. А именно, модель такова: популяция представляет собой поток требований, находящихся в системе, гибель означает уход требования из системы, а рождение соответствует поступлению в систему нового требования. Ясно, что в такой модели вполне возможно поступление нового требования (рождение) в свободную систему. Матрица вероятностей переходов для общего процесса размножения и гибели имеет следующий вид:

Т=    

 

Если цепь Маркова  является конечной, то последняя строка матрицы записывается в виде [0 0… 0d_n1-d_n]; это соответствует тому, что не  допускаются никакие размножения после того, как популяция достигает максимального объема n.

Матрица T содержит нулевые члены только на главной и двух ближайших к ней диагоналях. Из-за такого частного вида матрицы T естественно ожидать, что анализ процесса размножения и гибели не должен вызывать трудностей.

Далее будем рассматривать только непрерывные  процессы размножения  и гибели, в которых переходы из состояния E_i возможны только в соседние состояния E_i-1 (гибель) и E_i+1 (рождение). Обозначим через l_i интенсивность размножения; она описывает скорость, с которой происходит размножение в популяции объема i. Аналогично, через m_i обозначим интенсивность гибели, задающую скорость с которой происходит гибель в популяции объема i. Заметим, что введенные интенсивности размножения и гибели не зависят от времени, а зависят только от состояния E_i, следовательно, получаем непрерывную однородную цепь Маркова типа размножения и гибели. Эти специальные обозначения введены потому, что они непосредственно приводят к обозначениям, принятым в теории дискретных систем. В зависимости от ранее введенных обозначений имеем:

l_i= q_i,i+1 и m_i= q_i,i-1.

Требование о допустимости переходов только в ближайшие соседние состояния означает, что исходя из (14), q_ii=-(m_i+ l_i). Таким образом, матрица интенсивностей переходов общего однородного процесса размножения и гибели принимает вид

Q =        

 

Заметим, что за исключением главной и соседних с ней снизу и сверху диагоналей все элементы матрицы равны нулю. Соответствующий граф интенсивностей переходов представлен на рис. 4.

Более точное определение непрерывного процесса размножения и гибели состоит  в следующем: некоторый процесс представляет собой процесс размножения и гибели, если он является однородной цепью Маркова с множеством состояний {E₀, E₁, E₂, …}, если рождение и гибель являются независимыми событиями (это вытекает непосредственно из марковского свойства) и если  выполняют следующие условия:

1. Pr [точно 1 рождение в промежутке времени (t,t+Δt)| объем популяции равен i]= ;
2. Pr [точно 1 гибель в промежутке времени (t,t+Δt)| объем популяции равен i]= ;
3. Pr [точно 0 рождений в промежутке времени (t,t+Δt)| объем популяции равен i]= ;
4. Pr [точно 0 гибелей в промежутке времени (t,t+Δt)| объем популяции равен i]= .

Согласно этим предположениям кратные  рождения, кратные гибели и одновременные рождения и гибели в течение  малого промежутка  времени (t, t+Δt) запрещены в том смысле, что вероятность таких кратких событий имеет порядок о(Δt).

Вероятность того, что  непрерывный процесс размножения  и гибели в момент времени t находится в состоянии E_i (объем популяции равен i) определяется  напрямую из (16) в виде

Для решения полученной системы дифференциальных уравнений  в нестационарном случае, когда вероятности P_i(t), i=0,1,2,…, зависят от времени, необходимо задать распределение начальных вероятностей P_i(0), i=0,1,2,…, при t=0. Кроме того, должно удовлетворяться нормировочное условие.

 
  

 

 

 

Рис.4. Граф интенсивностей переходов для процесса размножения и гибели.

 

Рассмотрим теперь простейший процесс  чистого размножения, который определяется как процесс, для которого m_i = 0 при всех i. Кроме того, для еще большего упрощения задачи предположим, что l_i=l для всех i=0,1,2,... . Подставляя эти значения в уравнения (18) получим

Для простоты предположим также, что процесс начинается в нулевой момент при нуле членов, то есть:

Отсюда для P₀(t) получаем решение

P₀(t)=e^-lt.

Подставляя это решение в уравнение (19) при i = 1, приходим к уравнению

.

Решение этого дифференциального  уравнения, очевидно, имеет вид

P₁(t)= lte^-lt.

Далее по индукции в качестве решения уравнения (19) находим

.

Это знакомое нам распределение  Пуассона. Таким образом, процесс  чистого размножения с постоянной интенсивностью l приводит к последовательности рождений, образующей пуассоновский процесс.

Наибольший интерес  в практическом плане представляют вероятности состояний процесса размножения и гибели в установившемся режиме. Предполагая, что процесс обладает эргодическим свойством, т.е. существуют пределы перейдем к определению предельных вероятностей P_i.

Уравнения  для  определения  вероятностей стационарного режима можно получить непосредственно из (18), учитывая, что dP_i(t)/dt = 0 при :

Полученная система  уравнений решается с учетом нормировочного условия

Систему уравнений (21) для установившегося режима процесса размножения и гибели можно составить непосредственно по графу интенсивностей  переходов на рис.4, применяя принцип равенства потоков вероятностей к отдельным состоянием процесса. Например, если рассмотреть состояние E_i в установившемся режиме, то:

интенсивность потока вероятностей в  и

интенсивность потока вероятностей из .

В состоянии равновесия эти два  потока должны быть равны, и поэтому  непосредственно получаем

Но это как раз и есть первое равенство в системе (21). Аналогично можно получить и второе равенство системы. Те же самые рассуждения о сохранении потока, которые были приведены ранее, могут быть применены к потоку вероятностей через любую замкнутую границу. Например, вместо того, чтобы выделять каждое состояние и составлять для него уравнение, можно выбрать последовательность  контуров, первый из которых охватывает состояние E₀, второй - состояние E₀ и E₁, и т.д., включая каждый раз в новую границу очередное состояние. Тогда для i-го контура (окружающего состояния E₀, E₁, ..., E_i-1) условие сохранения потока вероятностей можно записать в следующем простом виде:

.

Полученная система уравнений  эквивалентна выведенной ранее. Для составления последней системы уравнений нужно провести вертикальную линию, разделяющую соседние состояния, и приравнять потоки через образовавшуюся границу.

Решение системы (23) можно найти методом математической индукции.

При i=1 имеем:

при i=2:

при i=3:

 и т.д.

Вид полученных равенств показывает, что общее решение системы  уравнений (23) имеет вид

или, учитывая, что, по определению, произведение по пустому множеству равно единице

Таким образом, все вероятности P_i для установившегося режима выражаются через единственную неизвестную константу P₀. Равенство (22) дает дополнительное условие, позволяющее определить P₀. Тогда, суммируя по всем i, для P₀ получим:

Обратимся к вопросу о существовании стационарных вероятностей P_i. Для того, чтобы полученные выражения задавали вероятности, обычно накладывается требование, чтобы P₀ > 0. Это, очевидно, налагает ограничение на коэффициенты размножения и гибели в соответствующих уравнениях. По существу требуется, чтобы система иногда опустошалась; это условие стабильности представляется весьма резонным, если обратиться к примерам реальной жизни. Определим следующие две суммы:

Все состояния E_i рассматриваемого процесса размножения и гибели будут эргодическими тогда и только тогда, когда S₁ < и S₂ = . Только эргодический случай приводит к установившимся вероятностям P_i, i = 0, 1, 2, …, и именно этот случай представляет интерес. Заметим, что условия эргодичности выполняются только тогда, когда, начиная с некоторого i, все члены последовательности { } ограничены единицей, т.е. тогда, когда существует некоторое i₀ (и некоторое С<1) такое, что для всех i i₀ выполняется неравенство:

 

 

 

 

 

 

 

 

 

 

 

 

 

Список  литературы:

 

1. Избранные вопросы теории флюктуации в радиотехнике, M., 1961; Стратонович P. Л.,
2. Марковские процессы, M., 1977; Тихонов В. И., Миронов M. А.,
3. Справочник по теории вероятностей и математической статистике, 2 изд., M., 1985. A. H. Малахов, А. И. Саичев.

¹ Символ o(Dt) ("o" малое от Dt) означает произвольную функцию, которая при Dt®0, стремится к нулю быстрее, чем Dt, т.е. .