Марковський процес відновлення

Марковські процеси відновлення — це клас випадкових процесів у теорії ймовірності та статистиці, які узагальнюють клас марковських стрибкоподібних процесів. Інші класи випадкових процесів, такі як ланцюги Маркова та процеси Пуассона, є частинними випадками процесів марковського відновлення, які в свою чергу є окремими частинними випадками серед більш загального класу процесів відновлення.

Означення

Ілюстрація марковського процесу відновлення

Нехай випадкові величини $X_{n}$приймають значення у просторі станів $\mathrm {S}$, а виадкові величини $T_{n}$ є невід'ємними та не спадають за $n$. Рзглянемо послідовність $(X_{n},T_{n})$, де $T_{n}$ представляє випадкові моменти стрибків, а $X_{n}$ представляє стани, що відповідають цим стрибкам (див. малюнок). Визначимо послідовність моментів очікування між стрибками $\tau _{n}=T_{n}-T_{n-1}$. Для того щоб послідовність $(X_{n},T_{n})$ називалася процесом марковського відновлення, має виконуватися така умова. Для усіх $n\geq 1$, $t\geq 0$, $i,j\in \mathrm {S}$:

${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]&\quad =\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i).\end{aligned}}$

Зв'язок з іншими випадковими процесами

1. Нехай $X_{n}$та $T_{n}$ визначені як раніше. Визначимо новий процес $Y_{t}:=X_{n}$ для $t\in [T_{n},T_{n+1})$. Тоді процес $Y_{t}$ називається напівмарковським процесом. Такий процес задовольняє марковську властивість лише в конкретні моменти стрибків, звідки походить і назва напівмарковський.
2. Напівмарковський процес (визначений в пункті 1.), у якого усі моменти очікування $\tau _{n}$ мають експоненційний розподіл називається ланцюгом Маркова з неперервним часом. Іншими словами, якщо 1) моменти очікування експоненційно розподілені та 2) якщо час очікування в стані та наступний стан незалежні, то процес є ланцюгом Маркова з неперервним часом. Для усіх $n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j$:

   ${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]&\quad =\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]&\quad =\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}).\end{aligned}}$

3. Послідовність $X_{n}$ у процесі марковського відновлення є ланцюгом Маркова із дискретним часом. Іншими словами, якщо часові змінні вилучити з властивості марковського процесу відновлення, отримаємо ланцюг Маркова з дискретним часом. Для усіх $n\geq 1,i,j\in \mathrm {S} :$

   $\Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i).$

4. Якщо послідовність $\tau _{n}$ складається з незалежних та однаково розподілених випадкових величин та якщо їх розподіл не залежить від стану $X_{n}$, то процес є процесом відновлення. Формально $\forall n\geq 1,t\geq 0$

   $\Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t).$

Дивіться також

• Марковський процес
• Теорія відновлення