Returläge

Returtillståndet är tillståndet för Markovkedjan som besöks av den ett oändligt antal gånger.

Definition

Låt en homogen Markov-kedja med diskret tid ges . Låta $\{X_{n}\}_{n\geq 0}$

f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1 \mid X_{0}=i)

är sannolikheten att lämna staten och återvända till den exakt i steg. Sedan $i$ $n$

{\displaystyle f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)))

är sannolikheten att, efter att ha lämnat tillståndet , återvända till det (för en ändlig eller oändlig tid). $i$

Ett tillstånd kallas recurrent (recurrent) om . Annars kallas tillståndet oåterkalleligt (övergående) . $i$ $f_{ii}=1$

Returkriterium

En stat kan returneras om och endast om något av följande villkor är sant: $i$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty$ , var . $p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$ .

Följaktligen är staten oåterkallelig om och endast om något av följande villkor är uppfyllt: $i$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty$ .
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$ .

Returtid

Antag att nästan överallt , och definiera en slumpvariabel , lika med tidpunkten för den första återgången till tillståndet , dvs. $X_{0}=i$ $T_{i}$ $i$

T_{i}=\inf\{n\geq 1\mid X_{n}=i\}

Har då en diskret fördelning som ges av sannolikhetsfunktionen $T_{i}$

{\displaystyle \mathbb {P} (T_{i}=n)=f_{ii}^{(n)))

Returtillståndet kallas positivt om $i$

\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty

och noll om

\mathbb {E} [T_{i}]=\infty

Återkommande av en oupplöslig klass

Om staterna och rapporteras , och är ömsesidiga, är staten också ömsesidig. $i$ $j$ $i$ $j$
Dessutom, om staten är positiv, så är staten också positiv. $i$ $j$

Således är återfall och positivitet egenskaper hos den oupplösliga klassen . Om Markov-kedjan är oupplöslig, talar man om dess återkommande och positivitet.

Klassificering av stater och Markov-kedjor
stat	aperiodisk retur- uppnås oåterkallelig obetydlig noll- periodisk positiv kommunicerar signifikant
Kedja	aperiodisk retur- oåterkallelig oupplöslig noll- periodisk positiv nedbrytbara ergodiskt