Nåbar stat

Definition

Låt vara en homogen Markov-kedja med diskret tid. En stat sägs vara tillgänglig från en stat om det finns en sådan $\{X_{n}\}_{n\in \mathbb {N} }$ $j$ $i$ $n=n(i,j)$

p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0

De skriver . $i\rightarrow j$

Kommunikerande stater

stater och kallas kommunicera om och . Vi skriver :. $i$ $j$ $i\rightarrow j$ $j\rightarrow i$ $i vänster högerpil j$
Kommunikationsegenskapen genererar en ekvivalensrelation på tillståndsrummet . De genererade ekvivalensklasserna kallas oupplösliga klasser . Om en Markov-kedja är sådan att dess tillstånd endast bildar en oupplöslig klass, så kallas den oupplöslig .
Tillstånden som tillhör samma oupplösliga klass är antingen alla återkommande eller alla icke-återkommande. Således är en oupplöslig klass som helhet antingen återkommande eller icke-återkommande. Slutligen är en irreducerbar Markov-kedja antingen helt återkommande eller helt irreversibel.

Exempel

Låta vara en tre-state Markov kedja , och dess övergång sannolikhet matris har formen $\{X_{n}\}_{n\geq 0}$ $\{1,2,3\}$

P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).

Tillstånden i denna kedja bildar två oupplösliga klasser: och . I synnerhet , men också . $\{1,2\}$ ${\displaystyle \{3\))$ $1\leftrightarrow 2$ $1\not \rightarrow 3$ $3\not \rightarrow 1$

Markovkedjan definierad av matrisen av övergångssannolikheter

P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)

oupplöslig.

Klassificering av stater och Markov-kedjor
stat	aperiodisk retur- uppnås oåterkallelig obetydlig noll- periodisk positiv kommunicerar signifikant
Kedja	aperiodisk retur- oåterkallelig oupplöslig noll- periodisk positiv nedbrytbara ergodiskt