Markov process

En Markov-process är en slumpmässig process vars utveckling efter ett givet värde på tidsparametern inte beror på utvecklingen som föregick den, förutsatt att processens värde i detta ögonblick är fixerat (”framtiden” för processen beror inte på på "det förflutna" med en känd "nutid", en annan tolkning ( Wentzel ): Processens "framtid" beror på "det förflutna" endast genom "nutiden"). $t$ $t$

Markov-processen är en första ordningens autoregressiv modell AR(1): . ${\displaystyle X_{t}=c+\alpha X_{t-1}+\varepsilon _{t))$

En Markov-kedja är ett specialfall av en Markov-process, när utrymmet för dess tillstånd är diskret (dvs inte mer än räknebart) [1] .

Historik

Egenskapen som definierar en Markov-process brukar kallas en Markov-egenskap; den formulerades först av A. A. Markov , som i verk 1907 initierade studien av sekvenser av beroende försök och summorna av slumpvariabler associerade med dem. Denna forskningslinje är känd som teorin om Markov-kedjor .

Dock redan i L. Bacheliers verk kan man se ett försök att behandla Brownsk rörelse som en Markov-process, ett försök som fick motivering efter Wieners forskning 1923 .

Grunden för den allmänna teorin om Markov-processer med kontinuerlig tid lades av Kolmogorov .

Markov egendom

Allmänt fall

Låt vara ett sannolikhetsutrymme med filtrering efter någon ( delvis ordnad ) uppsättning ; och låt vara ett mätbart utrymme . En slumpmässig process definierad på ett filtrerat sannolikhetsutrymme anses uppfylla Markov-egenskapen om för varje och $(\Omega ,{\mathcal {F}),\mathbb {P} )$ $({\mathcal {F}}_{t},\ t\in T)$ $T$ $(S,{\mathcal {S}})$ $X=(X_{t},\t\i T)$ $A\in {\mathcal {S}}$ $s,t\in T:s<t$

\mathbb {P} (X_{t}\in A|{\mathcal {F}}_{s})=\mathbb {P} (X_{t}\in A|X_{s}).

En Markov-process är en slumpmässig process som tillfredsställer Markov-egenskapen med naturlig filtrering .

För Markov-kedjor med diskret tid

Om är en diskret uppsättning och , definitionen kan omformuleras: $S$ $T=\mathbb {N}$

\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{0 }=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})

Ett exempel på en Markov-process

Betrakta ett enkelt exempel på en Markov stokastisk process. En punkt rör sig slumpmässigt längs x-axeln. Vid tidpunkten t = 0 är punkten vid origo och förblir där i en sekund. En sekund senare kastas ett mynt - om vapenskölden föll ut, flyttar punkten X en längdenhet åt höger, om svansen - till vänster. En sekund senare kastas myntet igen och samma slumpmässiga rörelse görs, och så vidare. Processen att ändra positionen för en punkt (“ vandra ”) är en slumpmässig process med diskret tid ( t = 0, 1, 2, …) och en räknebar uppsättning tillstånd. En sådan slumpmässig process är markovisk, eftersom nästa tillstånd för punkten endast beror på det nuvarande (nuvarande) tillståndet och inte beror på tidigare tillstånd (det spelar ingen roll åt vilket håll och för vilken tid punkten kom till den aktuella koordinaten).

Litteratur

Dyakonova E. E. Förgreningsprocesser i en Markov slumpmässig miljö //Diskret. Mat., 26:3 (2014), 10–29

Se även

Anteckningar

↑ A. V. Bulinsky, A. N. Shiryaev . Teori om slumpmässiga processer. — Fizmatlit , 2005.

Länkar

Markovprocessen / A. V. Prokhorov // Great Russian Encyclopedia : [i 35 volymer] / kap. ed. Yu. S. Osipov . - M . : Great Russian Encyclopedia, 2004-2017.
Weisstein, Eric W. Markov process (engelska) på Wolfram MathWorlds webbplats .