Dold Markov-modell

Hidden Markov Model ( HMM ) är en statistisk modell som simulerar driften av en process som liknar en Markov-process med okända parametrar, och uppgiften är att gissa de okända parametrarna utifrån de observerade. De erhållna parametrarna kan användas i ytterligare analys, till exempel för mönsterigenkänning. HMM kan betraktas som det enklaste Bayesianska trosnätverket .

De första anteckningarna om dolda Markov-modeller publicerades av Baum på 1960-talet, och redan på 70-talet användes de först i taligenkänning. Sedan mitten av 1980-talet har SMM använts för analys av biologiska sekvenser, särskilt DNA.

Den huvudsakliga tillämpningen av HMM mottogs inom området taligenkänning, skrift, rörelser och bioinformatik. Dessutom används HMMs i kryptoanalys , maskinöversättning .

Exempel

Låt oss föreställa oss två vänner som diskuterar i telefon varje kväll vad de gjorde under dagen. Din vän kan bara göra tre saker: gå i parken, shoppa eller städa rummet. Hans val baseras enbart på det väder som var vid tidpunkten för beslutet. Du vet ingenting om vädret i regionen där din vän bor, men du kan, utifrån hans beslut, försöka gissa hur vädret var.

Vädret representeras som en Markov-kedja, den har två tillstånd: soligt eller regnigt, men du kan inte se det själv, så det är dolt för dig. Varje dag fattar din vän ett av tre möjliga beslut: gå, shoppa eller städa. Du kan lära dig om din väns beslut, så detta är ett observerbart värde. I allmänhet tar vi emot SMM.

Strukturen för en dold Markov-modell

I en konventionell Markov-modell är tillståndet synligt för observatören, så övergångssannolikheterna är den enda parametern. I en dold Markov-modell kan vi bara hålla reda på de variabler som påverkas av ett givet tillstånd. Varje tillstånd har en sannolikhetsfördelning mellan alla möjliga utvärden. Därför ger sekvensen av tecken som genereras av HMM information om sekvensen av tillstånd.

Diagrammet nedan visar den allmänna strukturen för HMM. Ovalerna representerar variabler med ett slumpmässigt värde. Slumpvariabeln är värdet på den dolda variabeln vid tidpunkten . En slumpvariabel är värdet av en observerad variabel vid tidpunkten . Pilarna i diagrammet representerar villkorliga beroenden. $x(t)$ $t$ $y(t)$ $t$

Det blir tydligt av diagrammet att värdet på den dolda variabeln (at time ) endast beror på värdet på den dolda variabeln (at time ). Detta kallas Markov-egendomen. Även om samtidigt värdet av den observerade variabeln bara beror på värdet av den latenta variabeln (båda vid tidpunkten ). $x(t)$ $t$ $x(t-1)$ $t-1$ $y(t)$ $x(t)$ $t$

Sannolikheten att se en längdsekvens är $Y=y(0),y(1),\prickar,y(L-1)$ $L$

P(Y)=\summa _{{X}}P(Y\mitten X)P(X),

här löper summan över alla möjliga sekvenser av dolda noder . Den brute-force-beräkningsmetoden är mycket tidskrävande för många problem från det verkliga livet på grund av att antalet möjliga sekvenser av dolda noder är mycket stort. Men användningen av framåt-bakåt- proceduren [1] kan avsevärt öka hastigheten på beräkningarna. $X=x(0),x(1),\dots ,x(L-1).$ $P(Y)$

Grundläggande algoritmer

Det finns tre huvuduppgifter förknippade med SMM:

Framåt-omvänd algoritm : med tanke på parametrarna för modellen och sekvensen, är det nödvändigt att beräkna sannolikheten för att denna sekvens inträffar (låter dig lösa problemet).
Viterbi-algoritm : med tanke på modellens parametrar krävs det att bestämma den lämpligaste sekvensen av dolda noder som mest exakt beskriver den givna modellen (hjälper till att lösa detta problem).
Baum-walesisk algoritm : givet en utgångssekvens (eller flera) med diskreta värden, krävs det att HMM tränas på denna utgång.

Se även

Marelliers sats

Anteckningar

↑ Rabiner, sid. 262

Länkar

Dolda Markov-modeller
Sergej Nikolenko. Föreläsningar nr 6 och nr 7 (bilder) om dolda Markov-modeller från kursen Probabilistiskt lärande

Grafisk probabilistiska modeller
Bayesiskt nätverk Causal Bayesian Network Markov nätverk Dold Markov-modell

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-Net Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG