Markov kedja

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 28 december 2019; kontroller kräver 9 redigeringar .

En Markov-kedja är en sekvens av slumpmässiga händelser med ett ändligt eller räknebart antal utfall , där sannolikheten för att varje händelse inträffar endast beror på tillståndet som nåddes i föregående händelse [1] . Den kännetecknas av egenskapen att löst uttryckt, med en fast nutid, är framtiden oberoende av det förflutna. Namngiven för att hedra A. A. Markov (senior) , som först introducerade detta koncept i arbetet 1906. [2]

Diskret-tid Markov kedja

Definition

En sekvens av diskreta slumpvariabler kallas en enkel Markov-kedja (med diskret tid) if $\{X_{n}\}_{{n\geqslant 0}}$

{\mathbb {P}}(X_{{n+1}}=i_{{n+1}}\mid X_{n}=i_{n},X_{{n-1}}=i_{{n -1}},\ldots ,X_{0}=i_{0})={\mathbb {P}}(X_{{n+1}}=i_{{n+1}}\mid X_{n} =i_{n})

Således, i det enklaste fallet, beror den villkorliga fördelningen av nästa tillstånd av Markov-kedjan endast på det aktuella tillståndet och beror inte på alla tidigare tillstånd (till skillnad från högre ordningens Markov-kedjor).

Omfånget av slumpvariabler kallas kedjans tillståndsutrymme , och talet är stegnumret. $\{X_{n}\}$ $n$

Övergångsmatris och homogena kedjor

Matrix , var $P{(n)}$

P_{{ij}}{(n)}\equiv {\mathbb {P}}(X_{{n+1}}=j\mid X_{n}=i)

kallas matrisen av övergångssannolikheter i det -e steget, och vektorn , där $n$ ${\mathbf {p}}=(p_{1},p_{2},\ldots )^{{\top }}$

p_{i}\equiv {\mathbb {P}}(X_{0}=i)

— Den första distributionen av Markov-kedjan.

Uppenbarligen är övergångssannolikhetsmatrisen rätt stokastisk , dvs.

\sum \limits _{{j}}P_{{ij}}(n)=1,\quad \forall n\in {\mathbb {N}}

En Markovkedja kallas homogen om övergångssannolikhetsmatrisen inte beror på stegnumret, dvs.

P_{{ij}}{(n)}=P_{{ij}},\quad \forall n\in {\mathbb {N}}

Annars kallas Markov-kedjan inhomogen. I det följande kommer vi att anta att vi har att göra med homogena Markov-kedjor.

Finita dimensionella fördelningar och n-stegs övergångsmatrisen

Från egenskaperna för betingad sannolikhet och definitionen av en homogen Markov-kedja får vi:

{\mathbb {P}}(X_{{n}}=i_{{n}},\ldots ,X_{0}=i_{0})=P_{{i_{{n-1}},i_{ n}}}\cdots P_{{i_{0},i_{1}}}P_{{i_{0}}}

varav specialfallet med Kolmogorov-Chapman-ekvationen följer:

{\mathbb {P}}(X_{n}=i_{n}\mid X_{0}=i_{0})=(P^{n})_{{i_{0},i_{n}} }

det vill säga matrisen av övergångssannolikheter per steg i en homogen Markov-kedja är den -e graden av matrisen av övergångssannolikheter per 1 steg. Till sist, $n$ $n$

{\mathbb {P}}(X_{n}=i_{n})=\left((P^{T})^{n}{\mathbf {p}}\right)_{{i_{n} }}

Tillståndstyper

returläge .
Återkommande Markovkedja .
Nåbart tillstånd .
Irreducerbar Markov-kedja .
Periodiskt tillstånd .
Periodisk Markov-kedja .
absorberande tillstånd . Tillståndet kallas absorberande om . $i$ $P_{i,i}=1$
Ergodiskt tillstånd .

Exempel

Markovkedja med kontinuerlig tid

Definition

En familj av diskreta slumpvariabler kallas en Markov-kedja (med kontinuerlig tid) if $\{X_{t}\}_{{t\geqslant 0}}$

{\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\mid X_{s}=x_{s},\;0<s\leqslant t)={\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\mid X_{t}=x_{t})

En Markovkedja med kontinuerlig tid sägs vara homogen if

{\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\mid X_{t}=x_{t})={\mathbb {P}}(X_{{h }}=x_{{h}}\mid X_{0}=x_{0})

Matrisen av övergångsfunktioner och Kolmogorov-Chapman-ekvationen

Liksom i fallet med diskret tid, bestäms de finita dimensionella fördelningarna av en kontinuerlig tidshomogen Markov-kedja helt av den initiala fördelningen

{\mathbf {p}}=(p_{1},p_{2},\ldots )^{{\top }},\;p_{i}={\mathbb {P}}(X_{0}= i),\quad i=1,2,\ldots

och matrisen av övergångsfunktioner ( övergångssannolikheter )

{\mathbf {P}}(h)=(P_{{ij}}(h))={\mathbb {P}}(X_{h}=j\mid X_{0}=i)

Matrisen av övergångssannolikheter uppfyller Kolmogorov-Chapmans ekvation : eller ${\mathbf {P}}(t+s)={\mathbf {P}}(t){\mathbf {P}}(s)$

P_{{ij}}(t+s)=\summa _{k}P_{{ik}}(t)P_{{kj}}(s).

Intensitetsmatrisen och Kolmogorovs differentialekvationer

Per definition är intensitetsmatrisen , eller motsvarande, ${\mathbf {Q}}=\lim _{{h\to 0}}{\frac {{\mathbf {P}}(h)-{\mathbf {I}}}{h}}$

{\mathbf {Q}}=(q_{{ij}})=\left({\frac {dP_{{ij}}(h)}{dh}}\right)_{{h=0}}

Två ekvationer följer från Kolmogorov-Chapmans ekvation:

Direkt Kolmogorov ekvation ${\frac {d{\mathbf {P}}(t)}{dt}}={\mathbf {P}}(t){\mathbf {Q}},$
Omvänd Kolmogorovs ekvation ${\frac {d{\mathbf {P}}(t)}{dt}}={\mathbf {Q}}{\mathbf {P}}(t).$

För båda ekvationerna väljs initialvillkoret . Lämplig lösning ${\mathbf {P}}(0)={\mathbf {I}}$ ${\mathbf {P}}(t)=\exp({\mathbf {Q}}t).$

Egenskaper för matriserna P och Q

För varje matris har följande egenskaper: $t>0$ ${\mathbf {P}}(t)$

Matriselement är icke-negativa: (icke-negativitet av sannolikheter). ${\mathbf {P}}(t)$ $P_{{ij}}(t)\geqslant 0$
Summan av elementen i varje rad är 1: (full sannolikhet), det vill säga matrisen är högerstokastisk (eller radvis). ${\mathbf {P}}(t)$ $\sum _{j}P_{{ij}}(t)=1$ ${\mathbf {P}}(t)$
Alla matrisegenvärden överstiger inte 1 i absolut värde: . Om , då . $\lambda$ ${\mathbf {P}}(t)$ $|\lambda |\leqslant 1$ $|\lambda |=1$ $\lambda=1$
Matrisens egenvärde motsvarar minst en icke-negativ vänster egenvektor - rad (jämvikt): . $\lambda=1$ ${\mathbf {P}}(t)$ $(p_{1}^{*},\,p_{2}^{*},...);$ $p_{i}^{*}\geqslant 0;$ $\sum _{i}p_{i}^{*}=1;$ $\sum _{i}p_{i}^{*}P_{{ij}}(t)=p_{j}^{*}$
För ett egenvärde för en matris är alla rotvektorer egenvektorer, det vill säga att motsvarande Jordan-celler är triviala. $\lambda=1$ ${\mathbf {P}}(t)$

Matrisen har följande egenskaper: ${\mathbf {Q}}$

Off- diagonala matriselement är icke-negativa: . ${\mathbf {Q}}$ $q_{{ij}}\geqslant 0\;i\neq j$
Diagonala matriselement är icke-positiva: . ${\mathbf {Q}}$ $q_{{ii}}\leqslant 0$
Summan av elementen i varje rad är 0: ${\mathbf {Q}}$ $\sum _{j}q_{{ij}}=0.$
Den reella delen av alla matrisegenvärden är icke-positiv: . Om , då $\mu$ ${\mathbf {Q}}$ $Re(\mu )\leqslant 0$ $Re(\mu )=0$ $\mu=0.$
Matrisens egenvärde motsvarar minst en icke-negativ egenvektor på vänster rad (jämvikt): $\mu=0$ ${\mathbf {Q}}$ $(p_{1}^{*},\,p_{2}^{*},...);$ $p_{i}^{*}\geqslant 0;$ $\sum _{i}p_{i}^{*}=1;$ $\sum _{i}p_{i}^{*}q_{{ij}}=0.$
För ett egenvärde för en matris är alla rotvektorer egenvektorer, det vill säga att motsvarande Jordan-celler är triviala. $\mu=0$ ${\mathbf {Q}}$

Övergångsdiagram, anslutningsmöjligheter och ergodiska Markov-kedjor

För en Markov-kedja med kontinuerlig tid är en riktad övergångsgraf (kortfattat en övergångsgraf) konstruerad enligt följande regler:

Uppsättningen av grafens hörn sammanfaller med uppsättningen av kedjetillstånd.
Topparna är förbundna med en orienterad kant om (det vill säga intensiteten av flödet från -th tillståndet -th är positivt). $i,j\,(i\neq j)$ $i\ till j$ $q_{{ij}}>0$ $i$ $j$

De topologiska egenskaperna hos övergångsgrafen är relaterade till matrisens spektrala egenskaper . I synnerhet gäller följande satser för ändliga Markov-kedjor: ${\mathbf {Q}}$

Följande tre egenskaper A, B, C för en ändlig Markov-kedja är ekvivalenta (kedjor som har dem kallas ibland svagt ergodiska ):

S. För två olika hörn av övergångsgrafen finns det en sådan vertex på grafen ("common drain") att det finns orienterade banor från vertex till vertex och från vertex till vertex . Obs : möjligt fall eller ; i detta fall anses en trivial (tom) väg från till eller från till också vara en riktad väg.

i,j\,(i\neq j)

k

i

k

j

k

k=i

k=j

i

i

j

j

B. Ett nollegenvärde för en matris är icke degenererat.

{\mathbf {Q}}

C. För , matrisen tenderar till en matris där alla rader sammanfaller (och, uppenbarligen, sammanfaller med jämviktsfördelningen).

t\to\infty

{\mathbf {P}}(t)

Följande fem egenskaper A, B, C, D, D för en ändlig Markov-kedja är ekvivalenta (kedjor som har dem kallas ergodiska ):

A. Övergångsdiagrammet för en kedja är riktningsförbundet. B. Nollegenvärdet för en matris är icke degenererat och motsvarar en strikt positiv vänsteregenvektor (jämviktsfördelning).

{\mathbf {Q}}

B. För vissa är matrisen strikt positiv (det vill säga för alla ).

t>0

{\mathbf {P}}(t)

P_{{ij}}(t)>0

I j

D. För alla är matrisen strikt positiv.

t>0

{\mathbf {P}}(t)

E. För , matrisen tenderar till en strikt positiv matris, där alla rader sammanfaller (och, uppenbarligen, sammanfaller med jämviktsfördelningen).

t\to\infty

{\mathbf {P}}(t)

Exempel

Betrakta tretillstånds Markov-kedjor med kontinuerlig tid, motsvarande övergångsdiagrammen som visas i fig. I fall (a) är endast följande off-diagonala element i intensitetsmatrisen icke-noll , i fall (b) är endast icke-noll , och i fall (c) är de . De återstående elementen bestäms av matrisens egenskaper (summan av elementen i varje rad är 0). Som ett resultat, för graferna (a), (b), (c) ser intensitetsmatriserna ut så här: $q_{{12}},\,q_{{13}}$ $q_{{12}},\,q_{{31}}\,q_{{32}}$ $q_{{12}},\,q_{{31}}\,q_{{23}}$ ${\mathbf {Q}}$ ${\mathbf {Q}}_{a}={\begin{pmatrix}-(q_{{12}}+q_{{13}})&q_{{12}}&q_{{13}}\\0&0&0\ \0&0&0\end{pmatrix}},$ ${\mathbf {Q}}_{b}={\begin{pmatrix}-q_{{12}}&q_{{12}}&0\\0&0&0\\q_{{31}}&q_{{32}}& -(q_{{31}}+q_{{32}})\end{pmatrix}},$ ${\mathbf {Q}}_{c}={\begin{pmatrix}-q_{{12}}&q_{{12}}&0\\0&-q_{{23}}&q_{{23}}\\ q_{{31}}&0&-q_{{31}}\end{pmatrix}},$

Grundläggande kinetisk ekvation

Den grundläggande kinetiska ekvationen beskriver utvecklingen av sannolikhetsfördelningen i en Markov-kedja med kontinuerlig tid. "Grundläggande ekvation" här är inte ett epitet, utan en översättning av den engelska termen. master ekvation . För radvektorn för sannolikhetsfördelningen har den grundläggande kinetiska ekvationen formen: $\pi$

{\frac {d\pi }{dt}}=\pi {\mathbf {Q}}

och sammanfaller i huvudsak med den direkta Kolmogorov-ekvationen . I den fysiska litteraturen används kolumnvektorer av sannolikheter oftare och den grundläggande kinetiska ekvationen är skriven i en form som uttryckligen använder lagen om bevarande av total sannolikhet:

{\frac {dp_{i}}{dt}}=\sum _{{j,\,j\neq i}}(T_{{ij}}p_{j}-T_{{ji}}p_{i }),

var $T_{{ij}}=q_{{ji}}.$

Om det finns en positiv jämvikt för den grundläggande kinetiska ekvationen kan den skrivas på formen $p_{i}^{*}>0$

{\frac {dp_{i}}{dt}}=\sum _{{j,\,j\neq i}}T_{{ij}}p_{j}^{*}\left({\frac { p_{j}}{p_{j}^{*}}}-{\frac {p_{i}}{p_{i}^{*}}}\höger).

Lyapunov fungerar för den grundläggande kinetiska ekvationen

För den kinetiska huvudekvationen finns det en rik familj av konvexa Lyapunov -funktioner - sannolikhetsfördelningsfunktioner som förändras monotont med tiden. Låta vara en konvex funktion av en variabel. För varje positiv sannolikhetsfördelning ( ) definierar vi Morimoto-funktionen : $h(x)\,(x>0)$ $p_{i}>0$ $H_{h}(p)$

H_{h}(p)=\summa _{i}p_{i}^{*}h\left({\frac {p_{i}}{p_{i}^{*}}}\höger)

Tidsderivatan , om den uppfyller den grundläggande kinetiska ekvationen, är $H_{h}(p)$ $p(t)$

{\frac {dH_{h}(p(t))}{dt}}=\summa _{{i,j\,i\neq j}}T_{{ij}}p_{j}^{*} \left[h\left({\frac {p_{i}}{p_{i}^{*}}}\right)-h\left({\frac {p_{j}}{p_{j}^ {*}}}\right)+h'\left({\frac {p_{i}}{p_{i}^{*}}}\right)\left({\frac {p_{j}}{ p_{j}^{*}}}-{\frac {p_{i}}{p_{i}^{*}}}\right)\right]\leqslant 0

Den sista ojämlikheten är giltig på grund av konvexitet . $h(x)$

Exempel på Morimotos funktioner

H_{h}(p)

$h(x)=|x-1|$ , ; $H_{h}(p)=\summa _{i}|p_{i}-p_{i}^{*}|$

denna funktion är avståndet från den aktuella sannolikhetsfördelningen till jämvikts-1-in - normen . Tidsförskjutning är en sammandragning av utrymmet för sannolikhetsfördelningar i denna norm. (För egenskaperna hos sammandragningar, se uppsatsen Banachs Fixed Point Theorem .)

l_{1}

$h(x)=x\ln x$ , ; $H_{h}(p)=\summa _{i}p_{i}\ln \left({\frac {p_{i}}{p_{i}^{*}}}\höger)$

denna funktion är (minus) Kullback- entropin (se Kullback-Leibler-avstånd ). I fysiken motsvarar det den fria energin dividerat med (där är Boltzmann-konstanten , är den absoluta temperaturen ):

kT

k

T

if ( Boltzmann distribution ) alltså

p_{i}^{*}=\exp(\mu _{0}-U_{i}/kT)

H_{h}(p)=\summa _{i}p_{i}\ln p_{i}+\summa _{i}p_{i}U_{i}/kT-\mu _{0}=( \langle U\rangle -TS)/kT

$h(x)=-\ln x$ , ; $H_{h}(p)=-\summa _{i}p_{i}^{*}\ln \left({\frac {p_{i}}{p_{i}^{*}}}\right )$

denna funktion är den fria energianalogen av Burg-entropin, som används i stor utsträckning vid signalbehandling:

S_{{{\rm {Burg}}}}=\summa _{i}\ln p_{i}

$h(x)={\frac {(x-1)^{2}}{2}}$ , ; $H_{h}(p)=\summa _{i}{\frac {(p_{i}-p_{i}^{*})^{2}}{2p_{i}^{*}}}$

detta är en kvadratisk approximation för (minus) Kullback-entropin nära jämviktspunkten. Upp till en tidskonstant term är denna funktion densamma som (minus) Fisher-entropin som ges av följande val,

$h(x)={\frac {x^{2}}{2}}$ , ; $H_{h}(p)=\summa _{i}{\frac {p_{i}^{2}}{2p_{i}^{*}}}$

detta är (minus) Fisher-entropin .

$h(x)={\frac {x^{q}-1}{q-1)),\,q>0,\,q\neq 1$ , ; $H_{h}(p)={\frac {1}{q-1}}\left[\sum _{i}p_{i}^{*}\left({\frac {p_{i}}{ p_{i}^{*}}}\höger)^{q}-1\höger]$

detta är en av analogerna till fri energi för Tsallis entropi .

S_{{q{{\rm {Tsallis}}}}}(p)={1 \över q-1}\left(1-\summa _{i}p_{i}^{q}\right).

tjänar som grund för den statistiska fysiken för icke omfattande kvantiteter. Vid , tenderar den till den klassiska Boltzmann-Gibbs-Shannon-entropin, och motsvarande Morimoto-funktion tenderar till (minus) Kullback-entropin.

q\till 1

Praktisk tillämpning

En av de första vetenskapliga disciplinerna där Markov-kedjor fann praktisk tillämpning var lingvistik (särskilt textkritik ). Markov själv, för att illustrera sina resultat, studerade beroendet i växlingen av vokaler och konsonanter i de första kapitlen av " Eugen Onegin " och " Bagrov-barnbarns barndomsår " [3] .

Anteckningar

↑ "Markov kedja | Definition av Markov kedja på amerikansk engelska av Oxford Dictionaries" . Oxford Dictionaries | Engelsk. . Lexico ordböcker | engelska (14 december 2017). Hämtad: 1 april 2020.
↑ Gagniuc, Paul A. Markov kedjar: Från teori till genomförande och experiment . - USA, NJ: John Wiley & Sons , 2017. - S. 2-8. — ISBN 978-1-119-38755-8 .
↑ Maistrov, L.E. Utveckling av sannolikhetsbegreppet . - Nauka, 1980. - S. 188. - 269 sid.

Litteratur

Kelbert M. Ya., Sukhov Yu. M. Sannolikhet och statistik i exempel och problem. Volym II: Markov-kedjor som utgångspunkt för teorin om slumpmässiga processer och deras tillämpningar. - M. : MTSNMO, 2010. - 295 sid. — ISBN 978-5-94057-252-7 .
Markov A. A. , Utvidgning av lagen om stora tal till kvantiteter som är beroende av varandra. - Nyheter från Physics and Mathematics Society vid Kazan University. - 2:a serien. - Volym 15. (1906) - S. 135-156.
Markov-kedjan / A. V. Prokhorov // Stora ryska encyklopedin : [i 35 volymer] / kap. ed. Yu. S. Osipov . - M . : Great Russian Encyclopedia, 2004-2017.
Kemeny JG, Snell JL , Finite Markov-kedjor. — Universitetsserien i grundexamen i matematik. Princeton: Van Nostrand, 1960
- Översättning: Kemeny J.J. , Snell J.L. Finite Markov-kedjor. — M.: Nauka. 1970. - 272 sid.
Zhong Kai-lai Homogena Markov-kedjor. Transl. från engelska. — M.: Mir, 1964. — 425 sid.
E. Nummelin , Allmänna irreducible Markov-kedjor och icke-negativa operatörer. — M.: Mir, 1989. — 207 sid.
Morimoto T. , Markov processer och H-satsen. — J. Phys. soc. Japan. 12 (1963), 328-331.
Yaglom A.M. , Yaglom I.M. , Sannolikhet och information . - M., Nauka, 1973. - 512 sid.
Kullback S. , Informationsteori och statistik. Wiley, New York, 1959.
Burg JP , The Relationship Between Maximum Entropy Spectra and Maximum Likelihood Spectra, Geophysics 37(2) (1972), 375-376.
Tsallis C. , Möjlig generalisering av Boltzmann-Gibbs statistik. J. Stat. Phys. 52 (1988), 479-487.
Rudoy Yu. G. , Generalized information entropy and non-canonical distribution in equilibrium statistical mechanics , TMF, 135:1 (2003), 3-54.
Gorban, Alexander N.; Gorban, Pavel A.; Domare, George. Entropy: The Markov Ordering Approach . Entropi 12, nr. 5 (2010), 1145-1193.

Länkar

fast minus. Utveckla en klass för att arbeta med Markov-kedjor . Habrahabr (1 juni 2016). Hämtad: 18 augusti 2016. (ryska)

Ordböcker och uppslagsverk	stor kines Stor norsk Stor ryss Britannica (online) Moderna Ukraina Moderna Ukraina
I bibliografiska kataloger	GND : 4037612-6 J9U : 987007553386405171 LCCN : sh85081369

Klassificering av stater och Markov-kedjor
stat	aperiodisk retur- uppnås oåterkallelig obetydlig noll- periodisk positiv kommunicerar signifikant
Kedja	aperiodisk retur- oåterkallelig oupplöslig noll- periodisk positiv nedbrytbara ergodiskt

Typer av artificiella neurala nätverk

Framkopplingsnätverk ( Network of Radial Basis Functions )
Enkelskiktsperceptron
Multilayer Perceptron ( Rosenblatt • Rumelhart )
Hopfield nätverk
Markov kedja
Boltzmann maskin
Begränsad Boltzmann-maskin
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variationell autoencoder )
Djup nät av förtroende
Konvolutionellt neuralt nätverk
Deep Convolutional Neural Network
Distribution Neural Network
Deep Convolutional Inverse Graphic Network
Generativt motståndsnätverk
Återkommande neurala nätverk
Rekursiva neurala nätverk
långtidsminne
Kontrollerat återkommande block
Neural Turing Machines
Dubbelriktat nätverk ( Dubbelriktat återkommande neuralt nätverk • Dubbelriktat nätverk med långtidsminne • Dubbelriktat kontrollerade återkommande neuroner )
Deep Residual Network
Neural ekotätverk
Extrem inlärningsmetod
Metod för instabila tillstånd
Stöd vektor maskin
Kohonen nätverk
Självorganiserande karta över Kohonen
Kapselneurala nätverk
Associativt minne på neurala nätverk

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-Net Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG