Statistisk inlärningsteori

Statistisk inlärningsteori är en modell för inlärningsmaskiner baserad på statistik och funktionsanalys [1] [2] . Statistisk inlärningsteori behandlar problemen med att hitta en prediktiv funktion baserad på data. Statistisk inlärningsteori har lett till framgångsrika tillämpningar inom områden som datorseende , taligenkänning och bioinformatik .

Inledning

Syftet med lärande är förståelse och framförhållning. Lärande delas in i flera kategorier inklusive övervakat lärande , oövervakat lärande , onlineinlärning och förstärkningsinlärning . Ur den statistiska teorin om lärande är övervakat lärande det mest begripliga [3] . Övervakat lärande innebär inlärning med träningsdatauppsättningen Varje träningsmoment är ett ingångs/utgångspar, där ingångsvärdet mappas till utgångsvärdet. Inlärningsproblemet är att rekonstruera en funktion som mappar ingångar till utgångar så att funktionen kan användas för att förutsäga utdata från framtida indata.

Beroende på typen av slutledning är övervakade inlärningsproblem antingen regressionsproblem eller klassificeringsproblem . Om utgången kan anta ett kontinuerligt område är det ett regressionsproblem. Med Ohms lag som ett exempel, kan regressionen ta spänning som ingång och ge ström som utgång. Regressionen kunde hitta sambandet mellan spänning och ström som , så att ${\frac {1}{R}}$

I={\frac {1}{R}}V

Klassificeringsuppgifter är de för vilka utdata kommer att vara ett element från en uppsättning etiketter. Klassificering är mycket vanligt i maskininlärningsapplikationer. I ett ansiktsigenkänningssystem , till exempel, skulle en bild av ett ansikte vara indata, och utdata kan vara personens efternamn. Ingången kan representeras som en stor flerdimensionell vektor vars element representerar pixlarna i bilden.

Efter att ha tränat en funktion baserad på träningssetet testas den funktionen på en testset som inte visas i träningssetet.

Formell beskrivning

Låt vara vektorrummet för alla möjliga ingångar och vara vektorrummet för alla möjliga utdata. Statistisk inlärningsteori antar att det finns en okänd sannolikhetsfördelning över produkten av utrymmen , det vill säga att det finns en del okänd . Träningsuppsättningen består av instanser av denna sannolikhetsfördelning och betecknas $X$ $Y$ $Z=X\ gånger Y$ $p(z)=p({\vec {x)),y)$ $n$

S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}= \{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}}\}

Var och en är en ingångsvektor från träningsdatan och är en utmatning som motsvarar den inmatningsvektorn. ${\vec {x}}_{i}$ $y_{i}$

I en sådan formalisering är slutledningsproblemet att hitta en funktion sådan att . Låta vara utrymmet för funktioner , som kallas utrymmet för hypoteser. Hypotesutrymmet är det utrymme som algoritmen kommer att titta på. Låt vara en förlustfunktion , ett mått på skillnaden mellan det förutsagda värdet och det sanna värdet . Den förväntade risken definieras som $f:X\till Y$ $f({\vec {x)))\sim y$ ${\mathcal {H}}$ $f:X\till Y$ $V(f({\vec {x))),y)$ $f({\vec {x)))$ $y$

I[f]=\displaystyle \int _{X\ gånger Y}V(f({\vec {x}}),y)\,p({\vec {x}}),y)\ , d{\vec {x}}\,dy

Objektiv funktion, den bästa funktionen som kan väljas är den funktion som uppfyller villkoret $f$

f=\inf _{h\in {\mathcal {H))}I[h]

Eftersom sannolikhetsfördelningen är okänd måste proxymått på förväntad risk användas. Dessa poäng är baserade på träningsuppsättningen, ett urval från denna okända sannolikhetsfördelning. Ett sådant mått kallas empirisk risk: En inlärningsalgoritm som väljer en funktion som minimerar empirisk risk kallas empirisk riskminimering . $p({\vec {x)),y)$ $I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i} ),y_{i})$ ${\displaystyle f_{S))$

Förlustfunktioner

Valet av förlustfunktion är bestämningen av den avgörande faktorn för funktionen som kommer att väljas av inlärningsalgoritmen. Förlustfunktionen påverkar också algoritmens konvergenshastighet. Det är viktigt att förlustfunktionen är konvex [4] . ${\displaystyle f_{S))$

Olika förlustfunktioner används beroende på om problemet är regression eller klassificering.

Regression

Den vanligaste förlustfunktionen för regression är den kvadratiska förlustfunktionen (även känd som L2-normen ). Denna välbekanta förlustfunktion används i den vanliga minsta kvadratmetoden . Formel:

V(f({\vec {x}}),y)=(yf({\vec {x}})))^{2}

Det absoluta förlustvärdet (även känt som L1-normen ) används också ibland:

V(f({\vec {x}}),y)=|yf({\vec {x}})|

Klassificering

På sätt och vis är 0-1 -indikatorfunktionen den mest naturliga förlustfunktionen för klassificeringsproblem. Funktionen tar värdet 0 om det förutsagda resultatet matchar det korrekta värdet och värdet 1 om det förutsagda resultatet inte matchar det korrekta värdet. För binär klassificering skulle detta vara: $Y=\{-1,1\}$

V(f({\vec {x)))),y)=\theta (-yf({\vec {x))))

var är Heaviside-funktionen . $\theta$

Regularisering

I maskininlärningsuppgifter blir överanpassning ett stort problem . Eftersom inlärning är en förutsägelseuppgift, är målet inte att hitta den funktion som passar (förhandsgranskad) data bäst, utan att hitta den funktion som mest exakt kommer att förutsäga utdata från framtida indata. Empirisk riskminimering faller in i denna överanpassningsrisk – att hitta en funktion som passar data exakt men misslyckas med att förutsäga framtiden.

Överanpassning är ett symptom på instabila lösningar – små förändringar i träningsuppsättningen kan orsaka stora variationer i inlärningsfunktionen. Det kan visas att lösningens stabilitet kan garanteras [5] [6] . Regulering kan lösa övermonteringsproblemet och ge stabilitet.

Regularisering kan göras genom att begränsa utrymmet för hypoteser . Det kan begränsas, till exempel, till linjära funktioner - detta kan betraktas som en begränsning till det vanliga linjära regressionsproblemet . kan begränsas till gradpolynom , exponential eller begränsade funktioner på L1 . Begränsningen av hypotesutrymmet utesluter överanpassning genom att begränsa formen av potentiella funktioner, vilket inte tillåter att man väljer funktioner som ger en empirisk risk godtyckligt nära noll. ${\mathcal {H}}$ ${\mathcal {H}}$ ${\mathcal {H}}$ $sid$

Ett exempel på en regularisering är Tikhonovs regularisering . Det består i att minimera

{\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i},y_{i}))+ \gamma \|f\|_{\mathcal {H}}^{2}

där är en fast positiv parameter. Tikhonov-regulariseringsmetoden säkerställer lösningens existens, unikhet och stabilitet [7] . $\gamma$

Anteckningar

↑ Hastie, Tibshirani, Friedman, 2009 .
↑ Mohri, Rostamizadeh, Talwalkar, 2012 .
↑ Tomaso Poggio, Lorenzo Rosasco, et al. Statistisk lärandeteori och tillämpningar , 2012, klass 1 Arkiverad 16 september 2012 på Wayback Machine
↑ Rosasco, Vito, Caponnetto, Fiana, Verri, 2004 , sid. 1063-1076.
↑ Vapnik, Chervonenkis, 1971 , sid. 264-280.
↑ Mukherjee, Niyogi, Poggio, Rifkin, 2006 , sid. 161-193.
↑ Tomaso Poggio, Lorenzo Rosasco, et al. Statistical Learning Theory and Applications , 2012, klass 2 Arkiverad 16 augusti 2016 på Wayback Machine

Litteratur

Trevor Hastie, Robert Tibshirani, Jerome Friedman. Elementen av statistiskt lärande. - Springer-Verlag, 2009. - ISBN 978-0-387-84857-0 .
Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar. Foundations of Machine Learning.. - USA, Massachusetts: MIT Press., 2012. - ISBN 9780262018258 .
Gagan Sidhu, Brian Caffo. Utnyttja pitcher-beslutsfattande med Reinforcement Learning // Annals of Applied Statistics. - 2014. - V. 8 , nr. 2 . - doi : 10.1214/13-AOAS712 .
Rosasco L., Vito ED, Caponnetto A., Fiana M., Verri A. Är förlustfunktioner likadana? // Neural beräkning. - 2004. - T. 16 .
Vapnik VN , Chervonenkis AY Om den enhetliga konvergensen av relativa frekvenser av händelser till deras sannolikheter // Sannolikhetsteori och dess tillämpningar. - 1971. - T. 16 .
Mukherjee S., Niyogi P., Poggio T., Rifkin R. Inlärningsteori: stabilitet är tillräcklig för generalisering och nödvändig och tillräcklig för konsekvens av empirisk riskminimering // Advances in Computational Mathematics. - 2006. - T. 25 .

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-nät Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG