Relevant vektormetod

Relevance Vector Machine ( RVM) är en maskininlärningsteknik som använder Bayesiansk slutledning för att få sparsamhetslösningar för regression och probabilistisk klassificering [1] . RTM har samma funktionella form som stödvektormaskinen , men ger en probabilistisk klassificering.

Beskrivning

Metoden är i själva verket likvärdig med en Gaussisk processmodell med en kovariansfunktion :

k(\mathbf {x} ,\mathbf {x'} )=\summa _{j=1}^{N}{\frac {1}{\alpha _{j))}\varphi (\ mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

var är kärnfunktionen (vanligtvis en Gauss), är de tidigare varianserna för viktvektorn och är ingångsvektorerna för träningsuppsättningen [2] . $\varphi$ ${\displaystyle \alpha _{j))$ $w\sim N(0,\alpha ^{-1}I)$ ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N))$

Jämfört med stödvektormaskiner undviker den Bayesianska formuleringen av RTM behovet av fria parametrar (vilket vanligtvis kräver efteroptimering baserat på korsvalideringar). RTM använder dock en inlärningsmetod som liknar EM-algoritmen , och därför finns det en risk att rulla in i ett lokalt minimum. Detta skiljer den från standardalgoritmer baserade på sekventiell minimioptimering som används av stödvektormaskiner och garanterar att hitta ett globalt optimum (på ett konvext problem).

Relevant Vector Method är patenterad i USA av Microsoft [3] .

Se även

kärnteknisk metod
Platt scaling : gör SVM till en probabilistisk modell

Anteckningar

↑ Tipping, 2001 , sid. 211-244.
↑ Candela, 2004 .
↑ Michael E. Tipping, "Relevance vector machine", US 6633857

Litteratur

Michael E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research . - 2001. - T. 1 .
Joaquin Quiñonero Candela. Gles probabilistiska linjära modeller och RVM // Lärande med osäkerhet - Gaussiska processer och relevansvektormaskiner . - Danmarks Tekniske Universitet, 2004. - (Ph.D.).

Programvara

dlib C++ bibliotek
Bibliotek för kärnkraftsmaskiner
rvmbinary : R -paket för binär klassificering
scikit-rvm
fast-scikit-rvm , Relevant handledning för vektormetod

Länkar

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-nät Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG