Regularisering (matematik)

Regularisering inom statistik , maskininlärning , omvänd problemteori är en metod för att lägga till några ytterligare begränsningar till ett tillstånd för att lösa ett illa ställt problem eller förhindra överanpassning . Denna information kommer ofta i form av en påföljd för modellens komplexitet. Till exempel kan dessa vara restriktioner för jämnheten hos den resulterande funktionen, eller restriktioner för vektorrumsnormen .

Ur en Bayesiansk synvinkel motsvarar många regleringsmetoder att lägga till några tidigare distributioner till modellparametrarna.

Några typer av regularisering:

-regularization ( eng. lasso regression ), eller regularisering genom Manhattan-distansen : $L_{1}=\summa _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}$ .
$L_{2}$ - regularisering , eller Tikhonov-regularisering (i den engelska litteraturen - ridge regression eller Tikhonov-regularisering ), för integrerade ekvationer, låter dig balansera mellan dataefterlevnad och en liten lösningsnorm: $L_{2}=\summa _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \summa _{i}{a_{i}}^{2}$ .

Överanpassning visar sig i de flesta fall i det faktum att de resulterande polynomen har för stora koefficienter. Följaktligen är det nödvändigt att lägga till en straffavgift för för stora koefficienter till den objektiva funktionen .

Det finns ingen lösning för multikriterieoptimering eller optimering där målfunktionens domän är ett utrymme där det inte finns någon linjär ordning eller det är svårt att införa det. Nästan alltid finns det punkter i domänen för den funktion som optimeras och som uppfyller begränsningarna, men värdena vid punkterna är ojämförliga. För att hitta alla punkter på Pareto-kurvan , använd skalarisering [1] . Inom optimering är regularisering en allmän skalariseringsteknik för ett optimeringsproblem med två kriterier [2] . Genom att variera lambda-parametern - elementet som måste vara större än noll i den dubbla konen med avseende på vilken ordningen definieras - kan du få olika punkter på Pareto-kurvan .

Anteckningar

↑ Boyd och Vandenberghe 2004 , sid. 178.
↑ Boyd och Vandenberghe 2004 , sid. 306.

Litteratur

Boyd S., Vandenberghe L. Convex Optimization . - Storbritannien: Cambridge University Press, 2004. - 716 sid. - (Berichte über verteilte messysteme). — ISBN 9780521833783 .

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-Net Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG