Softmax

Softmax är en generalisering av den logistiska funktionen för det flerdimensionella fallet. Funktionen omvandlar en dimensionsvektor till en vektor med samma dimension, där varje koordinat för den resulterande vektorn representeras av ett reellt tal i intervallet [0,1] och summan av koordinaterna är 1. $z$ $K$ $\sigma$ $\sigma_i$

Koordinaterna beräknas enligt följande: $\sigma_i$

$\sigma (z)_{i}={\frac {e^{z_{i))}{\displaystyle \sum _{k\mathop {=} 1}^{K}e^{z_{ k}}}}$

Applikationer i maskininlärning

Softmax-funktionen används i maskininlärning för klassificeringsproblem när antalet möjliga klasser är fler än två (en logistisk funktion används för två klasser). Koordinaterna för den resulterande vektorn behandlas som sannolikheter för att objektet tillhör klassen . Kolumnvektorn beräknas enligt följande: $\sigma_i$ $i$ $z$

$z=w^{T}x-\theta$

där är en kolumnvektor av egenskaper hos ett dimensionsobjekt ; är den transponerade matrisen av viktkoefficienter för egenskaper, som har dimensionen ; är en kolumnvektor med tröskeldimensionsvärden (se perceptron ), där är antalet objektklasser och är antalet objektegenskaper. $x$ $M\times 1$ $w^{T}$ $K\times M$ $\theta$ $K\times 1$ $K$ $M$

Ofta används Softmax för det sista lagret av djupa neurala nätverk för klassificeringsuppgifter. I detta fall används korsentropi som en förlustfunktion för att träna det neurala nätverket .

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-nät Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG