Sigmoid

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 2 augusti 2019; kontroller kräver 5 redigeringar .

Sigmoiden är en jämn monotont ökande icke- linjär funktion formad som bokstaven "S", som ofta används för att "jämna ut" värdena för en viss kvantitet.

Sigmoid förstås ofta som en logistisk funktion

\sigma (x)={\frac {1}{1+e^{-x}}}.

Sigmoiden begränsas av två horisontella asymptoter, som den tenderar till eftersom argumentet tenderar att . Beroende på konventionen kan dessa asymptoter vara y = ±1 (in ) eller y = 0 in och y = +1 in . $\pm \infty .$ $\pm \infty$ $-\infty$ $+\infty$

Derivatan av sigmoiden är en klockformad kurva med ett maximum vid noll, som tenderar asymptotiskt till noll vid . $+\infty$

Funktionsfamiljen i sigmoidklassen

Funktionsfamiljen i sigmoidklassen inkluderar funktioner som arctangent , hyperbolisk tangens och andra liknande funktioner.

Fermi-Dirac funktion (exponentiell sigmoid):

f(x)={\frac {1}{1+e^{-2\alpha x}}},\quad \alpha >0.

Rationell sigmoid:

f(x)={\frac {x}{|x|+\alpha )),\quad \alpha >0.

Arktangens :

f(x)=\operatörsnamn {arctg} x.

Hyperbolisk tangens :

f(x)=\operatörsnamn {th} {\frac {x}{\alpha }}={\frac {e^{\frac {x}{\alpha }}-e^{-{\frac {x}{\alpha }}}}{e^{\frac {x}{\alpha }}+e^{-{\frac {x}{\alpha }}}}}.

Smidigt steg N:e ordningen:

f(x)={\begin{cases}\left(\int _{0}^{1}{\big (}1-u^{2}{\big )}^{N}\ du \right)^{-1}\int _{0}^{x}{\big (}1-u^{2}{\big )}^{N}\ du\quad &|x|\leq 1 \\\operatörsnamn {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1

Root sigmoid:

f(x)={\frac {x}{\sqrt {1+x^{2))))

Logistisk funktion :

f(x)=(1+e^{-x})^{-1}.

Generaliserad logistisk funktion :

f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0.

Felfunktion :

f(x)=\operatörsnamn {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2 }}\,dt.

Gudermann funktion :

f(x)=\operatörsnamn {gd} x=\int _{0}^{x}{\frac {1}{\cosh t}}\,dt=\operatörsnamn {arctg} (\operatörsnamn { sh}x).

Applikation

Neurala nätverk

Sigmoider används i neurala nätverk som aktiveringsfunktioner. De tillåter neuroner att både förstärka svaga signaler och inte mättas av starka signaler [1] .

Neurala nätverk använder ofta sigmoider, vars derivator kan uttryckas i termer av själva funktionen. Detta gör det möjligt för oss att avsevärt minska beräkningskomplexiteten för metoden för återförökning av fel , vilket gör den tillämpbar i praktiken:

\sigma '(x)=(1+\sigma (x))\cdot (1-\sigma (x))

— för hyperbolisk tangent;

\sigma '(x)=\sigma (x)\cdot (1-\sigma (x))

- för logistikfunktionen.

Logistisk regression

Logistikfunktionen används för att lösa klassificeringsproblem med logistisk regression . Låt ett klassificeringsproblem med två klasser lösas ( och , där är en variabel som indikerar objektklassen). Ett antagande görs att sannolikheten för ett objekt som tillhör en av klasserna uttrycks genom värdena för attributen för detta objekt (reella tal): $f(x)={\frac {1}{1+e^{{-x))))$ $y=0$ $y=1$ $y$ $x_{1},x_{2},...,x_{n}$

\mathbb {P} \{y=1\mid x_{1},\ldots ,x_{n}\}=f(a_{1}x_{1}+\ldots +a_{n}x_{ n})={\frac {1}{1+\exp(-a_{1}x_{1}-\ldots -a_{n}x_{n))))),

var finns några koefficienter som kräver urval, vanligtvis enligt metoden med maximal sannolikhet . $a_{1},...,a_{n}$

Det är denna funktion som erhålls med hjälp av en generaliserad linjär modell och antagandet att den beroende variabeln är fördelad enligt Bernoullilagen . $f(x)$ $y$

Se även

Artificiellt neuralt nätverk
perceptron
Modifierad hyperbolisk tangent

Litteratur

Mitchell, Tom M. Machine Learning . - WCB-McGraw-Hill, 1997. - ISBN 0-07-042807-7 .

Anteckningar

↑ Aktiveringsfunktioner i neurala nätverk . Hämtad 11 september 2014. Arkiverad från originalet 24 juli 2014. (obestämd)

Länkar

Jämförelse av hastigheten för flera programvaruimplementationer av hyperbolisk tangent
Humphrys, Mark Continuous output , sigmoidfunktionen .

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-Net Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG