Radiell basfunktion

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 2 juni 2021; verifiering kräver 1 redigering .

Radiell basfunktion ( RBF ) är en funktion från en uppsättning radiella funktioner av samma typ som används som en aktiveringsfunktion i ett lager av ett artificiellt neuralt nätverk eller på annat sätt, beroende på sammanhanget. En radiell funktion är vilken reell funktion som helst vars värde endast beror på avståndet till origo eller på avståndet mellan någon annan punkt som kallas centrum : . Normen är vanligtvis det euklidiska avståndet , även om andra mått kan användas . $\phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)$ ${\mathbf {c}}$ $\phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)$

Linjära kombinationer av radiella basfunktioner kan också användas för att approximera en given funktion . Approximation kan tolkas som den enklaste sortens neurala nätverk ; det är i detta sammanhang som radiella basfunktioner först definierades av David Broomhead och David Lowe 1988 [1] [2] , baserat på Michael Powells framstående arbete från 1977 [3] [4] [5] .

Radiella basfunktioner används också som en kärna i stödvektormaskiner . [6]

Art

Vanligt använda radiella basfunktioner inkluderar ( ): $r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|$

Gaussisk funktion : $\phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2))$
Multiquadric: ${\displaystyle \phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2))))$
Omvänd kvadratisk: ${\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2))))$
Omvänd multikvadratisk: $\phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2))))$
Polyharmonisk spline : ${\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r ^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}$
Tunn platta spline (särskild polyharmonisk spline): $\phi \left(r\right)=r^{2}\ln \left(r\right)$

Approximation

För att approximera funktioner med hjälp av radiella basfunktioner tas vanligtvis deras linjära kombination av formen:

y\left(\mathbf {x} \right)=\summa _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\right\|\right)

där summan av radiella basfunktioner med centra vid punkterna och koefficienter tas som approximerande funktion . Koefficienterna kan beräknas med minsta kvadratmetoden , eftersom anpassningsfunktionen är linjär med avseende på koefficienterna . $y\left(\mathbf {x} \right)$ $N$ ${\displaystyle \mathbf {x} _{i))$ $w_{{i}}$ $w_{{i}}$

Approximationsscheman av detta slag är särskilt användbara. i tidsserieprognoser , kontroll av icke-linjära system som uppvisar ganska enkelt kaotiskt beteende och 3D-modellering i datorgrafik .

Neurala nätverk baserade på RBF

Linjär kombination:

y\left(\mathbf {x} \right)=\summa _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\right\|\right)

kan också tolkas som det enklaste artificiella neurala nätverket med ett lager, kallat nätverket av radiella basfunktioner , där den radiella basfunktionen spelar rollen som en aktiveringsfunktion. Det kan visas att vilken kontinuerlig funktion som helst på ett kompakt intervall i princip kan interpoleras med godtycklig noggrannhet för tillräckligt stor . $N$

Approximationen är differentierbar med avseende på . Koefficienterna kan beräknas med vilken standard iterativ metod som helst för neurala nätverk. $y\left(\mathbf {x} \right)$ $w_{{i}}$

Radiella basfunktioner tillhandahåller således ett flexibelt interpolationsverktyg, förutsatt att uppsättningen av centra mer eller mindre enhetligt täcker domänen för den önskade funktionen (helst bör centra vara lika långt från sina närmaste grannar). Emellertid, i regel, vid mellanliggande punkter, uppnår approximationen hög noggrannhet endast om uppsättningen av radiella basfunktioner kompletteras med ett polynom som är ortogonalt mot var och en av RBF:erna.

Anteckningar

↑ Radial Basis Function-nätverk Arkiverad 23 april 2014.
↑ Broomhead, Lowe, 1988 , sid. 321–355
↑ Michael J. D. Powell; Michael JD Powell. Starta om procedurer för den konjugerade gradientmetoden // Matematisk programmering : journal. - Springer, 1977. - Vol. 12 . - S. 241-254 . - doi : 10.1007/bf01593790 .
↑ Sahin, Ferat (1997). En radiell grundfunktionsmetod för ett färgbildsklassificeringsproblem i en industriell tillämpning i realtid (PDF) (M.Sc.). Virginia Tech . sid. 26. Arkiverad från originalet (PDF) 2015-10-26 . Hämtad 2018-06-02 . Radiella basfunktioner introducerades först av Powell för att lösa det verkliga multivariata interpolationsproblemet. Utfasad parameter används |deadlink=( hjälp )
↑ Broomhead, Lowe, 1988 , sid. 347: "Vi skulle vilja tacka professor MJD Powell vid institutionen för tillämpad matematik och teoretisk fysik vid Cambridge University för att ha gett den första stimulansen för detta arbete."
↑ VanderPlas, Jake Introduktion till stöd för vektormaskiner (länk ej tillgänglig) . [O'Reilly] (6 maj 2015). Hämtad 14 maj 2015. Arkiverad från originalet 5 september 2015. (obestämd)

Litteratur

Broomhead, David H.; Lowe, David. Multivariable Functional Interpolation and Adaptive Networks (engelska) // Complex Systems : journal. - 1988. - Vol. 2 . - s. 321-355 . Arkiverad från originalet den 14 juli 2014.
Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations , Cambridge University Press , ISBN 978-0-521-63338-3 .
Hardy, RL Multikvadriska ekvationer av topografi och andra oregelbundna ytor // Journal of Geophysical Research : journal. - 1971. - Vol. 76 , nr. 8 . - S. 1905-1915 . - doi : 10.1029/jb076i008p01905 . — .
Hardy, RL Teori och tillämpningar av den multiquadric-biharmoniska metoden, 20 years of Discovery, 1968 1988 // Comp . matematik Tillämpning: journal. - 1990. - Vol. 19 , nr. 8/9 . - S. 163-208 . - doi : 10.1016/0898-1221(90)90272-l .
Press, W.H.; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), avsnitt 3.7.1. Radial Basis Function Interpolation , Numeriska recept: The Art of Scientific Computing (3:e upplagan), New York: Cambridge University Press, ISBN 978-0-521-88068-8
Sirayanone, S., 1988, Jämförande studier av kriging, multiquadric-biharmonic och andra metoder för att lösa mineraltillgångsproblemet, Ph.D. Avhandling, MPEI. Geovetenskap, Iowa State University, Ames, Iowa.
Sirayanone, S. Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological and Other Applications // Journal of Applied Sciences and Computations : journal. - 1995. - Vol. 1 . - s. 437-475 .

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-nät Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG