Självorganiserande karta över Kohonen

Kohonens självorganiserande karta ( Engelska  Self-organizing map  - SOM) är ett oövervakat neuralt nätverk som utför uppgiften att visualisera och klustera . Idén om ett nätverk föreslogs av den finske forskaren T. Kohonen . Det är en metod för att projicera ett flerdimensionellt utrymme i ett utrymme med en lägre dimension (oftast tvådimensionellt), det används också för att lösa problem med modellering, prognoser, identifiera uppsättningar av oberoende funktioner, söka efter mönster i stora datamängder , utveckla datorspel, kvantisera färger till deras begränsade antal index i färgpaletten: vid utskrift på en skrivare och tidigare på en PC eller på set-top-boxar med en display med ett reducerat antal färger, för arkivering [allmänt ändamål] eller video-codecs, etc. Det är en av versionerna av Kohonens neurala nätverk .

Historik

Metoden föreslogs av den finske vetenskapsmannen Teuvo Kohonen 1984. Det finns många modifieringar av originalmodellen.

Nätverksstruktur

En självorganiserande karta består av komponenter som kallas noder eller neuroner. Deras antal bestäms av analytikern . Var och en av noderna beskrivs av två vektorer. Den första är den så kallade. en vektor med vikt m som har samma dimension som indata. Den andra är vektorn r , som är koordinaterna för noden på kartan. Kohonen-kartan visas visuellt med hjälp av rektangulära eller hexagonala celler; den senare används oftare, eftersom i detta fall avstånden mellan mitten av intilliggande celler är desamma, vilket ökar korrektheten av kartvisualiseringen.

Inledningsvis är dimensionen av indatadata känd, på något sätt är den ursprungliga versionen av kartan byggd på den. Under inlärningsprocessen närmar sig nodviktsvektorerna indata. För varje observation (prov) väljs den mest lika noden i termer av viktvektor, och värdet på dess viktvektor närmar sig observationen. Viktvektorerna för flera noder som ligger i närheten närmar sig också observationen, så om två observationer var lika i indatauppsättningen kommer nära noder att motsvara dem på kartan. Den cykliska inlärningsprocessen, itererande över indata, slutar när kartan når ett acceptabelt (förutbestämt av analytikern) fel, eller efter ett specificerat antal iterationer. Sålunda, som ett resultat av träning, klassificerar Kohonen-kartan indata i kluster och visar visuellt flerdimensionella indata i ett tvådimensionellt plan, distribuerar vektorer av nära särdrag till närliggande celler och färgar dem beroende på neuronernas analyserade parametrar.

Som ett resultat av algoritmen erhålls följande kartor:

• neuroninmatningskarta  — visualiserar den interna strukturen för indata genom att justera vikten av kartneuronerna. Vanligtvis används flera inmatningskartor, som var och en visar en av dem och är färgad beroende på neuronens vikt. På en av kartorna anger en viss färg området, vilket inkluderar ungefär samma indata för de analyserade exemplen.
• neuronutgångskarta  - visualiserar en modell av den relativa positionen för inmatningsexempel. De skisserade områdena på kartan är kluster som består av neuroner med liknande utdatavärden.
• specialkartor  är en karta över kluster som erhållits som ett resultat av tillämpningen av Kohonens självorganiserande kartalgoritm, såväl som andra kartor som kännetecknar dem. [ett]

Nätverksdrift

• Kartinitiering, det vill säga den initiala tilldelningen av viktvektorer för noder.
• Cykel:
  • Välja nästa observation (en vektor från en uppsättning indata).
  • Att hitta den bästa matchande enheten för det (BMU eller vinnare) - en nod på kartan, vars viktvektor är minst skild från observationen (i det mått som analytikern ställt in, oftast euklidiskt).
  • Att bestämma antalet BMU-grannar och lära - ändra viktvektorerna för BMU:n och dess grannar för att approximera dem till observationen.
  • Definition av kartfel.

Algoritm

• Initialisering

Det finns tre vanligaste sätten att ställa in de initiala nodvikterna:

• • Ställa in alla koordinater med slumptal.
  • Tilldela värdet av en slumpmässig observation från ingången till viktvektorn.
  • Val av viktvektorer från det linjära utrymmet som sträcks av huvudkomponenterna i indatauppsättningen.
• Cykel

Låt vara  iterationsnumret (initiering motsvarar nummer 0).

• • Välj en godtycklig observation från en uppsättning indata.
  • Hitta avstånden från den till viktvektorerna för alla noder på kartan och bestäm den närmaste noden i vikt . Detta är BMU eller Vinnare. Villkor för :

, för varje , var  är viktvektorn för noden . Om det finns flera noder som uppfyller villkoret väljs BMU slumpmässigt bland dem.

• • Använd funktionen (grannskapsfunktion) för att bestämma grannarna och ändra deras viktvektorer.
    • Träning

Funktionen bestämmer "grannskapsmåttet" för noder och förändringen i viktvektorer. Det bör gradvis förfina deras värden, först vid ett större antal noder och starkare, sedan vid en mindre och svagare. Ofta används en Gaussisk funktion som en grannskapsfunktion: var  är en träningsfaktor som monotont minskar med varje efterföljande iteration (det vill säga den bestämmer approximationen av värdet av viktvektorerna för BMU och dess grannar till observationen; ju större steg, desto mindre förfining); ,  - koordinater för noder och på kartan;  — faktorn som minskar antalet grannar med iterationer minskar monotont. Parametrar och deras karaktär av minskning ställs in av analytikern. Ett enklare sätt att definiera en grannskapsfunktion: , om det är i närheten av en radie som förutbestämts av analytikern, och 0 annars. Funktionen är lika för BMU och minskar med avståndet från BMU.

• • • Ändra viktvektorer

Ändra viktvektorn enligt formeln: Den där. viktvektorerna för alla noder som är grannar till BMU närmar sig observationen i fråga.

• • Kartfelberäkning

Till exempel, som det aritmetiska medelvärdet av avstånden mellan observationer och viktvektorerna för deras motsvarande BMU:er: , där N är antalet element i indatauppsättningen.

Funktioner i modellen

Motståndskraft mot bullriga data, snabb och oövervakad inlärning, förmåga att förenkla multivariat indata med visualisering. [2]

Självorganiserande Kohonen-kartor kan endast användas för klusteranalys om antalet kluster är känt i förväg [2] .

En viktig nackdel är att det slutliga resultatet av arbetet med neurala nätverk beror på nätverkets initiala inställningar. Å andra sidan kan neurala nätverk teoretiskt sett approximera vilken kontinuerlig funktion som helst, vilket gör att forskaren inte kan göra några hypoteser om modellen i förväg [2] .

Se även

• Kohonens neurala nätverk
• elastiskt kort

Anteckningar

1. ↑ Chubukova, 2000 , sid. 140.
2. ↑ 1 2 3 Manzhula, 2011 .

Litteratur

• T. Kohonen , Self-Organizing Maps (Third Extended Edition), New York, 2001, 501 sidor. ISBN 3-540-67921-9
• Debock G., Kohonen T. Finansiell dataanalys med självorganiserande kartor, Alpina Publisher, 2001, 317 s. ISBN 5-89684-013-6
• Zinoviev A. Yu Visualisering av flerdimensionell data . - Krasnoyarsk: Ed. Krasnoyarsk State Technical University, 2000. - 180 sid.
• Chubukova I.A. datautvinning . - 2000. - 326 sid.
• Manzhula V.G., Fedyashov D.S. Kohonen Neural Networks och Fuzzy Neural Networks in Data Mining . — 2011.
• Lakhmi C. Jain; NM Martin Fusion av neurala nätverk, fuzzy system och genetiska algoritmer: industriella tillämpningar. — CRC Press, CRC Press LLC, 1998

Länkar

• SOM-Research på Helsingfors tekniska universitets webbplats
• WEBSOM , ett nätverksprojekt från Kohonen
• PCA, SOM och GSOM: applet , E. M. Mirkes och University of Leicester. Huvudkomponentanalys, självorganiserande kartor och växande självorganiserande kartor. Kapitel i en onlinelärobok med program som låter dig genomföra jämförande studier.
• Föreläsning om självorganiserande Kohonen-kartor

Typer av artificiella neurala nätverk

Framkopplingsnätverk ( Network of Radial Basis Functions ) Enkelskiktsperceptron Multilayer Perceptron ( Rosenblatt • Rumelhart ) Hopfield nätverk Markov kedja Boltzmann maskin Begränsad Boltzmann-maskin Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variationell autoencoder ) Djup nät av förtroende Konvolutionellt neuralt nätverk Deep Convolutional Neural Network Distribution Neural Network Deep Convolutional Inverse Graphic Network Generativt motståndsnätverk Återkommande neurala nätverk Rekursiva neurala nätverk långtidsminne Kontrollerat återkommande block Neural Turing Machines Dubbelriktat nätverk ( Dubbelriktat återkommande neuralt nätverk • Dubbelriktat nätverk med långtidsminne • Dubbelriktat kontrollerade återkommande neuroner ) Deep Residual Network Neural ekotätverk Extrem inlärningsmetod Metod för instabila tillstånd Stöd vektor maskin Kohonen nätverk Självorganiserande karta över Kohonen Kapselneurala nätverk Associativt minne på neurala nätverk

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-Net Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG