Hamming neurala nätverk

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 2 augusti 2019; verifiering kräver 1 redigering .

Ett Hamming-neuralt nätverk är en typ av neuralt nätverk som används för att klassificera binära vektorer, där huvudkriteriet är Hamming-avståndet . Det är en utveckling av Hopfields neurala nätverk .

Nätverket används för att korrelera den binära vektorn , där , med en av referensbilderna (varje klass har sin egen bild), eller för att bestämma att vektorn inte motsvarar någon av standarderna. Till skillnad från Hopfield-nätverket utfärdar det inte själva provet, utan dess nummer. $x=(x_{1},x_{2},x_{3},...,x_{m})$ $x_{i}=\{-1,1\}$

Nätverket föreslogs av Richard Lippmann 1987. Den var positionerad som en specialiserad heteroassociativ lagringsenhet. [ett]

Arkitektur

Hamming-nätverket är ett trelagers neuralt nätverk med feedback. Antalet neuroner i det andra och tredje lagret är lika med antalet klassificeringsklasser. Synapserna av neuronerna i det andra lagret är anslutna till varje ingång i nätverket, neuronerna i det tredje lagret är sammankopplade med negativa anslutningar, förutom synapsen som är ansluten till den egna axonen av varje neuron - den har en positiv feedback.

Nätverksträning

Matrisen av viktkoefficienter för det första lagret erhålls från matrisen av referensbilder som , där matrisen av referensbilder är en matris , vars varje rad är den motsvarande binära referensvektorn. Aktiveringsfunktionen definieras som $X$ $w_{ij}={\dfrac {x_{ij}}{2}}$ $K\times M$ $f(s)=\left\{{\begin{matrix}0,&s\leqslant 0,\\s,&0<s\leqslant T;\\T,&s>T\\\end{matrix} }\höger.$

var $T={\dfrac {M}{2))$

Viktmatrisen för det andra lagret har storleken och definieras som $K\times K$

{\begin{bmatrix}1&-\epsilon &\cdots &-\epsilon \\-\epsilon &1&\cdots &-\epsilon \\\cdots &\cdots &\cdots &\cdots \\-\epsilon &-\epsilon &\cdots &1\end{bmatrix}},

var $\epsilon \in (0,{\dfrac {1}{K))]$

Sålunda genomförs träning i en cykel.

Nätverksdrift

Den klassificerade vektorn ges som indata . Neuronernas tillstånd i det första lagret beräknas som . Utgången av neuroner i det första lagret erhålls genom att applicera en aktiveringsfunktion på tillståndet, och blir det initiala värdet för motsvarande neuroner i det andra lagret. Vidare erhålls tillstånden för neuronerna i det andra lagret från deras tidigare tillstånd, baserat på matrisen av viktkoefficienter för det andra lagret, och proceduren upprepas iterativt tills tillståndsvektorn för det andra lagret stabiliseras - tills normen för skillnaden mellan vektorerna för två på varandra följande iterationer blir mindre än ett visst värde (i praktiken värden i storleksordningen 0,1). ${\displaystyle {\vec {x^{*))))$ $s_{1j}=w_{ji}x_{i}^{*}$ $E_{{max}}$

Om i slutändan en vektor är positiv och resten negativa, så pekar den på ett lämpligt prov. Om flera vektorer är positiva och samtidigt ingen av dem överstiger , betyder det att det neurala nätverket inte kan tillskriva den inkommande vektorn till någon av klasserna, men positiva utgångar indikerar de mest liknande standarderna. $E_{{max}}$

Exempel

Nätverket kan användas för att känna igen bilder som endast består av svarta och vita pixlar, till exempel ett index skrivet på en kuvertkodstämpel .

Anteckningar

↑ Richard Lipmann. 1987. En introduktion till beräkning med neurala nät. IEEE Assp tidningen

Litteratur

Vladimir Golovko. Neurala nätverk. Utbildning, organisation och tillämpning. Bok 4. - M . : IPRZhR, 2001. - 256 sid.
Osovsky S. Neurala nätverk för informationsbehandling. - M. : Finans och statistik, 2002. - 344 sid.

Typer av artificiella neurala nätverk

Framkopplingsnätverk ( Network of Radial Basis Functions )
Enkelskiktsperceptron
Multilayer Perceptron ( Rosenblatt • Rumelhart )
Hopfield nätverk
Markov kedja
Boltzmann maskin
Begränsad Boltzmann-maskin
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variationell autoencoder )
Djup nät av förtroende
Konvolutionellt neuralt nätverk
Deep Convolutional Neural Network
Distribution Neural Network
Deep Convolutional Inverse Graphic Network
Generativt motståndsnätverk
Återkommande neurala nätverk
Rekursiva neurala nätverk
långtidsminne
Kontrollerat återkommande block
Neural Turing Machines
Dubbelriktat nätverk ( Dubbelriktat återkommande neuralt nätverk • Dubbelriktat nätverk med långt korttidsminne • Dubbelriktat kontrollerade återkommande neuroner )
Deep Residual Network
Neural eko nätverk
Extrem inlärningsmetod
Metod för instabila tillstånd
Stöd vektor maskin
Kohonen nätverk
Självorganiserande karta över Kohonen
Kapselneurala nätverk
Associativt minne på neurala nätverk

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-nät Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG