Pulsneurala nätverk

Pulserade neurala nätverk (IMNS, eng.  Pulsed neural networks , PNN) eller Spike neural network (SNN , eng.  Spiking neural network , SNN) är den tredje generationen artificiella neurala nätverk (ANN) [1] , som skiljer sig från binära (första generation) och frekvens/hastighet (andra generationens) ANN genom att neuroner i den utbyter korta (för biologiska neuroner, cirka 1–2 ms) pulser med samma amplitud (för biologiska neuroner, cirka 100 mV). Det är den mest realistiska, ur fysiologisk synvinkel, ANN-modellen [2] [3] [4] .

Historik

Origins

Den första vetenskapliga modellen av ett sprucket neuralt nätverk föreslogs av Alan Hodgkin och Andrew Huxley 1952. Denna modell beskrev hur aktionspotentialer genereras och sprids. Impulser överförs emellertid i allmänhet inte direkt mellan neuroner. Kommunikation kräver utbyte av kemikalier, kallade neurotransmittorer , i den synaptiska klyftan [5] .

Ur informationsteoretisk synvinkel är problemet bristen på en modell som skulle förklara hur information kodas och en serie pulssekvenser, det vill säga aktionspotentialer, avkodas. För neurobiologi är frågan fortfarande öppen: kommunicerar neuroner med hjälp av frekvens- eller tidskodning [6] ? Med hjälp av tidskodning kan en impulsneuron ersätta hundratals dolda element i ett frekvensneuralt nätverk [1] .

Samtida forskning

För närvarande finns det två forskningsriktningar för IMNS [2] :

1. skapande av datormodeller som exakt upprepar modellerna för funktionen av nervceller i den verkliga hjärnan , på grund av vilka det kommer att bli möjligt både att förklara mekanismerna för dess arbete och att diagnostisera / behandla sjukdomar och skador i centrala nervsystemet ;
2. skapande av datormodeller som abstrakt upprepar funktionsmodellerna för verkliga hjärnneuroner, vilket gör det möjligt att använda alla fördelar med en riktig hjärna, såsom brusimmunitet och energieffektivitet , när man analyserar stora mängder data.

Enhet

Hur det fungerar

Nätverket tar emot en serie pulser vid ingångarna och producerar pulser vid utgången. Vid varje ögonblick har varje neuron ett visst värde (en analog till den elektriska potentialen i biologiska neuroner) och om detta värde överskrider tröskeln skickar neuronen en enda impuls , varefter dess eget värde sjunker till en nivå under genomsnittet värde (en analog till rehabiliteringsprocessen i biologiska neuroner, så kallad refraktärperioden ) vid 2-30 ms. När den tas bort från jämviktstillståndet börjar neurons potential att smidigt tendera mot medelvärdet. Det finns bara två parametrar för impulsneuronens viktförbindelser - fördröjningstiden och viktens värde [7] .

Modeller av neuroner

Metoder för att modellera IMNS-neuroner kan delas in i två grupper [4] [8] :

• ledningsmodeller - liknande processen för drift av jonkanaler ;

1. Hodgkin-Huxley modell ;
2. Izhikevich modell ;
3. FitzHugh-Nagumo modell ;
4. Hindmarsh-Rose modell ;
5. Morris-Lekar modell ;
6. Wilson-Kovan modell ;
7. Galvez-Löcherbach modell ;
8. Flerkammarmodell ;
9. Kabelteori om dendriter .

• tröskelmodeller - generera en puls vid en viss spänningsnivå.

1. Integrera-och-arbeta metod ;
2. Metoden "integrera och arbeta" med läckor .

Presentation av information

I frekvens-ANN används en signal som antar ett värde som beror på frekvensen av att generera impulser av en viss grupp av neuroner (neuronernas vikter är faktiskt en form av representation av denna frekvens) [3] . Den genomsnittliga pulsfrekvensen i en sekvens är dock en ganska dålig representation av information, eftersom olika typer av stimulering kan leda till samma genomsnittliga pulsfrekvens [9] .

För att bli av med denna brist används följande typer av informationsrepresentation i pulsade ANN:er [3] [8] [10] [4] :

1. fas (temporär) - information om signalen ges av den exakta (eller inom ett visst fönster) position av impulser i tid (i förhållande till någon vanlig referensrytm i hjärnan );
2. synkron (positionell/rumslig/population) - information om signalen ges av den synkrona aktiviteten hos olika grupper av neuroner, och som ett resultat av det synkrona (eller inom ett visst fönster) uppträdande av impulser vid vissa nätverksutgångar (t. till exempel, hörselreceptorer i snäckan som svarar på öron med hög och låg frekvens finns i olika zoner);
3. tid till uppkomsten av den första pulsen - information om signalen ställs in av tiden för uppkomsten av den första pulsen vid vilken utgång som helst;
4. ordinal - information om signalen ges av den ordning i vilken pulser tas emot vid nätverksutgångarna;
5. intervall (fördröjning) - information om signalen ställs in av avståndet mellan de pulser som tas emot vid nätverksutgångarna;
6. resonans - information om signalen ges av en tät sekvens av pulser (kö), vilket leder till förekomsten av resonans (enkla pulser avklingar och ger inget bidrag till överföringen av information).

Dessutom finns det typer av informationsrepresentation, som är en blandad form av flera enkla typer av informationsrepresentation, till exempel:

1. rum-tid - information ges inte bara av en viss sekvens av impulser i tiden, utan de måste också komma från en viss grupp av neuroner;
2. populationsfrekvens - information ges av en ökning av frekvensen av att generera impulser av en viss grupp av neuroner.

Enhet

IMNS-arkitekturer kan delas in i följande grupper [8] :

1. Feed-forward neuralt nätverk (NPR) — data överförs strikt i en riktning: från ingångar till utgångar, det finns inga återkopplingar, och bearbetning kan ske över flera lager;
2. Återkommande neurala nätverk (RNS) - individuella neuroner / populationer av neuroner interagerar med varandra, det vill säga det finns feedback. ANN av denna typ har sin egen dynamik och hög datorkraft;
3. Blandat neuralt nätverk  — inne i ANN tillhör vissa populationer av neuroner NPR-typen och några till RNN. Interaktion mellan populationer kan vara både enkelriktad och ömsesidig.

1. Synkron excitation av kretsen  - är en flerskiktskrets i vilken impulsaktivitet kan fortplanta sig i form av en synkron våg av överföring av impulsskurar från en population till nästa;
2. Reservoarberäkning  — reservoar ANN består av en återkommande reservoar och utgående neuroner.

Undervisningsmetoder

IMNS undervisningsmetoder är indelade i tre grupper [10] [8] [11] :

• Lärande utan lärare :

1. Spike-timing-dependent plasticity (STDP) modell av plasticitet [ ; 
2. Växande spikande neurala nätverk ; 
3. ABS regel ( eng.  Artola, Bröcher, Singer (ABS) regel );
4. BCM-regel ( eng.  Bienenstock, Cooper, Munro (BCM)-regel );
5. Förhållandet mellan BCM-  och STDP- regler ;
6. Allmänt oövervakat lärande .  _

• Träning med lärare :

1. SpikeProp ( engelska  SpikeProp );
2. Metoder för djupinlärning ( eng.  Deep learning );
3. Fjärrövervakad metod ( ReSuMe  )
4. FreqProp ( engelska  FreqProp );
5. Lokal feldriven associativ biologiskt realistisk algoritm ( LEABRA ; 
6. Övervakat hebbiskt lärande .  _

• Förstärkningsinlärning :

1. Skådespelarens och kritikerns impulsmetod ( eng.  Spiking actor-critic );
2. Förstärkningsinlärning med hjälp av en dimensionellt givande STDP-modell ( RL through reward-modulated STDP ) . 

Kvalitativa egenskaper

Fördelar

Pulse ANN har ett antal fördelar jämfört med tidigare generationers neurala nätverk [12] :

1. ImNS är dynamiska, vilket betyder att de är utmärkta för att arbeta med dynamiska processer (tal och dynamisk bildigenkänning) [2] ;
2. ImNS har multitasking, eftersom indata bearbetas i ett neuralt nätverk med feedback , och olika grupper av läsneuroner kan tränas för att lösa olika problem;
3. ImNS kan utföra igenkänning med framsynthet (det vill säga det är inte nödvändigt att ha fullständig information om objektet eller känna till resultatet av processen);
4. IMNS är lätt att träna, eftersom det räcker att träna endast utdataavläsningsneuronerna;
5. IMNS har ökat produktiviteten för informationsbehandling och brusimmunitet, eftersom de använder tidsmässig representation av information;
6. imNS kräver ett mindre antal neuroner, eftersom varje neuron i det impulsneurala nätverket ersätter två neuroner ( excitatoriska och hämmande ) av den klassiska ANN;
7. ImNS har en hög drifthastighet och en stor potential för parallellisering, eftersom det för överföring av en impuls är nödvändigt att skicka 1 bit, och inte ett kontinuerligt värde, som i frekvens ANNs [13] ;
8. ImNS kan tränas i arbetsprocessen [14] .

Nackdelar

1. Det är olämpligt att använda IMNS i system med ett litet antal neuroner;
2. Det finns ingen perfekt inlärningsalgoritm.

Implementeringar

Programvara

Programvara som huvudsakligen används för att simulera nervnätverk och används av biologer för att studera deras funktion, egenskaper och egenskaper. Ger dig möjlighet att modellera med hög detaljnivå och noggrannhet, men kräver mycket simuleringstid .

• GENESIS ;
• Neuron ;
• Brian ;
• NEST .

Programvara som kan användas för att lösa verkliga snarare än teoretiska problem. Modellering i dem är mycket snabb, men tillåter inte modellering av komplexa, det vill säga biologiskt realistiska, modeller av neuroner.

• SpikeNET .

Programvara som är tillräckligt effektiv för att köra simuleringar snabbt, ibland till och med i realtid, men som ändå kan använda neurala modeller som är detaljerade och biologiskt rimliga. Allt detta är mycket praktiskt för uppgifter bearbetning av information.

• EDLUT .

Hårdvara

Använda befintlig användararkitektur:

• Neurogrid ;
• Spinnaker .

Använder sin egen specialiserade arkitektur:

• TrueNorth ;
• Akida

Applikation

Proteser

Syn- och hörselneuroproteser som använder impulssekvenser för att skicka signaler till synbarken och återföra förmågan att navigera i rymden till patienter finns redan och arbetet med mekaniska motoriska proteser pågår aktivt. Pulssekvenser kan också matas in i hjärnan genom elektroder som implanteras i den och därigenom eliminera symptomen på Parkinsons sjukdom , dystoni , kronisk smärta, MDP och schizofreni [2] .

Robotics

Brain Corporation i San Diego utvecklar robotar som använder IMNS, och SyNAPSE skapar neuromorfa system och processorer [2] [8] .

Datorseende

Det finns möjligheter att använda IMNS i datorseende (automatisk analys av videoinformation). IBM TrueNorth Digital Neurochip inkluderar en miljon programmerbara neuroner och 256 miljoner programmerbara synapser för att simulera neuroner i den visuella cortex . Detta neurochip består av 4096 kärnor, innehåller 5,4 miljarder transistorer , men samtidigt har det allvarlig energieffektivitet - endast 70 milliwatt [2] .

Telekommunikation

Qualcomm undersöker möjligheten att använda IMNS i telekommunikationsenheter [ 2] .

Anteckningar

1. ↑ 1 2 Maas, Wolfgang. Nätverk av spikneuroner: Den tredje generationen av neurala nätverksmodeller  (engelska)  // Neural Networks : journal. - 1997. - Vol. 10 . - P. 1659-1671 . - doi : 10.1016/S0893-6080(97)00011-7 .
2. ↑ 1 2 3 4 5 6 7 Hur flyttade forskningen om neurala nätverk från labbet till företaget? . Hämtad 13 oktober 2016. Arkiverad från originalet 28 augusti 2016. (obestämd)
3. ↑ 1 2 3 Självorganisering av impulsneurala nätverk . Hämtad 16 oktober 2016. Arkiverad från originalet 28 augusti 2016. (obestämd)
4. ↑ 1 2 3 Gerstner, Wulfram och Kistler, Werner M. Spiking Neuron Models: Single Neurons, Populations, Plasticity. — Cambridge, Storbritannien: Cambridge university press, 2002.
5. ↑ Hodgkin, Alan L; Huxley., Andrew F. En kvantitativ beskrivning av membranström och dess tillämpning på ledning och excitation i nerver  (engelska)  // The Journal of physiology : journal. - 1952. - Vol. 117 . - P. 500-544 .
6. ↑ Wolfram Gerstner. Spiking Neurons // Pulserade neurala nätverk  (neopr.) / Wolfgang Maass; Christopher M. Biskop. - MIT Press , 2001. - ISBN 0-262-63221-7 .
7. ↑ Mikhail Viktorovich Golovinov, Om automatisk taligenkänning (otillgänglig länk) . Hämtad 16 oktober 2016. Arkiverad från originalet 11 juni 2015. (obestämd) 
8. ↑ 1 2 3 4 5 Ponulak, Filip; Kasinski, Andrzej. Introduktion till spikande neurala nätverk: informationsbehandling, inlärning och tillämpningar  //  Experimental Acta neurobiologiaeis : journal. - 2010. - Vol. 71 . - s. 409-433 .
9. ↑ Borisyuk G. N.; Borisyuk R.M.; Kazanovich Ya. B.; Ivanitsky G.R. Modeller av dynamiken i neuronal aktivitet vid bearbetning av information i hjärnan - resultaten av "decenniet"  // Uspekhi fizicheskikh nauk  : zhurnal. - Ryska vetenskapsakademin , 2002. - T. 172 . - S. 1189-1214 . - doi : 10.3367/UFNr.0172.200210d.1189 . (ryska)
10. ↑ 1 2 Kodenko Nikita Igorevich, Metoder för att träna impulsneurala nätverk
11. ↑ Bekolay, Trevor. Lärande i storskaliga spikande neurala nätverk  (neopr.) . — 2011.
12. ↑ Kolesnitsky O. K., Bokotsey I. V., Yaremchuk S. S. Hårdvaruimplementering av element i impulsneurala nätverk med hjälp av bispin-enheter, del 1 // XII All-Russian Scientific and Technical Conference "Neuroinformatics". - Moskva: MEPhI, 2010. - S. 122-127.
13. ↑ Sinyavsky Oleg Yurievich. Träning av spikneurala nätverk baserat på minimering av deras entropiegenskaper i problemen med analys, memorering och adaptiv bearbetning av rums-temporal information. — Moskva, 2011.
14. ↑ Sknar I.I. Konceptet att bygga ett biologiskt rimligt artificiellt neuralt nätverk // Neuro-fuzzy modelleringsteknologier i ekonomi / A. V. Matviychuk. - Kiev: KNEU, 2014. - T. 3. - S. 188-218.
15. ↑ Färdkarta s.11 "Med tanke på medvetandets komplexitet och konceptuella frågor kommer vi inte att undersöka kriterierna 6abc, utan huvudsakligen undersöka att uppnå kriterierna 1-5."