Neuralt nätverk

Neuralt nätverk [1] (även artificiellt neuralt nätverk , ANN ) är en matematisk modell , såväl som dess mjukvara eller hårdvara, byggd på principen om organisering och funktion av biologiska neurala nätverk - nätverk av nervceller från en levande organism. Detta koncept uppstod när man studerade de processer som förekommer i hjärnan och när man försökte modellera dessa processer. Det första försöket av detta slag var W. McCullochs och W. Pitts ' neurala nätverk [2] . Efter utvecklingen av inlärningsalgoritmer började de resulterande modellerna användas i praktiska syften: för att prognostisera problem , för mönsterigenkänning , i kontrollproblem , etc.

ANN är ett system av anslutna och interagerande enkla processorer ( konstgjorda neuroner ). Sådana processorer är vanligtvis ganska enkla (särskilt jämfört med de processorer som används i persondatorer). Varje processor i ett sådant nätverk hanterar endast de signaler som den regelbundet tar emot och de signaler som den regelbundet skickar till andra processorer. Och ändå, eftersom de är anslutna i ett tillräckligt stort nätverk med kontrollerad interaktion, kan sådana individuellt enkla processorer tillsammans utföra ganska komplexa uppgifter.

Neurala nätverk är inte programmerade i ordets vanliga mening, de är tränade [a] . Förmågan att lära sig är en av de största fördelarna med neurala nätverk jämfört med traditionella algoritmer . Tekniskt sett handlar lärande om att hitta koefficienterna för kopplingar mellan neuroner. I inlärningsprocessen kan det neurala nätverket identifiera komplexa beroenden mellan input och output, samt utföra generalisering . Detta innebär att i händelse av framgångsrik träning kommer nätverket att kunna returnera det korrekta resultatet baserat på data som saknades i träningsprovet, såväl som ofullständiga och / eller "bullriga", delvis förvrängda data.

Kronologi

Anmärkningsvärda användningsområden

Mönsterigenkänning och klassificering

Föremål av olika karaktär kan fungera som bilder: textsymboler, bilder, ljudmönster etc. Vid utbildning av nätverket erbjuds olika bildmönster med indikation på vilken klass de tillhör. Ett sampel representeras vanligtvis som en vektor av funktionsvärden. I det här fallet måste helheten av alla funktioner unikt bestämma den klass som provet tillhör. Om det inte finns tillräckligt med funktioner kan nätverket associera samma prov med flera klasser, vilket inte är sant. I slutet av nätverksutbildningen kan den presenteras med tidigare okända bilder och få svar om att tillhöra en viss klass.

Topologin för ett sådant nätverk kännetecknas av det faktum att antalet neuroner i utgångsskiktet vanligtvis är lika med antalet definierade klasser. Detta upprättar en överensstämmelse mellan utsignalen från det neurala nätverket och den klass det representerar. När ett nätverk presenteras med en bild, bör en av dess utgångar visa ett tecken på att bilden tillhör denna klass. Samtidigt ska andra utgångar ha ett tecken på att bilden inte tillhör denna klass [18] . Om två eller flera utgångar har ett tecken på att tillhöra en klass, anses det som att nätverket är "osäkert" på sitt svar.

Neurala nätverksarkitekturer som används

Beslutsfattande och förvaltning

Detta problem ligger nära problemet med klassificering. Situationer är föremål för klassificering, vars egenskaper matas till ingången av det neurala nätverket. Vid utgången av nätverket bör ett tecken på beslutet som det fattade visas. I detta fall används olika kriterier för att beskriva det kontrollerade systemets tillstånd som insignaler [19] .

Clustering

Clustering avser uppdelningen av en uppsättning insignaler i klasser, trots att varken antalet eller egenskaperna hos klasserna är kända i förväg. Efter träning kan ett sådant nätverk avgöra vilken klass insignalen tillhör. Nätverket kan också signalera att insignalen inte tillhör någon av de valda klasserna - detta är ett tecken på att ny data saknas i träningsprovet. Således kan ett sådant nätverk detektera nya, tidigare okända klasser av signaler . Överensstämmelsen mellan de klasser som identifierats av nätverket och de klasser som finns inom ämnesområdet fastställs av en person. Clustering utförs till exempel av Kohonens neurala nätverk .

Neurala nätverk i Kohonens enkla version kan inte vara enorma, så de är uppdelade i hyperlager (hyperkolumner) och kärnor (mikrokolumner). Jämfört med den mänskliga hjärnan bör det ideala antalet parallella lager inte överstiga 112. Dessa lager utgör i sin tur hyperlager (hyperkolonner), i vilka det finns från 500 till 2000 mikrokolumner (kärnor). Dessutom är varje lager uppdelat i en uppsättning hyperkolumner som penetrerar genom dessa lager. Mikrokolumnerna är kodade med siffror och enheter med resultatet som erhålls vid utgången. Vid behov tas extra lager och neuroner bort eller läggs till. Det är idealiskt att använda en superdator för att välja antal neuroner och lager. Ett sådant system tillåter neurala nätverk att vara plastiska.

Neurala nätverksarkitekturer som används
  • Lärande utan lärare:

Prognos

Förmågan hos ett neuralt nätverk att förutsäga följer direkt av dess förmåga att generalisera och lyfta fram dolda beroenden mellan in- och utdata. Efter träning kan nätverket förutsäga det framtida värdet av en viss sekvens baserat på flera tidigare värden och (eller) några för närvarande existerande faktorer. Prognoser är möjliga endast när de tidigare förändringarna verkligen förutbestämmer framtiden till viss del . Att förutsäga aktiekurser baserat på förra veckans aktiekurser kan till exempel vara framgångsrikt eller inte, medan att förutsäga morgondagens lotteriresultat baserat på data från de senaste 50 åren nästan säkert kommer att misslyckas.

Neurala nätverksarkitekturer som används
  • Träning med lärare:
  • Blandat lärande:

Approximation

Neurala nätverk kan approximera kontinuerliga funktioner. En generaliserad approximationssats [20] bevisades : med hjälp av linjära operationer och en kaskadkoppling är det möjligt att erhålla en enhet från ett godtyckligt olinjärt element som beräknar vilken kontinuerlig funktion som helst med en viss förutbestämd noggrannhet . Detta betyder att den icke-linjära egenskapen hos en neuron kan vara godtycklig: från sigmoid till godtyckligt vågpaket eller wavelet , sinus eller polynom . Komplexiteten hos ett visst nätverk kan bero på valet av en olinjär funktion , men med vilken olinjäritet som helst förblir nätverket en universell approximator och kan, med rätt val av struktur, exakt approximera funktionen hos vilken kontinuerlig automat som helst.

Neurala nätverksarkitekturer som används
  • Träning med lärare:
  • Blandat lärande:

Datakomprimering och associativt minne

Neurala nätverks förmåga att identifiera samband mellan olika parametrar gör det möjligt att uttrycka högdimensionell data mer kompakt om data är nära sammankopplade med varandra. Den omvända processen - att återställa den ursprungliga datamängden från en bit information - kallas (auto)associativt minne. Associativt minne låter dig också återställa den ursprungliga signalen/bilden från brusiga/skadade indata. Att lösa problemet med heteroassociativt minne gör det möjligt att implementera innehållsadresserbart minne [19] .

Dataanalys

Neurala nätverksarkitekturer som används
  • Träning med lärare:
  • Lärande utan lärare:

Optimering

Neurala nätverksarkitekturer som används
  • Lärande utan lärare:

Stadier av problemlösning

  • Datainsamling för utbildning;
  • Databeredning och normalisering;
  • Val av nätverkstopologi;
  • Experimentellt urval av nätverksegenskaper;
  • Experimentellt urval av träningsparametrar;
  • faktisk utbildning;
  • Kontrollera att utbildningen är tillräcklig;
  • Parameterjustering, avslutande utbildning;
  • Nätverksverbalisering [ 21] för vidare användning.

Vissa av dessa steg bör övervägas mer i detalj.

Datainsamling för utbildning

Valet av data för nätverksträning och deras bearbetning är det svåraste steget för att lösa problemet. Utbildningsdataset måste uppfylla flera kriterier:

  • Representativitet - uppgifterna bör illustrera det verkliga läget inom ämnesområdet;
  • Konsistens − Inkonsekventa data i träningsuppsättningen kommer att resultera i dålig nätverksutbildningskvalitet.

De initiala uppgifterna omvandlas till den form i vilken de kan skickas till nätverkets ingångar. Varje post i datafilen kallas ett träningspar eller träningsvektor . Träningsvektorn innehåller ett värde för varje nätverksingång och, beroende på typen av träning (övervakad eller oövervakad), ett värde för varje nätverksutgång. Att träna ett nätverk på en "rå" uppsättning ger som regel inte resultat av hög kvalitet. Det finns ett antal sätt att förbättra "uppfattningen" av nätverket.

  • Normalisering utförs när data av olika dimensioner matas till olika ingångar. Till exempel, värden med värden från noll till ett matas till den första ingången på nätverket, och värden från hundra till tusen matas till den andra ingången. I avsaknad av normalisering kommer värdena vid den andra ingången alltid att ha en betydligt större inverkan på nätverksutgången än värdena vid den första ingången. Vid normalisering sammanförs dimensionerna för alla in- och utdata;
  • Kvantisering utförs på kontinuerliga kvantiteter för vilka en ändlig uppsättning diskreta värden är allokerad. Till exempel används kvantisering för att ställa in frekvenserna för ljudsignaler vid taligenkänning;
  • Filtrering utförs för "brusiga" data.

Dessutom spelar presentationen av både in- och utdata en viktig roll. Anta att nätverket är tränat att känna igen bokstäver i bilder och har en numerisk utdata - numret på bokstaven i alfabetet. I det här fallet kommer nätverket att få det felaktiga intrycket att bokstäverna numrerade 1 och 2 är mer lika än bokstäverna numrerade 1 och 3, vilket i allmänhet inte är sant. För att undvika en sådan situation används en nätverkstopologi med ett stort antal utgångar, när varje utgång har sin egen betydelse. Ju fler utgångar i nätverket, desto större är avståndet mellan klasserna och desto svårare är det att förväxla dem.

Välja en nätverkstopologi

Typen av nätverk bör väljas utifrån problembeskrivningen och tillgängliga träningsdata. Övervakat lärande kräver en "expert" bedömning för varje del av provet. Ibland är det helt enkelt omöjligt att få en sådan uppskattning för en stor mängd data. I dessa fall är ett naturligt val ett oövervakat lärande nätverk (t.ex. Kohonen självorganiserande karta eller Hopfield neurala nätverk ). Vid lösning av andra problem (som t.ex. tidsserieprognoser) finns expertbedömning redan i originaldata och kan extraheras under bearbetning. I det här fallet kan du använda en flerskiktsperceptron[ förtydliga ] eller Word - nätverket .

Experimentellt urval av nätverksegenskaper

Efter att ha valt den allmänna strukturen är det nödvändigt att experimentellt välja nätverksparametrar. För nätverk som en perceptron kommer detta att vara antalet lager, antalet block i dolda lager (för Word-nätverk), närvaron eller frånvaron av bypass-anslutningar och neuronernas överföringsfunktioner. När man väljer antalet lager och neuroner i dem bör man utgå från det faktum att nätverkets förmåga att generalisera är ju högre, desto större är det totala antalet kopplingar mellan neuroner . Å andra sidan begränsas antalet anslutningar ovanifrån av antalet poster i träningsdatan.

Experimentellt urval av inlärningsparametrar

Efter att ha valt en specifik topologi är det nödvändigt att välja träningsparametrarna för det neurala nätverket. Detta steg är särskilt viktigt för övervakade nätverk . Det korrekta valet av parametrar avgör inte bara hur snabbt nätverkets svar kommer att konvergera till de korrekta svaren. Om du till exempel väljer en låg inlärningshastighet ökar konvergenstiden, men ibland undviker du nätverksförlamning . Att öka inlärningsmomentet kan antingen öka eller minska konvergenstiden, beroende på formen på felytan . Baserat på en sådan motsägelsefull påverkan av parametrarna kan man dra slutsatsen att deras värden bör väljas experimentellt, styrt av inlärningsavslutningskriteriet (till exempel minimering av felet eller begränsning av inlärningstiden).

Nätverksträning

Under inlärningsprocessen skannar nätverket träningsprovet i en viss ordning. Sökordningen kan vara sekventiell, slumpmässig, etc. Vissa oövervakade nätverk ( till exempel Hopfield-nätverk ) skannar provet endast en gång. Andra (som Kohonen-nätverk ), såväl som övervakade nätverk, skannar provet många gånger, med en hel övergång över provet som kallas en inlärningsepok . När man lär sig med en lärare delas uppsättningen av initiala data upp i två delar - själva träningsprovet och testdata; separationsprincipen kan vara godtycklig. Träningsdata matas till nätverket för träning, och testdata används för att beräkna nätverkets fel (testdata används aldrig för att träna nätverket). Således, om felet minskar på testdata, så generaliserar nätverket. Om felet på träningsdata fortsätter att minska, och felet på testdata ökar, har nätverket slutat generalisera och "kommer ihåg" helt enkelt träningsdata. Detta fenomen kallas nätverksöveranpassning eller överanpassning . I sådana fall stoppas träningen vanligtvis. Under träningsprocessen kan andra problem dyka upp, såsom förlamning eller att nätverket hamnar i ett lokalt minimum av felytan. Det är omöjligt att i förväg förutsäga manifestationen av ett visst problem, liksom att ge entydiga rekommendationer för deras lösning.

Allt ovanstående gäller endast iterativa algoritmer för att hitta neurala nätverkslösningar. För dem kan egentligen ingenting garanteras och det är omöjligt att helt automatisera träningen av neurala nätverk. Men tillsammans med iterativa inlärningsalgoritmer finns det icke-iterativa algoritmer som har mycket hög stabilitet och låter dig automatisera inlärningsprocessen helt .

Kontrollera om utbildningen är tillräcklig

Även i fallet med framgångsrik träning vid första anblicken lär sig nätverket inte alltid exakt vad skaparen ville ha av det. Det finns ett känt fall då nätverket tränades att känna igen bilder av stridsvagnar från fotografier, men senare visade det sig att alla stridsvagnar fotograferades mot samma bakgrund. Som ett resultat "lärde sig" nätverket att känna igen denna typ av terräng, istället för att "lära sig" att känna igen tankar [22] . Nätverket "förstår" alltså inte vad som krävdes av det, utan vad som är lättast att generalisera.

Testning av kvaliteten på utbildning i neurala nätverk bör utföras på exempel som inte deltog i utbildningen. Antalet testfall bör vara desto större desto högre kvalitet på utbildningen. Om neurala nätverksfel har en sannolikhet nära en miljarddel, så behövs en miljard testfall för att bekräfta denna sannolikhet. Det visar sig att testa vältränade neurala nätverk blir en mycket svår uppgift.

Klassificering efter typ av indatainformation

  • Analoga neurala nätverk (använd information i form av reella tal);
  • Binära neurala nätverk (fungerar med information presenterad i binär form);
  • Figurativa neurala nätverk (fungerar med information som presenteras i form av bilder: tecken, hieroglyfer, symboler).

Klassificering enligt utbildningens karaktär

  • Övervakad inlärning  - utgångsbeslutsutrymmet för det neurala nätverket är känt;
  • Oövervakat lärande  − Ett neuralt nätverk genererar ett utgångsbeslutsutrymme endast baserat på ingångsåtgärder. Sådana nätverk kallas självorganiserande;
  • Förstärkningsinlärning  är ett system för att tilldela straff och belöningar från omgivningen.

Klassificering enligt arten av synapsavstämning

  • Nätverk med fasta anslutningar (vikterna för det neurala nätverket väljs omedelbart, baserat på villkoren för problemet, medan: , där W är nätverkets vikter);
  • Nätverk med dynamiska anslutningar (för dem, under inlärningsprocessen, justeras synaptiska anslutningar, det vill säga , där W är nätverkets viktkoefficienter).

Klassificering efter signalöverföringstid

I ett antal neurala nätverk kan den aktiverande funktionen bero inte bara på viktkoefficienterna för anslutningar , utan också på tidpunkten för överföring av en impuls (signal) genom kommunikationskanaler . Därför, i allmänhet, har den aktiverande (överförande) funktionen för anslutningen från element till element formen: . Då är ett synkront nät ett sådant nät där överföringstiden för varje anslutning är antingen noll eller en fast konstant . Ett asynkront nätverk är ett nätverk där överföringstiden för varje anslutning mellan element är olika , men också konstant.

Klassificering enligt kopplingarnas karaktär

Feed-forward neurala nätverk

I neurala nätverk för feedforward riktas alla  anslutningar strikt från ingångsneuroner till utgångsneuroner. Exempel på sådana nätverk är Rosenblatts perceptron , multilayer perceptron , Word-nätverk .

Återkommande neurala nätverk

Signalen från utgångsneuronerna eller dolda skiktneuroner överförs delvis tillbaka till ingångarna på ingångsskiktets neuroner ( återkoppling ). Det återkommande Hopfield-nätverket "filtrerar" indata, återgår till ett stabilt tillstånd och gör det således möjligt att lösa problemen med datakomprimering och bygga associativt minne [23] . Dubbelriktade nätverk är ett specialfall av återkommande nätverk. I sådana nätverk finns det kopplingar mellan skikten både i riktningen från ingångsskiktet till utgångsskiktet och i motsatt riktning. Ett klassiskt exempel är Cosco Neural Network .

Radiella basfunktioner

Neurala nätverk har utvecklats som använder radiella-basic (även kallade RBF) nätverk som aktiveringsfunktioner. Allmän bild av den radiella basfunktionen:

, till exempel,

där  är vektorn för neuroninsignaler,  är bredden på funktionsfönstret,  är en avtagande funktion (oftast lika med noll utanför ett visst segment).

Det radiella basnätverket kännetecknas av tre funktioner:

  1. Det enda dolda lagret;
  2. Endast neuroner i det dolda lagret har en icke-linjär aktiveringsfunktion;
  3. De synaptiska vikterna för anslutningarna av ingångs- och dolda skikt är lika med en.

Självorganiserande kartor

Sådana nätverk är ett oövervakat konkurrenskraftigt neuralt nätverk som utför uppgiften att visualisera och klustera . Det är en metod för att projicera ett flerdimensionellt utrymme in i ett utrymme med en lägre dimension (oftast tvådimensionellt), det används också för att lösa problem med modellering, prognoser etc. Det är en av versionerna av Kohonens neurala nätverk [ 24] . Kohonens självorganiserande kartor tjänar främst för visualisering och initial (”spaning”) dataanalys [25] .

Signalen till Kohonen-nätverket går till alla neuroner på en gång, vikten av motsvarande synapser tolkas som koordinater för nodens position, och utsignalen bildas enligt principen "vinnaren tar allt" - det vill säga neuron närmast (i betydelsen synapsvikter) ingångssignalen har ett utsignalobjekt som inte är noll. Under inlärningsprocessen justeras synapsvikter på ett sådant sätt att gitternoderna är "lokaliserade" på platser för lokal datakondensering, det vill säga de beskriver datamolnets klusterstruktur, å andra sidan kopplingarna mellan neuroner motsvarar grannskapsrelationerna mellan motsvarande kluster i funktionsutrymmet.

Det är bekvämt att betrakta sådana kartor som tvådimensionella rutnät av noder som ligger i ett flerdimensionellt utrymme. Inledningsvis är en självorganiserande karta ett rutnät av noder sammankopplade med länkar. Kohonen övervägde två alternativ för att ansluta noder - i ett rektangulärt och hexagonalt rutnät - skillnaden är att i ett rektangulärt rutnät är varje nod ansluten till 4 angränsande, och i en hexagonal - till sex närmaste noder. För två sådana nät skiljer sig processen för att bygga ett Kohonen-nätverk endast på den plats där de närmaste grannarna till en given nod korsas.

Den initiala kapslingen av rutnätet i datautrymmet väljs godtyckligt. Författarens SOM_PAK-paket erbjuder alternativ för en slumpmässig initial placering av noder i rymden och en variant för placering av noder i ett plan. Efter det börjar noderna röra sig i rymden enligt följande algoritm:

  1. En datapunkt väljs slumpmässigt .
  2. Den närmaste kartnoden (BMU - Best Matching Unit) bestäms.
  3. Denna nod flyttar det givna steget mot . Den rör sig dock inte ensam utan bär med sig ett visst antal närmaste noder från någon stadsdel på kartan. Av alla rörliga noder är den centrala noden närmast datapunkten starkast förskjuten, och resten upplever de mindre förskjutningarna ju längre de är från BMU. Det finns två steg i kartinställningen - steget för grov ( beställning ) och steget för finjustering ( finjustering ). I det första skedet väljs stora värden av stadsdelarna och rörelsen av noder är av kollektiv karaktär - som ett resultat "sprider sig kartan ut" och återspeglar ungefär datastrukturen; vid finjusteringsstadiet är grannskapets radie 1-2, och nodernas individuella positioner är redan justerade. Dessutom avtar biasvärdet likformigt med tiden, det vill säga det är stort i början av varje träningssteg och nära noll i slutet.
  4. Algoritmen upprepas under ett visst antal epoker (det är tydligt att antalet steg kan variera mycket beroende på uppgiften).

Kända nätverkstyper

Skillnader från von Neumann arkitekturmaskiner

Datorsystem baserade på neurala nätverk har ett antal kvaliteter som saknas i maskiner med von Neumann-arkitektur (men inneboende i den mänskliga hjärnan):

Användningsexempel

Förutsägelse av finansiella tidsserier

Indata är aktiekursen för året. Uppgiften är att bestämma morgondagens kurs. Följande transformation genomförs - kursen för idag, igår, i förrgår är uppradad. Nästa rad flyttas efter datum med en dag och så vidare. På den resulterande uppsättningen tränas ett nätverk med 3 ingångar och en utgång - det vill säga utgång: kurs till datum, ingångar: kurs till datum minus 1 dag, minus 2 dagar, minus 3 dagar. Det utbildade nätverket matas med kursen för idag, igår, i förrgår och får svaret för imorgon. I det här fallet kommer nätverket att visa beroendet av en parameter på de tre föregående. Om det är önskvärt att ta hänsyn till någon annan parameter (till exempel det allmänna indexet för branschen), måste den läggas till som en input (och inkluderas i exemplen), träna om nätverket och få nya resultat. För den mest exakta träningen är det värt att använda ORO-metoden , som den mest förutsägbara och lätta att implementera.

Psykodiagnostik

En serie verk av M. G. Dorrer och medförfattare ägnas åt studiet av möjligheten att utveckla psykologisk intuition i expertsystem för neurala nätverk [27] [28] . De erhållna resultaten ger ett tillvägagångssätt för att avslöja mekanismen för intuition hos neurala nätverk, vilket visar sig när de löser psykodiagnostiska problem. Ett intuitivt förhållningssätt till psykodiagnostik , som inte är standard för datormetoder , har skapats , vilket består i att utesluta konstruktionen av den beskrivna verkligheten . Det låter dig minska och förenkla arbetet med psykodiagnostiska metoder.

Kemoinformatik

Neurala nätverk används ofta i kemisk och biokemisk forskning [29] . För närvarande är neurala nätverk en av de vanligaste metoderna för kemoinformatik för att söka efter kvantitativa struktur-egenskapsförhållanden [30] [31] , på grund av vilket de aktivt används både för att förutsäga de fysikalisk-kemiska egenskaperna och biologiska aktiviteten hos kemiska föreningar, och för riktad design av kemiska föreningar, föreningar och material med förutbestämda egenskaper, inklusive utveckling av nya läkemedel.

Neurofeedback

Neurala nätverk används framgångsrikt för syntes av styrsystem för dynamiska objekt [32] [33] .

Inom kontrollområdet används neurala system i problem med objektidentifiering, i algoritmer för prognoser och diagnostik, och även för syntes av optimal ACS. För att implementera ACP baserat på ANN, utvecklas för närvarande intensivt produktion av neurochips och neurocontrollers (NC) .

I en viss mening är ANN en hjärnsimulator som har förmågan att lära sig och navigera i förhållanden av osäkerhet. Ett artificiellt neuralt nätverk liknar hjärnan i två aspekter. Nätverket förvärvar kunskap i inlärningsprocessen, och för att lagra kunskap använder det inte objekten själva, utan deras anslutningar - värdena för koefficienterna för internuronala anslutningar, kallade synaptiska vikter eller synaptiska koefficienter.

ANN-inlärningsproceduren består i att identifiera synaptiska vikter som ger den de nödvändiga transformerande egenskaperna. En egenskap hos ANN är dess förmåga att modifiera parametrarna och strukturen i inlärningsprocessen. [34]

Ekonomi

Neurala nätverksalgoritmer används i stor utsträckning inom ekonomi [35] . Med hjälp av neurala nätverk löses problemet med att utveckla algoritmer för att hitta en analytisk beskrivning av funktionsmönster för ekonomiska objekt (företag, industri, region). Dessa algoritmer används för att prognostisera vissa "output"-indikatorer för objekt. Användningen av neurala nätverksmetoder gör det möjligt att lösa vissa problem med ekonomisk och statistisk modellering, öka lämpligheten hos matematiska modeller och föra dem närmare den ekonomiska verkligheten [36] . Eftersom ekonomiska, finansiella och sociala system är mycket komplexa och är resultatet av mänskliga handlingar och reaktioner, är det en mycket svår (om lösbar) uppgift att skapa en komplett matematisk modell , med hänsyn till alla möjliga handlingar och reaktioner. I system av denna komplexitet är det naturligt och mest effektivt att använda modeller som direkt efterliknar samhällets och ekonomins beteende. Detta är precis vad metodiken för neurala nätverk [37] kan erbjuda .

Se även

Anteckningar

Kommentarer

  1. ↑ Enligt den välkände maskininlärningsspecialisten Yang LeCun är maskininlärning reproduktion av tänkande baserat på artificiella neurala nätverk [4]

Fotnoter

  1. ↑ Neuralt nätverk  // Great Russian Encyclopedia  : [i 35 volymer]  / kap. ed. Yu. S. Osipov . - M .  : Great Russian Encyclopedia, 2004-2017.
  2. ↑ 1 2 McCulloch W. S. , Pitts W. Logisk beräkning av idéer som relaterar till nervös aktivitet Arkiverad 27 november 2007 på Wayback Machine // Automata / Ed. C.E. Shannon och J. McCarthy. — M .: Izd-vo inostr. lit., 1956. - S. 363-384. (Översättning av den engelska artikeln från 1943)
  3. ↑ Gorban A.N. Vilka är vi, vart är vi på väg, hur mäter vi vår väg? Arkiverad kopia av den 14 augusti 2009 vid Wayback Machine Plenary-rapporten vid öppnandet av Neuroinformatics-99- konferensen (MEPhI, 20 januari 1999). Journalversion: Gorban A. N. Neuroinformatik: vilka vi är, vart vi är på väg, hur vi mäter vår väg // Computational technology. - M . : Mashinostroenie. - 2000. - Nr 4. - S. 10-14. = Gorban AN Neuroinformatik: Vad är vi, vart är vi på väg, hur mäter vi vår väg? Arkiverad 17 februari 2016 på Wayback Machine Föreläsningen vid USA-NIS Neurocomputing Opportunities Workshop, Washington DC, juli 1999 (associerad med IJCNN'99) .
  4. ↑ LeCun, 2021 , sid. 78.
  5. ↑ N. Wiener. Cybernetik. 2:a uppl., 1961, kap. jag.
  6. ↑ Golubev, 2007 , sid. fyra.
  7. ↑ Mönsterigenkänning och adaptiv kontroll. BERNARD WIDROW . Hämtad 9 februari 2009. Arkiverad från originalet 22 juni 2010.
  8. ↑ Widrow B., Stearns S. Adaptiv signalbehandling. - M . : Radio och kommunikation, 1989. - 440 sid.
  9. ↑ Petrov A.P.  Om perceptronens kapacitet // Proceedings of the Academy of Sciences of the USSR, Technical Cybernetics. - 1964. - Nr 6 .
  10. ↑ Bongard M. M.  Problem med igenkänning. — M .: Fizmatgiz, 1967.
  11. ↑ Golubev, 2007 , sid. 5.
  12. ↑ Khakimov B. B. Modellering av korrelationsberoende genom splines på exempel inom geologi och ekologi. - M . : Moscows förlag. universitet; SPb. : Neva, 2003. - 144 sid.
  13. ↑ Werbos PJ Beyond regression: Nya verktyg för förutsägelse och analys inom beteendevetenskap. — Ph. D. avhandling, Harvard University, Cambridge, MA, 1974.
  14. ↑ Galushkin A.I. Syntes av system för flerskiktsmönsterigenkänning. - M . : Energi, 1974.
  15. ↑ Rumelhart DE, Hinton GE, Williams RJ , Learning Internal Representations by Error Propagation. I: Parallel Distributed Processing, vol. 1, sid. 318-362. Cambridge, MA, MIT Press. 1986.
  16. ↑ Rumelhart DE, Hinton GE, Williams RJ Lär sig interna representationer genom felspridning // Parallell distribuerad bearbetning. Vol. 1. - Cambridge, MA: MIT Press, 1986. P. 318-362.
  17. ↑ Bartsev S.I., Okhonin V.A. Adaptiva nätverk för informationsbehandling. - Krasnoyarsk: Institute of Physics SO AN USSR, 1986. Preprint N 59B. — 20 s.
  18. ↑ Denna typ av kodning kallas ibland en "1 av N"-kod.
  19. ↑ 1 2 Öppna system - Introduktion till neurala nätverk Arkiverad 31 oktober 2005 på Wayback Machine
  20. ↑ Gorban A. N. Generalized approximation theorem and computational capabilities of neural networks Arkivexemplar daterad 27 januari 2012 på Wayback Machine // Siberian Journal of Computational Mathematics , 1998, vol. 1, nr 1. - P. 12-24.
  21. ↑ Mirkes E. M. Logiskt transparenta neurala nätverk och produktion av explicit kunskap från data Arkivkopia av 4 februari 2019 på Wayback Machine // Neuroinformatik / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdin et al. - Novosibirsk: Science. Siberian Enterprise of the Russian Academy of Sciences, 1998. - 296 sid. — ISBN 5-02-031410-2 .
  22. ↑ Omnämnande av denna berättelse i Popular Mechanics . Hämtad 16 april 2012. Arkiverad från originalet 8 september 2011.
  23. ↑ INTUIT.ru - Återkommande nätverk som associativa lagringsenheter . Hämtad 5 oktober 2007. Arkiverad från originalet 17 december 2007.
  24. ↑ Kohonen T. Självorganiserande kartor. 3:e upplagan. - Berlin - New York: Springer-Verlag, 2001 / - ISBN 0-387-51387-6 , ISBN 3-540-67921-9 .
  25. ↑ Zinoviev A. Yu  Visualisering av flerdimensionell data . - Krasnoyarsk: Krasnoyarsks förlag. tech. un-ta, 2000. - 180 sid.
  26. ↑ Martinetz TM, Berkovich SG, Schulten KJ Neuralgasnätverk för vektorkvantisering och dess tillämpning på tidsserieprediktion Arkiverad 16 juli 2019 på Wayback Machine // IEEE Trans. om neurala nätverk, 1993, nr. 4. - P. 558-569. Från PCA- webbplatsen Arkiverad 16 mars 2019 på Wayback Machine
  27. ↑ Gorban AN, Rossiyev DA, Dorrer MG MultiNeuron - Neural Networks Simulator for Medical, Physiological, and Psychological Applications Arkiverad 17 februari 2016 på Wayback Machine // Wcnn'95, Washington, DC: World Congress on Neural Networks, 1995. Internationellt Årsmöte för Neural Network Society: Renaissance Hotel, Washington, DC, USA, 17-21 juli 1995.
  28. ↑ Dorrer M.G. Psykologisk intuition av artificiella neurala nätverk Arkiverad 25 mars 2009 på Wayback Machine , Diss. … 1998. Andra exemplar online: [1] Arkiverad 28 april 2009 på Wayback Machine , [2] Arkiverad 7 april 2009 på Wayback Machine
  29. ↑ Baskin I. I., Palyulin V. A., Zefirov N. S. Tillämpning av artificiella neurala nätverk i kemisk och biokemisk forskning Arkivkopia daterad 10 juli 2007 på Wayback Machine // Vestn. Moskva universitet Ser. 2. Kemi . 1999. V. 40. Nr 5.
  30. ↑ Galbershtam N. M., Baskin I. I., Palyulin V. A., Zefirov N. S.  Neurala nätverk som en metod för att söka efter struktur-egenskapsberoende hos organiska föreningar  // Uspekhi khimii . - Ryska vetenskapsakademin , 2003. - T. 72 , nr 7 . - S. 706-727 .
  31. ↑ Baskin I. I., Palyulin V. A., Zefirov N. S.  Flerskiktsperceptroner i studien av struktur-egenskapsförhållanden för organiska föreningar // Russian Chemical Journal (Journal of the Russian Chemical Society uppkallad efter D. I. Mendeleev). - 2006. - T. 50 . - S. 86-96 .
  32. ↑ Shigeru, Marzuki, Rubia, 2000 .
  33. ↑ Chernodub A. N., Dzyuba D. A. Översikt över neurokontrollmetoder Arkiverad 13 januari 2012 på Wayback Machine // Programmeringsproblem . - 2011. - Nr 2. - S. 79-94.
  34. ↑ Sabanii V. R. Automatiska styrsystem baserade på neurala nätverksteknologier / V. R. Sabanin, N. I. Smirnov, A. I. Repin // Proceedings of the International Scientific Conference Control-2003. M.: MEI Publishing House, 2003.S. 45-51.
  35. ↑ Kalatskaya L. V., Novikov V. A., Sadov V. S. Organisation och träning av artificiella neurala nätverk: Experimentella studier. ersättning. - Minsk: BSU Publishing House, 2003. - 72 sid.
  36. ↑ Kenin A. M., Mazurov V. D. Erfarenhet av användning av neurala nätverk i ekonomiska problem Arkivexemplar av 2 april 2013 på Wayback Machine
  37. ↑ [3] Neurala nätverk inom ekonomi

Litteratur

  • Berkinblit M. B.  Neurala nätverk . - M. : MIROS och VZMSH RAO, 1993. - 96 sid. — ISBN 5-7084-0026-9 . Arkiverad12 maj 2011 påWayback Machine
  • Voronovsky G. K., Makhotilo K. V., Petrashev S. N., Sergeev S. A.  Genetiska algoritmer, artificiella neurala nätverk och problem med virtuell verklighet. - Kharkov: Osnova, 1997. - 112 sid. — ISBN 5-7768-0293-8 .
  • Golubev Yu. F.  Neurala nätverksmetoder inom mekatronik. - M . : Moscows förlag. unta, 2007. - 157 sid. — ISBN 978-5-211-05434-9 .
  • Gorban A.N.   Utbildning av neurala nätverk . - M. : USSR-USA SP "Paragraph", 1990. - 160 sid.
  • Gorban A.N., Rossiev D.A.   Neurala nätverk på en persondator . - Novosibirsk: Nauka, 1996. - 276 sid. — ISBN 5-02-031196-0 .
  • Gorban A.N., Dunin-Barkovsky V.L. et al.  Neuroinformatics . - Novosibirsk: Nauka, 1998.
  • Goodfellow Y., Bengio I., Courville A. Deep Learning = Deep Learning. — M. : DMK-Press , 2017. — 652 sid. - ISBN 978-5-97060-554-7 .
  • Eremin D. M., Gartseev I. B.  Artificiella neurala nätverk i intelligenta styrsystem. - M. : MIREA, 2004. - 75 sid. - ISBN 5-7339-0423-2 .
  • Callan R. Essential Neural Network Concepts = The Essence of Neural Networks First Edition. - M. : Williams, 2001. - 288 sid. — ISBN 5-8459-0210-X .
  • Kruglov V. V. , Borisov V. V.  Artificiella neurala nätverk. Teori och praktik. - M . : Hotline - Telecom, 2001. - 382 sid. — ISBN 5-93517-031-0 .
  • Mirkes E. M.  Neurocomputer. Utkast till standard . - Novosibirsk: Nauka, 1999. - 337 s. — ISBN 5-02-031409-9 . Andra exemplar online:Neurocomputer. Utkast till standard.
  • Nikolenko S. , Kadurin A., Arkhangelskaya E. Deep learning. - St Petersburg. : Peter , 2018. - 480 sid. - ISBN 978-5-496-02536-2 .
  • Osovsky Stanislav. Neurala nätverk för informationsbehandling = Sieci neuronowe do przetwarzania informacji  (polska) / Översatt av I. D. Rudinsky. - M. : Finans och statistik, 2004. - 344 sid. — ISBN 5-279-02567-4 .
  • Savelyev A. V.  På väg till den allmänna teorin om neurala nätverk. Om frågan om komplexitet  // Neurodatorer: utveckling, tillämpning. - 2006. - Nr 4-5 . - S. 4-14 . Arkiverad från originalet den 11 september 2016.
  • Shigeru Omatu, Marzuki Khalid, Rubia Yusof. Neurocontrol och dess applikationer = Neuro-Control och dess applikationer. 2:a uppl. — M. : IPRZhR, 2000. — 272 sid. — ISBN 5-93108-006-6 .
  • Tadeusevich Ryszard, Borovik Barbara, Gonchazh Tomasz, Lepper Bartosz. En elementär introduktion till tekniken för neurala nätverk med programexempel / Översättning av I. D. Rudinsky. - M . : Hotline - Telecom, 2011. - 408 sid. - ISBN 978-5-9912-0163-6 . .
  • Terekhov V. A., Efimov D. V., Tyukin I. Yu.  Styrsystem för neurala nätverk. - M . : Högre skola , 2002. - 184 sid. — ISBN 5-06-004094-1 .
  • Wasserman F.  Neurodatorteknologi: Teori och praktik = Neural Computing. teori och praktik. — M .: Mir, 1992. — 240 sid. — ISBN 5-03-002115-9 . Arkiverad 30 juni 2009 på Wayback Machine
  • Khaykin S.  Neurala nätverk: en komplett kurs = Neurala nätverk: A Comprehensive Foundation. 2:a uppl. - M. : Williams, 2006. - 1104 sid. — ISBN 0-13-273350-1 .
  • Yasnitsky L. N.  Introduktion till artificiell intelligens. - M . : Förlag. Center "Academy", 2005. - 176 sid. — ISBN 5-7695-1958-4 .
  • Jan LeCun . Hur en maskin lär sig. En revolution inom neurala nätverk och djupinlärning. (Sber Library: Artificiell intelligens). - M . : Alpina facklitteratur, 2021. - ISBN 978-5-907394-29-2 .

Länkar

  Gå till Wikidata-objektet  Ordböcker och uppslagsverk
I bibliografiska kataloger
 Typer av artificiella neurala nätverk
 Kunskapsteknik
Allmänna begrepp
Stela modeller
Mjuka metoder
Ansökningar