Artificiell neuron

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 25 december 2020; kontroller kräver 4 redigeringar .

En artificiell neuron ( matematisk neuron McCulloch - Pitts , formell neuron [1] ) är en nod i ett artificiellt neuralt nätverk , som är en förenklad modell av en naturlig neuron . Matematiskt representeras en artificiell neuron vanligtvis som någon icke-linjär funktion av ett enda argument - en linjär kombination av alla insignaler. Denna funktion kallas aktiveringsfunktion [2] eller driftfunktion , överföringsfunktion . Resultatet skickas till en enda utgång. Sådana artificiella neuroner kombineras till nätverk - de kopplar utgångarna från vissa neuroner till andras ingångar. Konstgjorda neuroner och nätverk är huvudelementen i en idealisk neurodator . [3]

Biologisk prototyp

En biologisk neuron består av en kropp med en diameter på 3 till 100 mikron, som innehåller en kärna (med ett stort antal kärnporer) och andra organeller (inklusive en högutvecklad grov ER med aktiva ribosomer , Golgi-apparaten ), och processer. Det finns två typer av skott. Ett axon är vanligtvis en lång process anpassad för att leda excitation från kroppen av en neuron. Dendriter är som regel korta och mycket grenade processer som fungerar som huvudplatsen för bildandet av excitatoriska och hämmande synapser som påverkar neuronen (olika neuroner har olika förhållande mellan axonets och dendriternas längd). En neuron kan ha flera dendriter och vanligtvis bara en axon. En neuron kan ha kopplingar med 20 000 andra neuroner. Den mänskliga hjärnbarken innehåller cirka 80 miljarder neuroner.

Utvecklingshistorik

Den matematiska modellen av en artificiell neuron föreslogs av W. McCulloch och W. Pitts tillsammans med en modell av ett nätverk bestående av dessa neuroner. Författarna visade att nätverket på sådana element kan utföra numeriska och logiska operationer [4] . I praktiken implementerades nätverket av Frank Rosenblatt 1958 som ett datorprogram, och senare som en elektronisk enhet - en perceptron . Ursprungligen kunde neuronen endast fungera med signalerna logisk noll och logisk etta [5] , eftersom den byggdes på basis av en biologisk prototyp, som bara kan vara i två tillstånd - upphetsad eller oexciterad. Utvecklingen av neurala nätverk har visat att för att utöka omfattningen av deras tillämpning är det nödvändigt att neuronen kan arbeta inte bara med binära, utan också med kontinuerliga (analoga) signaler. En sådan generalisering av neuronmodellen gjordes av Widrow och Hoff [6] , som föreslog att använda den logistiska kurvan som avfyrningsfunktionen hos neuronen.

Kopplingar mellan artificiella neuroner

Anslutningar genom vilka utsignalerna från vissa neuroner går till andras ingångar kallas ofta synapser , i analogi med kopplingarna mellan biologiska neuroner. Varje anslutning kännetecknas av sin egen vikt . Anslutningar med positiv vikt kallas excitatoriska och de med negativ vikt kallas hämmande [7] . Neuronen har en utgång, ofta kallad axon , i analogi med den biologiska prototypen. Från en enda utgång från en neuron kan en signal komma fram till ett godtyckligt antal ingångar från andra neuroner.

Matematisk modell

Matematiskt är en neuron en viktad adderare vars enda utdata ges av dess indata och viktmatrisen enligt följande:

y=f(u)

, var

{\displaystyle u=\sum _{i=1}^{n}w_{i}x_{i}+w_{0}x_{0))

Här och är respektive signalerna vid neuronens ingångar och ingångarnas vikter, funktionen u kallas det inducerade lokala fältet och f(u) är överföringsfunktionen. De möjliga värdena för signalerna vid neuronens ingångar anses givna i intervallet . De kan vara antingen diskreta (0 eller 1) eller analoga. Den extra ingången och dess motsvarande vikt används för att initiera neuronen [8] . Med initiering menas förskjutningen av aktiveringsfunktionen hos neuronen längs den horisontella axeln, det vill säga bildandet av neurons känslighetströskel [5] . Dessutom läggs ibland en viss slumpmässig variabel, som kallas ett skift, medvetet till utmatningen av en neuron. Skiftet kan betraktas som en signal på en ytterligare, alltid laddad, synaps. $x_{i}$ $w_{i}$ $[0,1]$ $x_{0}$ $w_{0}$

Överföringsfunktionen för en neuron

Överföringsfunktionen bestämmer beroendet av signalen vid neurons utgång på den viktade summan av signalerna vid dess ingångar. I de flesta fall är den monotont ökande och har ett intervall på eller , men det finns undantag. För vissa nätverksinlärningsalgoritmer är det också nödvändigt att det är kontinuerligt differentierbart på hela den numeriska axeln [8] . En artificiell neuron kännetecknas helt av sin överföringsfunktion. Användningen av olika överföringsfunktioner tillåter att introducera olinjäritet i driften av neuronen och det neurala nätverket som helhet. $f(u)$ $[-1,1]$ $[0,1]$

Klassificering av neuroner

I grund och botten klassificeras neuroner baserat på deras position i nätverkstopologin. Dela med sig:

Ingångsneuroner - acceptera den ursprungliga vektorn som kodar insignalen. Som regel utför dessa neuroner inte beräkningsoperationer, utan skickar helt enkelt den mottagna insignalen till utgången, eventuellt förstärker eller försvagar den;
Utgångsneuroner är utdata från nätverket. Alla beräkningsoperationer kan utföras i utgångsneuronerna;
Mellanliggande neuroner - utför grundläggande beräkningsoperationer [9] .

Grundläggande typer av överföringsfunktioner

Linjär överföringsfunktion

Signalen vid utgången av neuronen är linjärt relaterad till den viktade summan av signalerna vid dess ingång.

f(x)=tx

var är en funktionsparameter. I artificiella neurala nätverk med en skiktad struktur utgör neuroner med överföringsfunktioner av denna typ som regel ingångsskiktet. Förutom en enkel linjär funktion kan dess modifieringar användas. Till exempel, en semi-linjär funktion (om dess argument är mindre än noll, så är det lika med noll, och i andra fall beter den sig som en linjär) eller en stegfunktion (en linjär funktion med mättnad), som kan vara uttrycks med formeln [10] : $t$

f(x)={\begin{cases}0&{\text{if }}x\leq 0\\1&{\text{if }}x\geq 1\\x&{\text{else}} \end{cases}}

I detta fall kan funktionen flyttas längs båda axlarna (som visas i figuren).

Nackdelarna med de steg- och halvlinjära aktiveringsfunktionerna i förhållande till den linjära kan kallas det faktum att de inte är differentierbara på hela den numeriska axeln, vilket gör att de inte kan användas vid inlärning enligt vissa algoritmer.

Tröskelöverföringsfunktion

Ett annat namn är Heaviside-funktionen . Representerar en lucka. Tills den viktade signalen vid neuronens ingång når en viss nivå är signalen vid utgången noll. Så snart signalen vid neurons ingång överstiger den specificerade nivån, hoppar utsignalen med ett. Den allra första representanten för skiktade artificiella neurala nätverk , perceptronen [11] , bestod uteslutande av neuroner av denna typ [5] . Den matematiska notationen för denna funktion ser ut så här: $T$

f(x)={\begin{cases}1&{\text{if }}x\geq T\\0&{\text{else}}\end{cases}}

Här är förskjutningen av aktiveringsfunktionen i förhållande till den horisontella axeln; följaktligen bör man förstå den viktade summan av signalerna vid neurons ingångar utan att ta hänsyn till denna term. På grund av det faktum att denna funktion inte är differentierbar på hela x-axeln, kan den inte användas i nätverk som tränas av backpropagation-algoritmen och andra algoritmer som kräver differentierbarhet för överföringsfunktionen. ${\displaystyle T=-w_{0}x_{0))$ $x$

Sigmoidal överföringsfunktion

En av de mest använda typerna av överföringsfunktioner för tillfället. Införandet av funktioner av sigmoidtyp berodde på begränsningarna hos neurala nätverk med en tröskelaktiveringsfunktion för neuroner - med en sådan aktiveringsfunktion är vilken som helst av nätverksutgångarna antingen noll eller en, vilket begränsar användningen av nätverk som inte har klassificeringsproblem . Användningen av sigmoidfunktioner gjorde det möjligt att byta från binära neuronutgångar till analoga [12] . Överföringsfunktioner av denna typ är som regel inneboende i neuroner belägna i de inre lagren av det neurala nätverket.

Logistisk funktion

Matematiskt kan den logistiska funktionen uttryckas på följande sätt:

\sigma (x)={\frac {1}{(1+\exp(-tx))))

Här är t en funktionsparameter som bestämmer dess branthet . När t närmar sig oändligheten degenererar funktionen till en tröskelfunktion. När sigmoiden degenererar till en konstant funktion med ett värde på 0,5. Omfånget för denna funktion är i intervallet (0,1). En viktig fördel med denna funktion är enkelheten i dess derivata: $t = 0$

{\cfrac {d\sigma (x)}{dx}}=t\sigma (x)(1-\sigma (x))

Det faktum att derivatan av denna funktion kan uttryckas i termer av dess värde underlättar användningen av denna funktion när man tränar ett nätverk med hjälp av backpropagation-algoritmen [13] . En egenskap hos neuroner med en sådan överföringskarakteristik är att de förstärker starka signaler mycket mindre än svaga, eftersom områdena med starka signaler motsvarar platta delar av egenskapen. Detta förhindrar mättnad från stora signaler [14] .

Hyperbolisk tangent

Använder funktionen hyperbolisk tangent

{\displaystyle \operatorname {th} (Ax)={\frac {e^{Ax}-e^{-Ax}}{e^{Ax}+e^{-Ax))))

skiljer sig från den logistiska kurvan ovan genom att dess värdeområde ligger i intervallet (-1; 1). Eftersom förhållandet är korrekt

\operatorname {th} \left({\frac {t}{2}}x\right)=2\sigma (x)-1

då skiljer sig båda graferna endast i axlarnas skala. Derivatan av den hyperboliska tangenten uttrycks naturligtvis också av en kvadratisk värdefunktion; egenskapen att motstå mättnad gäller exakt detsamma.

Modifierad hyperbolisk tangent

Använder den modifierade hyperboliska tangentfunktionen

\operatorname {mth} x={\frac {e^{x}-e^{-x}}{e^{ax}+e^{-bx}}},(a,b>1) ,

skalas längs y-axeln till intervallet [-1; 1] kan du få en familj av sigmoidala funktioner.

Radiell bas överföringsfunktion

Radial Basis Transfer Function (RBF) tar som ett argument avståndet mellan ingångsvektorn och något fördefinierat aktiveringsfunktionscentrum. Värdet på denna funktion är högre, ju närmare ingångsvektorn är mitten [15] . Som radiell bas kan du till exempel använda Gauss-funktionen :

y=\exp \left(-{\frac {(SR)^{2}}{2\sigma ^{2}}}\right)

Här är avståndet mellan mitten och vektorn för insignalerna . Den skalära parametern bestämmer avklingningshastigheten för funktionen när vektorn rör sig bort från centrum och kallas fönsterbredden , parametern bestämmer aktiveringsfunktionens förskjutning längs abskissaxeln. Nätverk med neuroner som använder sådana funktioner kallas RBF-nätverk . Olika mått [16] kan användas som avstånd mellan vektorer , det euklidiska avståndet används vanligtvis: $S=||\mathbf {X} -\mathbf {C} ||$ ${\mathbf {C}}$ $\mathbf {X}$ $\sigma$ $R$

S={\sqrt {\sum _{j=1}^{N}{(x_{j}-c_{j})^{2))))

Här är den -:e komponenten av vektorn matad till ingången av neuronen, och är den -:e komponenten av vektorn som bestämmer positionen för överföringsfunktionens centrum. Följaktligen kallas nätverk med sådana neuroner probabilistisk och regression [17] . $x_{j}$ $j$ ${\displaystyle c_{j))$ $j$

I verkliga nätverk kan aktiveringsfunktionen för dessa neuroner återspegla sannolikhetsfördelningen för någon slumpvariabel , eller beteckna eventuella heuristiska beroenden mellan variablerna.

Andra överföringsfunktioner

Funktionerna som listas ovan är bara en bråkdel av de många överföringsfunktioner som för närvarande används. Andra överföringsfunktioner inkluderar [18] :

Utställare ; $f(x)=\exp(-Ax)$
Trigonometrisk sinus ;
Modulär: ; $f(x)=\left|x\right|$
Kvadratisk .

Stokastiska neuron

Modellen för en deterministisk artificiell neuron beskrivs ovan, det vill säga tillståndet vid neurons utgång bestäms unikt av resultatet av driften av adderaren av insignaler. Stokastiska neuroner beaktas också , där neuronbytet sker med en sannolikhet beroende på det inducerade lokala fältet, det vill säga överföringsfunktionen definieras som:

f(u)={\begin{cases}1&{\text{med sannolikhet}}P(u)\\0&{\text{med sannolikhet}}1-P(u)\end{cases}}

där sannolikhetsfördelningen vanligtvis har formen av en sigmoid: $P(u)$

\sigma (u)={\frac {A(T)}{1+\exp(-u/T)))

en normaliseringskonstant införs för villkoret för normalisering av sannolikhetsfördelningen . Således aktiveras neuronen med sannolikhet . Parametern är analog med temperaturen (men inte neuronens temperatur) och bestämmer störningen i det neurala nätverket. Om vi tenderar till 0 kommer den stokastiska neuronen att förvandlas till en vanlig neuron med en Heaviside-överföringsfunktion (tröskelfunktion). $A(T)$ $\int _{0}^{1}\sigma (u)du=1$ $P(u)$ $T$ $T$

Modellera formella logiska funktioner

En neuron med en tröskelöverföringsfunktion kan modellera olika logiska funktioner.

$f(u)={\begin{cases}1&{\text{if }}u\geqslant T\\0&{\text{else}}\end{cases}}$ , var $u=\sum _{i=1}^{n}w_{i}x_{i}+0$

Tabellerna illustrerar hur det är möjligt, genom att ställa in vikterna för insignaler och känslighetströskeln, att få neuronen att utföra konjunktion (logisk "AND") och disjunktion (logisk "ELLER") över ingångssignaler, samt logisk negation av ingångssignalen [19] . Dessa tre operationer räcker för att modellera absolut vilken logisk funktion som helst av valfritt antal argument.

INTE	T	-1,0
	w	-1,5
	x	0	ett
	f	ett	0

Och	T	1.5
	w 1	1.0
	w 2	1.0
	x 1	0	0	ett	ett
	x2 _	0	ett	0	ett
	f	0	0	0	ett

ELLER	T	0,5
	w 1	1.0
	w 2	1.0
	x 1	0	0	ett	ett
	x2 _	0	ett	0	ett
	f	0	ett	ett	ett

Se även

Anteckningar

↑ L. G. Komartsova, A. V. Maksimov "Neurocomputers", MSTU. N. E. Bauman, 2004, ISBN 5-7038-2554-7
↑ I analogi med aktiveringsneuroner
↑ Mirkes E.M. , Neurocomputer. Utkast till standard. Arkivexemplar daterad 15 juni 2009 på Wayback Machine - Novosibirsk: Nauka, 1999. - 337 sid. ISBN 5-02-031409-9
↑ I McCulloch W.S., Pitts W. A logical Calculus of Ideas Immanent in Nervous Activity - Bull. Matematisk biofysik, 1943 online (inte tillgänglig länk)
↑ 1 2 3 Yasnitsky, 2005 , sid. 29.
↑ I Widrow B., Hoff ME Adaptiva omkopplingskretsar . 1960 IRE WESTCON Conference Record. — New York, 1960
↑ V. V. Kruglov, V. V. Borisov - Artificiella neurala nätverk. Teori och praktik - s.11
↑ 1 2 V. A. Terekhov - Neurala nätverkskontrollsystem - s.12-13
↑ V. V. Kruglov, V. V. Borisov - Artificiella neurala nätverk. Teori och praktik - s.14
↑ V. V. Kruglov, V. V. Borisov - Artificiella neurala nätverk. Teori och praktik - s.12
↑ Mycket ofta i litteraturen kan man hitta namnet perceptron
↑ Yasnitsky, 2005 , sid. 34.
↑ CIT-forum - Neurodatorer - arkitektur och implementering . Hämtad 16 november 2007. Arkiverad från originalet 10 maj 2008. (obestämd)
↑ V. V. Kruglov, V. V. Borisov - Artificiella neurala nätverk. Teori och praktik - s.13
↑ Yasnitsky, 2005 , sid. 77.
↑ V. V. Kruglov, V. V. Borisov - Artificiella neurala nätverk. Teori och praktik - s.349
↑ V. V. Kruglov, V. V. Borisov - Artificiella neurala nätverk. Teori och praktik - s.348
↑ text
↑ Yasnitsky, 2005 , sid. trettio.

Litteratur

Terekhov V.A., Efimov D.V., Tyukin I.Yu. Neurala nätverkskontrollsystem. - 1:a. - Högre skola , 2002. - S. 184. - ISBN 5-06-004094-1 .
Kruglov VV, Borisov VV Artificiella neurala nätverk. Teori och praktik. - 1:a. - M . : Hotline - Telecom, 2001. - S. 382. - ISBN 5-93517-031-0 .
Callan R. Essential Neural Network Concepts = The Essence of Neural Networks First Edition. - 1:a. - "Williams" , 2001. - S. 288. - ISBN 5-8459-0210-X .
Yasnitsky L. N. Introduktion till artificiell intelligens. - 1:a. - Publishing Center "Academy", 2005. - S. 176. - ISBN 5-7695-1958-4 .
Komartsova L. G., Maksimov A. V. Neurocomputers . - 1:a. - Förlag av MSTU im. N.E. Bauman, 2002. - S. 320. - ISBN 5-7038-1908-3 .
Savelyev A. V. Konceptet med en multiprocessorneuron // Artificiell intelligens. Intelligenta och multiprocessorsystem. - Donetsk-Taganrog-Minsk, 2006. - S. 293-300 .
Savelyev A. V. Neurocomputers in uppfinningar // tidskrift "Neurocomputers: development, application". , Förlag "Radioteknik". - Moskva, 2004. - Nr 2-3 . - S. 33-49 .
Lakhmi C. Jain; NM Martin Fusion av neurala nätverk, fuzzy system och genetiska algoritmer: industriella tillämpningar. — CRC Press, CRC Press LLC, 1998
Emelyanov VV, Kureichik VV, Kureichik VN Teori och praktik av evolutionär modellering. - M: Fizmatlit, 2003.

Externa länkar

Neuromodell RF-PSTH (simulerar strukturen av det receptiva fältet (RP) och den utgående neurala signalen PSTH)