Undantag (neurala nätverk)

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 31 januari 2020; kontroller kräver 5 redigeringar .

Undantag eller bortfall (från engelska  dropout ) - en metod för regularisering av artificiella neurala nätverk , utformad för att minska omskolning av nätverk genom att förhindra komplex samanpassning av individuella neuroner på träningsdata under träning. [ett]

Termen "dropout" (utslagning, utstötning) kännetecknar uteslutningen av en viss procentandel (till exempel 30%) av slumpmässiga neuroner (finns i både dolda och synliga lager) vid olika iterationer (epoker) under träning av neurala nätverk. Detta är ett mycket effektivt sätt att beräkna medelvärde för modeller inom ett neuralt nätverk. Som ett resultat får fler tränade neuroner mer vikt i nätverket. [2] [3] Denna teknik ökar avsevärt inlärningshastigheten, kvaliteten på träningen på träningsdata och förbättrar även kvaliteten på modellförutsägelser på nya testdata. [ett]

Se även

Länk

Anteckningar

  1. ↑ 1 2 Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Att förbättra neurala nätverk genom att förhindra samanpassning av funktionsdetektorer, arΧiv : 1207.0580 [cs.NE]. 
  2. ↑ Bortfall: Ett enkelt sätt att förhindra att neurala nätverk överanpassas . Hämtad 26 juli 2015. Arkiverad från originalet 5 december 2019.
  3. ↑ Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), En empirisk analys av bortfall i bitvis linjära nätverk, arΧiv : 1312.6197 [stat.ML].