Djup nät av förtroende

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 24 oktober 2018; kontroller kräver 8 redigeringar .

Deep belief network (GSD, eng.  deep belief network, DBN ) är en generativ grafisk modell , eller, med andra ord, en av de typer av djupa neurala nätverk som består av flera dolda lager i vilka neuroner inom ett lager inte är kopplade till varandra, men förknippas med närliggande neuroner. [ett]

När man lär sig på en uppsättning exempel på ett spontant sätt, kan GSD lära sig att sannolikt ställa in sina ingångar. Lager i detta fall fungerar som detektorer för tecken på ingångar. [1] I slutet av utbildningen kan GSD utbildas med en lärare för att utföra klassificering . [2]

GDN kan ses som en sammansättning av enkla, spontana nätverk, såsom Restricted Boltzmann Machines (BMBs) [1] eller autoencoders , [3] där det dolda lagret i varje subnät fungerar som det synliga lagret för nästa. Detta möjliggör en snabb oövervakad inlärningsprocedur lager för lager där relativ divergens appliceras på varje subnät i tur och ordning, med början med det första paret lager (på vars synliga lager träningsuppsättningen med exempel matas ).

Engelsk observation .  Yee-Whye Teh , en elev till Geoffrey Hinton , [2] föreslår att GDS kan tränas på ett girigt skiktat inlärningssätt , vilket var en av de första fungerande djupinlärningsalgoritmerna . [4] :6 :6

Inlärningsalgoritm

GSD-träningsalgoritmen fungerar enligt följande. [2] Låt X vara en matris av ingångar, som betraktas som en uppsättning funktioner .

  1. Representera de två lägre skikten (ingång och först dolda) som en begränsad Boltzmann-maskin (BM). Träna den på indata X och få dess viktmatris W, som kommer att beskriva kopplingarna mellan de två nedre skikten i nätverket.
  2. Skicka indata X genom den tränade Boltzmann-maskinen och få data från det dolda lagret X' som utdata efter att ha aktiverat noderna för det första dolda lagret.
  3. Upprepa denna procedur med X ← X' för varje nästa par av lager tills de två översta lagren i nätverket är tränade.
  4. Finjustera alla parametrar i detta djupa nätverk samtidigt som du bibehåller loggsannolikheten för GDN eller använd övervakad inlärning (efter att ha lagt till ytterligare inlärningsmekanismer för att utföra det tränade nätverksarbetet, till exempel en linjärt separerbar klassificerare).

Se även

Anteckningar

  1. ↑ 1 2 3 Djupa trosnätverk  (obestämd)  // Scholarpedia . - 2009. - T. 4 , nr 5 . - S. 5947 . doi : 10.4249 /scholarpedia.5947 .
  2. ↑ 1 2 3 Hinton, GE; Osindero, S.; Teh, YW (2006).
  3. ↑ Girig Layer-Wise utbildning av djupa nätverk (PDF) . NIPS . 2007. Arkiverad 20 oktober 2019 på Wayback Machine
  4. ↑ Lär dig djupa arkitekturer för AI  (obestämd)  // Grunder och trender inom maskininlärning. - 2009. - T. 2 . - doi : 10.1561/2200000006 .

Länk

 Typer av artificiella neurala nätverk