Begränsad Boltzmann-maskin

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 23 maj 2021; kontroller kräver 3 redigeringar .

Begränsad Boltzmann-maskin ( eng.  restricted Boltzmann machine ), förkortad RBM  , är en typ av generativt stokastiskt neuralt nätverk som bestämmer sannolikhetsfördelningen på indataprover.

Den första begränsade Boltzmann-maskinen byggdes 1986 av Paul Smolensky under namnet Harmonium [1] , men blev populär först efter Hintons uppfinning av snabbinlärningsalgoritmer i mitten av 2000-talet.

Maskinen fick detta namn som en modifiering av den vanliga Boltzmann-maskinen , där neuroner delades in i synliga och dolda, och anslutningar är endast tillåtna mellan neuroner av olika typer, vilket begränsar anslutningarna. Långt senare, på 2000-talet, blev begränsade Boltzmann-maskiner mer populära och betraktades inte längre som varianter av Boltzmann-maskinen, utan som speciella komponenter i arkitekturen för nätverk för djupinlärning . Genom att kombinera flera kaskader av avgränsade Boltzmann-maskiner bildas ett djupt trosnätverk , en speciell sorts neurala nätverk i flera lager som kan lära sig själv utan att en lärare använder backpropagation-algoritmen [2] .

En egenskap hos begränsade Boltzmann-maskiner är möjligheten att tränas utan lärare , men i vissa tillämpningar tränas begränsade Boltzmann-maskiner med en lärare. Det dolda lagret av maskinen är de djupa funktionerna i data som avslöjas under inlärningsprocessen (se även Data mining ).

Bounded Boltzmann-maskiner har ett brett spektrum av applikationer - dessa är problem med minskning av datadimensionalitet [ 3 ] , klassificeringsproblem [4] , kollaborativ filtrering [5] , funktionsinlärning [ 6] och ämnesmodellering [ 7 ] . 

I en begränsad Boltzmann-maskin bildar neuroner en tvådelad graf , på ena sidan av grafen finns synliga neuroner (ingång), och på den andra sidan, dolda och tvärbindningar etableras mellan varje synlig och varje gömd neuron. Ett sådant system av anslutningar gör det möjligt att tillämpa metoden för gradientnedstigning med kontrastiv divergens vid träning av nätverket [8] .

Nätverksstruktur

Den begränsade Boltzmann-maskinen är baserad på binära element med en Bernoulli-distribution som utgör de synliga och dolda lagren i nätverket. Länkar mellan lager specificeras med hjälp av en matris av vikter (storlek m  ×  n ), samt förskjutningar för det synliga lagret och för det dolda lagret.

Begreppet nätverksenergi ( v , h ) introduceras som

eller i matrisform

Hopfield-nätverket har också en liknande energifunktion . När det gäller den vanliga Boltzmann-maskinen bestäms sannolikheten för distribution på vektorerna för de synliga och dolda lagren genom energi [9] :

var  är partitionsfunktionen definierad som för alla möjliga nätverk (med andra ord  är en normaliseringskonstant som garanterar att summan av alla sannolikheter är lika med en). Bestämningen av sannolikheten för en separat ingångsvektor (marginalfördelning) utförs på liknande sätt genom summan av konfigurationer av alla möjliga dolda lager [9] :

På grund av nätverkets struktur som en tvådelad graf är de individuella elementen i det dolda lagret oberoende av varandra och aktiverar det synliga lagret, och vice versa, de enskilda elementen i det synliga lagret är oberoende av varandra och aktiverar det dolda lager [8] . För synliga element och för dolda element bestäms de villkorliga sannolikheterna v genom produkterna av sannolikheterna h :

och vice versa, de villkorliga sannolikheterna h definieras i termer av produkten av sannolikheterna v :

Specifika aktiveringssannolikheter för ett element definieras som

och

var  är logistikfunktionen för lageraktivering.

De synliga lagren kan också ha en multinomial fördelning , medan de dolda lagren har en Bernoulli- fördelning . I fallet med multinomialitet används softmax istället för logistikfunktionen :

där K  är antalet diskreta värden av synliga element. Denna representation används i ämnesmodelleringsproblem [ 7] och i rekommendatorsystem [5] .

Relation med andra modeller

Den begränsade Boltzmann-maskinen är ett specialfall av den vanliga Boltzmann-maskinen och Markov-nätverket [10] [11] . Deras grafmodell motsvarar grafmodellen för faktoranalys [12] .

Inlärningsalgoritm

Inlärningsmålet är att maximera sannolikheten för ett system med en given uppsättning sampel (en matris där varje rad motsvarar ett sampel av den synliga vektorn ), definierad som produkten av sannolikheterna

eller, vilket är detsamma, maximera produktens logaritm: [10] [11]

För att träna det neurala nätverket används algoritmen för kontrastiv divergens (CD) för att hitta de optimala matrisvikterna , det föreslogs av Geoffrey Hinton , ursprungligen för att träna PoE-modeller (“produkt av expertuppskattningar”) [13] [14] . Algoritmen använder Gibbs sampling för att organisera en gradientnedstigningsprocedur , liknande backpropagation-metoden för neurala nätverk.

I allmänhet ser ett steg av kontrastiv divergens (CD-1) ut så här:

  1. För ett dataprov v beräknas de dolda elementsannolikheterna och aktivering tillämpas för det dolda lagret h för den givna sannolikhetsfördelningen.
  2. Den yttre produkten (sampling) för v och h beräknas , vilket kallas den positiva gradienten .
  3. Genom provet h rekonstrueras provet av det synliga lagret v' , och sedan utförs provtagning igen med aktivering av det dolda lagret h' . (Detta steg kallas Gibbs Sampling .)
  4. Därefter beräknas den yttre produkten , men redan vektorerna v' och h' , som kallas den negativa gradienten .
  5. Viktmatrisen korrigeras för skillnaden mellan den positiva och negativa gradienten, multiplicerad med en faktor som anger inlärningshastigheten: .
  6. Bias a och b korrigeras på liknande sätt: , .

Praktisk vägledning för att implementera inlärningsprocessen finns på Jeffrey Hintons personliga sida [9] .

Se även

Länkar

  1. ↑ Smolensky, Paul. Kapitel 6: Informationsbehandling i dynamiska system: Grunderna för harmoniteori // Parallell distribuerad bearbetning: Explorations in the Microstructure of Cognition, Volym 1: Foundations  (engelska) / Rumelhart, David E.; McLelland, James L. - MIT Press , 1986. - P. 194-281. — ISBN 0-262-68053-X . Arkiverad kopia (inte tillgänglig länk) . Hämtad 10 november 2017. Arkiverad från originalet 13 juni 2013. 
  2. ↑ Hinton, G. Deep belief networks  (obestämd)  // Scholarpedia . - 2009. - T. 4 , nr 5 . - S. 5947 . doi : 10.4249 /scholarpedia.5947 .
  3. ↑ Hinton, G.E.; Salakhutdinov, RR Reducing the Dimensionality of Data with Neural Networks  (engelska)  // Science : journal. - 2006. - Vol. 313 , nr. 5786 . - S. 504-507 . - doi : 10.1126/science.1127647 . — PMID 16873662 .
  4. ↑ Larochelle, H.; Bengio, Y. (2008). Klassificering med diskriminerande begränsade Boltzmann-maskiner (PDF) . Handlingar från den 25:e internationella konferensen om maskininlärning - ICML '08. sid. 536. DOI : 10.1145/1390156.1390224 . ISBN  9781605582054 . Arkiverad från originalet (PDF) 2017-10-13 . Hämtad 2017-11-10 . Utfasad parameter används |deadlink=( hjälp )
  5. ↑ 1 2 Salakhutdinov, R.; Mnih, A.; Hinton, G. (2007). Begränsade Boltzmann-maskiner för kollaborativ filtrering . Handlingar från den 24:e internationella konferensen om maskininlärning - ICML '07. sid. 791. doi : 10.1145/ 1273496.1273596 . ISBN 9781595937933 . 
  6. ↑ Coates, Adam; Lee, Honglak; Ng, Andrew Y. (2011). En analys av enskiktsnätverk i oövervakad funktionsinlärning (PDF) . Internationell konferens om artificiell intelligens och statistik (AISTATS). Arkiverad från originalet (PDF) 2014-12-20 . Hämtad 2017-11-10 . Utfasad parameter används |deadlink=( hjälp )
  7. ↑ 1 2 Ruslan Salakhutdinov och Geoffrey Hinton (2010). Replikerad softmax: en oriktad ämnesmodell Arkiverad 25 maj 2012 på Wayback Machine . Neurala informationsbearbetningssystem 23
  8. ↑ 1 2 Miguel A. Carreira-Perpiñán och Geoffrey Hinton (2005). Om kontrastiv divergensinlärning. Artificiell intelligens och statistik .
  9. ↑ 1 2 3 Geoffrey Hinton (2010). En praktisk guide till utbildning av begränsade Boltzmann-maskiner Arkiverad 25 september 2014 på Wayback Machine . UTML TR 2010-003, University of Toronto.
  10. ↑ 1 2 Sutskever, Ilja; Tieleman, Tijmen. Om konvergensegenskaperna för kontrastysiv divergens   // Proc . 13th Int'l Conf. om AI och statistik (AISTATS): tidskrift. - 2010. Arkiverad den 10 juni 2015.
  11. ↑ 1 2 Asja Fischer och Christian Igel. Träningsbegränsade Boltzmann-maskiner: en introduktion . Arkiverad 10 juni 2015 på Wayback Machine . Mönsterigenkänning 47, sid. 25-39, 2014.
  12. ↑ María Angélica Cueto; Jason Morton; Bernd Sturmfels. Geometry of the restricted Boltzmann machine  (neopr.)  // Algebraic Methods in Statistics and Probability. - American Mathematical Society, 2010. - V. 516 . - arXiv : 0908.4425 .  (inte tillgänglig länk)
  13. ↑ Geoffrey Hinton (1999). Produkter från experter Arkiverade 24 september 2015 på Wayback Machine . ICANN 1999 .
  14. ↑ Hinton, GE Utbildningsprodukter av experter genom att minimera kontrastiv divergens  //  Neural Computation : journal. - 2002. - Vol. 14 , nr. 8 . - P. 1771-1800 . - doi : 10.1162/089976602760128018 . — PMID 12180402 .

Litteratur

 Typer av artificiella neurala nätverk