Icke-negativ matrisexpansion

Icke-negativ matrisupplösning ( NMP ), även icke-negativ matrisapproximation [1] [2] , är en grupp algoritmer i multivariat analys och linjär algebra , där en matris V delas upp i (vanligtvis) två matriser W och H , med egenskapen att alla tre matriserna har icke-negativa poster. Denna icke-negativitet gör de resulterande matriserna lättare att studera. I applikationer som audiospektrogrambehandling eller muskelaktivitetsdata är icke-negativitet inneboende i data i fråga. Eftersom problemet i allmänhet är olösligt, är det vanligtvis ungefärligt numeriskt.

NMR har funnit tillämpning inom områden som astronomi [3] [4] , datorseende , dokumentkluster [ 1] , kemometri , ljudsignalbehandling , rekommendatorsystem [ 5] [6] och bioinformatik [7] .

Historik

Inom kemometri har icke-negativ matrisnedbrytning en lång historia under namnet "self-similar curve resolution" [8] I detta sammanhang är vektorerna i den högra matrisen kontinuerliga kurvor, inte diskreta vektorer. Tidigt arbete med icke-negativ matrisnedbrytning gjordes av en finsk grupp forskare i mitten av 1990-talet kallad positiv matrisupplösning [9] [10] . Metoden blev mer allmänt känd som icke-negativ matrisnedbrytning , efter att Li och Seung undersökt algoritmens egenskaper och publicerat flera enkla användbara algoritmer för två typer av nedbrytning [11] [12] .

Bakgrund

Låt matrisen V vara produkten av matriserna W och H ,

\mathbf {V} =\mathbf {W} \mathbf {H} \,.

Matrismultiplikation kan implementeras genom att beräkna kolumnvektorn för matris V som en linjär kombination av kolumnvektorer i W med hjälp av koefficienterna från kolumnerna i matris H . Det vill säga att varje kolumn i matrisen V kan beräknas enligt följande:

\mathbf {v} _{i}=\mathbf {W} \mathbf {h} _{i}\,,

där v i är den i:te kolumnvektorn av produkten av matrisen V , och hi är den i :te kolumnvektorn av matrisen H.

När man multiplicerar matriser kan dimensionerna av matrisfaktorerna vara betydligt mindre än dimensionen av produkten av matriser, och detta är egenskapen som förs in under NMP. NMR skapar faktorer med signifikant reducerade dimensioner jämfört med den ursprungliga matrisen. Till exempel, om V är en m × n matris, W är en m × p matris och H är en p × n matris, då kan p vara väsentligt mindre än både m och n .

Här är ett exempel baserat på en textanalysapplikation:

Låt inmatningsmatrisen (dekomponera matris) vara V med 10000 rader och 500 kolumner, där ord motsvarar rader och dokument motsvarar kolumner. Det vill säga, vi har 500 dokument indexerade med 10 000 ord. Det följer att kolumnvektorn v i V representerar ett dokument.
Låt oss säga att vi ber algoritmen att hitta 10 funktioner i ordningen för att generera en funktionsmatris W med 10 000 rader och 10 kolumner och en koefficientmatris H med 10 rader och 500 kolumner.
Produkten av W och H är en matris med 10 000 rader och 500 kolumner, samma dimensioner som inmatrisen V och, om nedbrytningen fungerar, är det en rimlig approximation av inmatrisen V .
Det följer av beskrivningen av matrismultiplikation ovan att varje kolumn i matrisprodukten WH är en linjär kombination av 10 kolumnvektorer i egenskapsmatrisen W med koefficienter härledda från matrisen H .

Denna sista egenskap är grunden för HMP, eftersom vi kan betrakta varje originaldokument i vårt exempel som byggt av en liten uppsättning latenta egenskaper. NMR skapar dessa egenskaper.

Det är användbart att tänka på varje funktion (kolumnvektor) i funktionsmatrisen W som en dokumentprototyp, inklusive en uppsättning ord, där varje cell som motsvarar ett ord bestämmer rangordningen för ordet i objektet - ju högre värde i ordcellen, desto högre rankning har ordet i funktionen . En kolumn i matrisen med koefficienter H representerar originaldokumentet med cellvärden som bestämmer dokumentets rangordning för attributet. Vi kan nu rekonstruera dokumentet (kolumnvektorn) från vår inmatningsmatris som en linjär kombination av våra egenskaper (kolumnvektorer från W ), där varje funktion tas med en vikt som ges av egenskapsvärdet från kolumnvektorn i matrisen H .

Klustringsegenskap

NMR har en inneboende egenskap av klustring [13] , dvs. den kluster automatiskt indatakolumnerna . Detta är den egenskap som krävs av de flesta HMP-applikationer. $\mathbf {V} =(v_{1},\cdots ,v_{n})$

Närmare bestämt uppnås approximation medelst medel genom att minimera felfunktionen ${\mathbf {V}}$ $\mathbf {V} \simeq \mathbf {W} \mathbf {H}$

$\min _{W,H}||V-WH||_{F},$ under förhållanden $W\geqslant 0,H\geqslant 0.$

Dessutom ger den beräknade matrisen en indikator på kluster, dvs. om visar detta faktum att ingången tillhör det k -te klustret. Den beräknade matrisen ger centra för kluster, d.v.s. Den k -te kolumnen definierar mitten av det k -te klustret. Denna representation av centra kan förbättras avsevärt av den konvexa HMP. $H$ $\mathbf {H} _{kj}>0$ ${\displaystyle v_{j))$ $W$

Om ortogonalitet inte är explicit specificerad är ortogonalitet tillräckligt stark och klustringsegenskapen gäller också. Klustring är huvudmålet för de flesta HMP -applikationer för datautvinning . $HH^{T}=E$

Om Kullback-Leibler-avståndet används som felfunktion , är HMP identisk med probabilistisk latent semantisk analys , en populär metod för dokumentklustring [14] .

Typer

Ungefärlig icke-negativ matrisupplösning

Vanligtvis väljs antalet kolumner i matrisen W och antalet rader i matrisen H i HMP så att produkten WH blir en approximation till V . Den fullständiga nedbrytningen av matrisen V består då av två icke-negativa matriser W och H , samt en restmatris U så att V = WH + U . Elementen i restmatrisen kan vara både positiva och negativa.

Om W och H är mindre än V är de lättare att komma ihåg och lättare att arbeta med. Ett annat skäl till att dekomponera V i mindre matriser W och H är att om vi ungefär kan representera elementen i V med en betydligt mindre mängd data, så kan vi sluta oss till någon implicit datastruktur.

Konvex icke-negativ matrisupplösning

I standard HMP, multiplikatorn , dvs. matrisen W kan vara vilken som helst i detta utrymme. Den konvexa HMP [15] begränsar kolumnerna i matrisen W till konvexa kombinationer av ingångsvektorerna . Detta förbättrar avsevärt kvaliteten på datarepresentationen av W -matrisen . Dessutom blir faktorn H mer sparsam och ortogonal. ${\displaystyle \mathbf {W} \in \mathbb {R} _{+}^{m\times k))$ $(v_{1},\cdots ,v_{n})$

Nedbrytning av icke-negativ rang

I det fall då den icke-negativa rangordningen matrisen V är lika med den vanliga rangordningen, kallas V = WH för icke-negativ rangfaktorisering (NRF) [ 16] [17] [18] . Det är känt att problemet med att hitta en NPP-matris V , om sådan finns, är NP-hårt [19] .

Olika kostnadsfunktioner och reglering

Det finns olika typer av icke-negativ matrisnedbrytning. Olika uppfattningar uppstår genom användningen av olika kostnadsfunktioner för att mäta diskrepansen mellan V och WH och den eventuella regulariseringen av W -matrisen och/eller H -matrisen [1] .

Två enkla diskrepansfunktioner som Lee och Seung studerade var standardavvikelsen (eller Frobenius-normen ) och utvidgningen av begreppet Kullback-Leibler-avstånd till positiva matriser ( Kullback-Leibler-avståndet definierades ursprungligen för sannolikhetsfördelningar). Varje avvikelsefunktion leder till sin egen HMP-algoritm, som vanligtvis minimerar avvikelsen med iterativa uppdateringsregler.

Nedbrytningsproblemet i versionen av den kvadratiska felfunktionen för HMP kan formuleras på följande sätt: Givet matrisen måste du hitta icke-negativa matriser W och H som minimerar funktionen ${\mathbf {V}}$

{\displaystyle F(\mathbf {W} ,\mathbf {H} )=\|\mathbf {V} -\mathbf {WH} \|_{F}^{2))

En annan typ av NMR för bilder är baserad på den norm som bestäms av total variation [20] .

Om L1-regularisering (liknande Lasso , engelska Least Absolute Shrinkage and Selection Operator ) läggs till HMP med en objektiv funktion lika med medelkvadraten för felet, kan det resulterande problemet kallas icke-negativ sparse coding p.g.a. likheten med det sparsamma kodningsproblemet [21] [22] , även om det också kan kallas HMP [23] .

Online NMR

Många vanliga HMP-algoritmer analyserar all data tillsammans. De där. hela matrisen är tillgänglig från början. Detta kan vara oacceptabelt för applikationer där data tar upp för mycket minne för att få plats med allt samtidigt, eller där data kommer in som en ström . Denna situation är typisk för kollaborativ filtrering i rekommendatorsystem , där det kan finnas många användare och många objekt att rekommendera, och det skulle vara ineffektivt att räkna om allt när en användare eller ett objekt läggs till i systemet. Den objektiva funktionen för optimering i dessa fall kan eller kanske inte är densamma som i standard HMP, men algoritmerna måste vara olika [24] [25] [26] .

Algoritmer

Det finns flera sätt på vilka W och H kan hittas . Den multiplikativa uppdateringsregeln Lee och Seung [12] var populär på grund av dess enkla implementering.

Algoritm:

Initialisering: W och H är inte negativa. Uppdatera värdena i W och H genom att utvärdera (här , iterationsindex)

n

H_{[i,j]}^{n+1}\leftarrow H_{[i,j]}^{n}{\frac {((W^{n})^{T}V)_ {[i,j]}}{((W^{n})^{T}W^{n}H^{n})_{[i,j]}}}

och

W_{[i,j]}^{n+1}\leftarrow W_{[i,j]}^{n}{\frac {(V(H^{n+1})^{T} )_{[i,j]}}{(W^{n}H^{n+1}(H^{n+1})^{T})_{[i,j]}}}

Tills W och H stabiliseras.

Observera att uppdateringen utförs element för element, inte genom matrismultiplikation.

Nyligen har en annan algoritm utvecklats. Vissa tillvägagångssätt är baserade på den interfolierade minsta kvadratmetoden med icke-negativa vikter (OINS) - vid varje steg i en sådan algoritm är först H fixerad och W söks med OIE, sedan är W fixerad och nu H hittas på samma sätt. Procedurerna som används för att hitta W och H kan vara samma [27] eller olika, eftersom vissa varianter av HMP reglerar en av W- eller H -matriserna [21] . Vissa tillvägagångssätt inkluderar projicerade gradientnedstigningsmetoder [27] [28] , aktiva tvångsmetoder [5] [29] , optimal gradientmetod [30] och blockprincipal pivot-metod [31] [32] , bland andra .

Algoritmerna som för närvarande existerar är suboptimala, eftersom de garanterar att endast det lokala, och inte det globala, minimum av objektivfunktionen hittas. Beprövade optimala algoritmer kommer sannolikt inte att dyka upp inom en snar framtid, eftersom problemet har visat sig generalisera k-medelmetoden, som är känd för att vara NP-komplett [13] . Men som i många andra dataanalysproblem är det också användbart att känna till det lokala minimumet.

Seriell NMR

Sekventiell konstruktion av HMR-komponenterna ( W och H ) användes ursprungligen för att relatera HMR till huvudkomponentmetoden (PCA) inom astronomi [33] . Bidragen från PCA-komponenterna rangordnas efter storleken på deras respektive egenvärden. För en NMP kan dess komponenter rangordnas empiriskt om de byggs efter varandra (successivt), d.v.s. vi bygger den -e komponenten med de första komponenterna redan byggda. $(n+1)$ $n$

Bidragen från successiva NMR-komponenter kan jämföras med hjälp av Karhunen-Loeve-satsen med hjälp av en egenvärdesplot. Det typiska valet av antalet komponenter i PCA baseras på "knäpunkten", då förekomsten av en platt region indikerar att PCA inte förbrukar data effektivt, och om det finns ett oväntat fall indikerar detta slumpmässigt brus och komma in i ett överanpassat läge [34] [35] . För sekventiell NMR approximeras egenvärdesplotten av den relativa restvariansdiagrammet, där kurvan minskar kontinuerligt och konvergerar till ett större värde än PCA [4] , vilket indikerar mindre överanpassning av seriell NMR.

Exakt NMR

Exakta lösningar för HMP-varianter kan verifieras (i polynomtid) om ytterligare begränsningar på matrisen V är uppfyllda . En polynom-tidsalgoritm för att lösa en icke-negativ rangnedbrytning när matrisen V innehåller en monomial submatris med rang lika med matrisens rang gavs av Campbell och Poole 1981 [36] . Kalofoljas och Gallopoulus (2012) [37] löste en symmetrisk analog till detta problem, där V är symmetrisk och innehåller en diagonal huvudsubmatris med rang r. Deras algoritm går i tid i det täta fallet. Arora och en grupp forskare föreslog en polynom-tidsalgoritm för exakt HMP som fungerar när en av faktorerna W uppfyller separerbarhetsvillkoret [38] . $O(rm^{2})$

Förhållande till andra tekniker

I artikeln Exploring Parts of Objects by Non-Negative Matrix Decompositions föreslog Li och Seung [39] NMR främst för delbaserad bildnedbrytning. Artikeln jämför HMP med vektorkvantisering och principal komponentanalys och visar att även om dessa tre tekniker kan skrivas som nedbrytningar, tar de olika begränsningar och ger därför olika resultat.

Senare visades det att vissa typer av NMR är exempel på en mer generell probabilistisk modell som kallas "multinomial PCA" [40] . Om NMR erhålls genom att minimera Kullback-Leibler-avståndet , är detta i själva verket ekvivalent med en annan instans av multinomial PCA, probabilistisk latent semantisk analys [41] inställd med maximal sannolikhetsuppskattning . Denna metod används ofta för att analysera och klustra textdata och är också associerad med den latenta klassmodellen .

HMR med en objektiv funktion av minsta kvadratmetoden är ekvivalent med en försvagad form av k-medelmetoden - matrisfaktorn W innehåller klustrets tyngdpunkter och H innehåller klustermedlemskapsindikatorerna [13] [42] . Detta ger en teoretisk motivering för användningen av HMP för dataklustring. Men k-medel ger inte icke-negativitet på centroider, så den närmaste analogin är faktiskt "semi-HMP" [15] .

NMR kan ses som en tvånivåorienterad grafisk modell med en nivå av observerade slumpvariabler och en nivå av dolda slumpvariabler [43] .

NMR kan utökas från matriser till tensorer av godtycklig ordning [44] [45] [46] . Denna förlängning kan betraktas som en icke-negativ analog till till exempel PARAFAC -modellen .

Andra förlängningar av HMP inkluderar den gemensamma nedbrytningen av flera matriser och tensorer, där några av faktorerna är desamma. Sådana modeller är användbara för sensorparning och anslutningsinlärning [47] .

NMP är en instans av icke-negativ kvadratisk programmering (NQP), precis som stödvektormaskinen (SVM). SVM och NMR är dock närmare besläktade än bara genom NCL, vilket tillåter direkt tillämpning av algoritmer utvecklade för att lösa någon av de två metoderna på problem inom båda områdena [48] .

Unikhet

Nedbrytningen är inte unik - en matris och dess invers kan användas för att transformera två nedbrytningsmatriser via till exempel [49] ,

\mathbf {WH} =\mathbf {WBB} ^{-1}\mathbf {H}

Om två nya matriser och är icke-negativa bildar de en annan nedbrytningsparametrisering. $\mathbf {{\tilde {W}}=WB}$ $\mathbf {\tilde {H}} =\mathbf {B} ^{-1}\mathbf {H}$

Icke - negativitet följer om åtminstone B är en icke-negativ monomial matris . I detta enkla fall motsvarar det bara skalning och omarrangering . $\mathbf {\tilde {W}}$ $\mathbf {\tilde {H}}$

Ytterligare kontroll över tvetydigheten hos HMP erhålls genom att begränsa matrisernas fullhet [50] .

Applikationer

Astronomi

Inom astronomi är NMR en lovande teknik för dimensionalitetsreduktion i den meningen att astrofysiska signaler är icke-negativa. NMR används för spektroskopiska observationer [3] och direkta observationer [4] som en metod för att studera de allmänna egenskaperna hos ett astronomiskt objekt och efterbearbetning av astronomiska observationer. Framsteg i spektroskopiska observationer av forskarna Blanton och Rose (2007) [3] är förknippade med att ta hänsyn till osäkerheten i astronomiska observationer, som senare förbättrades av Zoo (2016) [33] , som också övervägde bristen på data och använde parallellt datoranvändning . Deras metoder anpassades sedan av Ren et al (2018) [4] för det direkta synfältet som en av metoderna för att detektera exoplaneter , särskilt för direkt observation av cirkumstellära skivor .

Ren et al. (2018) [4] kunde visa stabiliteten hos NMR-komponenterna när de byggs sekventiellt (dvs den ena efter den andra), vilket säkerställer linjäriteten i NMR-modelleringsprocessen. Linjäritetsegenskapen har använts för att separera stjärnljus från spritt ljus från exoplaneter och cirkumstellära skivor .

I direkt observation har olika statistiska metoder anpassats för att skilja svaga exoplaneter och cirkumstellära skivor från det omgivande starkt ljus, som har en typisk kontrast på 10⁵ till 10¹⁰, [51] [52] [34] , men separationen av ljus från exoplaneter eller cirkumstellära skivor lider vanligtvis av övermontering, så att efterföljande modellering måste tillämpas för att detektera det sanna flödet [53] [35] . Simuleringar är för närvarande optimerade för punktkällor [35] men inte för strukturer med oregelbundna former som s cirkumstellära skivor. I denna situation är NMR en utmärkt metod som lider mindre av överanpassning i betydelsen icke-negativitet och gleshet i NMR-simuleringskoefficienterna, så simuleringen kan utföras med flera skalningsfaktorer [4] istället för beräkningsintensiv databearbetning på erhållna modeller.

Text mining

HMP kan användas för textutvinning . Denna process konstruerar en term-dokumentmatris med vikter av olika objekt (vanligtvis viktad information om frekvensen av förekomst av ord) från en uppsättning dokument. Matrisen är uppdelad i objektattribut- och attribut-dokumentmatriser . Funktionerna härleds från dokumentkontexten, och funktion-dokumentmatrisen beskriver datakluster av relaterade dokument.

En applikation använder hierarkisk HMP på en liten delmängd av vetenskapliga abstraktioner från PubMed [54] . En annan grupp forskare grupperade Enrons [55] e -postuppsättning (65033 meddelanden och 91133 objekt) i 50 kluster [56] . HMP tillämpas också på citeringsdata, med ett exempel på att gruppera engelska Wikipedia- artiklar och vetenskapliga tidskrifter baserade på vetenskapliga citat i engelska Wikipedia [57] .

Arora et al har föreslagit polynomtidsalgoritmer för inlärning av ämnesmodeller med hjälp av HMP. Algoritmen antar att ämnesmatrisen uppfyller separerbarhetsvillkoret, vilket ofta är fallet under sådana förhållanden [38] .

Spektraldataanalys

NMR används också vid analys av spektraldata. En sådan tillämpning är klassificeringen av interplanetära föremål och skräp [58] .

Skalbar nätverksavståndsförutsägelse

HMP används i internet skalbar nätverksavståndsförutsägelse (pakettid för tur och retur). För ett nätverk med värdar som använder HMP, kan avstånden för alla anslutningar från punkt till punkt förutsägas efter endast mätningar. Denna typ av metod föreslogs först i Internet Distance Estimation Service (IDES) [59] . Därefter, som ett helt decentraliserat tillvägagångssätt, föreslogs Phoenix -nätverkets koordinatsystem [ 60] . Hon uppnådde bättre förutsägbarhet genom att introducera viktbegreppet. $N$ $N^2$ $PÅ)$

Ta bort icke-stationärt brus från en konversation

Att ta bort brus från en konversation har varit ett långvarigt problem inom ljudsignalbehandling . Det finns ett stort antal brusreduceringsalgoritmer om bruset är stationärt. Till exempel är Wiener-filtret lämpligt för additivt Gaussiskt brus . Men om bruset är icke-stationärt har klassiska brusreduceringsalgoritmer vanligtvis dålig prestanda eftersom statistisk information om icke-stationärt brus är svår att utvärdera. Schmidt et al [61] använde NMR för att ta bort icke-stationärt brus i samtal, vilket är helt annorlunda än klassiska statistiska metoder. Nyckelidén är att en ren signal kan representeras av en konversationsvokabulär, men icke-stationärt brus kan inte representeras. På liknande sätt kan icke-stationärt brus representeras av en brusordbok, men konversation kan inte.

Algoritmen för brusborttagning med HMP fungerar enligt följande. Det är nödvändigt att träna två ordböcker offline, en för konversation, den andra för buller. Så snart en konversation med brus serveras, beräknar vi först värdet på den fönsterförsedda Fouriertransformen . Sedan delar vi upp det i två delar med hjälp av HMP, en del kan representeras av en konversationslexikon, och den andra delen kan representeras av en brusordbok. I det tredje steget utvärderas den del som representeras av samtalslexikonet som ren konversation.

Bioinformatik

NMR har framgångsrikt tillämpats i bioinformatik för att samla genuttryck och DNA-metyleringsdata och söka efter gener som de flesta representerar kluster [22] [62] [63] [64] . I cancermutationsanalys används detta för att belysa vanliga mutationsmekanismer som förekommer i många cancerformer och eventuellt har olika orsaker [65] .

Radionuklidavbildning

NMR, som inom detta område kallas faktoranalys, har använts här sedan 1980 -talet [66] för bildsekvensanalys i SPECT och PET . Tvetydigheten i NMR löstes genom att införa en sparsitetsbegränsning [67] .

Aktuell forskning

Aktuell forskning (sedan 2010) om icke-negativ matrisupplösning inkluderar men är inte begränsad till följande frågor

Algoritmiska frågor: sök efter det globala minimum av faktorer och initiering av faktorn [68] .
Skalningsproblem: hur man bryter ner de miljon-för-miljard-matriser som uppstår när man analyserar data i nätverk. Se artiklarna "Distribuerad icke-negativ matrisfaktorering (DNMF)" [69] och "Skalbar icke-negativ matrisfaktorering (ScalableNMF)" [70] .
Onlinebearbetning: hur man uppdaterar nedbrytningen när nya data kommer in, utan att göra en fullständig beräkning från grunden [71] .
Co-Decomposition: Nedbrytning av flera i sig besläktade matriser för multi-position klustring, se CoNMF [72] och MultiNMF [73] .
Cohen och Rothblums problem från 1993: Har en rationell matris alltid en NMP med minsta inneboende dimension vars faktorer också är rationella. Nyligen besvarades denna fråga nekande [74] .

Se även

Multilinjär algebra
Multilinjär underrumsinlärning
Tensor

Anteckningar

↑ 1 2 3 Dhillon, Sra, 2005 .
↑ Tandon, Sra, 2010 .
↑ 1 2 3 Blanton, Roweis, 2007 , sid. 734-754.
↑ 1 2 3 4 5 6 7 Ren, Pueyo, Zhu, Duchêne, 2018 , sid. 104.
↑ 1 2 Gemulla, Nijkamp, Haas, Sismanis, 2011 , sid. 69–77.
↑ Bao, 2014 .
↑ Murrell, 2011 , sid. e28898.
↑ Lawton, Sylvestre, 1971 , sid. 617+.
↑ Paatero och Tapper 1994 , sid. 111–126.
↑ Anttila, Paatero, Tapper, Järvinen, 1995 , sid. 1705-1718.
↑ 1 2 Lee, Seung, 1999 , sid. 788-791.
↑ 1 2 Lee, Seung, 2001 , sid. 556-562.
↑ 1 2 3 Ding, He, Simon, 2005 , sid. 606-610.
↑ Ding, Li, Peng, 2008 , sid. 3913-3927.
↑ 1 2 Ding, Li, Jordanien, 2010 , sid. 45-55.
↑ Berman, Plemmons, 1974 , sid. 161–172.
↑ Berman, Plemmons, 1994 .
↑ Thomas, 1974 , sid. 393–394.
↑ Vavasis, 2009 , sid. 1364–1377.
↑ Zhang, Fang, Liu, Tang et al., 2008 , sid. 1824–183
↑ 12 Hoyer , 2002 .
↑ 1 2 Taslaman, Nilsson, 2012 , sid. e46331.
↑ Hsieh, Dhillon, 2011 , sid. 1064.
↑ Arkiverad kopia . Hämtad 16 oktober 2018. Arkiverad från originalet 24 september 2015. (obestämd)
↑ Fung, Li, Cheung, 2007 , sid. 284–287.
↑ Guan, Tao, Luo, Yuan, 2012 , sid. 1087–1099.
↑ 12 Lin , 2007 , sid. 2756–2779.
↑ Lin, 2007 , sid. 1589–1596
↑ Kim, Park, 2008 , sid. 713-730.
↑ Guan, Tao, Luo, Yuan, 2012 , sid. 2882–2898.
↑ Kim, Park, 2011 , sid. 3261-3281.
↑ Kim, He, Park, 2013 , sid. 285-319.
↑ 1 2 Zhu, Guangtun B. (2016-12-19), Nonnegative Matrix Factorization (NMF) with Heteroscedastic Uncertainties and Missing data, arΧiv : 1612.06037 [astro-ph.IM].
↑ 1 2 Soummer, Pueyo, Larkin, 2012 , sid. L28.
↑ 1 2 3 Pueyo, 2016 , sid. 117.
↑ Campbell, Poole, 1981 , sid. 175–182.
↑ Kalofolias, Gallopoulos, 2012 , sid. 421–435.
↑ 1 2 Arora, Ge, Halpern, Mimno et al., 2013 .
↑ Lee, Seung, 1999 , sid. 788–791.
↑ Buntine, 2002 , sid. 23–34.
↑ Gaussier och Goutte 2005 , sid. 601–602.
↑ Zass, Shashua, 2005 .
↑ Welling, Rosen-zvi, Hinton, 2004 .
↑ Paatero, 1999 , sid. 854-888.
↑ Welling, Weber, 2001 , sid. 1255-1261.
↑ Kim, Park, 2012 , sid. 311-326.
↑ Yilmaz, Cemgil, Simsekli, 2011 .
↑ Potluru, Plis, Morup, Calhoun, Lane, 2009 , sid. 1218–1229.
↑ Xu, Liu, Gong, 2003 , sid. 267-273.
↑ Eggert, Körner, 2004 , sid. 2529-2533.
↑ Lafrenière, Maroid, Doyon, Barman, 2009 .
↑ Amara, Quanz, 2012 , sid. 948.
↑ Wahhaj, Cieza, Mawet, Yang et al., 2015 , sid. A24.
↑ Nielsen, Balslev, Hansen, 2005 , sid. 520–522.
↑ Cohen, 2005 .
↑ Berry och Browne, 2005 , sid. 249-264.
↑ Nielsen, 2008 .
↑ Berry, Browne, Langville, Pauca, Plemmons, 2007 , sid. 155-173.
↑ Mao, Saul, Smith, 2006 , sid. 2273-2284.
↑ Chen, Wang, Shi, 2011 , sid. 334–347.
↑ Schmidt, Larsen, Hsiao, 2007 , sid. 431–436.
↑ Devarajan, 2008 , sid. e1000029.
↑ Kim, Park, 2007 , sid. 1495-1502.
↑ Schwalbe, 2013 , sid. 359-371.
↑ Alexandrov, Nik-Zainal, Wedge, Campbell, Stratton, 2013 , sid. 246–259.
↑ Di Paola, Bazin, Aubry, Aurengo et al., 1982 , sid. 1310–21.
↑ Sitek, Gullberg, Huesman, 2002 , sid. 216–25.
↑ Boutsidis, Gallopoulos, 2008 , sid. 1350–1362
↑ Liu, Yang, Fan, He, Wang, 2010 .
↑ Yin, Gao, Zhang, 2014 .
↑ Wang, Vipperla, Evans, Zheng, 2013 , sid. 44–56.
↑ He, Kan, Xie, Chen, 2014 .
↑ Liu, Wang, Gao, Han, 2013 , sid. 252–260.
↑ Chistikov, Dmitrij; Kiefer, Stefan; Marusic, Ines; Shirmohammadi, Mahsa & Worrell, James (2016-05-22), Icke-negativ matrisfaktorisering kräver irrationalitet, arΧiv : 1605.06848 [cs.CC].

Litteratur

Max Welling, Michal Rosen-zvi, Geoffrey E. Hinton. Exponentiella familjeharmonier med en applikation för informationsinhämtning // Framsteg inom neurala informationsbehandlingssystem (NIPS). . – 2004.
Julian Eggert, Edgar Korner. Sparsam kodning och NMF // Proceedings. 2004 IEEE International Joint Conference on Neural Networks . – 2004.
Schmidt MN, Larsen J., Hsiao FT Vindbrusreducering med hjälp av icke-negativ sparsam kodning // Machine Learning for Signal Processing, IEEE Workshop. – 2007.
Ron Zass, Amnon Shashua . En förenande strategi för hård och probabilistisk klustring // Internationell konferens om datorseende (ICCV) . — Peking, Kina, 2005.
Ding C., Li T., Jordan MI Konvexa och semi-nonnegativa matrisfaktoriseringar // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2010.
Pentti Paatero. Den multilinjära motorn: ett tabelldrivet, minsta kvadratprogram för att lösa multilinjära problem, inklusive n-vägs parallellfaktoranalysmodellen // Journal of Computational and Graphical Statistics . - 1999. - T. 8 , nr. 4 . — S. 854–888 . - doi : 10.2307/1390831 . — .
Max Welling, Markus Weber. Positiv tensorfaktorisering // Mönsterigenkänningsbrev . - 2001. - T. 22 , nr. 12 . - doi : 10.1016/S0167-8655(01)00070-8 .
Jingu Kim, Haesun Park. Snabb icke-negativ tensorfaktorisering med en aktiv uppsättningsliknande metod // Högpresterande vetenskaplig beräkning: Algoritmer och applikationer . - Springer, 2012. - S. 311-326.
Kenan Yilmaz, A. Taylan Cemgil, Umut Simsekli. Generalized Coupled Tensor Factorization // Framsteg inom neurala informationsbehandlingssystem (NIPS). . — 2011.
Vamsi K. Potluru, Sergey M. Plis, Morten Morup, Vince D. Calhoun, Terran Lane. Effektiva multiplikativa uppdateringar för Support Vector Machines // Proceedings of the 2009 SIAM Conference on Data Mining (SDM). - 2009. - S. 1218-1229.
Wei Xu, Xin Liu, Yihong Gong. Dokumentkluster baserat på icke-negativ matrisfaktorisering // Proceedings of the 26th annual international ACM SIGIR conference on Research and development in information retrieval . — New York: Association for Computing Machinery , 2003.
Rashish Tandon, Suvrit Sra. Gles icke-negativ matrisapproximation: nya formuleringar och algoritmer . - 2010. - (Teknisk rapport).
Rainer Gemulla, Erik Nijkamp, Peter J Haas, Yannis Sismanis. Storskalig matrisfaktorisering med distribuerad stokastisk gradientnedstigning // Proc. ACM SIGKDD Int'l Conf. om kunskapsupptäckt och datautvinning . - 2011. - S. 69-77. (inte tillgänglig länk)
Yang Bao. ÄmneMF: Samtidigt utnyttjande av betyg och recensioner för rekommendation // American Association for Artificial Intelligence . — 2014.
Ben Murrell. Icke-negativ matrisfaktorisering för inlärning av anpassningsspecifika modeller för proteinevolution // PLoS ONE. - 2011. - T. 6 , nr. 12 . - doi : 10.1371/journal.pone.0028898 . — PMID 22216138 .
Ding C., Li T., Peng W. Om ekvivalensen mellan icke-negativ matrisfaktorisering och probabilistisk latent semantisk indexering // Computational Statistics & Data Analysis. - 2008. - Utgåva. 52 . Arkiverad från originalet den 4 mars 2016.
William H. Lawton, Edward A. Sylvestre. Självmodellerande kurvupplösning // Teknometri . - 1971. - T. 13 , nr. 3 . - doi : 10.2307/1267173 . — .
Paatero P., Tapper U. Positiv matrisfaktorisering: En icke-negativ faktormodell med optimalt utnyttjande av feluppskattningar av datavärden // Environmetrics . - 1994. - V. 5 , nr. 2 . - doi : 10.1002/env.3170050203 .
Pia Anttila, Pentti Paatero, Unto Tapper, Olli Järvinen. Källidentifiering av våtdeposition i bulk i Finland genom positiv matrisfaktorisering // Atmosfärisk miljö . - 1995. - T. 29 , nr. 14 . - doi : 10.1016/1352-2310(94)00367-T . - .
Daniel D. Lee, H. Sebastian Seung. Att lära sig objektens delar genom icke-negativ matrisfaktorisering // Nature . - 1999. - T. 401 , nummer. 6755 . - doi : 10.1038/44565 . — . — PMID 10548103 .
Daniel D. Lee, H. Sebastian Seung. Algoritmer för icke-negativ matrisfaktorisering // Framsteg inom neurala informationsbehandlingssystem 13: Proceedings of the 2000 Conference . — MIT Press , 2001.
Zhang T., Fang B., Liu W., Tang YY, He G., Wen J. Total variation normbaserad icke-negativ matrisfaktorisering för identifiering av diskriminerande representation av bildmönster // Neurocomputing . - 2008. - T. 71 , nr. 10–12 . - doi : 10.1016/j.neucom.2008.01.022 .
Berman A., Plemmons RJ Inverser av icke-negativa matriser // Linjär och multilinjär algebra. - 1974. - Vol. 2 , nummer. 2 . — S. 161–172 . - doi : 10.1080/03081087408817055 .
Berman A., Plemmons RJ Icke- negativa matriser i de matematiska vetenskaperna. — Philadelphia: SIAM, 1994.
Thomas LB Problem 73-14, Rangfaktorisering av icke-negativa matriser // SIAM Rev .. - 1974. - V. 16 , nr. 3 . - doi : 10.1137/1016064 .
Vavasis SA Om komplexiteten i icke-negativ matrisfaktorisering // SIAM J. Optim.. - 2009. - Vol. 20 , nr. 3 . - doi : 10.1137/070709967 . - arXiv : 0708.4149 .
Inderjit S. Dhillon, Suvrit Sra. Generaliserade icke-negativa matrisapproximationer med Bregman-divergenser //NIPS . — 2005.

Campbell SL, Poole GD Computing non-negative rank factorizations // Linear Algebra Appl .. - 1981. - T. 35 . - doi : 10.1016/0024-3795(81)90272-x .
Kalofolias V., Gallopoulos E. Beräkning av symmetriska icke-negativa rangfaktoriseringar // Linear Algebra Appl. - 2012. - T. 436 , nr. 2 . - doi : 10.1016/j.laa.2011.03.016 .
Sanjeev Arora, Rong Ge, Yoni Halpern, David Mimno, Ankur Moitra, David Sontag, Yichen Wu, Michael Zhu. En praktisk algoritm för ämnesmodellering med bevisbara garantier // Proceedings of the 30th International Conference on Machine Learning . — 2013.
Daniel D Lee, H Sebastian Seung. Att lära sig objektens delar genom icke-negativ matrisfaktorisering // Nature . - 1999. - T. 401 , nummer. 6755 . - doi : 10.1038/44565 . — . — PMID 10548103 .
Wray Buntine. Variationsutvidgningar till EM och multinomial PCA // Proc. Europeisk konferens om maskininlärning (ECML-02) . - 2002. - T. 2430. - (LNAI).
Eric Gaussier, Cyril Goutte. Förhållandet mellan PLSA och NMF och Implikationer // Proc. 28:e internationella ACM SIGIR-konferensen om forskning och utveckling inom informationssökning (SIGIR-05) . - 2005. Arkiverad 28 september 2007 på Wayback Machine
Patrik O Hoyer. Icke-negativ sparsam kodning // Proc. IEEE Workshop om neurala nätverk för signalbehandling . – 2002.
Leo Taslaman, Björn Nilsson. Ett ramverk för regulariserad icke-negativ matrisfaktorisering, med tillämpning på analys av genuttrycksdata // PLoS One . - 2012. - Vol. 7 , nr. 11 . - S. e46331 . - doi : 10.1371/journal.pone.0046331 . - . — PMID 23133590 .
Hsieh CJ, Dhillon IS Snabbkoordinerade nedstigningsmetoder med variabelt urval för icke-negativ matrisfaktorisering // Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining - KDD '11 . - 2011. - ISBN 9781450308137 . - doi : 10.1145/2020408.2020577 .
Yik-Hing Fung, Chun-Hung Li, William K. Cheung. Förutsägelse av onlinediskussionsdeltagande med hjälp av icke-negativ matrisfaktorisering . - IEEE Computer Society, 2007. - November.
Naiyang Guan, Dacheng Tao, Zhigang Luo, Bo Yuan. Online icke-negativ matrisfaktorisering med robust stokastisk approximation // IEEE-transaktioner på neurala nätverk och inlärningssystem. - 2012. - Juli ( vol. 23 , nummer 7 ). - doi : 10.1109/TNNLS.2012.2197827 . — PMID 24807135 .
Chih Jen Lin. Projicerade gradientmetoder för icke-negativ matrisfaktorisering // Neural Computation . - 2007. - T. 19 , nummer. 10 . — S. 2756–2779 . - doi : 10.1162/neco.2007.19.10.2756 . — PMID 17716011 .
Chih Jen Lin. Om konvergensen av multiplikativa uppdateringsalgoritmer för icke-negativ matrisfaktorisering // IEEE-transaktioner på neurala nätverk. - 2007. - T. 18 , nr. 6 . - doi : 10.1109/TNN.2007.895831 .
Hyunsoo Kim, Haesun Park. Icke-negativ matrisfaktorisering baserad på alternerande icke-negativitetsbegränsade minsta kvadrater och Active Set Method // SIAM Journal on Matrix Analysis and Applications . - 2008. - T. 30 , nr. 2 . — S. 713–730 . - doi : 10.1137/07069239x .
Naiyang Guan, Dacheng Tao, Zhigang Luo, Bo Yuan. NeNMF: En optimal gradientmetod för icke-negativ matrisfaktorisering // IEEE-transaktioner på signalbehandling. - 2012. - Juni ( vol. 60 , nummer 6 ). — S. 2882–2898 . - doi : 10.1109/TSP.2012.2190406 . - .
Jingu Kim, Haesun Park. Snabb icke-negativ matrisfaktorisering: en aktiv uppsättningsliknande metod och jämförelser // SIAM Journal on Scientific Computing . - 2011. - T. 58 , nr. 6 . - doi : 10.1137/110821172 . (inte tillgänglig länk)
Jingu Kim, Yunlong He, Haesun Park. Algoritmer för icke-negativ matris- och tensorfaktorisering: En enhetlig vy baserad på ramverk för blockkoordinatnedstigning // Journal of Global Optimization . - 2013. - T. 33 , nr. 2 . — S. 285–319 . - doi : 10.1007/s10898-013-0035-4 .
Ding C., He X., Simon HD Om ekvivalensen av icke-negativ matrisfaktorisering och spektralkluster // Proc. SIAM Int'l Conf. datautvinning . - 2005. - V. 4. - ISBN 978-0-89871-593-4 . - doi : 10.1137/1.9781611972757.70 .
Michael R. Blanton, Sam Roweis. K-korrigeringar och filteromvandlingar i ultraviolett, optiskt och nära infrarött // The Astronomical Journal. - 2007. - T. 133 , nr. 2 . - doi : 10.1086/510127 . - . - arXiv : astro-ph/0606170 .
Bin Ren, Laurent Pueyo, Guangtun B. Zhu, Gaspard Duchêne. Icke-negativ matrisfaktorisering: Robust extraktion av utökade strukturer // The Astrophysical Journal. - 2018. - T. 852 , nr. 2 . - S. 104 . - doi : 10.3847/1538-4357/aaa1f2 . - . - arXiv : 1712.10317 .
David Lafrenière, Christian Maroid, René Doyon, Travis Barman. HST/NICMOS Detektion av HR 8799 b 1998 // The Astrophysical Journal Letters. - 2009. - T. 694 , nr. 2 . - S. L148 . - doi : 10.1088/0004-637X/694/2/L148 . - . - arXiv : 0902.3247 .
Adam Amara, Sascha P. Quanz. PYNPOINT: ett bildbehandlingspaket för att hitta exoplaneter // Monthly Notices of the Royal Astronomical Society. - 2012. - T. 427 , nr. 2 . - doi : 10.1111/j.1365-2966.2012.21918.x . - . - arXiv : 1207.6637 .
Remi Soummer, Laurent Pueyo, James Larkin. Detektion och karakterisering av exoplaneter och diskar med hjälp av projektioner på Karhunen-Loève Eigenimages // The Astrophysical Journal Letters. - 2012. - T. 755 , nr. 2 . - doi : 10.1088/2041-8205/755/2/L28 . - . - arXiv : 1207.4197 .
Zahed Wahhaj, Lucas A. Cieza, Dimitri Mawet, Bin Yang, Hector Canovas, Jozua de Boer, Simon Casassus, François Ménard, Matthias R. Schreiber, Michael C. Liu, Beth A. Biller, Eric L. Nielsen, Thomas L. höig. Förbättring av signal-till-brus i direkt avbildning av exoplaneter och cirkumstellära skivor med MLOCI // Astronomy & Astrophysics. - 2015. - T. 581 , nr. 24 . - S. A24 . - doi : 10.1051/0004-6361/201525837 . - . - arXiv : 1502.03092 .
Laurent Pueyo. Detektion och karakterisering av exoplaneter med hjälp av projektioner på Karhunen Loeve Eigenimages: Forward Modeling // The Astrophysical Journal. - 2016. - T. 824 , nr. 2 . - doi : 10.3847/0004-637X/824/2/117 . - . - arXiv : 1604.06097 .
Finn Årup Nielsen, Daniela Balslev, Lars Kai Hansen. Mining av det bakre cingulatet: segregation mellan minne och smärtkomponenter // NeuroImage . - 2005. - T. 27 , nr. 3 . — S. 520–522 . - doi : 10.1016/j.neuroimage.2005.04.034 . — PMID 15946864 .
William Cohen. Enron e-postdatauppsättning . - 2005. - April.
Michael W. Berry, Murray Browne. E-postövervakning med hjälp av icke-negativ matrisfaktorisering // Beräknings- och matematisk organisationsteori . - 2005. - T. 11 , nr. 3 . - doi : 10.1007/s10588-005-5380-5 .
Finn Arup Nielsen. Klustring av vetenskapliga citat i Wikipedia // Wikimania . — 2008.
Berry MW, Browne M., Langville AN, Pauca VP, Plemmons RJ Algoritmer och tillämpningar för ungefärlig icke-negativ matrisfaktorisering // Computational Statistics and Data Analysis. – 2007.
Yun Mao, Lawrence Saul, Jonathan M. Smith. IDES: En Internet Distance Estimation Service for Large Networks // IEEE Journal on Selected Areas in Communications . - 2006. - T. 24 , nr. 12 . — S. 2273–2284 . - doi : 10.1109/JSAC.2006.884026 .
Yang Chen, Xiao Wang, Cong Shi. Phoenix: Ett viktbaserat nätverkskoordinatsystem som använder matrisfaktorisering . - 2011. - T. 8 , nr. 4 . - doi : 10.1109/tnsm.2011.110911.100079 . Arkiverad från originalet den 14 november 2011.
Devarajan K. Icke-negativ matrisfaktorisering: ett analytiskt och tolkningsverktyg i beräkningsbiologi // PLoS beräkningsbiologi . - 2008. - Vol. 4 , nr. 7 . - doi : 10.1371/journal.pcbi.1000029 . - . — PMID 18654623 .
Hyunsoo Kim, Haesun Park. Glesa icke-negativa matrisfaktoriseringar via alternerande icke-negativitetsbegränsade minsta kvadrater för mikroarraydataanalys // Bioinformatik . - 2007. - T. 23 , nr. 12 . - doi : 10.1093/bioinformatik/btm134 . — PMID 17483501 .
Schwalbe E. DNA-metyleringsprofilering av medulloblastom möjliggör robust underklassificering och förbättrad resultatförutsägelse med hjälp av formalinfixerade biopsier // Acta Neuropathologica . - 2013. - T. 125 , nr. 3 . - doi : 10.1007/s00401-012-1077-2 . — PMID 23291781 .
Ludmil B. Alexandrov, Serena Nik-Zainal, David C. Wedge, Peter J. Campbell, Michael R. Stratton. Dechiffrera signaturer av mutationsprocesser verksamma i human cancer // Cell Reports. - 2013. - Januari ( vol. 3 , nummer 1 ). — ISSN 2211-1247 . - doi : 10.1016/j.celrep.2012.12.008 . — PMID 23318258 .
Di Paola R., Bazin JP, Aubry F., Aurengo A., Cavailloles F., Herry JY, Kahn E. Hantering av dynamiska sekvenser inom nuklearmedicin // IEEE Trans Nucl Sci . - 1982. - T. NS-29 , nr. 4 . - doi : 10.1109/tns.1982.4332188 . - .
Sitek A., Gullberg GT, Huesman RH Korrigering för tvetydiga lösningar i faktoranalys med ett straffat minsta kvadratobjektiv // IEEE Trans Med Imaging . - 2002. - T. 21 , nr. 3 . - doi : 10.1109/42.996340 . — PMID 11989846 .
Boutsidis C., Gallopoulos E. SVD-baserad initiering: Ett försprång för icke-negativ matrisfaktorisering // Mönsterigenkänning. - 2008. - T. 41 , nr. 4 . - S. 1350-1362 . - doi : 10.1016/j.patcog.2007.09.010 .
Chao Liu, Hung-chih Yang, Jinliang Fan, Li-Wei He, Yi-Min Wang. Distribuerad icke-negativ matrisfaktorisering för dyadisk dataanalys i webbskala på MapReduce // Proceedings of the 19th International World Wide Web Conference. — 2010.
Jiangtao Yin, Lixin Gao, Zhongfei (Mark) Zhang. Skalbar icke-negativ matrisfaktorisering med blockvisa uppdateringar // Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases. — 2014.
Dong Wang, Ravichander Vipperla, Nick Evans, Thomas Fang Zheng. Online icke-negativ konvolutiv mönsterinlärning för talsignaler // IEEE-transaktioner på signalbehandling. - 2013. - T. 61 , nr. 1 . — s. 44–56 . - doi : 10.1109/tsp.2012.2222381 . - . Arkiverad från originalet den 19 april 2015.
Xiangnan He, Min-Yen Kan, Peichu Xie, Xiao Chen. Kommentar-baserad Multi-View Clustering av Web 2.0-objekt // Proceedings of the 23rd International World Wide Web Conference. - 2014. Arkiverad 2 april 2015.
Jialu Liu, Chi Wang, Jing Gao, Jiawei Han. Multi-View Clustering via Joint Nonnegative Matrix Factorization . — Proceedings of SIAM Data Mining Conference. - 2013. - S. 252-260. — ISBN 978-1-61197-262-7 . - doi : 10.1137/1.9781611972832.28 .

Ytterligare läsning

Shen J., Israël GW En receptormodell som använder en specifik icke-negativ transformationsteknik för omgivande aerosol // Atmosfärisk miljö . - 1989. - T. 23 , nr. 10 . — S. 2289–2298 . - doi : 10.1016/0004-6981(89)90190-X . - .
Pentti Paatero. Minsta kvadraters formulering av robust icke-negativ faktoranalys // Chemometrics and Intelligent Laboratory Systems . - 1997. - T. 37 , nr. 1 . — S. 23–35 . - doi : 10.1016/S0169-7439(96)00044-5 .
Raul kompass. Ett generaliserat divergensmått för icke-negativ matrisfaktorisering // Neural Computation . - 2007. - T. 19 , nummer. 3 . — S. 780–791 . - doi : 10.1162/neco.2007.19.3.780 . — PMID 17298233 .
Liu WX, Zheng NN, You QB Nonnegative Matrix Factorization och dess tillämpningar inom mönsterigenkänning // Chinese Science Bulletin . - 2006. - T. 51 , nr. 17–18 . — s. 7–18 . - doi : 10.1007/s11434-005-1109-6 . — . (inte tillgänglig länk)
Ngoc-Diep Ho, Paul Van Dooren, Vincent Blondel. Nedstigningsmetoder för icke-negativ matrisfaktorisering. — 2008.
Andrzej Cichocki, Rafal Zdunek, Shun-ichi Amari. Icke-negativ matris och tensorfaktorisering // IEEE Signal Processing Magazine . - 2008. - T. 25 , nr. 1 . — S. 142–145 . - doi : 10.1109/MSP.2008.4408452 . - .
Cedric Fevotte, Nancy Bertin, Jean-Louis Durrieu. Icke-negativ matrisfaktorisering med Itakura-Saito-divergensen: med tillämpning på musikanalys // Neural Computation . - 2009. - T. 21 , nr. 3 . — S. 793–830 . - doi : 10.1162/neco.2008.04-08-771 . — PMID 18785855 .
Ali Taylan Cemgil. Bayesiansk slutledning för icke-negativa matrixfaktoriseringsmodeller // Computational Intelligence and Neuroscience . - 2009. - T. 2009 , nummer. 2 . — S. 1–17 . - doi : 10.1155/2009/785152 . — PMID 19536273 . (inte tillgänglig länk)

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-nät Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG