Kanonisk korrelationsanalys

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 27 mars 2021; verifiering kräver 1 redigering .

Canonical Correlation Analysis ( CCA ) är ett sätt att få information från korskorrelationsmatriser . Om vi har två vektorer och slumpvariabler , och det finns korrelationer mellan dessa variabler, kommer kanonisk korrelationsanalys att hitta den linjära kombinationen av X och Y som har den maximala korrelationen [1] . T. R. Knapp observerade att "nästan alla vanliga parametriska signifikanstester kan behandlas som ett specialfall av kanonisk korrelationsanalys, vilket är en allmän procedur för att undersöka samband mellan två uppsättningar av variabler" [2] . Metoden introducerades först av Harold Hotelling 1936 [3] . $X=(X_{1},\dots ,X_{n})$ $Y=(Y_{1},\dots ,Y_{m})$

Definition

Med tanke på två kolumnvektorer och slumpvariabler med ändliga sekundmoment , kan man definiera korskorrelation som en matris vars element är kovarianser . I praktiken uppskattar vi kovariansmatrisen baserat på exempeldata från och (dvs från ett par datamatriser). $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots ,y_{m})'$ $\Sigma _{XY}=\operatörsnamn {cov} (X,Y)$ $n\ gånger m$ $(I j)$ $\operatorname {cov} (x_{i},y_{j})$ $X$ $Y$

Kanonisk korrelationsanalys letar efter vektorer ( ) och ( ) så att de slumpmässiga variablerna och maximerar korrelationen . Slumpvariabler och är det första paret av kanoniska variabler . Sedan genomsöks vektorer som maximerar samma korrelation med begränsningen att de inte är korrelerade med det första paret av kanoniska variabler, detta ger det andra paret av kanoniska variabler . Denna procedur kan fortsätta upp till gånger. $a$ $a$ $\in \mathbb {R} ^{n}$ $b$ $b\in \mathbb {R} ^{m}$ $a'^{T}X$ $b'^{T}Y$ $\rho =\operatörsnamn {corr} (a'^{T}X,b'^{T}Y)$ $U=a'^{T}X$ $V=b'^{T}Y$ $\min\{m,n\}$

( a " , b " ) = argmax a , b corr ⁡ ( a T X , b T Y ) {\displaystyle (a',b')={\underset {a,b}{\operatörsnamn {argmax} }}\operatörsnamn {corr} (a^{T}X,b^{T}Y)}

(a',b')={\underset {a,b}{\operatörsnamn {argmax} }}\operatörsnamn {corr} (a^{T}X,b^{T}Y)

Beräkning

Slutsats

Låt och . Maximerad parameter $\Sigma _{XX}=\operatörsnamn {cov} (X,X)$ $\Sigma _{YY}=\operatörsnamn {cov} (Y,Y)$

\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a)){\sqrt {b^{T }\Sigma _{YY}b}}}}.

I det första steget ändrar vi grunden och bestämmer

c=\Sigma _{XX}^{1/2}a,

d=\Sigma _{YY}^{1/2}b.

Då har vi

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

Av Cauchy-Bunyakovsky ojämlikheten får vi

\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\ leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2 },

\rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}} .

En ojämlikhet blir en likhet om vektorerna och är kolinjära . Dessutom uppnås den maximala korrelationen när är egenvektorn med det maximala egenvärdet för matrisen (se Rayleigh relation ). Nästa par hittas genom att använda det näst största egenvärdet . Ortogonalitet garanteras av symmetrin hos korrelationsmatriserna. $d$ $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ $c$ $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$

Lösning

Lösning:

$c$ är en egenvektor $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$
$d$ proportionellt $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

Följaktligen också

$d$ är en egenvektor $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/ 2}$
$c$ proportionellt $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

Med en omvänd förändring av koordinater får vi

$a$ är en egenvektor , ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX))$
$b$ proportionellt $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
$b$ är en egenvektor $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
$a$ proportionellt . $\Sigma _{XX}^{-1}\Sigma _{XY}b$

De kanoniska variablerna definieras av likheterna:

U=c'\Sigma _{XX}^{-1/2}X=a'X

V=d'\Sigma _{YY}^{-1/2}Y=b'Y

Implementering

CCA kan beräknas med hjälp av singularvärdesuppdelningen av korrelationsmatrisen [4] . Kanonisk korrelation är tillgänglig som en funktion i följande system [5] .

MATLAB är canoncorr- funktionen ( och även i Octave ).
R är en standard cancor- funktion och några andra paket. CCP för statistisk hypotesprövning i kanonisk korrelationsanalys.
SAS - procedure cancorr .
scikit-learn , Python - Cross decomposition package.
SPSS är CanCorr-makrot som följer med huvudpaketet.

Hypotestestning

Varje rad testas för signifikans med hjälp av följande metod. Eftersom korrelationerna är sorterade, innebär påståendet att raden är noll att alla ytterligare korrelationer också är noll. Om vi har oberoende observationer i urvalet och är den uppskattade korrelationen för , för den -th raden kommer signifikanskriteriet att vara: $i$ $sid$ ${\widehat {\rho }}_{i}$ ${\displaystyle i=1,\dots ,\min\{m,n\))$ $i$

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

som är asymptotiskt fördelad som en chi-kvadrat med frihetsgrader för stor [6] . Eftersom alla korrelationer från till är noll, är produkten av termer efter denna punkt irrelevant. $(m-i+1)(n-i+1)$ $sid$ $\min\{m,n\}$ $sid$

Praktisk användning

En typisk användning av kanonisk korrelation i ett experimentellt sammanhang är att betrakta två uppsättningar av variabler och undersöka vad de två uppsättningarna har gemensamt [7] . Till exempel, inom psykologisk forskning kan man ta två etablerade multivariata personlighetstest såsom Minnesota Multidimensional Personality Inventory (MMPI-2) och NEO . Genom att titta på hur MMPI-2-faktorerna relaterar till NEO-faktorerna kan man upptäcka vilka egenskaper som visade sig vara gemensamma mellan de två testerna och hur mycket variablerna är gemensamma. Till exempel kan man finna att egenskaper som extraversion eller neuroticism utgör en väsentlig del av de gemensamma variablerna för de två testerna.

Du kan också använda kanonisk korrelationsanalys för att erhålla en likhet som relaterar två uppsättningar av variabler, såsom en uppsättning prestandamätningar och en uppsättning förklarande variabler, eller en utdatauppsättning och en ingångsuppsättning. Begränsande villkor kan ställas på en sådan modell för att ge teoretiska eller intuitivt uppenbara krav. Denna typ av modell är känd som den maximala korrelationsmodellen [8] .

Visualisering av resultaten av kanonisk korrelation görs vanligtvis genom ett stapeldiagram av koefficienterna för två uppsättningar av variabler för par av kanoniska variabler, som visar en signifikant korrelation. Vissa författare föreslår att det är bättre att visualisera resultaten på en heliograf, som är ett cirkeldiagram med staplar som strålar, varav hälften representerar en uppsättning variabler och den andra halvan en andra uppsättning [9] .

Exempel

Låt med noll matematisk förväntan , d.v.s. . Om , dvs. och är helt korrelerade, då till exempel och , så det första (endast för detta exempel) paret av kanoniska variabler är och . Om , dvs. och är helt anti-relaterade, sedan och , så det första (endast för detta exempel) paret av kanoniska variabler är och . Observera att i båda fallen , vilket visar att kanonisk korrelationsanalys fungerar exakt likadant med korrelerade variabler som med antikorrelerade. $X=x_{1}$ $\operatörsnamn {E} (X)=0$ $Y=X$ $X$ $Y$ $a=1$ $b=1$ $U=X$ $V=Y=X$ $Y=-X$ $X$ $Y$ $a=1$ $b=-1$ $U=X$ $V=-Y=X$ $U=V$

Förhållande med huvudvinklar

Låt oss anta det och ha noll matematiska förväntningar , dvs. . Deras kovariansmatriser och kan betraktas som Gram-matriser med inre produkt för resp . I denna tolkning behandlas slumpvariabler, element i vektorn och element i vektorn , som element i ett vektorrum med den skalära produkten som ges av kovariansen . $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots ,y_{m})'$ $\operatörsnamn {E} (X)=\operatörsnamn {E} (Y)=0$ $\Sigma _{XX}=\operatörsnamn {Cov} (X,X)=\operatörsnamn {E} [XX']$ $\Sigma _{YY}=\operatörsnamn {Cov} (Y,Y)=\operatörsnamn {E} [YY']$ $X$ $Y$ $x_{i}$ $X$ $y_{j}$ $Y$ $\operatorname {cov} (x_{i},y_{j})$

Definitionen av kanoniska variabler och är då ekvivalent med definitionen av rotvektorer för par av delrum som spänns av och , med hänsyn till denna skalära produkt . Den kanoniska korrelationen är lika med cosinus för vinkeln mellan delrum. $U$ $V$ $X$ $Y$ $\operatorname {corr} (U,V)$

Whitening och probabilistisk kanonisk korrelationsanalys

CCA kan också betraktas som en speciell blekningstransformation [10] , där de slumpmässiga vektorerna och samtidigt transformeras på ett sådant sätt att korskorrelationsmatrisen mellan de blekta vektorerna och är diagonal [11] . $X$ $Y$ ${\displaystyle X^{CCA))$ ${\displaystyle Y^{CCA))$

De kanoniska korrelationerna tolkas sedan som regressionskoefficienter för , och , och de kan vara negativa. Att se på CCA som en regression ger ett sätt att bygga en latent variabel generativ probabilistisk modell för CCA med okorrelerade latenta variabler som representerar den totala och partiella variansen. ${\displaystyle X^{CCA))$ ${\displaystyle Y^{CCA))$

Se även

Generaliserad kanonisk korrelation
Multilinjär underrumsinlärning
RV ratio
Vinklar mellan hyperplan
Huvudkomponentmetoden
Linjär diskriminerande analys
singulärvärdesfaktorisering
Partiell minsta kvadraters regression

Anteckningar

↑ Härdle, Simar, 2007 , sid. 321–330.
↑ Knapp, 1978 , sid. 410–416.
↑ Hotelling, 1936 , sid. 321–377.
↑ Hsu, Kakade, Zhang, 2012 , sid. 1460.
↑ Huang, Lee, Hsiao, 2009 , sid. 2162.
↑ Mardia, Kent, Bibby, 1979 .
↑ Sieranoja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018 .
↑ Tofallis, 1999 , sid. 371–378.
↑ Degani, Shafto, Olson, 2006 , sid. 93.
↑ Whitening transform konverterar en vektor av slumpvariabler med hjälp av en linjär transformation till vitt brus
↑ Jendoubi, Strimmer, 2018 .

Litteratur

Wolfgang Hardle, Leopold Simar. Kanonisk korrelationsanalys // Tillämpad multivariat statistisk analys. - 2007. - ISBN 978-3-540-72243-4 . - doi : 10.1007/978-3-540-72244-1_14 .
Knapp TR Kanonisk korrelationsanalys: Ett allmänt parametriskt signifikanstestningssystem // Psychological Bulletin. - 1978. - T. 85 , nr. 2 . - doi : 10.1037/0033-2909.85.2.410 .
Kanti V. Mardia, JT Kent, JM Bibby. multivariat analys. — Academic Press , 1979.
Hotelling H. Relations Between Two Sets of Variates // Biometrika. - 1936. - T. 28 , nr. 3–4 . - doi : 10.1093/biomet/28.3-4.321 . — .
Hsu D., Kakade SM, Zhang T. En spektralalgoritm för att lära sig dolda Markov-modeller // Journal of Computer and System Sciences. - 2012. - T. 78 , nr. 5 . - doi : 10.1016/j.jcss.2011.12.025 . - arXiv : 0811.4413 .
Huang SY, Lee MH, Hsiao CK Icke-linjära mått på association med kärnans kanoniska korrelationsanalys och tillämpningar // Journal of Statistical Planning and Inference. - 2009. - T. 139 , nr. 7 . - doi : 10.1016/j.jspi.2008.10.011 .
Sieranoja S., Sahidullah Md, Kinnunen T., Komulainen J., Hadid A. Audiovisuell Synchrony Detection with Optimized Audio Features // IEEE 3rd Int. Konferens om signal- och bildbehandling (ICSIP 2018). - 2018. - Juli.
Tofallis C. Model Building with Multiple Dependent Variables and Constraints // Journal of the Royal Statistical Society, Series D. - 1999. - V. 48 , nr. 3 . - doi : 10.1111/1467-9884.00195 . - arXiv : 1109.0725 .
Degani A., Shafto M., Olson L. Kanonisk korrelationsanalys: Användning av sammansatta heliografer för att representera flera mönster // Diagrammatisk representation och slutledning . - 2006. - T. 4045. - (Lecture Notes in Computer Science). — ISBN 978-3-540-35623-3 . - doi : 10.1007/11783183_11 .
Jendoubi T., Strimmer K. En blekningsmetod för probabilistisk kanonisk korrelationsanalys för omics dataintegration. — 2018.

Länkar

Diskriminerande korrelationsanalys (DCA)
- Haghighat M., Abdel-Mottaleb M., Alhalabi W. Diskriminerande korrelationsanalys: Realtidsfunktionsnivåfusion för multimodal biometrisk igenkänning . IEEE-transaktioner om informationsforensik och säkerhet]. - 2016. - T. 11(9). ( MATLAB )
Hardoon D., Szedmak S., Shawe-Taylor J. Canonical Correlation Analysis: An Overview with Application to Learning Methods // Neural Computation. - 2004. - T. 16 , nr. 12 . - P. 2639-2664. - doi : 10.1162/0899766042321814 . — PMID 15516276 .
En anteckning om den ordinala kanoniska korrelationsanalysen av två uppsättningar av rankingpoäng - Journal of Quantitative Economics 7(2), 2009, s. 173–199
Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyzes ( FORTRAN- program tillhandahålls ) - Journal of Applied Economic Sciences 4(1), 2009, s. 115–124

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-nät Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG