Rayleigh relation

I matematik , för en given komplex hermitisk matris och en vektor som inte är noll , definieras Rayleigh-relationen [1] enligt följande [2] [3] : $M$ $x$ $R(M,x)$

R(M,x)={x^{{*}}Mx \över x^{{*}}x}.

För verkliga matriser reduceras villkoret för att en matris ska vara hermitiskt till sin symmetri , och den hermitiska konjugationen av vektorer förvandlas till en vanlig transponering . Observera att för alla verkliga konstanter . Kom ihåg att en hermitisk (liksom en symmetrisk reell) matris har verkliga egenvärden . Det kan visas att för en matris når Rayleigh-förhållandet sitt minimivärde (matrisens minsta egenvärde ) när det är lika med (motsvarande egenvektor). På liknande sätt kan det visas att och . Rayleigh-relationen används i Courant-Fishers minimaxsats för att erhålla alla värden på egenvärdena [4] . Det används också i algoritmer för att hitta matrisegenvärden för att erhålla en egenvärdesapproximation från en egenvektorapproximation. Relationen är nämligen grunden för iterationer med Rayleigh-relationen [5] [6] . $x^{{*}}$ $x'$ $R(M,cx)=R(M,x)$ $c\neq 0$ $\lambda _{\min }$ $M$ $x$ $v_{\min }$ $R(M,x)\leq \lambda _{\max }$ $R(M,v_{\max })=\lambda _{\max }$

Uppsättningen av värden för Rayleigh-relationen kallas den numeriska bilden av matrisen [7] [8] .

Ett specialfall av kovariansmatriser

Kovariansmatrisen M för ett multivariat statistiskt urval A (matris av observationer) kan representeras som en produkt A' A [9] [10] . Eftersom M är en symmetrisk reell matris har M icke-negativa egenvärden och ortogonala (eller reducerbara till ortogonala) egenvektorer.

För det första att egenvärdena inte är negativa: $\lambda _{i}$

Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}

\Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}

\Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}

\Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\ geq 0.

Och för det andra att egenvektorerna är ortogonala mot varandra: $v_{i}$

Mv_{i}=\lambda _{i}v_{i}

\Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0

\Rightarrow v_{j}'v_{i}=0

(om egenvärdena är olika - i fallet med samma värden kan du hitta en ortogonal bas).

Låt oss nu visa att Rayleigh-förhållandet får ett maximalt värde på vektorn som motsvarar det största egenvärdet. Låt oss expandera en godtycklig vektor i termer av grunden för egenvektorer v i : $x$

x=\summa _{{i=1}}^{n}\alpha _{i}v_{i}

, var är projektionen av x på

\alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\ |v_{i}\right\|^{2}}}

v_{i}

Alltså jämlikhet

R(M,x)={\frac {x'A'Ax}{x'x}}

kan skrivas om i följande form:

R(M,x)={\frac {(\sum _{{j=1}}^{n}\alpha _{j}v_{j})'A'A(\summa _{{i=1 }}^{n}\alpha _{i}v_{i})}{(\summa _{{j=1}}^{n}\alpha _{j}v_{j})'(\summa _ {{i=1}}^{n}\alpha _{i}v_{i})}}

Eftersom egenvektorerna är ortogonala blir den sista likheten

R(M,x)={\frac {\summa _{{i=1}}^{n}\alpha _{i}^{2}\lambda _{i}}{\summa _{{i= 1}}^{n}\alpha _{i}^{2}}}=\summa _{{i=1}}^{n}\lambda _{i}{\frac {(x'v_{i })^{2}}{(x'x)(v_{i}'v_{i})}}

Den sista likheten visar att Rayleigh-förhållandet är summan av kvadratisk cosinus för vinklarna mellan vektorn och var och en av egenvektorerna multiplicerat med motsvarande egenvärde. $x$ $v_{i}$

Om en vektor maximerar , så maximerar alla vektorer som erhålls från multiplikation med en skalär ( for ) också R. Således kan problemet reduceras till att hitta det maximala under tillståndet . $x$ $R(M,x)$ $x$ $kx$ $k\neq 0$ $\sum _{{i=1}}^{n}\alpha _{i}^{2}\lambda _{i}$ $\sum _{{i=1}}^{n}\alpha _{i}^{2}=1$

Eftersom alla egenvärden är icke-negativa reduceras problemet till att hitta maximivärdet för en konvex funktion , och det kan visas att det nås vid och (egenvärdena sorteras i fallande ordning). $\alpha _{1}=1$ $\forall i>1,\alpha _{i}=0$

Således når Rayleigh-förhållandet sitt maximum vid egenvektorn som motsvarar det maximala egenvärdet.

Samma resultat med Lagrange-multiplikatorer

Samma resultat kan erhållas med Lagrange-multiplikatorer . Problemet är att hitta de kritiska punkterna för funktionen

R(M,x)=x^{T}Mx

vid ett konstant värde Det vill säga du måste hitta de kritiska punkterna för funktionen $\|x\|^{2}=x^{T}x=1.$

{\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),

var är Lagrange-multiplikatorn. För stationära punkter av funktionen , jämlikheten $\lambda$ ${\mathcal {L}}(x)$

{\frac {d{\mathcal {L}}(x)}{dx}}=0

\därför 2x^{T}M^{T}-2\lambda x^{T}=0

\därför Mx=\lambda x

och $R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}} =\lambda .$

Således är egenvektorerna för matrisen M kritiska punkter i Rayleigh-relationen, och deras egenvärden är motsvarande stationära värden. $x_{1}\ldots x_{n}$ $\lambda _{1}\ldots \lambda _{n}$

Denna egenskap är grunden för principal komponentanalys och kanonisk korrelation .

Användning i Sturm-Liouville teori

Sturm-Liouville-teorin består i studiet av den linjära operatorn

L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\ höger]+q(x)y\höger)

med prickprodukt

\langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx

där funktionerna uppfyller vissa specifika randvillkor i punkterna a och b . Rayleigh-relationen här tar formen

{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(- {\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{ a}^{b}{w(x)y(x)^{2}}dx}}.

Ibland representeras detta förhållande i en likvärdig form med hjälp av integration av delar [11] :

{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(- {\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^ {2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}

={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x )\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\ int _{a}^{b}{w(x)y(x)^{2}}\,dx}}

={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x )^{2}+q(x)y(x)^{2}\höger]\,dx}{\int _{a}^{b}{w(x)y(x)^{2)) \,dx}}.

Generalisering

För varje par av reella symmetriska positiva definitiva matriser och en vektor som inte är noll definieras den generaliserade Rayleigh-relationen som $(A, B)$ $x$

R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.

Den generaliserade Rayleigh-relationen kan reduceras till Rayleigh-relationen genom att transformera , där är nedbrytningen av Cholesky- matrisen . $R(D,Cx)$ $D={C^{*}}^{{-1}}AC^{{-1}}$ $C$ $B$

Se även

Numerisk bild av en matris

Anteckningar

↑ även känd som Rayleigh-Ritz relation , uppkallad efter Walter Ritz och Lord Rayleigh .
↑ Horn, R. A. och C. A. Johnson. 1985. Matrisanalys . Cambridge University Press. pp. 176–180.
↑ Parlet BN The symmetric eigenvalue problem , SIAM, Classics in Applied Mathematics, 1998
↑ Beckenbach, 1965 , §26 Fischers minimaxsats.
↑ Parlett, 1983 , §4.6 Iterationer med Rayleigh-relationen, sid. 87).
↑ Verbitsky, 2000 , §4.3 Omvända iterationer, sid. 115.
↑ Gevorgyan .
↑ Prasolov, 2008 , 2.2 Kärnan och bilden av operatören. Faktorutrymme., sid. 114.
↑ Korshunov, 2008 , Inledning.
↑ ACTA, 2005 .
↑ Haberman, 1987 .

Litteratur

B. Parlett. Symmetriskt egenvärdeproblem. Numeriska metoder. — 1983.
E. Beckenbbach, R. Bellman. Ojämlikheter. - Moskva "Mir", 1965.
Richard Haberman. Elementärt tillämpade partiella differentialekvationer. — Prentice Hall, Englewood, New Jersey, 1987.
V. M. Verzhbitsky. Numeriska metoder (linjär algebra och icke-linjära ekvationer). - Moskva "Higher School", 2000.
V.V. Prasolov. Problem och satser för linjär algebra. — Moskva, 2008.
Gevorgyan LZ Några geometriska egenskaper hos den numeriska bilden av en operatör . – Armeniens statliga ingenjörsuniversitet. Arkiverad från originalet den 31 augusti 2006.
Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Egenvärdetäthet för empirisk kovariansmatris för korrelerade prover // Acta physica polonica B. - 2005. - Vol. 36 , nr. 9 . - S. 2642 .
Korshunov Yu M. Erhålla ett multidimensionellt statistiskt urval med givna korrelationsegenskaper Vestnik RGRTU. - 2008. - Utgåva. 23 .
Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kärnbaserad datafusion för maskininlärning: metoder och tillämpningar inom bioinformatik och textutvinning . — Springer, 2011.