Kovariansmatris

Kovariansmatris (eller kovariansmatris ) i sannolikhetsteorin är en matris som består av parvisa kovarianser av element i en eller två slumpmässiga vektorer .

Kovariansmatrisen för en slumpmässig vektor är en kvadratsymmetrisk icke-negativ bestämd matris, på vars diagonal varianserna för vektorkomponenterna är belägna, och de off-diagonala elementen är kovarianserna mellan komponenterna.

Kovariansmatrisen för en slumpmässig vektor är en multivariat analog av variansen för en slumpmässig variabel för slumpmässiga vektorer. Kovariansmatrisen för två slumpmässiga vektorer är en flerdimensionell analog av kovariansen mellan två slumpvariabler.

När det gäller en normalfördelad slumpmässig vektor bestämmer kovariansmatrisen, tillsammans med den matematiska förväntan av denna vektor, fullständigt dess fördelning (i analogi med det faktum att den matematiska förväntan och variansen för en normalfördelad slumpvariabel helt bestämmer dess fördelning)

Definitioner

Låta , vara två slumpmässiga vektorer av dimension och , respektive. Låt också de slumpmässiga variablerna ha ett ändligt andra moment ( dispersion ) , dvs. Då kallas vektorkovariansmatrisen ${\mathbf {X}}:\Omega \to {\mathbb {R}}^{n}$ ${\mathbf {Y}}:\Omega \to {\mathbb {R}}^{m}$ $n$ $m$ $X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m$ $X_{i},Y_{j}\in L^{2}$ ${\mathbf {X}),{\mathbf {Y}}$

\Sigma ={\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbb {E}}\left[({\mathbf {X}}-{\mathbb {E}}{\mathbf {X}})({\mathbf {Y}}-{\mathbb {E}}{\mathbf {Y}})^{{\top }}\right],

det är

\Sigma =(\sigma _{{ij}})

var

\sigma _{{ij))={\mathrm {cov}}(X_{i},Y_{j})\equiv {\mathbb {E}}\left[(X_{i}-{\mathbb {E }}X_{i})(Y_{j}-{\mathbb {E}}Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m

{\mathbb {E}}

- matematisk förväntan .

If , då kallas vektorkovariansmatrisen och betecknas med . [1] En sådan kovariansmatris är en generalisering av variansen för en multivariat slumpvariabel , och dess spår är ett skalärt uttryck för variansen av en multivariat slumpvariabel . I detta avseende används också notationen - variansen av en slumpmässig vektor. Egenvektorerna och egenvärdena för denna matris gör det möjligt att uppskatta storleken och formen på distributionsmolnet för en sådan slumpvariabel genom att approximera den med en ellipsoid (eller en ellips i det tvådimensionella fallet). ${\mathbf {X}}\equiv {\mathbf {Y}}$ $\Sigma$ $\mathbf {X}$ ${\mathrm {cov}}({\mathbf {X}})$ $V(X)$

Egenskaper för kovariansmatriser

Stenografi för beräkning av kovariansmatrisen:

{\mathrm {cov}}({\mathbf {X}})={\mathbb {E}}\left[{\mathbf {X}}{\mathbf {X}}^({\top }}\right ]-{\mathbb {E}}[{\mathbf {X}}]\cdot {\mathbb {E}}\left[{\mathbf {X}}^({\top }}\right]

Kovariansmatrisen för en slumpmässig vektor är icke-negativt definierad [1] :

{\mathrm {cov}}({\mathbf {X}})\geq 0

Skalförändring:

{\mathrm {cov}}\left({\mathbf {a}}^{{\top }}{\mathbf {X}}\right)={\mathbf {a}}^{{\top }}{ \mathrm {cov}}({\mathbf {X}}){\mathbf {a}},\;\forall {\mathbf {a}}\in {\mathbb {R}}^{n}

Om slumpmässiga vektorer och är okorrelerade ( ), då $\mathbf {X}$ $\mathbf {Y}$ ${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}$

{\mathrm {cov}}({\mathbf {X}}+{\mathbf {Y}})={\mathrm {cov}}({\mathbf {X}})+{\mathbf {cov}}( {\mathbf {Y)))

Affin transformationskovariansmatris :

{\mathrm {cov}}\left({\mathbf {A}}{\mathbf {X}}+{\mathbf {b}}\right)={\mathbf {A}}{\mathrm {cov}} ({\mathbf {X}}){\mathbf {A}}^{{\top }}

där är en godtycklig matris av storlek , och . $\mathbf {A}$ $n\ gånger n$ ${\mathbf {b}}\in {\mathbb {R}}^{n}$

Ordna om argument:

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {cov}}({\mathbf {Y}},{\mathbf {X}})^ {{\topp}}

Kovariansmatrisen är additiv i varje argument:

{\mathrm {cov}}({\mathbf {X}}_{1}+{\mathbf {X}}_{2},{\mathbf {Y}})={\mathbf {cov}}({ \mathbf {X}}_{1},{\mathbf {Y}})+{\mathm {cov}}({\mathbf {X}}_{2},{\mathbf {Y}})

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{1}+{\mathbf {Y}}_{2})={\mathbf {cov}}({ \mathbf {X)),{\mathbf {Y}}_{1})+{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{2})

Om och är oberoende, alltså $\mathbf {X}$ $\mathbf {Y}$

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}

Villkorlig kovariansmatris

Kovariansmatrisen för en slumpmässig vektor är en egenskap för dess fördelning. I fallet med en (multivariat) normalfördelning bestämmer medelvärdet av en vektor och dess kovariansmatris fullständigt dess fördelning. Egenskaperna för den villkorliga fördelningen av en slumpmässig vektor givet värdet av en annan slumpmässig vektor är den villkorliga förväntan ( regressionsfunktion ) respektive den villkorliga kovariansmatrisen.

Låt slumpmässiga vektorer och ha en gemensam normalfördelning med matematiska förväntningar , kovariansmatriser och kovariansmatris . Detta innebär att den kombinerade slumpmässiga vektorn följer en multivariat normalfördelning med en förväntansvektor och en kovariansmatris som kan representeras som följande blockmatris $X$ $Y$ $\mu _{X},\mu _{Y}$ $V_{X},V_{Y}$ $C_{{XY}}$ ${\boldsymbol Z}={\begin{bmatrix}{\boldsymbol X}\\{\boldsymbol Y}\end{bmatrix}}$ ${\boldsymbol \mu }_{{Z))={\begin{bmatrix}{\boldsymbol \mu }_{X}\\{\boldsymbol \mu }_{Y}\end{bmatrix)),$

${\boldsymbol V}_{Z}={\begin{bmatrix}{\boldsymbol V}_{X}&{\boldsymbol C}_{{XY}}\\{\boldsymbol C}_{{YX}} &{\boldsymbol V}_{{Y}}\end{bmatrix}}$ var $C_{{YX}}=C_{{XY}}^{T}$

Då har den slumpmässiga vektorn för ett givet värde av den slumpmässiga vektorn en normalfördelning (villkorlig) med följande villkorliga förväntade och villkorliga kovariansmatris $Y$ $X$

$E(Y|X=x)=\mu _{Y}+C_{{YX}}V_{X}^{{-1}}(x-\mu _{X}),\qquad V(Y| X=x)=V_{Y}-C_{{YX}}V_{X}^{{-1}}C_{{XY}}$

Den första likheten definierar den linjära regressionsfunktionen (beroendet av vektorns villkorliga förväntan på det givna värdet x för den slumpmässiga vektorn ), och matrisen är matrisen av regressionskoefficienter. $Y$ $X$ $C_{{XY}}V^{{-1}}$

Den villkorliga kovariansmatrisen är den slumpmässiga felkovariansmatrisen för linjära regressioner av komponenterna i vektor för vektor . $Y$ $X$

I fallet där är en vanlig slumpvariabel (en enkomponentsvektor), är den villkorliga kovariansmatrisen den villkorliga variansen (i huvudsak - det slumpmässiga felet för regressionen på vektorn ) $Y$ $Y$ $X$

Anteckningar

↑ 1 2 A. N. Shiryaev. 2 kap. 6 §. Slumpvariabler II // Sannolikhet. - 3:e uppl. - Cambridge, New York, ...: MTSNMO, 2004. - T. 1. - P. 301. - 520 sid.