Fisher Information

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 28 december 2019; kontroller kräver 9 redigeringar .

Fisher information är den matematiska förväntan av kvadraten på den relativa förändringshastigheten i den villkorade sannolikhetstätheten [1] . Denna funktion är uppkallad efter Ronald Fisher , som beskrev den . $p(x|\theta )$

Definition

Låt vara distributionstätheten för den givna statistiska modellen . Sedan om funktionen är definierad $f(\theta,\;x_1,\dots,\,x_n)$

I_{n}(\theta )=\mathbb {E} _{\theta}\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{ n})}{\partial \theta }}\right)^{2},\;L=\summa _{i=1}^{n}\ln f(\theta ,x_{i})

var är log -likelihood-funktionen och är den matematiska förväntan för given , då kallas den Fisher-informationen för en given statistisk modell med oberoende tester . $L(\theta,\;x_1,\dots,\,x_n)$ ${\displaystyle \mathbb {E} _{\theta ))$ $x$ $\theta$ $n$

Om den är två gånger differentierad med avseende på , och under vissa regelbundenhetsförhållanden, kan Fisher-informationen skrivas om som [2] $\ln f(x;\theta)$ $\theta$

I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;X)}{\partial \theta}\right)^2 = - \mathbb{E} _\theta \left(\frac{\partial^2 L(\theta,\;X)}{\partial \theta^2}\right)

För regelbundna mönster: (Detta är definitionen av regelbundenhet). $\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)=0$

I detta fall, eftersom förväntningen på sampelbidragsfunktionen är noll, är det skrivna värdet lika med dess varians.

Fisher-mängden information som finns i en observation kallas:

I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x_{i})}{\partial \ theta }}\right)^{2}

För vanliga modeller är alla lika. $I_{i}(\theta )$

Om provet består av ett element skrivs Fisher-informationen enligt följande:

I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x)}{\partial \theta }}\right) ^{2}

Från villkoret regelbundenhet, såväl som av det faktum att i fallet med oberoende av slumpvariabler , variansen av summan är lika med summan av varianserna, följer att för oberoende tester . $n$ $I_{n}(\theta )=nI(\theta )$

Egenskaper

Det följer av ovanstående variansegenskap att i fallet med oberoende av slumpvariabler (betraktade i en statistisk modell), är Fisher-informationen för deras summa lika med summan av Fisher-informationen för var och en av dem. $\xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)$

Spara information med tillräcklig statistik

I allmänhet, om är provstatistiken X , då $T = t(X)$

I_T(\theta)\leq I_X(\theta)

Dessutom uppnås jämlikhet om och endast om T är en tillräcklig statistik .

En tillräcklig statistik innehåller lika mycket Fisher-information som hela urvalet X . Detta kan visas med hjälp av Neumann faktoriseringstest för tillräcklig statistik. Om statistiken är tillräcklig för parametern finns det funktioner g och h så att: $T(X)$ $\theta$

f(X;\theta )=g(T(X),\theta )h(X)

Jämlikheten i informationen följer av:

\frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right] = \frac{\partial}{\partial\theta} \ln \left[g(T(X) );\theta)\höger]

som följer av definitionen av Fisher information och oberoende från . $h(X)$ $\theta$

Se även

Andra mått som används i informationsteori :

Anteckningar

↑ Leman, 1991 , sid. 112.
↑ Lehmann, E.L. ; Casella, G. Theory of Point Estimation (neopr.) . — 2:a uppl. - Springer, 1998. - ISBN 0-387-98502-6 . , ekv. (2.5.16).

Litteratur

Leman E. Teori för punktuppskattning. — M .: Nauka, 1991. — 448 sid. — ISBN 5-02-013941-6 .