Jeffreys Prior Probability

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 15 augusti 2013; kontroller kräver 11 redigeringar .

I Bayesiansk statistik är Jeffreys prior , uppkallad efter Harold Jeffries , en icke-informativ (objektiv) prior i parameterrymden, proportionell mot kvadratroten av Fishers informationsdeterminant :

p\left({\vec {\theta }}\right)\propto {\sqrt {\det {\mathcal {I}}\left({\vec {\theta }}\right))).

Dess nyckelfunktion är invarians med avseende på parametersättningen av parametervektorn . ${\vec {\theta }}$

Omparametrisering

För en alternativ parametrisering kan man härleda ${\vec {\varphi ))$

p({\vec {\varphi )))\propto {\sqrt {\det I({\vec {\varphi ))))))

från

p({\vec {\theta )))\propto {\sqrt {\det I({\vec {\theta ))))))

genom att använda satsen för förändring av variabler, definitionen av Fisher-information och det faktum att produkten av determinanter är determinanten av produkten av matriser:

{\begin{aligned}p({\vec {\varphi )))&=p({\vec {\theta )))\left|\det {\frac {\partial \theta _{i)){\ partiell \varphi _{j))}\right|\\&\propto {\sqrt {\det I({\vec {\theta )))\,{\det }^{2}{\frac {\partial \theta _{i}}{\partial \varphi _{j}}}}}\\&={\sqrt {\det {\frac {\partial \theta _{k}}{\partial \varphi _{ i))\,\det \operatörsnamn {E} \!\left[{\frac {\partial \ln L}{\partial \theta _{k))}{\frac {\partial \ln L}{ \ partial \theta _{l}}}\right]\,\det {\frac {\partial \theta _{l}}{\partial \varphi _{j}}}}}\\&={\sqrt { \det \operatörsnamn {E} \!\left[\sum _{k,l}{\frac {\partial \theta _{k)){\partial \varphi _{i))}{\frac {\ partial \ln L}{\partial \theta _{k))}{\frac {\partial \ln L}{\partial \theta _{l))}{\frac {\partial \theta _{l)) { \partial \varphi _{j))}\right]}}\\&={\sqrt {\det \operatörsnamn {E} \!\left[{\frac {\partial \ln L}{\partial \ varphi _{i))}{\frac {\partial \ln L}{\partial \varphi _{j))}\right]))={\sqrt {\det I({\vec {\varphi ))) }}.\end{aligned}}

I ett enklare fall av en parameter kan du mata ut:

{\begin{aligned}p(\varphi )&=p(\theta )\left|{\frac {d\theta }{d\varphi }}\right|\propto {\sqrt {\operatörsnamn {E} \ !\left[\left({\frac {d\ln L}{d\theta }}\right)^{2}\right]\left({\frac {d\theta }{d\varphi }}\ höger)^{2))}\\&={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {d\ln L}{d\theta }}{\frac {d\ theta }{d\varphi }}\right)^{2}\right]}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {d\ln L}{d\ varphi }}\right)^{2}\right]}}={\sqrt {I(\varphi )}}.\end{aligned}}

Egenskaper

Ur en praktisk och matematisk synvinkel är en bra anledning att använda icke-informativa tidigare sannolikheter att de inte beror på den uppsättning parametrar där man väljer att beskriva det parametriska rummet.

Ibland kan Jeffreys priors inte normaliseras - det här fallet kallas felaktig prior . Till exempel, för en Gauss-fördelning med känd varians, är Jeffreys prioriteten för medelvärdet enhetlig längs den reella axeln.

Användningen av Jeffries priors bryter mot den starka formuleringen av principen om maximal sannolikhet , som accepteras av många, men inte alla, statistiker. Med hjälp av Jeffreys tidigare sannolikhet beror slutsatsen av o inte bara på sannolikheterna för de observerade data som en funktion av utan också på universum av alla möjliga resultat av experimentet som bestäms av experimentets design, eftersom Fisher-informationen beräknas för förväntningarna i det valda universum. Följaktligen kan Jeffreys tidigare sannolikheter, och därmed slutsatserna som använder dem, vara olika för två experiment som använder samma parameter och till och med samma sannolikhetsfunktion - och detta är ett brott mot den starka formuleringen av principen om maximal sannolikhet. ${\vec {\theta }}$ ${\vec {\theta }}$ ${\vec {\theta }}$

Exempel

Den tidigare sannolikheten för Jeffreys bestäms av uppgiften. Den är beräkningsbar för en given familj av distributioner med en okänd parameter. Omvänt, för en given fördelning kan man fråga sig: för vilket problem med en okänd parameter, kommer fördelningen att vara Jeffreys tidigare. Till exempel är den logaritmiska priorn på den positiva reella halvaxeln Jeffreys prior för en Gaussfördelning med standardavvikelse som parameter , men inte för en Poissonfördelning i standardparameteriseringen, även om parameterutrymmet är detsamma.

Gaussisk fördelning med medelvärde som parameter

För den gaussiska fördelningen av en reell variabel : $x$

f(x|\mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}} }}

Jeffreys tidigare sannolikhetsfördelning för medelvärde : $\mu$

{\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {d}{ d\mu }}\log f(x|\mu )\right)^{2}\right]}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {x- \mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x| \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\frac {\sigma ^{2}}{ \sigma ^{4}}}}\propto 1.\end{aligned}}

Det vill säga, Jeffreys prior for är en icke-normaliserbar enhetlig fördelning på den reella axeln - den är lika med 1 (eller någon annan fast konstant) för alla punkter. Detta är fallet med olämplig föregående , och, upp till valet av en konstant, en unik skiftinvariant fördelning på de reella talen som motsvarar den enda kända informationen: parametern är positionsmåttet och translationsinvariansen på grund av bristen på position information. $\mu$ $\mu$

Gaussfördelning med standardavvikelse som parameter

För den gaussiska fördelningen av en reell variabel : $x$

f(x|\sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2))}{\sqrt {2\pi \sigma ^{2)) }},

Jeffreys tidigare sannolikhetsfördelning för standardavvikelsen σ:

{\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {d}{ d\sigma }}\log f(x|\sigma )\right)^{2}\right]}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {(x -\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{- \infty }^{+\infty }f(x|\mu )\left({\frac {(x-\mu )^{2}-\sigma ^{2)){\sigma ^{3))} \right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2))))\propto {\frac {1}{|\sigma |}}.\end{aligned }}

Följaktligen är Jeffreys prior för log σ² (eller log |σ|) en icke-normaliserbar enhetlig fördelning på den reella axeln, och är känd som den logaritmiska priorn . Den definieras (upp till en faktor) på positiva reella tal, skalinvariant, så att standardavvikelsen är det enda måttet på skalan. På grund av enhetlighet är olämplig före .

Poisson-fördelningen i standardparametriseringen

För Poissonfördelningen av ett icke-negativt heltal : $n$

f(n|\lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},

tidigare sannolikhetsfördelning av parameter : $\lambda$

{\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {d}{ d\lambda }}\log f(x|\lambda )\right)^{2}\right]}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {n- \lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n|\lambda )\ vänster({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}

Följaktligen är Jeffreys prior for en icke-normaliserbar enhetlig fördelning på den icke-negativa reella axeln, och följaktligen felaktig prior . ${\sqrt {\lambda ))$

Bernoulli test

För ett mynt med sannolikhet för huvud och svans , för en given (H,T) ∈ {(0,1), (1,0)} har vi sannolikhet . Tidigare sannolikhetsfördelning av Jeffreys för parametern : $\gamma$ $1-\gamma$ $\gamma ^{H}(1-\gamma )^{T}$ $\gamma$

{\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {d}{ d\gamma }}\log f(x|\gamma )\right)^{2}\right]}}={\sqrt {\operatörsnamn {E} \!\left[\left({\frac {H} {\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1} {\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\ frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned} }

Dessa är bågfördelningen och betafördelningen med α = β = ½. Dessutom, om Jeffreys tidigare fördelning för är enhetlig på intervallet . Följaktligen också enhetligt på hela cirkeln . $\gamma =\sin ^{2}(\theta )$ $\theta$ $[0,{\frac {\pi }{2}}]$ $\theta$ $[0,2\pi ]$

N -sidiga tärningar med partiska sannolikheter

På liknande sätt, för ett N -sidigt tärningskast med ansiktssannolikheter som uppfyller , är Jeffreys prior for en Dirichlet-fördelning med alla α lika med ½. I synnerhet, om för varje , så är Jeffreys prior for enhetlig på den ( N – 1)-dimensionella enhetssfären (det vill säga den är enhetlig på ytan av den N - dimensionella enhetskulan ). ${\vec {\gamma }}=(\gamma _{1},\ldots,\gamma _{N})$ $\sum _{i=1}^{N}\gamma _{i}=1$ ${\vec {\gamma ))$ $\gamma _{i}={\phi _{i}}^{2}$ $i$ ${\vec {\phi ))$

Länkar

Jeffreys, H. An Invariant Form for the Prior Probability in Estimation Problems (engelska) // Proceedings of the Royal Society of London. Serie A, matematiska och fysikaliska vetenskaper : tidskrift. - 1946. - Vol. 186 , nr. 1007 . - S. 453-461 . - doi : 10.1098/rspa.1946.0056 .

Jeffreys, H.Sannolikhetsteori . — Oxford University Press , 1939.