Marginell sannolikhet

Marginal sannolikhetsfunktion eller integrerad sannolikhet är en sannolikhetsfunktion där vissa variabla parametrar är exkluderade . I samband med Bayesiansk statistik kan en funktion kallas bevis eller modellbevis .

Koncept

Givet en uppsättning oberoende identiskt fördelade datapunkter , där parametern är enligt någon sannolikhetsfördelning med parametern , där parametern i sig är en slumpvariabel som ges av fördelningen, det vill säga . Den marginella sannolikhetsfunktionen frågar i allmänhet vad är sannolikheten för händelsen , där den exkluderas (genom att integrera över denna parameter): $\mathbb {X} =(x_{1},\ldots ,x_{n}),$ $x_{i}\sim p(x_{i}|\theta )$ $\theta$ $\theta$ $\theta \sim p(\theta |\alpha )$ $p(\mathbb {X} |\alpha )$ $\theta$

p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \operatörsnamn {d} \ !\theta

Definitionen ovan är formulerad i samband med Bayesiansk statistik . I klassisk ( frekvens ) statistik förekommer begreppet marginal sannolikhet istället i sammanhanget med den gemensamma parametern , där är den faktiska parametern och är störningsparametern . Om det finns en sannolikhetsfördelning för är det ofta önskvärt att betrakta sannolikhetsfunktionen endast i termer av eliminering : $\theta =(\psi ,\lambda )$ $\psi$ $\lambda$ $\lambda$ $\psi$ $\lambda$

{\mathcal {L}}(\psi ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \operatörsnamn {d} \!\lambda

Tyvärr är marginella sannolikheter i allmänhet svåra att beräkna. Exakta lösningar är kända för en liten klass av distributioner, i synnerhet när den uteslutna parametern är den konjugerade föregående distributionen av datadistributionen. I andra fall behövs någon numerisk integrationsmetod , antingen en generell integrationsmetod som Gauss- metoden eller Monte Carlo- metoden, eller en metod som utvecklats specifikt för statistiska problem som Laplace-approximationen , Gibbs / Metropolis -sampling eller EM-algoritmen .

Det är också möjligt att tillämpa ovanstående konventioner på en enda slumpvariabel (datapunkt) x snarare än på en uppsättning observationer. I samband med Bayesiansk teori är detta ekvivalent med den tidigare förutsagda fördelningen av en datapunkt.

Applikationer

Jämförelse av Bayesianska modeller

När man jämför Bayesianska modeller är de uteslutna variablerna parametrar för en viss typ av modell, och de återstående variablerna är kännetecken för modellen. I det här fallet är den marginella sannolikheten sannolikheten för data givet typen av modell utan att anta värdena för några speciella parametrar. Den marginella sannolikhetsfunktionen för modell M är

p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatörsnamn {d} \!\theta

Det är i detta sammanhang som termen modellvaliditet är vanligt förekommande . Detta värde är viktigt eftersom förhållandet mellan de bakre oddsen för modell M 1 och en annan modell M 2 involverar förhållandet mellan de marginala sannolikhetsfunktionerna, den så kallade Bayes-koefficienten :

{\frac {p(M_{1}|x)}{p(M_{2}|x)))={\frac {p(M_{1})}{p(M_{2}) }}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}

som schematiskt kan uttryckas som

posterior odds = föregående odds × Bayes koefficient

Se även

Empirisk Bayes metod
Privat distribution
Lindleys paradox

Anteckningar

Litteratur

Charles S. Bos. A comparison of marginal likelihood computation methods // COMPSTAT 2002: Proceedings in Computational Statistics / W. Härdle, B. Ronz. - 2002. - S. 111-117. (Bok tillgänglig som förtryck online: [1] Arkiverad 3 augusti 2020 på Wayback Machine )
David JC MacKay. Informationsteori, slutledningsalgoritmer och inlärningsalgoritmer . - Cambridge University Press, 2003. - ISBN 0521642981 .