Bayesiansk utvärdering av en lösning

I matematisk statistik och beslutsteori är en Bayesiansk beslutsuppskattning en statistisk uppskattning som minimerar den posteriora förväntan av en förlustfunktion (det vill säga den bakre förväntan på förlust ). Med andra ord, det maximerar den bakre förväntningen på nyttofunktionen . Inom ramen för Bayesiansk teori kan denna uppskattning definieras som uppskattningen av a posteriori maximum .

Definition

Antag att den okända parametern har en tidigare fördelning . Låt vara en uppskattning av en parameter baserad på några mätningar av , och låt vara en kvadratisk förlustfunktion av , och den Bayesianska risken för parametern är , där medelvärdet tas över fördelningen av : detta definierar riskfunktionen som en funktion av . Då kommer en Bayesiansk uppskattning att kallas en sådan uppskattning som minimerar den Bayesianska risken bland alla andra uppskattningar. Likaså minimerar estimatorn som minimerar den posteriora förväntade förlusten för varje x också den Bayesianska risken och är således en Bayesiansk estimator. [ett] $\theta$ $\pi$ ${\hat {\theta }}={\hat {\theta }}(x)$ $\theta$ $x$ $L(\theta ,{\hat {\theta )))$ ${\hat {\theta ))$ $E_{\pi }(L(\theta ,{\hat {\theta ))))$ $\theta$ ${\hat {\theta ))$ ${\hat {\theta ))$ $E(L(\theta ,{\hat {\theta )))\mid x)$

I fallet med en felaktig tidigare fördelning kallas en uppskattning som minimerar förväntad bakre förlust för varje x en generaliserad Bayesiansk uppskattning . [2]

Exempel

Uppskattning av minsta rotmedelkvadratfel

Den vanligaste riskfunktionen för Bayesiansk uppskattning är rotmedelkvadratfelfunktionen (refererad till MSE i den engelska litteraturen). Minsta medelkvadratfel MSE definieras som $\mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],$

där den matematiska förväntan är hämtad från den gemensamma fördelningen och . $\theta$ $x$

Posterior medelvärde

Om vi använder MSE som en riskfunktion, är den Bayesianska uppskattningen av den okända parametern helt enkelt medelvärdet av den bakre fördelningen : [3]

${\widehat {\theta }}(x)=E[\theta |x]=\int \theta p(\theta |x)\,d\theta .$

Detta är känt som uppskattningen av minsta medelkvadratfel. Bayesisk risk, i detta fall, är den bakre variansen.

Bayesisk risk för konjugatet tidigare

I fall där det inte finns någon god anledning att föredra en prior framför en annan, används konjugat prior för enkelhetens skull . Det definieras som en tidigare distribution som tillhör någon parametrisk familj vars resulterande bakre distribution också tillhör den familjen. Detta är en viktig egenskap eftersom den Bayesianska uppskattningen såväl som dess statistiska egenskaper ( varians , konfidensintervall , etc.) kan härledas från den bakre fördelningen.

Den är särskilt användbar vid sekventiell uppskattning, där den bakre fördelningen av de aktuella mätningarna används som föregående i nästa mätning. Med varje ny iteration av sådana mätningar blir den bakre fördelningen vanligtvis mer komplex, och ofta kan den Bayesianska uppskattningen inte beräknas utan användning av numeriska metoder .

Några exempel på konjugerade priors:

Om x|θ är normalfördelad , x|θ ~ N(θ,σ 2 ) och den tidigare fördelningen också är normal, θ ~ N(μ,τ 2 ), så är den bakre fördelningen också normalfördelad och den Bayesianska estimatorn under MSE ges av:

${\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\ tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.$

Om x 1 ,…,x n är lika oberoende Poisson- slumpvariabler x i |θ ~ P(θ), och om a priori är fördelat över gammafördelningen θ ~ G(a, b), så har den bakre också en gammafördelning och den Bayesianska uppskattningen under MSE ges av:

${\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+{\frac {1}{b}}}}.$

Om x 1 ,…,x n är oberoende lika kontinuerligt likformigt fördelade stokastiska variabler x i |θ~U(0,θ), och priorn har en Pareto-fördelning θ~Pa(θ 0 ,a), så har den bakre också en Pareto-fördelning och Bayesiansk uppskattning under MSE ges som:

${\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})} }{a+n-1}}.$

Alternativa riskfunktioner

Riskfunktionerna väljs beroende på hur intervallet mellan skattningen och den okända parametern mäts. MSE är den mest använda riskfunktionen, främst på grund av dess enkelhet. Men ibland används alternativa riskfunktioner. Nedan följer några exempel på sådana alternativ. Vidare betecknas den bakre generaliserade distributionsfunktionen som . $F$

Posterior median och andra kvantiler

En "linjär" förlustfunktion med , välja median för den bakre fördelningen som Bayesiansk uppskattning: $a>0$

L(\theta ,{\widehat {\theta )))=a|\theta -{\widehat {\theta }}|

F({\widehat {\theta ))(x)|X)={\tfrac {1}{2)).

En annan "linjär" förlustfunktion som tilldelar olika "vikter" till toppen eller botten av skattningen. Den väljer en kvantil från den bakre fördelningen och är en generalisering av den tidigare förlustfunktionen. $a,b>0$

L(\theta ,{\widehat {\theta )))={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{för }}\theta - {\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{för }}\theta -{\widehat {\theta }}<0\ slut{cases}}

F({\widehat {\theta ))(x)|X)={\frac {a}{a+b)).

Uppskattning av a posteriori maximum

Nästa förlustfunktion är mer komplex: den upprättar en uppskattning av det bakre maximumet , eller en punkt nära den, beroende på krökningen och egenskaperna hos den bakre fördelningen. Små parametervärden rekommenderas för att använda metoden som en approximation $K>0$

( ): $L>0$

L(\theta ,{\widehat {\theta )))={\begin{cases}0,&{\mbox{för }}|\theta -{\widehat {\theta }}|<K\ \L,&{\mbox{för }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}

Även om medelkvadratfelfunktionen är den vanligaste och mest giltiga, kan andra förlustfunktioner användas.

Generaliserade Bayesianska estimatorer

Hittills har det antagits att den tidigare fördelningen är den sanna sannolikhetsfördelningen, eftersom $sid$

\int p(\theta )d\theta =1.

Men ibland kan detta vara ett för strikt krav. Till exempel finns det ingen sådan fördelning (som täcker hela uppsättningen R av reella tal) för vilken varje reellt tal skulle vara lika möjligt. Men på sätt och vis verkar en sådan fördelning vara ett naturligt val för en icke-informativ prior , det vill säga en prior som inte gynnar något fast värde för den okända parametern. Det är fortfarande möjligt att definiera funktionen , men detta kommer inte längre att vara en korrekt sannolikhetsfördelning, eftersom den har en oändlig massa. $p(\theta )=1$

\int {p(\theta )d\theta }=\infty .

Sådana uppsättningsmått är felaktiga tidigare fördelningar . $p(\theta )$

Användningen av felaktiga priors innebär att den Bayesianska risken inte definieras (eftersom den givna prioriteten i själva verket inte är en sannolikhetsfördelning och vi kan inte ta det förväntade värdet från det). Därför är det felaktigt att tala om en Bayesiansk estimator som minimerar Bayesiansk risk. Hur som helst kan man beräkna den bakre fördelningen som

p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta )).

Tänk på att Bayes sats bara gäller välformade distributioner, så det går inte att använda det här. Det finns emellertid ofta fall där den resulterande bakre fördelningen tillåter sådana sannolikhetsfördelningar. I detta fall förväntade den bakre förlusten

$\int {L(\theta ,a)p(\theta |x)d\theta }$

väldefinierad och ändlig. Kom ihåg att för en korrekt fördelning minimerar Bayesianska uppskattningar den bakre förlusten. När den tidigare fördelningen är felaktig kallas estimatorn som minimerar den posteriora förväntan på förlusten den generaliserade Bayesianska estimatorn .

Empiriska Bayesianska uppskattningar

Bayesianska estimatorer framställda med den empiriska Bayes-metoden kallas empiriska bayesianska estimatorer . Denna metod tillåter användning av stödjande data i utvecklingen av en Bayesiansk estimator. De kan erhållas empiriskt genom att observera intilliggande parametrar. Detta görs under antagandet att de uppskattade parametrarna är hämtade från samma tidigare data. Till exempel, om oberoende observationer görs för olika parametrar, är det ibland möjligt att förbättra effektiviteten för att uppskatta en viss parameter genom att använda data från andra observationer.

Det finns parametriska och icke-parametriska tekniker för empiriska Bayesianska uppskattningar. Parametriska är att föredra eftersom de är mer tillämpliga och mer exakta på små mängder data. [fyra]

Egenskaper

Tillåtlighet

Bayesianska regler som har en finit Bayesiansk risk är vanligtvis giltiga. Följande är några exempel på tillåtlighetsteorem.

Om den Bayesianska beslutsregeln är unik är den acceptabel. [5] Till exempel, som nämnts ovan, under medelkvadratfelet (MSE), är den Bayesianska regeln unik och därför giltig.
Om parametern θ tillhör en diskret uppsättning är alla Bayesianska regler giltiga.
Om parametern θ tillhör en kontinuerlig (icke-diskret uppsättning) och riskfunktionen R(θ,δ) är kontinuerlig i θ för varje δ, då är alla Bayesianska regler giltiga.

Samtidigt definierar den generaliserade Bayesianska regeln ofta inte Bayesiansk risk vid en felaktig fördelning. Dessa regler är ofta ogiltiga och det kan vara svårt att validera dem. Till exempel är en generaliserad Bayesiansk uppskattning av förskjutningen av parametern θ, baserat på ett urval med normalfördelning, ogiltig för . Denna paradox är känd som Steins paradox. exempel $p>2$

Praktiska exempel på användning av Bayesianska uppskattningar

Internet Movie Database använder en speciell formel för att beräkna och jämföra filmbetyg från användare. Följande Bayesianska formel användes ursprungligen för att beräkna det viktade genomsnittet för de 250 bästa filmerna, även om formeln har ändrats sedan dess:

W={Rv+Cm \over v+m}\

var:

W\

= viktat betyg

R\

= genomsnittligt filmbetyg, uttryckt som ett tal från 1 till 10 = (betyg)

v\

= antal röster för filmen = (röster)

m\

= vikt ges av ett a priori-betyg (uppskattningen är baserad på fördelningen av det genomsnittliga betyget bland alla filmer)

C\

= genomsnittligt betyg för alla filmer (för närvarande 7,0)

IMDB:s tillvägagångssätt säkerställer att en film som betygsatts flera hundra gånger exklusivt med betyget 10 inte kan klättra högre än till exempel The Godfather, som har ett genomsnittligt betyg på 9,2 från över 500 000 användare.

Se även

Bayesiansk programmering

Anteckningar

↑ Lehmann och Casella, sats 4.1.1
↑ Lehmann och Casella, Definition 4.2.9
↑ Jaynes, E.T. Sannolikhetsteori: vetenskapens logik . - 5. print.. - Cambridge [ua]: Cambridge University Press , 2007. - P. 172. - ISBN 978-0-521-59271-0 .
↑ Berger (1980), avsnitt 4.5.
↑ Lehmann och Casella (1998), sats 5.2.4.

Länkar

http://info.alnam.ru/book_osr.php?id=91 Arkiverad 24 juli 2017 på Wayback Machine
http://lib.alnam.ru/book_inst.php?id=24 Arkiverad 7 december 2016 på Wayback Machine
En intuitiv förklaring av Bayes sats arkiverad 24 augusti 2015 på Wayback Machine