Lindleys paradox

Lindleys paradox är en situation i statistik där de Bayesianska och frekventistiska inställningen till problemet med att testa hypoteser ger olika resultat för vissa val av den tidigare fördelningen . Frågan om oenighet mellan de två synsätten diskuterades i en bok från 1939 av Harold Jeffreys [1] . Problemet blev känt som Lindleys paradox efter att Dennis Lindley inte höll med paradoxen i en tidning från 1957 [2] .

Även om situationen beskrivs som en paradox , kan skillnaden mellan Bayesianska och frekventistiska tillvägagångssätt förklaras som att de används för att svara på fundamentalt olika frågor, snarare än en faktisk oenighet mellan de två metoderna.

Hur det än må vara, för en stor klass beror de a priori skillnaderna mellan de frekventistiska och Bayesianska synsätten på bevarandet av signifikansnivån. Som Lindley förstod, "kan teorin inte motivera praktiken att upprätthålla signifikansnivån" och till och med "en del av beräkningarna som professor Pearson gjorde i diskussionen om denna artikel belyser hur mycket signifikansnivån kan förändras med urvalsstorleken om förluster och tidigare sannolikheter förblir oförändrade" [2] . Faktum är att om det kritiska värdet växer tillräckligt snabbt med urvalsstorleken, blir oöverensstämmelsen mellan frekventistiska och Bayesianska tillvägagångssätt försumbar [3] [4] .

Beskrivning av paradoxen

Tänk på resultatet av ett experiment med två möjliga förklaringar, hypoteser och , och viss tidigare fördelning , som representerar osäkerheten om vilken hypotes som är mer exakt innan du överväger . $x$ ${\displaystyle H_{0))$ $H_{1}$ $\pi$ $x$

Lindleys paradox finns i fallet med:

Resultatet visar sig vara "signifikant" för frekvenshypotestestet , vilket visar betydande bevis för att förkasta hypotesen , säg på 5%-nivån. $x$ ${\displaystyle H_{0))$ ${\displaystyle H_{0))$
Den bakre sannolikheten för hypotesen som ges av resultatet är hög, vilket starkt tyder på att hypotesen överensstämmer mer med än hypotesen . ${\displaystyle H_{0))$ $x$ $H_{0}$ $x$ $H_{1}$

Dessa resultat kan hända samtidigt om de är mycket specifika, mer otydliga och den tidigare fördelningen inte gynnar någon av dem, som visas nedan. ${\displaystyle H_{0))$ $H_{1}$

Numeriskt exempel

Vi kan illustrera Lindleys paradox med ett numeriskt exempel. Föreställ dig en stad där 49 581 pojkar och 48 870 flickor föddes under en viss tid. Den observerade andelen pojkar är 49581/98451 ≈ 0,5036. Vi antar att antalet pojkfödslar är en binomial variabel med parameter . Vi vill kontrollera om det är lika med 0,5 eller något annat värde. Det vill säga vår nollhypotes är: , och den alternativa hypotesen är . $x$ $\theta$ $\theta$ $H_{0}:\theta =0.5$ $H_{1}:\theta \neq 0.5$

Frequency approach

Frekvenstestmetoden går ut på att beräkna ett p-värde , sannolikheten för att observera en andel pojkar åtminstone förutsatt att hypotesen är sann. Eftersom antalet födslar är stort kan vi använda den normala approximationen för andelen pojkfödslar , med och för att beräkna ${\displaystyle H_{0))$ $x$ $H_{0}$ $X\sim N(\mu ,\sigma ^{2})$ $\mu =np=n\theta =98451\ gånger 0,5=49225,5$ $\sigma ^{2}=n\theta (1-\theta )=98451\ gånger 0,5\ gånger 0,5=24612,75$

{\begin{aligned}P(X\geq x\mid \mu =49225.5)=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-({\frac {u-\mu }{\sigma }})^{2}/2}du\\=\int _{x=49581}^{ 98451} {\frac {1}{\sqrt {2\pi (24612.75)}}}e^{-{\frac {(u-49225.5)^{2}}{24612.75}}/ 2}du\approx 0,0117.\ end{aligned}}

Vi skulle också bli förvånade om vi överväger födelsen av 48870 flickor, det vill säga , så frekvenstestet skulle normalt göra ett tvåsidigt test, för vilket p-värdet skulle vara . I båda fallen är p-värdet mindre än signifikansnivån på 5 %, så att det frekventistiska tillvägagångssättet förkastar hypotesen som oförenlig med de observerade data. $x\approx 0,4964$ $p\approx 2\times 0,0117=0,0235$ $\alfa$ ${\displaystyle H_{0))$

Bayesian approach

Förutsatt att det inte finns någon anledning att föredra en hypotes framför en annan, är den Bayesianska metoden att tilldela tidigare sannolikheter , en enhetlig fördelning, till hypotesen , och sedan beräkna den bakre sannolikheten för att använda Bayes sats . $\pi (H_{0})=\pi (H_{1})=0.5$ $\theta$ $H_1$ ${\displaystyle H_{0))$

P(H_{0}\mid k)={\frac {P(k\midt H_{0})\pi (H_{0})}{P(k\midt H_{0})\pi (H_{0})+P(k\mid H_{1})\pi (H_{1})}}.

Efter att ha observerat födelsen av pojkar från nyfödda kan vi beräkna den bakre sannolikheten för varje hypotes med hjälp av massfördelningsfunktionen för den binomiala variabeln, $k=49581$ $n=98451$

{\begin{aligned}P(k\mid H_{0})&={n \choose k}(0.5)^{k}(1-0.5)^{nk}\ca 1 ,95\gånger 10^{-4}\\P(k\mid H_{1})&=\int _{0}^{1}{n \choose k}\theta ^{k}(1-\ theta )^{ nk}d\theta ={n \välj k}\mathrm {\mathrm {B} } (k+1,n-k+1)=1/(n+1)\ca 1,02\ gånger 10^{-5 }\end{aligned}}

var är betafunktionen för . $\mathrm {\mathrm {B} } (a,b)$

Från dessa värden finner vi den bakre sannolikheten , som starkt föredrar över . $P(H_{0}\mid k)\approx 0,95$ ${\displaystyle H_{0))$ $H_{1}$

De två synsätten, frekventistiska och bayesianska, är i konflikt, och detta är "paradoxen".

Försoning av Bayesianska och frekventistiska tillvägagångssätt

Men, åtminstone i Lindleys exempel, om vi tar en sekvens av signifikansnivåer så att c , så tenderar den bakre sannolikheten för nollhypotesen till 0, vilket är förenligt med förkastandet av nollhypotesen [3] . I vårt numeriska exempel, om vi tar , är resultatet en signifikansnivå på 0,00318, så frekvensmetoden kommer inte att förkasta nollhypotesen, vilket i stort sett överensstämmer med den Bayesianska metoden. $\alpha_{n}$ ${\displaystyle \alpha _{n}=n^{-k))$ $k>{\tfrac {1}{2))$ $k>{\tfrac {1}{2))$

Om en informativ förfördelning används och en hypotes testas som mer liknar hypotesen i frekvensansatsen försvinner paradoxen.

Till exempel, om vi beräknar den bakre fördelningen med hjälp av den enhetliga före med (dvs. ), får vi $P(\theta \mid x,n)$ $\theta$ $\pi (\theta \i [0,1])=1$

P(\theta \mid k,n)=\mathrm {\mathrm {B} } (k+1,n-k+1).

Om vi använder detta för att testa sannolikheten för att den nyfödda är mer sannolikt att vara en pojke än en flicka, det vill säga, får vi: $P(\theta >0.5\mid k,n)$

$\int _{0.5}^{1}\mathrm {\mathrm {B} } (49582.48871)\approx 0.983.$

Det är med andra ord mycket troligt att födelsetalen för pojkar är över 0,5.

Ingen av analyserna ger en uppskattning av effektstorlek direkt, men båda kan användas för att till exempel avgöra om andelen födslar till pojkar ligger över någon angiven tröskel.

Ingen riktig paradox

Den uppenbara skillnaden mellan de två metoderna beror på en kombination av faktorer. Först kontrollerar frekvensmetoden ovan utan att ta hänsyn till . Den Bayesianska metoden beräknar som ett alternativ till k och finner att den första hypotesen överensstämmer mer med observationer. Detta beror på att den senare hypotesen är betydligt mer suddig, eftersom värdet kan vara vad som helst i intervallet , vilket resulterar i en mycket låg posterior sannolikhet. För att förstå varför är det användbart att överväga två hypoteser som genererar observationer: $H_{0}$ $H_1$ ${\displaystyle H_{0))$ $H_{1}$ $\theta$ $[0,1]$

I hypotesen väljer vi ut och frågar hur sannolikt det är att se 49 581 pojkar med 98 451 nyfödda. ${\displaystyle H_{0))$ $\theta \approx 0,500$
I en hypotes väljer vi slumpmässigt mellan 0 och 1 och ställer samma fråga. $H_{1}$ $\theta$

De flesta av de möjliga värdena för under hypotesen stöds mycket dåligt av observationer. Som sådan är uppenbar oenighet mellan metoder inte en oenighet alls, utan två olika påståenden om data: $\theta$ $H_{1}$

Frekvensmetoden finner att den är dåligt förklarad av observationer. ${\displaystyle H_{0))$
Den bayesianska metoden finner att en hypotes är betydligt bättre förklarad av observationer än en hypotes . ${\displaystyle H_{0))$ $H_{1}$

Könsförhållandet 50/50 för nyfödda (pojkar/flickor) enligt frekvenstestet är osannolikt. Ändå är förhållandet 50/50 en bättre approximation än de flesta, men inte alla, andra förhållanden. Hypotesen skulle passa observationerna mycket bättre än alla andra förhållanden, inklusive . $\theta \approx 0,504$ $\theta \approx 0,500$

Till exempel [5] , från detta val av hypotes och tidigare sannolikhet följer påståendet: "Om > 0,49 och < 0,51, då är den tidigare sannolikheten att vara exakt 0,5 0,50/0,51 98 %". Med tanke på en så stark preferens för , är det lätt att se att den bayesianska metoden gynnar , med tanke på att , även när det observerade värdet ligger inom 0,5. En avvikelse större än från anses signifikant i det frekventistiska tillvägagångssättet, men signifikans avvisas av a priori i det Bayesianska synsättet. $\theta$ $\theta$ $\theta$ $\cirka$ $\theta =0,5$ $H_{0}$ $x\approx 0,5036$ $x$ $2.28\sigma$ $2\sigma$ $H_{0}$

Om vi tittar åt andra hållet kan vi se att den tidigare fördelningen är i huvudsak platt med en deltafunktion vid . Det är klart att det är tveksamt. Faktum är att om du försöker rita reella tal som kontinuerliga, skulle det vara logiskt att anta att det inte är möjligt för en given parameter . $\theta =0,5$ $P(\theta =0.5)=0$

En mer realistisk fördelning för den alternativa hypotesen ger mindre överraskande resultat för hypotesens bakre sannolikhet . Till exempel, om vi ersätter , det vill säga den maximala sannolikhetsuppskattningen för , är den bakre sannolikheten för hypotesen endast 0,07 jämfört med 0,93 för hypotesen (naturligtvis kan man faktiskt inte använda maximal sannolikhetsuppskattning som en del av den tidigare fördelningen ). $\theta$ ${\displaystyle H_{0))$ $H_{1}$ $H_{2}:\theta =x$ $\theta$ ${\displaystyle H_{0))$ $H_{2}$

Modern diskussion

Paradoxen fortsätter att diskuteras aktivt [3] [6] [7] .

Se även

Bayes koefficient

Anteckningar

↑ Jeffreys, 1939 .
↑ 1 2 Lindley, 1957 , sid. 187–192.
↑ 1 2 3 Spanos, 2013 , sid. 73–93.
↑ Naaman, 2016 , sid. 1526–1550
↑ Detta avsnitt i den engelska versionen kritiseras för att kräva en fullständig omskrivning.
↑ Sprenger, 2013 , sid. 733–744.
↑ Robert, 2014 .

Litteratur

Glen Shafer. Lindleys paradox // Journal of the American Statistical Association . - 1982. - T. 77 , nr. 378 . — S. 325–334 . - doi : 10.2307/2287244 . — .
Harold Jeffreys . Sannolikhetsteori. — Oxford University Press, 1939.
Lindley DV A Statistical Paradox // Biometrika . - 1957. - T. 44 , nr. 1–2 . - doi : 10.1093/biomet/44.1-2.187 . — .
Michael Naman. Nästan säker hypotestestning och en upplösning av Jeffreys-Lindley-paradoxen // Electronic Journal of Statistics. - 2016. - T. 10 , nr. 1 . — ISSN 1935-7524 . - doi : 10.1214/16-EJS1146 .
Aris Spanos. Vem borde vara rädd för Jeffreys-Lindley-paradoxen? // Vetenskapsfilosofi. - 2013. - T. 80,1 . - doi : 10.1086/668875 .
Jan Sprenger. Testa en exakt nollhypotes: Fallet med Lindleys paradox // Science Philosophy. - 2013. - T. 80 . - doi : 10.1086/673730 .
Christian P. Robert. Om Jeffreys-Lindleys paradox // Science Philosophy. - 2014. - T. 81,2 . - doi : 10.1086/675729 . - arXiv : 1303.5973 .