Bayes koefficient

Den Bayesianska koefficienten  är ett Bayesianskt alternativ till statistisk hypotestestning [1] [2] . Bayesian Model Comparison  är en metod för att välja modeller baserat på Bayes-koefficienter. De modeller som diskuteras är statistiska modeller [3] . Syftet med Bayes-koefficienten är att kvantifiera stödet för en modell över en annan modell, oavsett om modellerna är korrekta eller inte [4] . Den tekniska definitionen av "stöd" i samband med Bayesiansk slutledning ges nedan.

Definition

Bayes-koefficienten är sannolikhetskvoten för den marginella sannolikheten för två hypoteser, vanligtvis nollhypotesen och alternativet [5] .

Den bakre sannolikheten för en modell M som ges av data D ges av Bayes teorem :

Den nyckeldataberoende termen är sannolikheten för modell M givet data D , och den representerar sannolikheten att en del av data erhålls förutsatt att modell M accepteras . Den korrekta beräkningen av denna term är nyckeln till Bayesiansk jämförelse av modeller.

Givet ett modellvalsproblem där vi måste välja mellan två modeller baserat på observerade data D , ges den relativa sannolikheten för två olika modeller M 1 och M 2 , parametriserade av parametervektorerna och , av Bayes-koefficienten K , definierad som

Om två modeller a priori är lika sannolika, så är Bayes-koefficienten lika med förhållandet mellan de bakre sannolikheterna för modellerna M 1 och M 2 . Om sannolikheten som motsvarar den maximala sannolikhetsuppskattningen av parametern för varje statistisk modell används istället för Bayes-koefficientintegralen , blir testet ett klassiskt sannolikhetskvotstest . Till skillnad från sannolikhetskvotstestet, beror jämförelsen av Bayesiansk modell inte på någon speciell uppsättning parametrar, eftersom den beräknas genom att integrera över alla parametrar i varje modell (med hänsyn till tidigare sannolikheter ). Fördelen med att använda Bayes-koefficienter är dock att de automatiskt och helt naturligt inkluderar en straffavgift för överintegrering av modellstruktur [6] . Detta skyddar mot överträning . I fallet med modeller för vilka den explicita formen av sannolikhetsfunktionen är okänd eller dess beräkning är för dyr, kan ungefärliga Bayesianska beräkningar [7] användas för Bayesiansk modellval [en] [7] , även om det bör vara beaktas att den ungefärliga Bayesianska uppskattningen av Bayes koefficienter ofta är partisk [8] .

Andra tillvägagångssätt:

• behandla jämförelsemodellen som ett beslutsproblem , beräkna det förväntade värdet eller kostnaden för varje modellval;
• använd principen om minsta meddelandelängd ( eng.  minimum message length , MML).

Tolkning

Ett värde på K > 1 betyder att hypotes M 1 stöds starkare av data än hypotes M 2 . Observera att klassiska statistiska hypotestestning är standard till en enstaka hypotes (eller modell) (" nollhypotesen ") och endast beaktar bevisen mot den. Harold Jeffries ger en tabell för tolkning av det erhållna värdet på K [9] :

Den andra kolumnen ger motsvarande stödvikter i enheter av decihartli (även känd som decibans ), bitar som läggs till i den tredje kolumnen för tydlighetens skull. Enligt I. J. Good kan människor i vardagen knappast rimligen uppskatta skillnaden i graden av förtroende för hypotesen som motsvarar en viktförändring med 1 deciban eller 1/3 bit (till exempel ett utfallsförhållande på 4:5 i 9 försök med två möjliga utfall) [10] .

En alternativ brett citerad tabell har föreslagits av Kass och Raftery (1995) [6] :

Användningen av Bayes-koefficienter eller klassisk statistisk hypotestestning sker i samband med slutledning , inte beslutsfattande under osäkerhet . Det vill säga att vi bara vill hitta vilken hypotes som är korrekt, snarare än att ta ett riktigt beslut baserat på den informationen. Frekvensstatistik gör en strikt åtskillnad mellan de två tillvägagångssätten, eftersom klassiska hypotestestmetoder inte är koherenta i Bayesiansk mening. Bayesianska procedurer, inklusive Bayes-koefficienter, är koherenta, så det finns ingen anledning att göra denna distinktion. Slutledning ses då helt enkelt som ett specialfall av beslutsfattande under osäkerhet, där den slutliga åtgärden är att returnera ett värde. För beslutsfattande kan statistiker som använder Bayesian-metoden använda Bayes-koefficienten tillsammans med en förfördelning och en förlustfunktion . I samband med utdata kommer förlustfunktionen att ha formen av regeln för beräkning av resultatet . Att använda den logaritmiska poängregeln , till exempel, resulterar i förväntad nytta , som tar formen av Kullback-Leibler-divergensen .

Exempel

Låt oss säga att vi har en slumpvariabel som kräver antingen framgång eller misslyckande. Vi vill jämföra en modell M 1 , där sannolikheten för framgång är q = ½ , och en annan modell M 2 , där värdet på q är okänt, och vi tar som den tidigare fördelningen för q den enhetliga fördelningen på [0,1 ]. Vi gör 200 försök och får 115 framgångar och 85 misslyckanden. Sannolikheten kan beräknas enligt binomialfördelningen :

Sedan har vi för hypotesen M 1

medan för M 2

Förhållandet mellan dessa värden är 1,197..., därför är skillnaden "knappt anmärkningsvärd", även om valet lutar något mot M 1 .

Att testa dessa statistiska hypoteser på basis av frekvensinferensen M 1 (här betraktad som nollhypotesen ) kommer att ge ett helt annat resultat. Ett sådant test anger att M1-hypotesen ska förkastas vid 5 % signifikansnivå, eftersom sannolikheten för att få 115 eller fler framgångar från ett urval av 200 objekt vid q = ½ är 0,0200, och det tvåsidiga testet för att erhålla ett extremum på 115 eller mer ger 0,0400. Observera att 115 skiljer sig från 100 med mer än två standardavvikelser . Således, medan testning av en statistisk hypotes baserad på frekvensinferens ger statistisk signifikans på 5%-nivån, är det osannolikt att Bayes koefficient accepterar detta som ett extremt resultat. Observera dock att en icke-homogen tidigare fördelning (till exempel en som återspeglar förväntningarna att antalet framgångar och misslyckanden kommer att vara av samma storleksordning) kan resultera i en Bayesiansk koefficient som är mer överensstämmande med frekvensinferenstestning .

I ett klassiskt sannolikhetsförhållandetest skulle den maximala sannolikhetsuppskattningen för q befinnas vara 115 ⁄ 200 = 0,575 , varav

(istället för att ta ett medelvärde över alla möjliga q ). Detta ger ett sannolikhetsförhållande på 0,1045 och pekar på M 2 - hypotesen .

M 2 är en mer komplex modell än M 1 eftersom den har en fri parameter som gör att du kan beskriva data mer konsekvent. Förmågan hos Bayes-koefficienter att ta hänsyn till detta är anledningen till att Bayesiansk slutledning framförs som en teoretisk motivering och generalisering av Occams rakhyvel , där typ I-fel reduceras [11] .

Å andra sidan tar den moderna relativa sannolikhetsmetoden hänsyn till antalet fria modellparametrar, i motsats till det klassiska sannolikhetsförhållandet. Den relativa sannolikhetsmetoden kan tillämpas enligt följande. Modell M 1 har 0 parametrar, och därför är dess Akaike Information Criterion (AIC) värde 2 · 0 − 2 ln 0,005956 ≈ 10,2467 . Modell M 2 har 1 parameter, och därför är dess AIC-värde 2 · 1 − 2 ln 0,056991 ≈ 7,7297 . Därför är det mindre sannolikt att M 1 minimerar informationsförlust än M 2 , ungefär med en faktor exp((7,7297 − 10,2467)/2) ≈ 0,284 gånger. Sålunda är M2 något att föredra, men M1 kan inte kasseras.

Applikation

• Den Bayesianska koefficienten användes för att beställa det dynamiska uttrycket av gener istället för q - värdet [12] .

Se även

• Akaike informationskriterium
• Ungefärliga Bayesianska beräkningar
• Bayesianskt informationskriterium
• Informationskriterium för summan av kvadrerade avvikelser från medelvärdet
• Lindleys paradox
• Minsta meddelandelängd
• Modellval

• oddskvot
• Relativ risk

Anteckningar

1. ↑ Goodman (1), 1999 , sid. 995–1004.
2. ↑ Goodman (2), 1999 , sid. 1005–13.
3. ↑ Morey, Romeijn, Rouder, 2016 , sid. 6–18.
4. ↑ Ly, Verhagen, Wagenmakers, 2016 , sid. 19-32.
5. ↑ Bra, Hardin, 2012 , sid. 129-131.
6. ↑ 1 2 Kass, Raftery, 1995 , sid. 791.
7. ↑ Toni, Stumpf, 2009 , sid. 104–10.
8. ↑ Robert, Cornuet, Marin, Pillai, 2011 , sid. 15112–15117.
9. ↑ Jeffreys, 1961 , sid. 432.
10. ↑ Bra, 1979 , sid. 393-396.
11. ↑ Att skärpa Ockhams rakkniv på en Bayesian Strop . Hämtad 5 januari 2019. Arkiverad från originalet 12 september 2015. (obestämd)
12. ↑ Hajiramezanali, Dadaneh, Figueiredo, Sze, Zhou, Qian, 2018 .

Litteratur

• Vidarebefordra evidensbaserad medicinsk statistik. 1: P-värdets felslut  // Ann Intern Med. - 1999. - T. 130 , nr. 12 . - doi : 10.7326/0003-4819-130-12-199906150-00008 . — PMID 10383371 .
• Vidarebefordra evidensbaserad medicinsk statistik. 2: Bayes-faktorn  // Ann Intern Med. - 1999. - T. 130 , nr. 12 . — S. 1005–13 . - doi : 10.7326/0003-4819-130-12-199906150-00019 . — PMID 10383350 .
• Richard D. Morey, Jan-Willem Romeijn, Jeffrey N. Rouder. Filosofin för Bayes-faktorer och kvantifiering av statistiska bevis // Journal of Mathematical Psychology. - 2016. - T. 72 . - doi : 10.1016/j.jmp.2015.11.001 .
• Alexander Ly, Josine Verhagen, Eric-Jan Wagenmakers. Harold Jeffreys standardtest av Bayes-faktorhypotes: Förklaring, förlängning och tillämpning i psykologi // Journal of Mathematical Psychology. - 2016. - T. 72 . — S. 19–32 . - doi : 10.1016/j.jmp.2015.06.004 .
• Robert E. Kass, Adrian E. Raftery. Bayes Factors  // Journal of the American Statistical Association. - 1995. - T. 90 , nr 430 . - doi : 10.2307/2291091 .
• Toni T., Stumpf MPH Simuleringsbaserat modellval för dynamiska system inom system- och populationsbiologi  // Bioinformatik. - 2009. - T. 26 , nr. 1 . - doi : 10.1093/bioinformatics/btp619 . - arXiv : 0911.1705 . — PMID 19880371 .
• Robert CP, Cornuet J., Marin J., Pillai NS Brist på förtroende för ett ungefärligt val av Bayesiansk beräkningsmodell  // Proceedings of the National Academy of Sciences. - 2011. - T. 108 , nr. 37 . - doi : 10.1073/pnas.1102900108 . - . — PMID 21876135 .
• Jeffreys H. Sannolikhetsteorin . — 3:a. — Oxford, 1961.
• Bra IJ- studier i sannolikhetshistoria och statistik. XXXVII AM Turings statistiska arbete under andra världskriget // Biometrika . - 1979. - T. 66 , nr. 2 . - doi : 10.1093/biomet/66.2.393 .
• Hajiramezanali E., Dadaneh SZ, Figueiredo P. d., Sze S., Zhou Z., Qian X. Differential Expression Analysis of Dynamical Sequencing Count Data with a Gamma Markov Chain . — 2018.
• Phillip Good, James Hardin. Vanliga fel i statistik (och hur man undviker dem). — 4:a. - Hoboken, New Jersey: John Wiley & Sons, Inc., 2012. - ISBN 978-1118294390 .
• Bernardo J., Smith A.F.M. Bayesian Theory. - John Wiley, 1994. - ISBN 0-471-92416-4 .
• Denison DGT, Holmes CC, Mallick BK, Smith AFM Bayesianska metoder för icke-linjär klassificering och regression. - John Wiley, 2002. - ISBN 0-471-49036-9 .
• Richard O. Duda, Peter E. Hart, David G. Stork. Avsnitt 9.6.5 // Mönsterklassificering. — 2:a. - Wiley, 2000. - S. 487-489. — ISBN 0-471-05669-3 .
• Gelman A., Carlin J., Stern H., Rubin D. Bayesian Data Analysis. — London: Chapman & Hall , 1995. — ISBN 0-412-03991-5 .
• Jaynes ET kapitel 24: MODELLJÄMFÖRELSE OCH ROBUSTHET // Sannolikhetsteori: vetenskapens logik . — 1994.
• Lee PM Bayesian Statistics: en introduktion. - Wiley, 2012. - ISBN 9781118332573 .
• Robert Winkler. Introduktion till Bayesiansk slutledning och beslut. — 2:a. - Probabilistic, 2003. - ISBN 0-9647938-4-9 .

Länk

• BayesFactor — ett R-paket för att beräkna Bayes-faktorer i vanliga forskningsdesigner
• Bayes Factor Calculators — webbaserad version av mycket av BayesFactor-paketet