Bayesiansk statistik

Bayesiansk statistik är en teori inom statistikområdet baserad på den Bayesianska tolkningen av sannolikhet , där sannolikheten speglar graden av tillförlitlighet i en händelse , som kan förändras när ny information samlas in, till skillnad från ett fast värde baserat på en frekvensansats. [1] . Graden av förtroende kan baseras på a priori kunskap om händelsen, såsom resultat från tidigare experiment eller personligt förtroende för händelsen. Detta skiljer sig från ett antal andra tolkningar av sannolikhet , såsom frekvenstolkningen , som ser sannolikhet som en gräns för den relativa frekvensen av en händelse som inträffar efter ett stort antal försök [2] .

Inledning

Bayesianska statistiska metoder använder Bayes teorem för att beräkna och uppdatera sannolikheter när nya data tas emot. Bayes sats beskriver den villkorade sannolikheten för en händelse baserat på både data och a priori-information, eller förtroende för händelsen eller förhållandena som är förknippade med händelsen. Till exempel, i Bayesiansk inferens kan Bayes sats användas för att uppskatta en parameter för en sannolikhetsfördelning eller en statistisk modell . Eftersom Bayesiansk statistik behandlar sannolikhet som en grad av konfidens, kan Bayes sats direkt tilldela en sannolikhetsfördelning som kvantifierar en parameter eller en uppsättning parametrar [2] .

Bayesiansk statistik är uppkallad efter Thomas Bayes , som formulerade ett specialfall av Bayes teorem i sin artikel publicerad 1763. I flera artiklar publicerade från slutet av 1700-talet till början av 1800-talet utvecklade Pierre-Simon Laplace den Bayesianska tolkningen av sannolikhet . Laplace använde vad som nu anses vara Bayesianska metoder för att lösa ett antal statistiska problem. Många Bayesianska metoder utvecklades av senare författare, men termen användes inte för att beskriva sådana metoder förrän på 1950-talet. Under större delen av 1900-talet var Bayesianska metoder oönskade för de flesta statistiker av filosofiska och praktiska skäl. Många Bayesianska metoder är beräkningsintensiva och de flesta av de metoder som har använts i över ett sekel har baserats på frekvenstolkning. Men med tillkomsten av kraftfulla datorer och nya algoritmer , såsom Monte Carlo-metoden för Markov-kedjor , börjar Bayesianska metoder att användas med ökande intensitet med tillkomsten av 2000-talet [2] [3] .

Bayes sats

Bayes sats är en grundläggande sats i Bayesiansk statistik eftersom den används av Bayesianska metoder för att uppdatera sannolikheter, som är grader av konfidens, när nya data tas emot. Med tanke på två händelser och , den villkorade sannolikheten , förutsatt att det är sant, uttrycks med formeln [4] : $A$ $B$ $A$ $B$

P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)))

var . Även om Bayes teorem är ett grundläggande resultat av sannolikhetsteorin , har den en specifik tolkning i Bayesiansk statistik. I ekvationen ovan representerar det vanligtvis ett påstående (som påståendet att ett mynt kommer upp i topp femtio procent av gångerna) och representerar en logik eller ny data som ska beaktas (som resultatet av en serie av myntkast). är den tidigare sannolikheten för händelsen , vilket uttrycker förtroende för händelsen innan motivering beaktas. Tidigare sannolikhet kan också kvantifiera kunskap eller information om en händelse . är sannolikhetsfunktionen , som kan tolkas som sannolikheten för bevis , givet att händelsen har inträffat . Sannolikhet kvantifierar i vilken utsträckning bevis stöder ett påstående . är den bakre sannolikheten , sannolikheten för påståendet efter att ha övervägt bevisningen . I huvudsak uppdaterar Bayes teorem a priori säkerhet efter att ha övervägt nya bevis [2] . $P(B)\neq 0$ $A$ $B$ $P(A)$ $A$ $A$ $A$ $P(B\mid A)$ $B$ $A$ $B$ $A$ $P(A\mid B)$ $A$ $B$ $P(A)$ $B$

Sannolikheten för bevis kan beräknas med hjälp av formeln för total sannolikhet . Om är en uppdelning av utrymmet för elementära händelser , vilket är mängden av alla resultat av experimentet, då [2] [4] $P(B)$ $\{A_{1},A_{2},\dots ,A_{n}}\}$

P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B \mid A_{n})P(A_{n})=\summa _{i}P(B\mid A_{i})P(A_{i})

Om det finns ett oändligt antal utfall är det nödvändigt att integrera över alla utfall för att beräkna med den totala sannolikhetsformeln. Det är ofta svårt att beräkna eftersom man måste involvera summering eller integration, vilket är tidskrävande så att ofta bara produkten av föregående och sannolikheten beaktas. Den bakre sannolikheten är proportionell mot denna produkt [2] : $P(B)$ $P(B)$

P(A\mid B)\propto P(B\mid A)P(A)

Den maximala bakre uppskattningen , som är läget för den bakre uppskattningen och ofta beräknas i Bayesiansk statistik med hjälp av matematiska optimeringsmetoder , förblir densamma. Den bakre sannolikheten kan approximeras även utan exakt beräkning av värdet med metoder som Monte Carlo för Markov-kedjor eller variationsmässiga Bayesianska metoder [2] . $P(B)$

Bayesianska metoder

Den allmänna uppsättningen av statistiska tekniker kan delas in i ett antal grenar, av vilka många har speciella Bayesianska versioner.

Bayesiansk slutledning

Bayesiansk inferens hänvisar till statistisk inferens , där osäkerheten i inferensen kvantifieras med hjälp av sannolikhet. I klassisk frekvensinferens antas modell- och hypotesparametrar vara fixerade, och sannolikheter tilldelas inte parametrar eller hypoteser i frekvensinferens. Till exempel är det inte meningsfullt i frekvensinferens att uttryckligen ange sannolikheten för en händelse som bara kan inträffa en gång, till exempel resultatet av nästa kast av ett symmetriskt mynt. Det skulle dock vara vettigt att säga att andelen huvuden som kommer upp konvergerar till hälften när antalet myntkast ökar [5] .

Statistiska modeller definierar en uppsättning statistiska antaganden och processer som representerar hur provdata genereras. Statistiska modeller har en uppsättning parametrar som kan ändras. Till exempel kan ett mynt representeras som försök med en Bernoulli-fördelning som simulerar två möjliga utfall. Bernoulli-fördelningen har en parameter lika med sannolikheten för ett utfall, vilket i de flesta fall är lika med sannolikheten att få huvuden [6] . Att bygga en bra modell för data är centralt för Bayesiansk slutledning. I de flesta fall approximerar modellerna endast verkliga processer och tar kanske inte hänsyn till vissa faktorer som påverkar data [2] . I Bayesiansk slutledning kan sannolikheter tilldelas modellparametrar. Parametrarna kan representeras som slumpvariabler . Bayesiansk inferens använder Bayes teorem för att uppdatera sannolikheter efter att ha mottagit mer data [2] [7] .

Statistisk modellering

Formuleringen av statistisk modellering med användning av Bayesiansk statistik har den utmärkande egenskapen att kräva tidigare sannolikheter för alla okända parametrar. Dessutom kan de tidigare sannolikhetsparametrarna själva ha tidigare sannolikheter, vilket resulterar i Bayesiansk hierarkisk modellering [8] , eller kan vara beroende av varandra, vilket resulterar i Bayesianska nätverk .

Design av experiment

Bayesiansk design av experiment inkluderar ett koncept som kallas "förtroendeinflytande". Detta tillvägagångssätt använder statistisk analysteknik för att införliva resultaten av tidigare experiment i utformningen av nästa experiment. Detta uppnås genom att uppdatera "förtroendet" genom användning av tidigare och bakre distributioner . Detta gör att du kan använda resurser av alla slag när du planerar experiment. Ett exempel är det flerarmade banditproblemet .

Statistiska diagram

Statistiska diagram inkluderar metoder för datautforskning, validering av modelltillräcklighet, etc. Användningen av vissa moderna datortekniker för Bayesiansk slutledning, särskilt olika typer av Monte Carlo-tekniker för Markov-kedjor , har lett till behovet av att verifiera, ofta grafiskt, lämpligheten av sådana beräkningar, vilket återspeglar den nödvändiga posteriora sannolikheten.

Anteckningar

↑ Vad är Bayesiansk statistik? . deepai.org . Hämtad 11 januari 2019. Arkiverad från originalet 12 februari 2019. (obestämd)
↑ 1 2 3 4 5 6 7 8 9 Gelman, Carlin, Stern et al., 2013 .
↑ Fienberg, 2006 , sid. 1–40.
↑ 1 2 Grinstead, Snell, 2006 .
↑ Wakefield, 2013 .
↑ Detta hänvisar till sidan av myntet, den andra sidan är svansar
↑ Congdon, 2014 .
↑ Hajiramezanali, Dadaneh et al., 2018 .

Litteratur

Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Aki Vehtari, Donald B. Rubin. Bayesian Data Analysis, tredje upplagan. - Chapman och Hall/CRC, 2013. - ISBN 978-1-4398-4095-5 .
Stephen E. Fienberg. När blev Bayesiansk slutledning "bayesiansk"? // Bayesiansk analys. - 2006. - Vol. 1 , nummer. 1 .
Charles M. Grinstead, J. Laurie Snell. Introduktion till sannolikhet. — 2:a. — Providence, RI: American Mathematical Society, 2006. — ISBN 978-0-8218-9414-9 .
Peter Congdon. Tillämpad Bayesiansk modellering. — 2:a. - Wiley, 2014. - ISBN 978-1119951513 .
Hajiramezanali E., Dadaneh SZ, Karbalayghareh A., Zhou Z., Qian X. Bayesiansk multidomäninlärning för upptäckt av cancersubtyp från nästa generations sekvenseringsdata // 32nd Conference on Neural Information Processing Systems (NIPS 2018) . — Montreal, Kanada, 2018.
Jon Wakefield. Bayesianska och frekventistiska regressionsmetoder . — New York, NY: Springer, 2013. — ISBN 978-1-4419-0924-4 .

Läsning för vidare läsning

Tänk Bayes, Allen B. Downey Arkiverad 29 februari 2016 på Wayback Machine
Bayesian Statistics: Why and How Arkiverad 10 augusti 2015 på Wayback Machine
Bayesiansk statistik // Nature Methods . - 2015. - Maj ( vol. 12 , nummer 5 ). — S. 377–8 . - doi : 10.1038/nmeth.3368 .

Länkar

Eliezer S. Yudkowsky. En intuitiv förklaring av Bayes sats . Hämtad 15 juni 2015. Arkiverad från originalet 21 juni 2015. (obestämd)
Theo Kypraios. En mild handledning i Bayesiansk statistik . Hämtad 3 november 2013. Arkiverad från originalet 17 maj 2018. (obestämd)
Jordi Valverdu. Bayesians kontra frekventister En filosofisk debatt om statistiska resonemang . Hämtad 11 januari 2019. Arkiverad från originalet 12 januari 2019. (obestämd)
Bayesiansk statistik Arkiverad 12 januari 2019 på Wayback Machine David Spiegelhalter, Kenneth Rice Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
Bayesiansk modellbok Arkiverad 19 augusti 2013 på Wayback Machine och exempel tillgängliga för nedladdning.
Rens Van DeSchoot. En mild introduktion till Bayesiansk analys . Hämtad 11 januari 2019. Arkiverad från originalet 14 juli 2018. (obestämd)