Simpsons paradox

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 27 november 2021; verifiering kräver 1 redigering .

Simpsons paradox (även Yule-Simpsons paradox eller fackliga paradox ) är en effekt, ett fenomen i statistik, när, i närvaro av två grupper av data, i var och en av vilka det finns ett lika riktat beroende, när dessa grupper kombineras , riktningen för beroendet ändras till den motsatta.

Detta fenomen beskrevs av Simpson 1951 och Udni Yule 1903 Namnet "Simpsons paradox" föreslogs först av Colin Blythe 1972 . Men eftersom Simpson inte var upptäckaren av denna effekt, använder vissa författare opersonliga namn som " union paradox ".

Historien om upptäckten av paradoxen

För första gången noterade Karl Pearson den aktuella situationen i artikeln "Mathematical Contribution to the Theory of Evolution" [1] . Han överväger beroendet av tecknen på heterogena grupper av hästar. Udny Yule gör en mer detaljerad analys av sådana befolkningsförändringar och studerar ärftlighetens mekanismer. Simpson diskuterar vad han kallar "ett kuriöst fall" i flera avsnitt av artikeln "The Interpretation of Interaction in Contingency Tables" [2] . Simpson var den första författare som studerade detta fenomen i termer av statistik. Därför introducerar senare matematiker K. R. Blythe i artikeln "On Simpsons Paradox and the Sure-Thing Principle" [3] termen "Simpsons paradox".

Exempel

Chipexempel

Låt det vara fyra hattar (två svarta och två gråa), 41 marker (23 färgade och 18 vita) och två bord (A och B). Chips fördelas med hattar enligt följande:

Låt oss säga att du vill rita ett färgat chip.

Om du är nära tabell A, är sannolikheten att extrahera ett färgat chip från en svart hatt 5/11 = 35/77 och från en grå hatt på samma bord - 3/7 = 33/77 ; därför är det mer sannolikt att ett färgat chip dras från en svart hatt än från en grå.

Om du är nära tabell B, är sannolikheten att dra ett färgat chip från den svarta hatten 6/9 = 84/126 och från den grå hatten - 9/14 = 81/126 ; sålunda är det också här mer sannolikt att ett färgat chip dras från en svart hatt än från en grå.

Låt oss nu anta att polletterna från de två svarta hattarna är staplade i en svart hatt, och polletterna från de två grå hattarna är staplade i en grå hatt. Vid första anblicken skulle det vara logiskt att anta att sannolikheten att dra ett färgat chip från en svart hatt är högre än från en grå. Men detta är fel:

det vill säga det finns större chans att få ut ett färgat chip från en grå hatt än från en svart [4] .

Stenexempel

Anta att vi har fyra uppsättningar stenar. Sannolikheten att dra en svart sten från set nr 1 är högre än från set nr 2. I sin tur är sannolikheten att dra en svart sten från set nr 3 större än från set nr 4. Kombinera set nr 1 med set nr 3 (vi får set I), och set #2 med set #4 (set II). Intuitivt skulle man förvänta sig att sannolikheten för att rita en svart sten från set I skulle vara högre än från set II. Detta påstående är dock inte sant i det allmänna fallet.

Låt oss faktiskt  vara antalet svarta stenar i den -th uppsättningen (prov),  vara det totala antalet stenar i -th uppsättningen med . Efter villkor:

Sannolikheten att rita en svart sten från set I respektive II:

Uttrycket för uppsättning I är inte alltid större än uttrycket för uppsättning II; det vill säga det kan hända det

Till exempel, kl . Det är lätt att kontrollera det . Medan .

Skäl

Orsaken till paradoxen är det felaktiga medelvärdet av två datamängder med olika proportioner av kontrollobservationer ( icke-representativt urval ). Eftersom det intuitivt antas att när man tillämpar de hittade beroenden kommer andelen av kontroll att vara densamma i båda grupperna, och detta är inte sant i de initiala data, så kan aritmetiskt medelvärde inte tillämpas på dem.

För att eliminera problemet, när man beräknar medelvärde, är det nödvändigt att använda vikter som eliminerar snedställningen av kontrollandelen. Så i exemplet med marker är andelen gråhatsmarker på bord A 7 av 18 (39 %) och på tabell B är den 14 av 23 (61 %).

För ett representativt genomsnitt av chansen att rita ett färgchip räcker det att multiplicera antalet marker av båda färgerna i en av hattarna med en viktningsfaktor som eliminerar skevhet. Till exempel, om två av samma hattar placeras i stället för en grå hatt på bord A, kommer sannolikheterna för varje bord separat inte att förändras, men paradoxen kommer att elimineras för att kombinera tabellerna: sannolikheten för ett färgat chip i en grå hatt blir 15/28, det vill säga mindre än från svart.

Ett annat sätt att lösa paradoxen är att använda den totala sannolikhetsformeln .

Simpsons paradox visar att slutsatserna från resultaten av sociologiska undersökningar med ett icke-representativt urval inte kan accepteras som ovedersägliga, vetenskapligt bevisade.

Praktisk betydelse

Simpsons paradox illustrerar ogiltigheten av generaliseringar från icke-representativa urval, ibland livshotande. Så, till exempel, under loppet av ett experiment i en grupp män och en grupp kvinnor med samma sjukdom, lades ett nytt läkemedel till standardbehandlingen. Resultatet för båda grupperna bekräftade var för sig effektiviteten av det nya medlet.

Män Tar medicin Tar inte medicin
återhämtat sig 700 80
Oåterställd 800 130
Förhållande 0,875 0,615
Kvinnor Tar medicin Tar inte medicin
återhämtat sig 150 400
Oåterställd 70 280
Förhållande 2,142 1,429

Det antas intuitivt att om det finns ett beroende i båda grupperna så ska det också dyka upp när dessa grupper kombineras. Men även om andelen tillfrisknade och sjuka bland både kvinnor och män som tog drogen är större än bland dem som inte använde den, på grund av kontrollgruppens oprepresentativitet i de aggregerade uppgifterna, kvarstår inte detta mönster.

Belopp Tar medicin Tar inte medicin
återhämtat sig 850 480
Oåterställd 870 410
Förhållande 0,977 1,171

Förhållandet i den aggregerade datan är 850/870<480/410, dvs 0,977<1,171. Därför var andelen som tog drogen som återhämtade sig mindre än samma andel bland dem som inte gjorde det.

För att eliminera paradoxen bör det noteras att förhållandet mellan kontrollgruppen och behandlingsgruppen i ovanstående grupper skiljer sig kraftigt: för män är det (80+130)/(700+800) = 14%, och för kvinnor ( 400+280)/(150+70) = 309 %.

För korrekt medelvärdesberäkning är det nödvändigt att säkerställa representativiteten för kontrollgruppen i båda proverna genom att införa viktkoefficienter så att den viktade andelen kontroller i båda grupperna blir densamma. I det här fallet är det tillräckligt att multiplicera antalet män som inte tog medicin med viktningsfaktorn 22,07. De modifierade tabellerna kommer att se ut så här:

Män värd

medicin

Tar inte medicin
första med vikt x22,07
återhämtat sig 700 80 1765
Oåterställd 800 130 2869
Förhållande 0,875 0,615
Belopp värd

medicin

Tar inte medicin
första med vikt x22,07
återhämtat sig 850 480 2165
Oåterställd 870 410 3149
Förhållande 0,977 1,171 0,685

Förhållandet mellan det viktade antalet tillfrisknade och icke-återhämtade bland dem som inte tagit läkemedlet i detta fall kommer att vara 0,685, det vill säga lägre än för dem som tagit läkemedlet. Detta tar bort paradoxen och visar förhållandet mellan tillfrisknade och icke-återställda utan drogen för samma andel män och kvinnor som de som tog drogen, vilket gör det möjligt att jämföra dessa siffror.

Se även

Anteckningar

  1. ↑ Karl Pearson. Matematiska bidrag till evolutionsteorin. V. Om rekonstruktionen av de förhistoriska rasernas statur. Phil. Trans. R. Soc. Lond. A. 1899 192:169-244 doi:10.1098/rsta.1899.0004
  2. ↑ The Interpretation of Interaction in Contingency Tables // Journal of the Royal Statistical Society, B, 13 (1951) - pp. 238-241
  3. ↑ Blyth, Colin R. Om Simpsons paradox och den säkra principen // Journal of the American Statistical Association , 67 (1972) - sid. 364.
  4. ↑ M. Gardner . Kapitel 19. Induktion och sannolikhet // Tidsresor = Tidsresor och andra matematiska förvirringar / Översatt från engelska av Yu. A. Danilov . - M .: Mir , 1990. - S. 278-279. — 341 sid. — ISBN 5-03-001166-8 .

Länkar