Simpsona paradokss (Yule–Simpson) — statistikas definīcija un piemēri

Simpsona (Yule–Simpson) paradokss — statistikas definīcija un kā grupu apvienošana maina rādītājus. Skaidri piemēri un ilustrācijas, kas atklāj cēloņsakarību maldus.

Autors: Leandro Alegsa

Simpsona paradokss ir statistikas paradokss. Tas nosaukts britu statistiķa Edvarda Simpsona vārdā, kurš to pirmo reizi aprakstīja 1951. gadā. Ļoti līdzīgu efektu 1899. gadā aprakstīja statistiķis Karls Pīrsons (Karl Pearson.- Ūdnija Jūla (Udny Yule) apraksts datēts ar 1903. gadu. Dažreiz to sauc par Yule-Simpson efektu. Aplūkojot grupu statistiskos rādītājus, šie rādītāji var mainīties atkarībā no tā, vai grupas tiek aplūkotas pa vienai, vai arī tās tiek apvienotas lielākā grupā. Šis gadījums bieži sastopams sociālajās zinātnēs un medicīnas statistikā. Tas var mulsināt cilvēkus, ja tiek izmantoti biežuma dati, lai izskaidrotu cēloņsakarības. Citi paradoksa nosaukumi ir apgriešanas paradokss un apvienošanas paradokss.

Kas īsti notiek?

Vienkāršoti runājot, Simpsona paradokss rodas tāpēc, ka kopējie (agregētie) dati ir svērts apvienojums no vairākām zemgrupām, un šie svari (grupu lielumi vai to proporcionālās daļas) var atšķirties starp salīdzināmajām kategorijām. Ja šo svaru sadalījums korrelē ar novērojumu līmeņa rādītājiem, tad secinājums, kas izdarīts no visa parauga kopumā, var būt pretējs tam, ko rāda atsevišķas zemgrupas. Statistiski runājot: ja ir slēptais (confounding) mainīgais, kas ietekmē gan atkarīgo mainīgo, gan neatkarīgo mainīgo, tad kondicionēšana (sadalīšana) pēc šī mainīgā var atklāt pretēju asociāciju nekā agregētie dati.

Vienkāršs skaitlisks piemērs

Saīsināts, bet skaidrs piemērs bez sarežģītām formulām. Pieņemsim divas ārstēšanas metodes A un B un divas pacientu grupas (grupa 1 un grupa 2). Rezultāti ir šādi:

  • Grupa 1: A — 9 no 10 izārstēti (90%); B — 792 no 990 izārstēti (80%).
  • Grupa 2: A — 594 no 990 izārstēti (60%); B — 5 no 10 izārstēti (50%).

Skaitļi rāda, ka katrā no grupām ārstēšana A dod labākus rezultātus nekā B (90% pret 80% grupā 1 un 60% pret 50% grupā 2). Tomēr, ja apvienojam datus pāri abām grupām, sanāk:

  • A kopā: 9 + 594 = 603 no 10 + 990 = 1000 → 60.3%.
  • B kopā: 792 + 5 = 797 no 990 + 10 = 1000 → 79.7%.

Agregētie dati liecina, ka B (79.7%) ir labāka par A (60.3%), tādējādi secinājums no apvienotajiem datiem ir pretējs tam, ko rāda atsevišķas grupas. Šāda situācija ir tipiska Simpsona paradoksam: atsevišķās grupās viens virziens, agregētā līmenī — otrs.

Kāpēc tas ir svarīgi praksē

  • Misinterpretācija: pieņēmumi par cēloņsakarībām, balstoties tikai uz apkopotiem datiem, var būt maldinoši.
  • Politikas un medicīnas lēmumi: nepareiza interpretācija var novest pie kļūdainām rekomendācijām — piemēram, izvēloties sliktāku ārstēšanu vai izstrādājot nepiemērotu nepieļaujamu politiku.
  • Juridiskie un biznesa konteksti: datu apvienošana var radīt iespaidu par diskrimināciju vai labvēlību tur, kur to patiesībā nav vai otrādi.

Kā atklāt un izvairīties no Simpsona paradoksa

  • Vienmēr pārbaudiet datus pa atbilstošām zemgrupām (stratifikāciju) — dzimums, vecums, slimības smagums, nodaļa utt.
  • Izmantojiet regresijas metodes un modeļus, kas kontrolē potenciālos confounderus (piem., lineārā vai loģistiskā regresija ar nepieciešamajiem kovariātiem un mijiedarbībām).
  • Ja iespējams, balstieties uz randomizētiem eksperimentiem — nejaušināšana palīdz mazināt slēpto mainīgo ietekmi.
  • Izmantojiet stratificētas statistikas metodes (piem., Mantel–Haenszel) un prezentējiet gan agregētus, gan sadalītus rezultātus.
  • Analizējiet cēloņsakarību ar palīdzību no domēna zināšanām un, ja nepieciešams, izmantojiet kauzālos modeļus (piem., DAG — directed acyclic graphs), lai identificētu, kuri mainīgie jākondicionē.

Papildu piezīmes

Simpsona paradokss nav matemātisks paradokss tādā nozīmē, ka tas pārkāptu statistikas likumus; tas ir konsekvence starp svaru maiņu un proporciju aprēķinu rezultātā. Paradoksu rada tas, ka agregētie rezultāti ir vienkārši svērti vidējie no zemgrupām ar dažādiem svariem, un, ja šie svari nav līdzsvarā starp salīdzināmajām kategorijām, iespējamas negaidītas inversijas. Tāpēc pētniekiem un datu lietotājiem jābūt piesardzīgiem, interpretējot observatoros datus, it īpaši, ja tiek mēģināts secināt cēloņsakarības.

Piemērs: Nierakmeņu ārstēšana

Šis ir reāls piemērs no medicīnas pētījuma, kurā salīdzināti divu nierakmeņu ārstēšanas metožu veiksmīguma rādītāji.

Tabulā ir parādīti ārstēšanas veiksmīguma rādītāji un ārstēšanas gadījumu skaits gan maziem, gan lieliem nierakmeņiem, kur ārstēšana A ietver visas atklātās procedūras, bet ārstēšana B ir perkutānā nefrolitotomija:

A apstrāde

Ārstēšana B

panākumi

neveiksme

panākumi

neveiksme

Mazie akmeņi

1. grupa

2. grupa

pacientu skaits

81

6

234

36

93%

7%

87%

13%

Lielie akmeņi

3. grupa

4. grupa

pacientu skaits

192

71

55

25

73%

27%

69%

31%

Abi

1+3 grupa

2+4 grupa

pacientu skaits

273

77

289

61

78%

22%

83%

17%

Paradoksāls secinājums ir tāds, ka ārstēšana A ir efektīvāka, ja to lieto maziem akmeņiem, kā arī ja to lieto lieliem akmeņiem, bet ārstēšana B ir efektīvāka, ja vienlaikus ņem vērā abus izmērus. Šajā piemērā nebija zināms, ka nierakmeņu lielums ietekmē rezultātu. Statistikā to sauc par slēpto mainīgo (vai slēptā mainīgā).

To, kuru ārstēšanu uzskata par labāku, nosaka pēc divu attiecību nevienlīdzības (panākumi/kopējais skaits). Attiecību nevienlīdzības maiņa, kas rada Simpsona paradoksu, notiek tāpēc, ka divi efekti parādās kopā:

  1. To grupu lielumi, kas apvienotas, ja netiek ņemts vērā slēpjamais mainīgais, ir ļoti atšķirīgi. Ārsti smagiem gadījumiem (lieli akmeņi) mēdz piešķirt labāku ārstēšanu (A), bet vieglākiem gadījumiem (mazi akmeņi) - sliktāku ārstēšanu (B). Tāpēc kopsummā dominē trešā un otrā grupa, nevis divas daudz mazākas grupas - pirmā un ceturtā.
  2. Liela ietekme uz koeficientiem ir slēptajam mainīgajam lielumam, t. i., panākumu rādītāju vairāk ietekmē gadījuma smagums, nevis ārstēšanas izvēle. Tāpēc pacientu grupai ar lieliem akmeņiem, kas izmanto ārstēšanu A (trešā grupa), klājas sliktāk nekā grupai ar maziem akmeņiem, pat ja pēdējie izmantoja zemāku ārstēšanu B (otrā grupa).


Meklēt
AlegsaOnline.com - 2020 / 2025 - License CC3