Kirjoitukset avainsanalla todennäköisyys

Kuva: Wellcome Collection gallery

Tieteellinen teoria on matemaattinen malli, josta voi laskea ennusteita. Havaintoihin hyvin sopivat ennusteet lisäävät teorian uskottavuutta. Paitsi silloin, kun ennusteet näyttävät sopivan havaintoihin liian hyvin. Liian hyvin ollakseen totta.

Jotta voi ymmärtää miten malli voi olla liian sopiva, on ensin ymmärrettävä mitä mallin sopivuus tarkoittaa.

Sopivuus mittaa ennusteiden poikkeamaa havainnoista, matemaattisen täsmällisesti määriteltynä. Mitta on käänteinen eli mitä pienempi poikkeama, sitä sopivampi malli.

Eräs sopivuuden mitta on suhteellinen neliöpoikkeama. Tämän yleisesti käytetyn mitan ymmärtämiseksi täytyy tietää, mitä tarkoittavat suhteellinen, neliö ja poikkeama.

Poikkeama tarkoittaa erotusta eli vähennyslaskua. Kun havainto on 73 ja teoria ennustaa 68, poikkeama on 73 - 68 = 5. Havainnon H ja ennusteen E täydellinen yhteensopivuus H = E vastaa nollan suuruista poikkeamaa H - E = 0.

Neliö tarkoittaa toista potenssia eli luvun kertomista itsellään. Kakkosen neliö on neljä 2² = 2×2 = 4, kolmosen neliö yhdeksän 3² = 3×3 = 9, nelosen neliö kuusitoista 4² = 4×4 = 16 jne. Kun havainto on 73 ja teoria ennustaa 68, neliöpoikkeama on (73 - 68)² = 5² = 5×5 = 25. Neliö saa nimensä geometriasta: luvun toinen potenssi on pinta-ala neliön muotoisessa alueessa, jonka sivut ovat kyseisen luvun pituisia. 

Negatiivinen luku kumoaa positiivisen luvun, -5 + 5 = 0, mutta mallin sopivuuden kannalta negatiivinen poikkeama ei kumoa positiivista poikkeamaa vaan molemmat lisäävät mallin epäsopivuutta yhtä lailla. Poikkeamien neliöinti korjaa tämän ongelman, koska negatiivinen luku kerrottuna itsellään on aina positiivinen (-5)×(-5) = 25. Niinpä näiden kahden ennusteen epäsopivuus on yhteensä (73 - 68)² + (63 - 68)² = 25 + 25 = 50 eikä nolla, kuten laskettaessa erisuuntaiset poikkeamat suoraan yhteen ilman neliöintiä (73 - 68) + (63 - 68) = 5 - 5 = 0.

Neliöinti hoitaa negatiivisten poikkeamien lisäksi myös oikean skaalauksen. Nimittäin poikkeamat noudattavat monessa tilanteessa normaalijakaumaa, missä riippuvuus poikkeamasta on neliöllinen eli esim. poikkeaman kymmenkertaistuminen satakertaistaa ennusteen epäsopivuuden 10² = 10×10 = 100. Jos poikkeamien jakauma ei ole likimainkaan normaali, käytetään neliöpoikkeaman sijasta toiselle jakaumalle ominaista skaalausta. Muutoin mallin sopivuus lasketaan jakaumasta riippumatta samalla periaatteella.

Sopivuuden määritelmän viimeinen osa eli suhteellisuus tarkoittaa poikkeamien havaintokohtaista painotusta. Painotusta tarvitaan, koska odotetun satunnaisvirheen eli hajonnan suuruus riippuu havainnosta. Mitä pienempi hajonta havaintoon liittyy, sitä suurempi painoarvo poikkeamalle pitää antaa. Painokerroin on hajonnan käänteisluku: esim. poikkeama, johon liittyy hajonta 2, on viisi kertaa epäsopivampi kuin samansuuruinen poikkeama, johon liittyy hajonta 10. Kun useasta havainnosta koostuvan aineiston poikkeamat lasketaan yhteen, kukin poikkeama saa näin suhteellista merkitystään vastaavan painon. Sopivuuden mittana toimiva suhteellinen neliöpoikkeama on siis painotettu neliösumma.

Kilpailevista malleista sopii havaintoihin parhaiten se, jonka ennusteista laskettujen poikkeamien painotettu neliösumma on pienin.

Mallista laskettu neliösumma voidaan kääntää myös todennäköisyydeksi. Tämä ei kuitenkaan kerro suoraan mallin todennäköisyyttä, vaan uuden havaintoaineiston uskottavuutta on puntaroitava yhdessä aiemman tutkimusnäytön kanssa. Mallin todennäköisyys on uuden näytön uskottavuuden ja ennakkotiedon tulo.

Siisti tarina, eikös? Moni tutkija omaksuu tyytyväisenä tämän reseptin, koska sen avulla mallien vertailu on suoraviivaista. Autuaan tietämättömänä, että jutun juonessa vaanii vielä käänne.

Nimittäin edes täydellisesti todellisuutta kuvaavan mallin neliöpoikkeamien ei pitäisi olla keskimäärin nollia vaan satunnaisvirheen suuruisia.

Heitetään noppaa 6000 kertaa. Tuloksena saadaan tasan tuhat ykköstä, tuhat kakkosta, tuhat kolmosta, tuhat nelosta, tuhat viitosta ja tuhat kuutosta. Onko noppa rehellinen? Silmälukujen määrien neliöpoikkeamathan ovat rehellisen nopan ennusteista 6000×1/6 = 1000 täsmälleen nollia. Mutta todennäköisyys saada näin tasainen jakauma ilman filunkipeliä on vähemmän kuin yksi miljardista! Rehellisen nopan 6000 heitossa silmälukujen määrät poikkeavat tasajakaumasta keskimäärin muutamasta heitosta muutamaan kymmeneen heittoon.

Johdonmukaisesti satunnaisvirhettä pienemmät poikkeamat tarkoittavat, että malli sopii havaintoihin paremmin kuin mihin edes todellinen luonto pystyy!

Asian voi toki ilmaista myös niin, että jos ennustetut arvot vastaavat havaintoarvoja liian hyvin, ennustettu hajonta ei vastaakaan havaittua hajontaa. Eli pinnallisesti täysin sopiva malli sopiikin tarkemmin katsottuna todellisuuteen erityisen huonosti.

Liian sopivalta näyttävä malli ei kuitenkaan aina ole laskelmoitua petosta, vaan saattaa syntyä myös tietämättömän tutkijan tai apulaisen hyväntahtoisista pyrkimyksistä. Gregor Mendelin herneet lienevät tästä klassinen esimerkki. Liian hyvin perinnöllisyyslain ennusteita vastaava Mendelin alkuperäinen aineisto ei toki kyseenalaista myöhemmin moneen kertaan vahvistettuja tuloksia, mutta herättää kysymyksen oliko hänen aineistonsa täysin rehellisesti kerättyä ja mistä liian sopiva tulos aiheutui.

Erityisesti ihmisen, talouden ja yhteiskunnan tutkimuksessa yleinen ongelma on, että havaintoaineistoon sovitetaan liian monimutkaista mallia. Tällaisessa ylisovitetussa mallissa voi olla niin paljon liikkuvia osia, että mallin saa myötäilemään minkälaisen sattuman oikkuja hyvänsä. Menneisyyteen täydellisesti sopivan mallin surkeus paljastuu, kun sillä yrittää ennustaa tulevaisuutta. Edellisviikon lottonumerot eivät ennusta tulevan viikon arvonnasta mitään (paitsi sen, että edellisiä numeroita ei kannata pelata koska jotkut hupsut pelaavat niitä kuitenkin jolloin vanhoille numeroille sattuva päävoitto pirstoutuisi lohduttoman pieniin osiin).

Kosmologit ja muut teoreetikot puhuvat toisinaan havaintojen sovittamisesta malliin. Lipsahdus kuulostaa ehkä viattomalta, mutta paljastaa paljon. Tieteessä mallia tulee tietenkin sovittaa havaintoihin eikä päinvastoin, mutta etenkin kosmologiassa tähän nurinkurisuuteen törmää. Yleensä mittalaitteet keräävät ns. raakadataa, josta täytyy siivota jos jonkinlaista häiriötekijää kotigalaksista lähtien ennen kuin helpommin analysoitava havaintoaineisto julkaistaan koko tutkijayhteisön saataville. Tämä on ymmärrettävää, mutta ongelma on että tässä suurta tiimityötä vaativassa (ja siten vaikeasti toistettavassa) prosessissa usein jo oletetaan pimeä energia ja tasaisen laajenevan avaruuden malli. Niinpä ei ole yllättävää, että yhtäältä kilpailevia malleja on vaikea sovittaa julkaistuun aineistoon ja toisaalta pimeän energian mallit ovat toisinaan sopineet aineistoon liiankin hyvin. Lisäksi oletuksista riippumatonta raakadataa ei suinkaan aina julkaista. Tutki siinä sitten avaruuden epätasaista laajenemista.

Liian sopivan mallin ongelman ratkaisu on periaatteessa yksinkertainen. Pitää vain testata mallin keskiarvoisen sopivuuden lisäksi hajonnan sopivuus. Tosin ennustettu hajontakin voi sopia havaintoihin liian hyvin samoin kuin hajonnan hajonta ja niin edelleen, mutta se on taas jo kokonaan toinen tarina.

Kommentit (0)

Kommentit julkaistaan hyväksynnän jälkeen.

Sisältö jatkuu mainoksen alla
Sisältö jatkuu mainoksen alla

Väitteen todennäköisyys riippuu kahdesta tekijästä. Yhtäältä siitä, mitä tiedämme väitteen todenperäisyydestä ennestään. Eli vanhasta näytöstä. Ja toisaalta siitä, miten vahvasti käsillä oleva tutkimusaineisto puoltaa väitettä. Eli uudesta näytöstä.

Huomioi vanha, huomioi uusi. Kuulostaa yksinkertaiselta reseptiltä, mutta kahden tekijän kanssa voi tehdä kahdenlaisia virheitä. Ja molempia tehdään. Ja tärkeissä päätöksissä. Ja paljon. Niin rahassa kuin rakkaudessa.

Voimakas omakohtainen kokemus saa mahdottoman tuntumaan todennäköiseltä eikä kaikkein murskaavinkaan todistusaineisto heilauta tunneperäistä vakaumusta. Kaikki loogiset väitteet voidaan voittaa yksinkertaisesti kieltäytymällä logiikasta, kuten fysiikan nobelisti Steven Weinberg asian veisteli.

Vanhan tiedon laiminlyöntiä kutsutaan sivistyneesti esiintyvyysharhaksi (engl. base rate fallacy), uuden tiedon laiminlyöntiä vahvistusvinoumaksi (engl. confirmation bias). Mutta saa niitä huonomuistisuudeksi ja jääräpäisyydeksikin sanoa.

Suorakulmion pinta-ala on kahden tekijän tulo. Mitataan leveys. Mitataan korkeus. Kerrotaan mittaustulokset keskenään. Ja tadaa! Meillä on pinta-ala. Viisi metriä leveä. Kaksi metriä korkea. Viisi kertaa kaksi on kymmenen. Eli kymmenen neliömetrin pinta-ala.

Kun eri asiat riippuvat samoista tekijöistä, matematiikka sanoo että asiat ovat samoja. Rinkilässä on reikä samalla tavalla kuin kahvikupin korvassa, joten rinkilä on kahvikuppi. Todennäköisyys riippuu kahdesta tekijästä samalla tavalla kuin suorakulmion pinta-ala, joten todennäköisyys on suorakulmion pinta-ala.

Pinta-ala kertoo miten todennäköinen väite on. Pieni pinta-ala tarkoittaa epätodennäköistä ja suuri pinta-ala todennäköistä.

Todistusaineiston uskottavuus on todennäköisyyskulmion korkeus ja ennakkotodennäköisyys kulmion leveys. Väitteen todennäköisyys on uuden näytön uskottavuuden ja ennakkotiedon tulo. Tilastomatematiikassa tulos tunnetaan nimellä Bayesin sääntö.

Ennakkotodennäköisyyteen kiteytyy kaikki se tieto, jota asiasta on ennen uutta tutkimusaineistoa. Aineiston uskottavuus puolestaan mittaa, miten vahvasti väitteen perättömyysolettamaa vastaan uusi näyttö todistaa. Tilastomatematiikassa tätä kutsutaan p-arvoksi.

Huonomuistiset unohtavat kulmion leveyden, jääräpäiset kulmion korkeuden.

Olipa suorakulmio kuinka korkea hyvänsä, pinta-alaa ei tunneta ilman tietoa kulmion leveydestä. Olipa näyttö väitteen eduksi kuinka uskottava hyvänsä, todennäköisyyttä ei tunneta ilman tietoa väitteen ennakkotodennäköisyydestä.

Olipa suorakulmio kuinka leveä hyvänsä, pinta-alaa ei tunneta ilman tietoa kulmion korkeudesta. Olipa väite ennakkoon kuinka uskottava hyvänsä, todennäköisyyttä ei tunneta ilman tietoa käsillä olevan näytön uskottavuudesta.

On olemassa erityisiä suorakulmioita, joiden pinta-ala määräytyy pelkästä leveydestä (tai pelkästä korkeudesta). Näitä erityistapauksia kutsutaan neliöiksi.

Joistain väitteistä ennakkotietoa on niukasti tai se on neutraalia. Tällöin todennäköisyyskulmion voi ajatella likimain neliöksi, jossa pelkkä aineiston uskottavuus määrää arviomme väitteen uskottavuudesta. Ilman vanhaa aineistoa uusi aineisto on kaikki, mitä asiasta tiedämme. Vastaavasti ilman uutta aineistoa vanha aineisto on kaikki, mitä asiasta tiedämme.

Ääritapauksessa väitteen puolesta tai vastaan on hyvin vahvaa ennakkotietoa. Suorakulmio on tällöin erityisen leveä tai erityisen kapea.

Mullistava väite vaatii mullistavaa näyttöä. Tämänkin viisauden voi ymmärtää geometrian avulla: Mullistavan väitteen ennakkotodennäköisyys on hyvin pieni. Todennäköisyyskulmio on silloin hyvin kapea. Ja hyvin kapean suorakulmion pinta-ala voi olla suuri vain, jos se on poikkeuksellisen korkea. Poikkeuksellisen korkea kulmio tarkoittaa poikkeuksellisen vahvaa näyttöä. Eli vain äärimmäisen uskottava uusi aineisto voi vahvistaa äärimmäisen epäuskottavan väitteen.

Miljoonasosan p-arvo riittää todistamaan väitteen, vaikka sen ennakkotodennäköisyys olisi vain tuhannesosa. Mutta liikemäärän säilymislain kaltaisia, lukemattomien havaintojen puoltamia totuuksia ei yksi miljoonasta -tulos hetkauta. Eikä edes yksi miljardista, vaan uuden näytön täytyy painaa vaakakupissa enemmän kuin kaikki vanhat näytöt yhteensä.

Todennäköisyyksien lisäksi on osattava laskea epätodennäköisyyksillä. Kun eteen tulee pelkkiä epätodennäköisiä vaihtoehtoja, on pidettävä pää kylmänä. Silloin vähiten epätodennäköisestä tulee todennäköistä.

Kommentit (0)

Kommentit julkaistaan hyväksynnän jälkeen.

Kuva: Wikimedia Commons

Epäilty on syytön, kunnes toisin todistetaan. Rokote on tehoton, kunnes toisin todistetaan. Kolikko on reilu, kunnes toisin todistetaan. Joulupukkia ei ole, kunnes toisin todistetaan. Usko on väärä, kunnes toisin todistetaan.

Syyttömyysolettama kiteyttää myös tieteen lähtöoletuksen: mitään uutta ei tapahdu missään. Tuomarina toimii todistusaineisto, joka kumoaa tai säilyttää tämän lähtöoletuksen eli nollahypoteesin, kuten tilastomatemaatikot sitä nimittävät.

Tieteellisen päättelyn vastakohta on somepäättely. Somepäättelyssä omat uskomukset ovat tosia ja toisten uskomukset vääriä, vaikka toisin todistetaan. 

Aineiston todistusvoiman määrää se, kuinka epätodennäköiseltä aineisto näyttää syyttömyysolettaman valossa. Haluaisimme tietenkin tietää syyllisen, mutta on helpompi määrittää aineiston epätodennäköisyys kuin syyllisyyden todennäköisyys. Haluaisimme tietää totuuden, mutta todisteiden epätodennäköisyys on helpompi laskea. Se mikä päättelyn mutkikkuudessa hävitään, laskennan helppoudessa voitetaan.

DNA-todisteet, videotallenne, motiivi, savuava ase ja seikkaperäinen tunnustus ovat syyttömyysolettaman valossa hyvin epätodennäköisiä. Ne riittävät kumoamaan syyttömyysolettaman, eli todistavat syyllisyyden, vaikka eivät suoraan kerrokaan sitä mitä eniten haluamme eli syyllisyyden todennäköisyyttä.

Rokkotautien kukistaminen tekee rokotteiden tehottomuusoletuksen epäuskottavaksi. Siispä päättelemme, että rokotteet tehoavat.

Sata peräkkäistä klaavaa tekee kolikon reiluusoletuksen epäuskottavaksi. Siispä päättelemme, että kolikko ei ole reilu.

Tieteessä aineiston todistusvoimaa mittaa p-arvo: mitä pienempi p-arvo, sitä epäuskottavammalta syyttömyysolettama eli nollahypoteesi vaikuttaa. Jos p-arvo = 1/1000, täytyy ostaa keskimäärin tuhat arpaa saadakseen yhtä poikkeuksellisen tuloksen tai yhtä raskauttavat todisteet sattumalta. Vaikka p-arvo on nimenomaan aineiston todennäköisyys (syyttömyysolettamalla), se kertoo siis epäsuorasti myös syyllisyydestä tai syyttömyydestä. Ykköstä lähellä olevat, yli 1/10 p-arvot, eivät horjuta syyttömyysolettamaa tai nollahypoteesia, koska sen suuruisia arvoja syntyy tuon tuostakin silkasta sattumasta kuin yksi oikein -lottorivejä. Tarkkaan ottaen p-arvo on vähintään käsillä olevan aineiston vahvuisten todisteiden todennäköisyys syntyä sattumalta eli sillä oletuksella, että syytetty on syytön, rokote tehoton tai kolikko reilu. Eli vähintään havaitun vahvuisen signaalin todennäköisyys kohinassa: p-arvo = P(signaali|kohina), joka ei kuitenkaan ole kohinan, sattuman tai syyttömyyden todennäköisyys koska ehdollinen todennäköisyys ei ole vaihdannainen.

Määrite vähintään on ratkaisevan tärkeä p-arvon määritelmässä. Selvitetään sen merkitystä tarkastelemalla lähtöoletusta, että tyttöjä ja poikia esiintyy yhtä paljon jossain tutkimuksen kohteena olevassa populaatiossa.

Olkoon aineistonamme populaatiosta kymmenen satunnaisesti arvottua lasta, joista kahdeksan on poikia ja kaksi tyttöjä. Mikä todennäköisyys kuvastaa tämän näytön vahvuutta syyttömyysolettamaa eli sukupuolten tasajakaumaoletusta vastaan?

Kahdeksan pojan todennäköisyys P(8 poikaa kymmenestä lapsesta) on noin 4%, jos molempia sukupuolia esiintyisi yhtä paljon. Tällainen sattuma esiintyy harvemmin kuin kerran kahdestakymmenestä. Havaitun kahdeksan pojan pieni todennäköisyys ei kuitenkaan vielä riitä kumoamaan sukupuolten tasajakaumaoletusta, sillä epätodennäköisyyslaskennassa täytyy laskea mukaan myös kaikkien muiden vähintään yhtä äärimmäisten tai raskauttavien todisteiden todennäköisyydet. Toisin sanoen mukaan on laskettava myös todisteita, joita ei ole edes olemassa!

Vaikka todistusaineistossamme on vain kahdeksan poikaa, todistusaineiston epätodennäköisyyttä mittaavaan p-arvoon lasketaan siis myös yhdeksän ja kymmenen pojan todennäköisyydet. Lisäksi on laskettava kahdeksan, yhdeksän ja kymmenen tytön eli kahden, yhden ja nollan pojan todennäköisyydet, koska nekin ovat sukupuolen tasajakaumaoletuksen näkökulmasta vähintään yhtä äärimmäisiä tuloksia kuin havaittu kahdeksan pojan aineisto.

Oikea p-arvo saadaan siis laskemalla yhteen p-arvo = P(8 poikaa) + P(9 poikaa) + P(10 poikaa) + P(2 poikaa) + P(1 poika) + P(0 poikaa) = 11%, eli huomattavasti enemmän kuin pelkkä kahdeksan pojan todennäköisyys 4%.

Kahdeksan poikaa ei siis olekaan kovin epätodennäköinen aineisto, sillä kerran yhdeksästä saadaan vähintään yhtä äärimmäinen poikkeama tasajakaumasta puhtaasti sattumalta. Ei edes kolme oikein -lottorivin veroinen tulos.

Kuviteltujen todisteiden huomioinen kasvattaa syyttömyysoletuksen todennäköisyyttä, eli raskauttavammat lisätodisteet toimivatkin syytetyn eduksi!

Vakuuttavatko kuvitellut todisteet lakimiehet ja tuomarit? Tuntuuko niiden huomioiminen sinusta suorastaan väärältä? Et ole ainoa, mutta asian hahmottamista helpottaa vielä toisen aineiston tarkastelu.

Olkoon toisena aineistonamme tuhat satunnaisesti arvottua lasta, joista tasan 500 on poikia ja loput 500 tyttöjä. Mikä todennäköisyys nyt kuvastaa tämän näytön vahvuutta syyttömyysolettamaa eli sukupuolten tasajakaumaoletusta vastaan?

Jos ensimmäisen aineiston tapauksessa oikea vastaus olisi ollut havaitun kahdeksan pojan todennäköisyys, niin samalla logiikalla oikean vastauksen tulisi tässä olla havaitun 500 pojan todennäköisyys P(500 poikaa tuhannesta lapsesta) joka on vain 2.5%. Tällainen sattuma esiintyy vain kerran neljästäkymmenestä, jonka perusteella tasajakaumaoletus näyttää hyvin epäuskottavalta. Mutta aineistossahan on täsmälleen yhtä monta poikaa ja tyttöä, joten mitään näyttöä tasajakaumaoletusta vastaan ei edes ole!

Ristiriita poistuu, kun huomioidaan p-arvon määritelmä vähintään yhtä äärimmäinen aineisto: 500 pojan aineistossa ei ole äärimmäisyyttä alkuunkaan, koska tulos ei poikkea tasajakaumasta lainkaan. Niinpä vähintään yhtä äärimmäisiä kuin 500 poikaa ovat kaikki mahdolliset tulokset nollasta tuhanteen poikaan, joiden yhteistodennäköisyys on tietenkin tasan 100% eli p-arvo on täsmälleen 1! Tämä esimerkki vakuuttaa toivottavasti maallikkotuomaritkin siitä, että myös kuvitteelliset todisteet on huomioitava oikeudessa ja tieteessä.

Tieteellinen päättely on epätodennäköisyyslaskentaa. Se tuntuu epäintuitiiviselta, koska päättelyssä on ylimääräinen mutka joka saa aivotkin helposti solmuun. Kun solmun avaa huolellisesti jokaisen tulkinnan kohdalla, epäintuitiivisesta tulee järkeenkäypää.

Kommentit (3)

Lauri Raittio
1/3 | 

Todennäköisyysteorian mahdollistama tilastollinen päättely toimii tosi hienosti niin kauan kuin pysytään noppien, kolikkojen ja pöytäkorttien laskemisessa.

Suurimmassa osassa empiiristä tutkimusta on valtavasti erilaisia systemaattisia harhoja jotka vinouttavat aineistoa siten, ettei nollahypoteesi pidä (juuri) koskaan paikkaansa jos aineisto on riittävän suuri, Systemaattisten harhojen vuoksi havaittu tulos eroaa nollahypoteesista vaikka se olisikin totta.

Nollahypoteesin testaaminen vastaa kysymykseen: kuinka todennäköistä on havaita aineisto jos nollahypoteesi on totta. Mielenkiintoisempi kysymys on puolestaan kuinka todennäköisesti vaihtoehtoinen hypoteesi on totta. Siihen tarvitsisi vaihtoehtoisen hypoteesin ennakkotodennäköisyyden. 

Teppo Mattsson
Liittynyt13.1.2014
Viestejä151
2/3 | 

Tärkeä huomio. Efektikoon luottamusvälin tarkastelu on oleellinen osa tilastollista päättelyä, mistä voisi vaikka julkaista oman kirjoituksen.

Käyttäjä6458
Liittynyt27.2.2018
Viestejä2321
3/3 | 

Ehdottomasti tarvitsevat, kopska he tarvitsevat sieltä joukon käsitteitä, jotka eivä ole (ainakaan pelkkää) fysiikkaa - eivätkä matematiikkaa, kuten syys ja seuraus, määrä ja laatu, sattuma ja välttämättömyys, subjektiivinen ja objektiivinen, mahdollisuus ja todellisuus (aktuaalisuus), sisältö ja muoto, materia ja liike, totuus, todennäköisyys jne.

Kommentit julkaistaan hyväksynnän jälkeen.

Kuva: Wikimedia Commons

Kuinka usein sataa, kun taivaalla on pilviä? Ehkä vain joka kolmas päivä, sillä poutapilvet ovet yleisempiä kuin sadepilvet.

Kuinka usein taivaalla on pilviä, kun sataa? Aina, sillä sade vaatii pilven, josta vesi putoaa. Aina sadepilveä ei näe, mutta ei sadetta ilman vettä eli pilveä.

Sateen todennäköisyys pilvisellä säällä P(sade|pilviä) ei siis ole lainkaan sama kuin pilvien todennäköisyys sadesäällä P(pilviä|sade). P(sade|pilviä) ≠ P(pilviä|sade) yhtä varmasti kuin 1/3 ≠ 1.

Olemme tottuneet laskemaan asioita haluamassamme järjestyksessä. Onhan 1 + 2 yhtä kuin 2 + 1 eli A + B = B + A. Joskus laskujärjestyksellä on kuitenkin väliä. Esimerkiksi todennäköisyyslaskennassa. 

Matemaatikko ilmaisee asian sanomalla, että ehdollinen todennäköisyys ei ole vaihdannainen: P(A|B) ≠ P(B|A) eli A:n todennäköisyys ehdolla B ei ole sama kuin B:n todennäköisyys ehdolla A. Sateen todennäköisyys ehdolla pilvet ei ole sama kuin pilvien todennäköisyys ehdolla sade.

Pilvien ja sateen todennäköisyyden eron ymmärtää jokainen. Mutta kun tunteet tulevat peliin, ajattelumme alkaa tehdä pahamaineisia tepposiaan. Herkkä aihe, ja pim, järkeväkin ihminen taantuu alkukantaiseen uskoon, että P(A|B) = P(B|A).

Selittämättömistä vaivoista kärsivä alkaa etsiä syitä vaivoilleen. Google kertoo, että juuri tuossa vakavassa sairaudessa on kaikki samat vaivat. Apua, minulla on kuolemantauti! Ahdistuksen ja pelon vallassa tuntuu, että johtopäätös on varma kuin tauti.

Mikä meni päättelyssä vikaan?

Mikäs muukaan kuin ehdollinen todennäköisyys. Tolkuissaan oleva ystävä rauhoittelee: P(kuolemantauti|vaivat) ≠ P(vaivat|kuolemantauti) eli kuolemantaudin todennäköisyys, kun on vaivat, ei ole lainkaan sama asia kuin vaivojen todennäköisyys kun on kuolemantauti. Google kertoi aivan oikein, että ne joilla on kuolemantauti, kärsivät varmasti vaivoista. Tästä ahdistunut googlaaja teki virhepäätelmän, että ne joilla on vaivat, on varmasti kuolemantauti.

Taudin todennäköisyys P(kuolemantauti|vaivat) eroaa vaivojen todennäköisyydestä P(vaivat|kuolemantauti) paljon, koska kuolemantauti on harvinainen mutta vaivat yleisiä. Eli on paljon ihmisiä, jotka kärsivät samoista vaivoista, mutta joilla ei ole kuolemantautia vaan vaivoihin on jokin vaarattomampi syy.

Harvinaisten tautien väestötason seulontakin säikyttelee terveitä väärillä hälytyksillä samasta syystä.

Otetaan tautiseula, jonka tarkkuus ja herkkyys on 99%. Testataan seulalla tautia, jota esiintyy seulotussa väestössä joka tuhannella. Mikä on todennäköisyys, että positiivisen testituloksen saaneella on tauti?

Vastaukset saadaan suoraan Bayesin kaavasta: Positiivisen testituloksen saaneista vain 9% on seulottava tauti. Eli jokaista seulaan jäänyttä sairasta kohti on yli yhdeksän tervettä, jotka säikähtävät väärää hälytystä (ja pahimmassa tapauksessa joutuvat kärsimään tarpeettoman hoidon haitoista). 

Sovelletaan samaa seulaa vielä erityiseen riskiryhmään, jossa tauti esiintyy joka kymmenennellä. Nyt Bayesin kaava kertoo, että hälyttävän tuloksen saaneista 92% ovat oikeastikin sairaita. Testin positiiviseen tulokseen voi siis luottaa, kunhan se kohdennetaan yleisväestön sijasta oikeille riskiryhmille. 

Mitä harvemmin esiintyvästä asiasta kyse, sitä useammin ehdollisen todennäköisyyden sekoittaminen johtaa vääriin hälytyksiin. Ja mullistavat löydökset, jos mitkä, ovat harvinaisia niin tieteessä kuin missä hyvänsä tutkimuksessa.

Poikkeuksellinen löydös vaatii tuekseen poikkeuksellista näyttöä, jotta ei synny vääriä hälytyksiä ja kohua kohinasta.

Havainnot on vielä tärkeää erotella yllätyslöydöksiin, joista ei ole mitään etukäteistietoa, ja vankkojen teorioiden toteutuneisiin ennusteisiin. Esimerkiksi Higgsin hiukkasesta ei tarvita niin vahvaa kokeellista näyttöä kuin jos vastaava havainto olisi tehty ilman teoreettista ennustetta hiukkasen olemassaolosta.

Jättiläismäinen aineisto, josta sokeasti pengotaan ziljoonia asioita ilman mitään teoreettista ennustetta, tuottaa löydöksiä jotka ovat harvinaisempia kuin yksi ziljoonasta. Mutta monet niistäkin ovat vain satunnaista kohinaa vailla taustalla olevaa aitoa ilmiötä. Samalla tavalla kuin joku voittaa aina lotossakin vailla tietoa oikeista numeroista.

Tutkimustuloksille voi laskea ns. p-arvon, jonka käänteisluku kertoo kuinka monta arpaa pitäisi keskimäärin ostaa, että saisi yhtä poikkeuksellisen tuloksen sattumalta. Jos aineistolähtöisessä tutkimuksessa on tehty enemmän testejä kuin niiden pienimmän p-arvon käänteisluku, väärien hälytysten riski on huomattava.

Tutkimusten p-arvotkin ymmärretään erittäin usein jopa ammattitutkijoiden parissa väärin. P-arvo kertoo todennäköisyyden, jolla vähintään havaitun vahvuinen signaali syntyy satunnaisesta kohinasta p = P(signaali|kohina). Tämä ei siis ole todennäköisyys, että havaittu signaali olisi satunnaista kohinaa eli havainto sattumaa, sillä kuten olemme oppineet P(signaali|kohina) ≠ P(kohina|signaali) eli P(havainto|sattuma) ≠ P(sattuma|havainto).

Jokainen todennäköisyys on pohjimmiltaan ehdollinen todennäköisyys, vähimmäisehtona ainakin luonnonlait. Ehdollisen todennäköisyyden sekoittamisessa on siis kyse yleisestä ongelmasta, joka esiintyy kaikkialla missä esiintyy todennäköisyyksiä. Eli kaikkialla.

Koneet voidaan ohjelmoida välttämään tunteisiin sortuvan ihmisen virheitä, mutta omalta osaltamme ehdollisen todennäköisyyden ongelmaan auttaa vain se sama lääke kuin muihinkin inhimillisen päättelyn vinoumiin. Eli vanha tuttu sivistys.

Kommentit (0)

Kommentit julkaistaan hyväksynnän jälkeen.

Seuraa 

Rajankäyntiä

Teppo Mattsson on kosmologiaan ja suhteellisuusteoriaan erikoistunut teoreettisen fysiikan tutkija, joka harrastaa matkailua tieteenalojen välisillä rajaseuduilla. Blogi on matkakertomus näiltä retkiltä.

Teemat

Blogiarkisto

Kategoriat