Kumman ottaisit, ison rahan ehkä vai pienen varmasti?

Tilastotieteessä on kaksi samankuuloista käsitettä, merkittävä ja merkitsevä. Ne eroavat toisistaan samalla tavalla kuin ison rahan mahdollisuus eroaa varmuudesta saada ylipäätään mitään rahaa. Merkittävä tarkoittaa isoa, merkitsevä varmuutta.

Käsitteiden ero on periaatteessa selvä, mutta käytännössä sen sisäistäminen on vaikeaa. Viimeistään tilastokurssien opettajana olen tuon vaikeuden huomannut. Samankuuloinen nimi vain lisää käsitteiden sekaantumisen vaaraa.

Kuten yleensä, havainnollistavat esimerkit helpottavat oppimista.

Esimerkiksi halutaan luotettavasti selvittää kumpi kaksosista, Matti vai Teppo, on painavampi. Yksi punnitus ei riitä, koska mittaamiseen liittyy monia virhelähteitä. Vaa'an lukema heittelee. Kehon nestemäärä vaihtelee. Maha, rakko ja suolisto ovat välillä tyhjänä, välillä täynnä. Jos vaaka näyttää Matille 89 kg ja Tepolle 90 kg, ero voi johtua silkasta sattumasta.

Ratkaistaan ongelma punnitsemalla Matti ja Teppo satunnaisina hetkinä samanaikaisesti kymmenen kertaa. Vaaka antaa Matin lukemiksi 88.9, 90.2, 91.0, 88.5, 88.8, 90.0, 87.5, 88.6, 88.6, ja 90.3 kg ja Tepon vastaaviksi lukemiksi 90.2, 91.2, 92.0, 88.2, 91.2, 88.3, 93.1, 90.7, 90.0 ja 92.0 kg. Pelkästään mittaussarjoja tuijottamalla painavuusjärjestys ei ratkea: kymmenen punnituksen sarjassa painavampi on välillä Matti, välillä Teppo. Tarvitaan tilastotiedettä.

Matin mittausten keskiarvoksi saadaan laskemalla 89.2 kg ja Tepon vastaavasti 90.7 kg. Tepon keskiarvo on siis 1.5 kg suurempi kuin Matin, ja tässä tapauksessa ero on tilastollisesti merkitsevä: kymmenen samasta normaalijakaumasta arvotun numeroparin välille ainoastaan 4% tapauksissa sattuu vähintään yhtä suuri keskiarvojen ero kuin Matin ja Tepon mitatuissa painoissa.

Vaikka mitattu keskiarvojen ero painossa on merkitsevä, se ei ole tässä merkittävä, sillä prosentin suuruusluokan ero painossa ei käytännössä vaikuta: silmin sitä ei havaitse, terveyttä se ei ratkaise ja samat vaatteet sopivat.

Mittauksista voidaan siis melko varmasti päätellä, että Teppo on painavampi kuin Matti, mutta ero on pieni. Ero on merkitsevä, muttei merkittävä, tilastotieteen kielellä ilmaistuna.

Entäs sitten Matti ja Seppo, joiden painot on mitattu samanaikaisesti vain kahtena satunnaisena hetkenä. Matin vaakalukemat ovat 92.9 ja 87.1 kg, Sepon vastaavasti 97.1 ja 102.9 kg. Painon keskiarvoksi tulee Matilla 90 kg, Sepolla 100 kg.

10 kg ero painossa olisi jo merkittävä: Seppo olisi silminnähden paksumpi kuin Matti, Sepon terveysriskit olisivat suuremmat eivätkä Matille istuvat vaatteet sopisi Sepolle.

Vaikka mittausten välinen ero on merkittävä, se ei kuitenkaan ole tässä tilastollisesti merkitsevä. Nimittäin kahden samasta normaalijakaumasta arvotun numeroparin välille sattuu jopa kerran kolmesta tapauksesta vähintään yhtä suuri ero kuin Matin ja Sepon mitatuissa painoissa.

Näiden kahden mittauksen perusteella ei voida siis luotettavasti päätellä, että Seppo olisi Mattia painavampi.

Mitä suurempi otos, eli enemmän mittauksia, sen pienemmät erot tulevat merkitseviksi. Suuri otos erottelee siis herkemmin kuin pieni otos. Matin ja Tepon pieni ero painossa näkyi kymmenellä mittauksella, mutta Matin ja Sepon mahdollisesti suurtakaan eroa ei saatu kahdella mittauksella varmennetuksi. Lisämittaukset voisivat paljastaa, oliko Matin ja Sepon mittausten ero todellinen vai sattuman oikkua. Mitä suurempi todellinen ero, sen vähemmän mittauksia eron havaitsemiseen tarvitaan.

Matin ja Tepon esimerkissä merkitsevä ei ole merkittävä, ja Matin ja Sepon esimerkissä merkittävä ei ole merkitsevä. Valitsin esimerkit vakuuttaakseni, että merkittävä ja merkitsevä todella ovat erilliset käsitteet. On toki tapauksia, joissa tutkimuksessa havaittu ero on sekä merkitsevä että merkittävä, ja tapauksia joissa se ei ole kumpaakaan (joista julkaisuvinouman takia tosin harvemmin kuullaan). 

Merkittävän ja merkitsevän sekoittaminen aiheuttaa jatkuvasti ongelmia ja sekaannuksia tutkimuksista uutisoitaessa ja jopa tutkijoiden välisessä kommunikaatiossa. Lääke ei auta merkittävästi vain siksi, että sen teho on merkitsevä. Lisäksi yhdessä tutkimuksessa merkitseväksi havaittu ilmiö ei välttämättä ole seuraavassa tutkimuksessa enää edes merkitsevä, mutta se on jo kokonaan toinen tarina.

Kohulla elävän toimittajan näppäimistöllä tutkimusjulkaisun merkitsevä kääntyy helposti tiedeuutisessa merkittäväksi: kun tutkija sanoo pieni, toimittaja kuulee iso. Tosin nykyään, kun tutkijatkin joutuvat elämään yhä enemmän kohulla, syy ei ole välttämättä toimittajan. Ovelimmat tutkijat voittavat mediapelissä keinoilla, joilla voisi pärjätä jopa politiikassa. Tieteen alistaminen vapaiden markkinoiden kiihkeälle kilpailulle tuottaa kaikenlaista jännää.

Kenellepä ei kelpaisi iso raha varmasti.

Kommentit (1)

Vierailija

Matti ja Seppo -tapaus on taas yksi matematiikan esimerkki, jossa matematiikka ja todellisuus eivät ole yhteensopivia.  Olisi erittäin omituista, jos henkilön painossa olisi yli 10% virhemarginaali. Tilastotieteessä sellainen varmasti on täysin mahdollista, mutta käytännössä ei. Tuollainen arkijärjen vastainen esimerkki vain hämmentää asiaa opettelevaa ja johtaa ajatukset harhapoluille, kun tarkoitus oli selventää asiaa.

Mieleen muistuu Mind you decisions -Youtube-kanavan matemaattinen laskutehtävä, jossa kadunaurauskone saavutti valonnopeuden, kun lumen määrä väheni lähelle nollaa.

Seuraa 

Rajankäyntiä

Teppo Mattsson on kosmologiaan ja suhteellisuusteoriaan erikoistunut teoreettisen fysiikan tutkija, joka harrastaa matkailua tieteenalojen välisillä rajaseuduilla. Blogi on matkakertomus näiltä retkiltä.

Teemat

Blogiarkisto

Kategoriat