Yhdysvaltain kansalliskaartin sotilaat käyttävät kasvomaskeja. Kuva: John Schoebel / Wikimedia Commons

Onko kasvomaskeilla merkitystä? Mitä pitää ajatella jos selvitys kertoo jotakin ja vertaisarvioimaton tutkimusta puolestaan toista? Pandemia asettaa tavallisen kansallisen tieteen ymmärryksen koville.

Pandemian aikana tietoa pitää levittää nopeammin ja tiedon perusteella tehtäviä päätöksiä pitää saada aikaan rivakasti. Tieteellinen julkaisuprosessi on kuitenkin pitkällinen ja epävarma. Kun tutkija saa tutkimuksen valmiiksi, aineiston analysoitua ja artikkelin kirjoitettua, hän lähettää käsikirjoituksen tieteelliseen julkaisusarjaan. Tämän jälkeen sarjan toimittaja pohtii, että onko käsikirjoitus riittävän hyvä ja kiinnostava kyseiseen sarjaan. Jos käsikirjoitus vaikuttaa lupaavalta, se lähetetään arvioijille. Nämä kommentoivat tutkimusta ja tutkija vastaa osaltaan heidän kritiikkiinsä. Tässä kestää kauan.

Tutkijoiden vertaisarviointikommenteilla on oma rakenteensa: niissä pyritään asettamaan tutkimus laajempaan kontekstiin ja hahmottamaan tutkimuksen merkitystä ja sen kohdennusta, arvioimaan tutkimuksen luotettavuutta ja ennen kaikkea antamaan parannusehdotuksia. Jos tutkimuksesta löytyy virheitä tai muita ongelmia, näiden merkitystä on hyvä arvioida. Monesti vertaisarvioija ei välttämättä ihan edes ymmärrä, mitä tutkimuksessa on tehty. Suurin osa vertaisarviointityöstä on ennen kaikkea selkeyden työstämistä.

Koska julkaisusarjalla on väliä – joitain sarjoja arvostetaan enemmän kuin toisia – tutkijat pyrkivät lähettämään tutkimuksensa mahdollisimman korkeatasoiseen sarjaan. Niinpä usein ensimmäisessä, toiseessa ja ehkä kolmannessakin kohteessa käsikirjoitus hylätään. Koska julkaisu- ja arviointiprosessi on melko satunnainen, joskus käsikirjoitus kiertää useammankin julkaisusarjan, kunnes se löytää kodin.

Tämä on hidasta ja vaivalloista, sillä aikaa käsikirjoituksen valmistumisesta varsinaiseen julkaisuun mitataan kuukausissa tai vuosissa. Viime aikoina tutkimusta on yhä enemmän julkaistu niin sanottuina preprintteinä: samalla kun tutkija lähettää käsikirjoituksen julkaisusarjaan, se laitetaan myös sellaisenaan preprint-palvelimelle. Tämä on kätevää: lupaavat tutkimukset pääsevät nopeammin näkyviin. Se myös vähentää painetta tutkijalle kiiruhtaa ja jännittää julkaisuprosessissa.

Preprintit ovat erityisen hyödyllisiä kriisitilanteessa, kuten pandemian aikana. Viimeisen puolen vuoden aikana tietomme koronaviruksesta on edennyt vauhdilla, koska tutkijat saavat tutkimuksensa saman tien julki. En jaksa uskoa, että preprintit erityisesti lisäävät riskiä huonosta tai paikkansapitämättömästä tutkimuksesta. Julkaisuprosesseihin liittyvän vertaisarvioinninkin läpi saa aikamoista huuhaata.

 

Tieteessä keskeisin vertaisarvioinnin tapa on tutkijoiden välinen julkinen keskustelu. Yleensä tämä keskustelu tapahtuu tieteen omissa kanavissa ja laajan yleisön näkymättömissä. Parin viime vuosikymmenen aikana internet on nopeuttanut keskustelua ensin blogeissa ja nykyään sosiaalisessa mediassa. Tämä on hienoa kehitystä, koska nykyään maallikotkin pääsevät helposti seuraamaan keskustelua.

Pandemiassa panokset ovat korkealla. Tietomme edistyy jatkuvasti ja tiedon perusteella joudutaan tekemään nopeitakin päätöksiä. Pandemian leviämiseen liittyvät kysymykset osuvat keskeisesti omiin vapauksiimme, kansantalouteen ja ihmisten terveyteen. Niinpä ei ole ihme, että ihmiset laajemmin sekä perinteiset mediat ovat kiinnostuneet tutkijoiden keskustelusta. Twitter on minullekin keskeinen tiedonhankinnan kanava, sillä pystyn siellä seuraamaan isoa määrää tutkijoita ja heidän kommentaarejaan kehittyvästä tiedosta.

Tutkijoiden väliset keskustelut ovat tällä hetkellä nopeatempoisia, näkyvillä ja ne ovat välillä aika kovasävyisiäkin. Yleensä tutkijoiden välisen kritiikin äänensävyä ei ole kovin paljon suitsittu: tieteelliset kiistat voivat olla aika äkäisiäkin. Nykymaailmassa on hieman enemmän painotettu paitsi yleistä kohteliaisuutta ja muiden tutkijoiden kunnioittamista, myös tutkimusmaailman rakenteellisia huomioita, kuten että miten vanhemmat tieteenharjoittajat suhtautuvat nuorempiin kollegoihinsa.

Ehkäpä tämä blogikirjoitukseni on ennen kaikkea kahtalainen toive julkiseen keskusteluun osallistuville tutkijoille: muistakaa vastuullinen asemanne tutkijana ja auttakaa yleisöä hahmottamaan laajempaa kontekstia.

 

Hyvä esimerkki keskustelun koventumisesta on reaktio THL:n taannoiseen preprinttinä julkaistuun tutkimukseen. THL:n tutkimuksessa vertailtiin yhtä koulussa muita altistanutta lasta sekä yhtä koulussa muita altistanutta aikuista. Kun lapsi oli indeksitapaus, eli ensimmäinen tunnistettu tartunnansaaja, tartuntoja ei koulussa tapahtunut, mutta aikuisindeksitapauksesta niitä oli 16% altistuneista.

Tämä tutkimus oli näytekooltaan pieni, tietenkin, ja sikäli siitä on vaikea vetää syvempiä päätelmiä. Silti se on mielenkiintoinen tapaustutkimus. Lisäksi THL:n on oikeastaan pakko siitä tiedottaa, koska olisi hassua, jos viranomaisrooliakin tekevä tutkimuslaitos ei tiedottaisi aiheesta, johon kohdistuu suuri kiinnostus. THL:n tiedotekin on hyvin varovaisesti muotoiltu.

Koska kyseessä on koronaviruksen leviäminen lapsissa ja kouluissa, tutkimus menee helposti tunteisiin. Reaktio tutkimukseen oli hyvin aggressiivinen ja tutkimuksen taustalla nähtiin pahantahtoista linkittymistä THL:n viranomaisroolissa annettuihin lausuntoihin. Tutkijoista ainakin Mikael Niku yrittikin rauhoitella ihmisiä ja tarjota laajempaa kontekstia.

 

Toinen esimerkki liittyy toiseen tunteikkaaseen kokonaisuuteen eli kasvomaskeihin. Sosiaali- ja terveysministeriö tilasi selvityksen kasvosuojainten käytöstä Summaryx Oy:ltä ja selvitys (pdf) tuli siihen tulokseen, että ”tutkimusnäytön perusteella kasvosuojusten käytön vaikutus hengitystieinfektioiden leviämiseen on vähäinen tai olematon”. Selvityksen merkitys oli huomattava, koska sen perusteella hallitus päätti, ettei tällä hetkellä kasvosuojaimia suositellam vaan ihmiset voivat käyttää niitä "halutessaan".

Tilattua selvitystä ei oltu vertaisarvioitu, kuten ei ole tämänkaltaisilla selvityksillä tapanakaan. Tutkijat kommentoivatkin selvitystä erilaisista kriittisistä näkökulmista heti julkaisun jälkeen. Myöhemmin elokuussa tutkijaryhmä oli analysoinut saman aineiston kuin Summaryxin selvityksessä oli, mutta laskennallisin menetelmin. Laskennallinen yhdistäminen osoitti, että maskeista on selvä ja merkittävä hyöty.

(Tässä lienee syytä mainita, että kannustin tutkijaryhmää kirjoittamaan tutkimuksensa tieteellisen artikkelin muotoon ja julkaisemaan sen avoimesti preprinttinä. Perusteellinen kritiikki on tieteen moottori ja toisaalta kunnollinen perusteltu artikkelimuotoinen tutkimus on myös alkuperäistä selvitystä kunniottavasti täydentävä muoto.)

Tutkijaryhmä tuli ulos tuloksensa kanssa Helsingin Sanomien vieraskynässä. Tämä vaikuttaa mielestäni aivan sopivalta formaatilta, ottaen huomioon että alkuperäisen Summaryxin selvityksen aiheuttama keskustelu oli niin laajaa ja julkista ja vaikutti merkittävään hallituksen päätökseenkin. Lisäksi tutkimuksen preprintti oli saatavilla internetistä.

Kritiikkikin tietenkin altistetaan kritiikille. Kun tämä tutkijaryhmän artikkeli joskus julkaistaan julkaisusarjasta, siitä tulee varmaan Suomen parhaiten vertaisarvioitu tuotos, koska kriittisiä silmäyksiä tuli useampia.

Omituisin kritiikki tuli Helsingin Sanomien mielipidepalstalla. Kirjoituksessaan emeritusprofessori Pertti Töttö tiuski viitaten tutkijoihin ”riippumattomaksi itseään kutsuva tutkijaryhmä” -nimityksellä. Naljailu ei tietenkään ole tieteellisessä kritiikissä ennenkuulumatonta. Sen sijaan silmiinpistävämpää oli, että kirjoituksessa esitettiin tutkijoiden valikoineen tuloksiaan. Töttö oli myös nähtävästi analysoinut tutkijoiden aineiston uudestaan, sillä hän kirjoitti, että ”Jos -- olisi otettu suojaa käyttäneitä ja suojattomia vertaava luku, olisi tulos muuttunut huomattavasti, --”.

Vastineessaan tutkijaryhmä ajoi aineistonsa myös samalla tavoin kuin Töttö ehdotti ja totesi, että ”Päätelmämme pysyy samana myös, kun laskelmat tehdään niin kuin Töttö ehdotti.” Tämä asettaa Tötön kritiikin outoon valoon ja onkin kiinnostavaa, että millä menetelmin hän on saanut ”huomattavan” erilaisen tuloksen. Näkyvästi julkisuudessa vertaisarvioiva tutkija tietenkin kantaa vastuun myös omista lausunnoistaan. Se, että julkisesti sanoo, että tutkimuksessa on virhe, vaatii aika kovaa varmuutta johtopäätöksistään. Muiden tutkimuksia ei voi ampua alas mutu-tuntumalta.

Osuvampi vertaisarviointi puolestaan oli Jesper Kivelän twiittiketju, jossa hän oli perannut tutkijaryhmän käyttämää koodia ja havainnut, että tutkimuksessa oli keskivirhe laskettu väärin. Tämä on syy, miksi nykyään analyyseihin käytetty koodi on tapana jakaa julkisesti: tutkijat voivat tietenkin aina kirjoittaa menetelmäosioissa toimineensa jollain tavalla, mutta varsinaisen arkan kuvan analyyseistä saa, kun käy läpi toistettavan analyysikoodin.

Virheitä tietenkin tapahtuu useinkin ja varmasti mistä tahansa tutkimuksesta joitain virheitä löytyy. Keskeinen kysymys onkin vaikuttavatko ne johtopäätöksiin. Tutkijaryhmän Hanna Ollilla kertoi minulle, että keskivirhelaskujen korjaamisen jälkeen heidän pääanalyysinsä tuottavat yhä merkitsevän tuloksen, eli virheen korjaus ei vaikuta tutkimuksen johtopäätöksiin. Preprintistä tullee lähitulevaisuudessa uusi versio, jossa virheet on korjattu.

Kolmas julkinen vertaisarviointi oli Markku Peltosen twiittiketju (ja englanniksi), jossa hän kommentoi tutkijaryhmän käyttämiä termejä. Perusajatus hänen kritiikkinsä taustalla oli, että kun tutkijat korjaavat meta-analyysissä eri tutkittujen ryhmien välisiä eroja, tämä pitää huomioida tulosten tarkastelussa ja siinä kuinka vahvoja johtopäätöksiä näiden pohjalta voi esittää - erityisesti siitä kuinka suurin hyöty oikean maailman tilanteessa maskeista on. Käsittääkseni tässä siis ei kritisoitu niinkään menetelmiä, vaan niistä vedettäviä johtopäätöksiä. (Kun itse kirjoitan vertaisarviointilausuntoja, kaikkein yleisin sisältö taitaakin olla, että nyt ovat johtopäätökset hieman pitkälle vietyjä.)

 

Julkisen vertaisarvioinnin hyvänä puolena on se, että arviointi tapahtuu mahdollisimman avoimesti. Kun tutkimuksen tulokset ovat merkittäviä ja kun tutkimusten tulosten perusteella tehdään kansalaisten elämään vaikuttavia päätöksiä, on hyvä myös nähdä tutkijoiden keskustelua aiheesta.

Julkisuuden huonona puolena on, että maallikon on vaikea hahmottaa sitä, kuinka merkittäviä kritiikit ovat. On vaikea tietää mikä kritiikki on kohtalokasta tuloksille ja mikä taas on hienovaraisempaa kritiikkiä. Lisäksi sosiaalisessa mediassa valitaan herkästi puolia: yleisesti ottaen eteenpäin jaetaan kritiikkejä, jotka vahvistavat omaa käsitystä, muttei jaeta kritiikkejä, jotka ovat omaa käsitystä vastaan. Laajempi konteksti katoaa tällöin helposti.

Lisäksi haastetta tuottaa vertaisarvioinnin lähtökohtainen hitaus. Monesti tutkimuksen tekijän ja vertaisarvioijan välillä kestää aikansa, että molemmin puolin ymmärretään, mitä toiset tarkoittavat. Esimerkiksi Peltosen twiiteistä lähti käyntiin paikoin hyvinkin omituinen keskustelu, jossa kesti aikansa, että osapuolet ymmärsivät mitä kukakin tarkoittaa.

Vastaavasti kritiikkiin vaaditaan vastausta saman tien. Hyvä esimerkki on alkuperäisen Summaryxin maskiselvityksen johtaneen Marjukka Mäkelän haastattelu Helsingin Sanomissa, kun tutkijaryhmän laskennallinen tutkimus oli juuri julkaistu. Tutkijaryhmän työ kesti pari kuukautta Summaryxin selvityksen julkistamisen jälkeen, mutta tämän jälkeen Mäkelää pyydettiin reagoimaan uuteen tutkimukseen muutamassa tunnissa. Mäkelän kommenteissa ei Helsingin Sanomien jutussa oikein ollut päätä eikä häntää, mikä ei yllätä, koska kommentteja vaadittiin niin nopeasti.

 

Mikä sitten avuksi? Miten julkinen tieteen vertaisarviointi voisi edistää yleistä ymmärrystä tieteestä ja tieteen prosesseista sekä tuottaa parempaa tietoa?

Ensinnäkin, tutkijoilta toivoisin laajempaa perspektiiviä tieteelliseen viestintään ja huomioimaan myös miten maallikot tulkitsevat vertaisarvioinnin. Maallikot ovat tässä hyvin laaja ryhmä, johon lasken myös keskeisiä päätöksentekijöitä, kuten lääkäreitä, viranomaisia tai poliitikkoja, jotka eivät tutkimuksen nyansseihin ehdi tai osaa paneutua. Tyypillisessä julkaisuprosessissa tapahtuvan vertaisarvioinnin rakenne toimii tähän oikeastaan hyvin: virheiden, puutteiden ja epäselvyyksien asettaminen kontekstiin on järkevää.

Jos tutkimuksesta löytää virheen, hyviin tapoihin kuuluu lisäksi sähköpostin lähettäminen itse tutkijoille. Tutkijat ovat kiireisiä ja harva heistä ehtii partioimaan Twitteristä omaan tutkimukseen kohdistuvaa kritiikkiä. Tällainen keskinäinen viestintä auttaa myös sulkemaan pois väärinymmärrykset. Tämä ei tietenkään sulje pois, etteikö epäilyksistään kerro myös julkisestikin: parasta julkisen keskustelun kannalta on, jos tutkijoiden välinen jäsennelty erimielisyys on helposti hahmotettavissa.

Toiseksi, yleisön kannattaa pitää tutkijoiden välistä keskustelua seuratessa pää kylmänä. Keskustelu tutkimuksista ei ole pikasprintti vaan maraton. Tutkimuksen kritiikin muotoilu, ymmärtäminen ja vastaaminen on rauhallista puuhaa, jossa ei kannata hätäillä. Se, ettei kritiikkiin heti vastata, ei välttämättä kerro mistään muusta mitään kuin, että tutkijat ottavat vakavasti kritiikin ja harkitsevat sitä tarkkaan.

Hyvä julkinen kritiikki on myös sellaista, että maallikotkin ymmärtävät kuin merkittävää kritiikki on. Jos et ihan ymmärrä, mikä kritiikin sisältö on, sitä ei välttämättä kannata jakaa eteenpäin. Tällaisissa tapauksissa voi esimerkiksi kysyä, että mitä kritiikki käytännössä tarkoittaa.

Kolmanneksi, medialla on hyvä asema luoda järkevää kokonaiskuvaa tutkimuksesta. Tähän liiittyy niin asianosaisten haastattelu kuin täysin tutkimuksen ulkopuolisten asiantuntijoidenkin haastattelu. He voivat luoda kontekstia siitä, mihin tutkimus asettuu tieteen kokonaisuudessa.

Kätevintä näissä ohjeissa on, että ne toimivat niin preprintteinä julkaistuihin tutkimuksiin, selvityksiin kuin jo julkaisusarjoihin vertaisarvioituihin julkaisuihinkin! 

 

Kommentit (0)

Sisältö jatkuu mainoksen alla
Sisältö jatkuu mainoksen alla
Seuraa 

Kaiken takana on loinen

Tuomas Aivelo on ekologian ja evoluutiobiologian tutkijatohtori Helsingin yliopistossa. Hän karkaa arjestaan tutkimaan Helsingin viemärirottia, punkkeja ja metsämyyriä Alpeille, pohtimaan biologian oppimista tai ihan vain ihastelemaan loisia.

Teemat

Hae blogista

Blogiarkisto

2018
2017
Heinäkuu
2016
2015
2014