Tutkijat ja tiedetoimittajat ovat toistaneet toistamasta päästyään, että tieteessä vain vertaisarvioituja tutkimusartikkeleita voi pitää vakavasti otettavina. Menettelystä käytetään ilmastodenialistien piirissä joskus pilkkanimeä "kaveriarviointi", vaikka oikea nimitys ehkä olisi "kilpailija-arviointi". Tutkijat ovat ihmisiä kaikkine raadollisine piirteineen. Siksi ainakin teoriassa kilpailija-arvioinnin pitäisi olla yksi parhaista tieteellisen laadunvarmistuksen menetelmistä. Jos tutkijoiden pyyteettömään moraaliin ei voi luottaa, kai sitten edes heidän kilpailijoidensa raadolliseen haluun kampittaa kollegansa työ?

Tietysti osa tuloksista julkaistaan joissakin olosuhteissa jo ennen vertaisarvioidun tutkimusartikkelin julkaisemista. Vertaisarviointi ei tietenkään ole tieteellisen löydöksen välttämätön ehto.

Toisaalta koko vertaisarvioinnin idea on, että saadaan tutkimuslöydös riiittävän laadukkaana julkaistua, jotta sitten muut alan tutkijat pääsevät testaamaan, toistuuko löydös. Ensimmäinen paperi on vasta alkua.

Yksi suurimmista tiedehuijauksista sinä aikana kun itse olen tiedeuutisia kirjoittanut, oli tapaus Hwang Woo-suk. Läpimurto alkiokantasoluviljelmän saamisesta kloonatusta solusta julkaistiin vuonna 2004 Seattlessa yhdysvaltain tiedeviikolla, jossa löydös sai niin suuren tiedejournalistien huomion kuin oikeastaan on missään mahdollista. Kirjoitin kritiikittömän jutun Hesariin niin suurella otsikolla kuin mahdollista, koska mitäpä tuota epäilemään. Hwangin paperin julkaisi Science, jonka julkaisija on myös yhdysvaltain tiedeviikon järjestäjä. Ei tiedeyhteisössä juuri mitään luotettavampaakaan ole.

Sen kerran Sciencen vertaisarvio oli mennyt metsään. Kaksi vuotta myöhemmin suurin osa Hwangin kantasolutöistä osoittautui huijauksiksi. Tiedeviikolla 2006 St. Louisissa Sciencen päätoimittaja Donald Kennedy oli nöyrää poikaa.

Kyse oli siis muutamasta paperista. Tiedeyhteisö tunnisti ne huijauksiksi alle kahdessa vuodessa. Vaikka vertaisarvioinnin seula ei ole täydellinen, se on riittävä. Hwangin tapauksen kaltaiset vilpit ovat erittäin harvinaisia. Jos nyt sitten meni populaarikin tiedejournalismi metsään, niin mentiinpä ainakin hyvässä seurassa.

Hyviä esimerkkejä siitä, että vertaisarvoimattomiin papereihin ei pidä luottaa, on surullisen kuuluisa IPCC:n raporttiin päätynyt väite Himalajan jäätiköiden sulamisesta jo lähivuosikymmeninä. Kyse ei ollut vertaisarvioidusta tutkimuksesta. Se horjutti hiukan IPCC:n uskottavuutta, mutta ei vähänkään ilmastotutkimuksen luotettavuutta. Eivätkös ne tätä juuri ole sanoneet! Älkää luottako muuhun kuin vertaisarvioituun, "laatuvarmistettuun" tieteeseen!

Pääsin tai jouduin itse tammikuussa tilanteeseen, jossa vertaisarvioimaton tutkimus oli tarjolla tiedeuutiseksi. Science-lehteä julkaisevan AAASin ylläpitämä EurekAlert!-uutispalvelu julkaisi akkreditoituneille tiedetoimittajille tarkoitetussa suljetussa palvelussaan sellaisenaan lehdistötiedotteen, jonka mukaan planeetta lämpenisi 2,4 asteella jo vuoteen 2020 mennessä.

Väite kuulosti epäuskottavalta. Kirjoittaisinko siitä kuitenkin uutisen tiede.fi:hin? Olihan se sentään AAAS:n lehdistöpalvelussa.

Päätin olla kirjoittamatta, koska kyse oli kansalaisjärjestön väitteestä, jota ei ollut julkaistu missään vertaisarvioidussa tiedelehdessä. Päätös oli oikea. Brittilehti Guardian osoitti väitteen hölynpölyksi, ja EurekAlert! veti sen pois palvelustaan. Sen oli kuitenkin ehtinyt uutisoida esimerkiksi ranskalainen uutistoimisto AFP, muuan kanadalainen televisioyhtiö sekä sanomalehti Vancouver Sun.

Vertaisarviointi ei ole täydellinen laadunvarmistusmenetelmä. Kokemuksen valossa se näyttää kuitenkin riittävältä tavallisen tiedetoimittajan tarpeisiin. Jos sitä ei ole vertaisarvioitu - suhtaudu hyvin kriittisesti. Jos se on vertaisarvioitu - on pieni todennäköisyys että olet väärässä. Mutta silloinkin olet väärässä ainakin tosi hyvässä seurassa.

Kommentit (8)

Kari

Joo, ihan samaa mieltä.

Lisäisin vielä, että vertaisarviointi ei ole on-off, vaan jatkumo. Tieteellisiä aikakauslehtiä on aika paljon (vähintäänkin tuhansia), ja vertaisarvioinnin taso vaihtelee tiukasta ja konservatiivisesta olemattomaan.

Vertaisarviointi myös hidastaa todella uusien löytöjen pääsyä laajempaan tietoisuuteen - koska ne torjutaan - mutta ei varmaankaan pysyvästi.

Marko Hamilo

Totta. Science on jatkumon toisessa ääripäässä. Siksi se Hwang olikin niin hurja case.

ot

Olen omiin opintoihini liittyen lukenut viime aikoina paljon kuntoutus- ja terveysalan (ja lääketieteen) tutkimuksen luotettavuuteen liittyvää kirjallisuutta. Tästä aiheesta voisi saada hyvän jutun aikaiseksi, jos aiheesta ei ole vielä kirjoitettu tiede-lehdessä. Terveyteen liittyvästä tutkimuksesta kerrotaan uutisissa nykyään joka harvasen päivä eikä juuri koskaan hirveän kriittisesti.

John Ioannidis on tutkinut asiaa paljon. Jos aihe kiinnostaa, kannattaa tutustua ainakin JAMA:ssa julkaistuun yli 1000 kertaa siteerattujen lääketieteen alan artikkeleiden "luotettavuutta" käsittelevään tutkimukseen(pdf) ja Plos Medicine:ssa julkaistuun esseeseen, Why Most Published Research Findings Are False. Molemmat ovat vuodelta 2005.

tiedemies

Vertaisarviointi on paras tunnettu laadunvarmistuksen keino, jonka komponentteina ovat ihmiset. On sekin altis kaikenlaisille ongelmille. Itse tarjosin paperia teorialehteen, jonka scope on laaja, ja joka julkaisee lyhyitä artikkeleita, muka nopealla arvioinnilla. Editorilla meni puoli vuotta että löysi kaksi arvioijaa, joista toinen ei antanut mitään arviota ja toinen ei lukenut paperia vaan kirjoitti täysin päättömän lausunnon, jossa väitettiin esimerkiksi paperissa viitatun johonkin sellaiseen lähteeseen, jota siinä ei edes mainittu, ja jossa oli pahoja loogisia virheitä.

Siis: vertaisarviointia tekevät ihmiset, ja ihmiset erehtyvät.

Sähis

Viestini menee hieman tästä kirjoituksesta ohi. Ei valittamista tekstistä tälläkään kertaa.

Kirjoitit Hamilo pari kuukautta takaperin valheenpaljastuskokeista, joissa kävit. Artkikkeli oli hyvä, mutta nyt olisi siihen pientä lisätietoa maailmalla tarjolla.

Usassa on julkaistu tutkimus muistireaktioon perustuvan valheenpaljastuksen epäluotettavuudesta. Ymmärtääkseni tutkimus on julkaistu Neuroimage lehdessä. Tässä tutkittiin tosin magneettikuvauksella havaittavia reaktioita, joten en ole täysin varma, voiko näitä johtopäätöksiä käyttää siihen kokeeseen, mitä Suomessa käytetään.

Olisi mielenkiintoista kuulla mielipiteesi tästä tutkimuksesta.

Ben Goldacre blogaus tästä ja yhdestä toisesta hauskasta tutkimuksesta (linkkeineen):
http://www.badscience.net/2011/02/youre-ooonly-cheating-yourself/

Ja itse tutkimuksen löydät täältä (linkkihirviö):
Lying in the scanner: Covert countermeasures disrupt deception detection by functional magnetic resonance imaging

http://www.sciencedirect.com/science?_ob=ArticleURL&_udi=B6WNP-51J9DKK-1...

Marko Hamilo

En osaa kommentoida tuota valheenpaljastusta muuten kuin että ne fysiologiset reaktiot orientaatiorefleksistä, jotka löytyvät ihon sähkönjohtavuudesta, ovat ymmärtääkseni ihan riittäviä, eikä neurokuvantaminen tuo juuri lisäarvoa. Pointti on muotoilla kysymykset taitavasti ja kerätä riittävästi tietoa rikospaikalta. Omat huijausyritykseni eivät onnistuneet kovinkaan hyvin.

jproos

Vertaisarviointi toimii kuitenkin kohtuullisesti luonnontieteissä, mutta yhteiskuntatieteissä ongelmana on klikkiytyminen. Jos joku porukka saa perustettua tutkimussuuntauksen joka on täysin huuhaata (esimerkiksi surullisenkuuluisa STS eli science technology studies) niin vertaisarviointi eli samanmielisten kollegojen arviointi päästää artikkelin läpi ilman ongelmia. Sokal-huijaus oli tästä myös vitsikäs esimerkki. Tälle ei oikein mahda mitään kun ei ole yhtesmitallisia arviointikriteerejä

PerttuK

Kiitos Marko, kiinnostava aihe blogikirjoitukselle tiedetoimittajan näkökulmasta.
Käytännönläheistä. Kun tein tutkimustyötä, itselleni tuli yllätyksenä kuinka huonosti meta-analyysit pitivät paikkaansa siteeratessaan alkuperäistutkimuksia - outoja, heikoti perusteltuja, jopa keksityn näköisiä viittauksia. Eli alkuperäistutkimuksissa kerrotaan esim. tietyn tulehdusvälittäjäaineen aiheuttavan tilastollisesti merkityksettömän vasteen tutkituissa soluissa, mutta meta-analyysissä esitetään selvä linkki proteiiniekspressioon.

Seuraa 

Skeptikon päiväkirja

Blogin päivittäminen on päättynyt.

Marko Hamilo on vapaa toimittaja ja Tiede-lehden vakituinen avustaja. Hamilo ei usko homeopatiaan eikä psykoanalyysiin, eikä aina aamun sanomalehteenkään.

Teemat

Hae blogista

Blogiarkisto

2010
2009