Lienee yleinen uskomus, että tieteellisissä ammattilehdissä julkaistut artikkelit pitävät paikkansa, tai ovat ainakin vakavasti otettavia kannanottoja. Todellisuudessa virheellisten artikkeleiden julkaiseminen on kuitenkin aivan tavallista.

Eräs tieteellisten julkaisujen luotettavuutta edistävä seikka on se, että artikkelit käyvät läpi peer review'n (joka kenties suomentuu vertaisarvioinniksi). Kun artikkelia on tarjottu johonkin lehteen, vastaava editori lähettää sen yhdelle tai useammalle alan tutkijalle, joita kutsutaan nimellä referee. Refereet kirjoittavat lyhyen arvion artikkelista ja antavat tuomionsa siitä, pitäisikö se julkaista. He voivat myös ehdottaa -tai vaatia- muutoksia artikkeliin mielensä mukaan. Yleensä editori noudattaa refereiden suosituksia.

Refereen tehtävänä ei kuitenkaan ole artikkelin paikkansapitävyyden takaaminen. Syynin alla on sen sijaan se, onko artikkeli kirjoitettu tieteellisen yhteisön tyylivaatimusten mukaisesti ja sosiaalisia sääntöjä noudattaen, onko työ asetettu oikeaan viitekehykseen (erityisesti onko aiempiin julkaisuihin viitattu asianmukaisesti) ja onko siinä ilmeisiä virheitä.

Referee suomentuisi erotuomariksi, ja olisi lohdullista ajatella, että artikkeleita arvioi joku puolueeton asiantuntija, jonka suositus perustuu faktojen täydelliseen ymmärtämiseen. Valitettavasti (tai pikemminkin välttämättä) refereet eivät kuitenkaan ole sen tietäväisempiä kuin muut tutkijat, vaan aivan samaa ryhmää. Koska artikkelin kirjoittaja on yleensä aiheen asiantuntija, ei referee usein pysty kirjoittajaa pätevämmin sanomaan, mikä on oikein ja mikä väärin. Joskus monimutkaisten laskujen tarkistamisesta olisi myös lähes yhtä paljon vaivaa kuin alkuperäisen artikkelin kirjoittamisesta.

Huolellisesti toteutettuna peer review ainakin karsisi selkeästi virheelliset artikkelit. Käytännössä refereeraporttien laatu on hyvin vaihteleva, koska niiden kirjoittaminen on tutkijan tärkeysjärjestyksen häntäpäässä.

Tutkimuksen tekeminen on mielihalu, rahoituksen ja paikkojen hankkiminen on elinehto, opetuksesta ja hallinnollisista tehtävistä on vastuussa yliopistolle, mutta refereeraportteja kirjoitetaan vain lehden editorille. Refereet ovat anonyymejä (mikä sekin kertonee jotain tiedeyhteisöstä), joten maine ei kärsi huolimattomista raporteista. Puuhasta ei myöskään yleensä saa minkäänlaista palkkiota eikä juurikaan meriittejä. On siis korkeintaan moraalinen kannustin aikaavievän huolellisen arvion tekemiseen houkuttelevan pikaraportin sijaan.

Toimiessani refereenä olen huomannut, että kahden refereen raportit ovat usein eri mieltä, jopa toisilleen vastakkaisia - tyypillisesti siksi että toinen niistä on tehty hutaisten. Kokemukseni toiselta puolelta on sen sijaan melko positiivinen. Pääasiallinen tutkimusaiheeni, rakenteiden muodostumisen vaikutus maailmankaikkauden laajenemiseen, on kiistanalainen, mutta valtaosa saamistani refereeraporteista on ollut asiantuntevia - tai ainakin julkaisua puoltavia, mikä on kirjoittajan kannalta ainoa tärkeä seikka.

Onkin ennemmin hyve kuin puute, että peer review päästää läpi virheellisiä artikkeleita sen sijaan, että estäisi paikkansapitävien artikkelien julkaisun. Kiistanalaisten tulosten oikeellisuuden voi selvittää vain tieteellisen keskustelun ja tutkimuksen kautta - ei ole mitään auktoriteettia, jolla olisi kaikki vastaukset, eikä kenellekään muutamalle henkilölle sovi antaa valtaa määrätä siitä, mitkä puheenvuorot sallitaan. (Nykyään tosin artikkeleita ei enää lueta lehdistä, vaan suoraan netistä, riippumatta siitä, onko ne julkaistu vai ei. Lehdet siis toimivat lähinnä laadun takeena, eivät kommunikaatiokanavana - tästä kenties lisää joskus myöhemmin.)

Peer review karsii pseudotieteen -tai oikeammin täystietämättömyyden- sekä ilmeisimmät virheellisyydet. Tämä tekee hiukkaskosmologian lehdistä luotettavampia kuin vaikkapa sanomalehdet tai populaarit julkaisut, mutta se on vielä kaukana täydellisestä paikkansapitävyydestä. Voi Churchillia mukaillen sanoa, että peer review on huonoin systeemi artikkelien laadun takaamiseksi, lukuunottamatta kaikkia muita tähänastisia vaihtoehtoja.

Kommentit (7)

Paula

Hyvä kysymys, kiitos!

Oletko muuten lukenut Marcia Angellin kirjaa? Se tosin täytyy tilata ensin kirjakauppaan, mutta saa sitten ihan itse lukea. Käännöstä tuskin tuleekaan... Vai tuleeko?

Juoppo

Kovin epäsäännöllisesti blogiasi päivittelet. Siitä huolimatta tulee mukava fiilis, kun huomaa että jotain uutta on ilmestynyt. Onko muuten aihe vaikea keksiä, mistä kirjoittelisi vai eikö vain aina kerkeä?

Syksy Räsänen

Juoppo:

Kirjoitan kahdesti kuussa. Tarkoituksenani on kirjoittaa yksi merkintä kuun alkupuolella ja yksi loppupuolella, mutta toisinaan (niin kuin nyt) molemmat jäävät loppupuolelle. (Deadlinet auttavat aina aiheiden keksimisessä.)

Hedelmien jälleenmyyntiarvo - ...

[...] edellisessä merkinnässä, että (ainakaan hiukkaskosmologiassa) tieteellisiä artikkeleita ei enää lueta lehdistä, vaan [...]

Kauas puusta pudonneet - blogi...

[...] tulosten levittäminen ja niiden laadun parantaminen, ja lehtien julkaiseminen ja artikkelien arvioiminen ovat tapoja tämän saavuttamiseen. Kustantamoyritysten motiivina on voittojen maksimointi ja [...]

Kiekkoja ja palloja - blogit -...

[...] refereenä on toiminut Chris Flynn Tuorlan observatoriosta ja kuulemani mukaan referointiprosessi on ollut [...]

Seuraa 

Maailmankaikkeutta etsimässä

Blogin päivittäminen on päättynyt.

Syksy Räsänen on teoreettinen fyysikko Helsingin yliopistossa. Syksy kirjoittaa kosmologiasta, hiukkasfysiikasta ja niiden tekemisestä, tai ainakin asioista sinne päin.

Teemat

Blogiarkisto