Kuva: Vmenkov / Wikimedia Commons

 

Tutkijoiden työn arviointi on vaikeaa. Kaikkien mielestä se on kuitenkin tärkeää: yliopistojen pitää osata valita oikea ihminen professuuriin, tutkimuksen rahoittajien pitää päättää kuka ansaitsee yhä vähenevät tutkimusrahoituksen pennoset. Valtio haluaa ohjata rahoitusta erityisesti tuloksellisille yliopistoille. Eipä yksittäinen tutkijakaan siitä pahastuisi, että hänellä olisi mittarit, jotka ohjaisivat hänen toimintaansa parempaan suuntaan ja viitoittaisivat urakehitystä.

Yliopistot saavat rahoituksestaan 13 % julkaisujen perusteella. Tähän asti on painotettu määrää, mutta tulevaisuudessa myös laatu otetaan huomioon. Niinpä valtiovalta ja tieteelliset seurat polkaisivat pystyyn Julkaisufoorumin, ystävien kesken Jufo. Julkaisufoorumi luokittelee kaikki julkaisusarjat sekä myös esimerkiksi kirjakustantajat tasoihin 0-3. Julkaisujen perusteella jaetaan vuodesta 2017 rahoja niin, että luokan 0 julkaisun painoarvo on 0,1, luokan 1 painoarvo 1, luokan 2 on 3 ja luokan 3 on 4. Idea on selkeä: mitä enemmän yliopisto julkaisee ja mitä korkeammin luokitelluissa julkaisuissa, sitä enemmän rahaa. (Kyseessä on tietenkin nollasummapeli: muut yliopistot sitten saavat vähemmän rahaa.) Julkaisufoorumilla on 23 paneelia, jotka kattavat eri tieteen alat ja näiden paneelien jäsenet vastaavat lehtien luokittelusta eri tasoihin.

 

Yksittäisen tutkimuksen laatua ei pysty arvioimaan julkaisusarjan mukaan, koska mukana on aina parempia ja huonompia tutkimuksia. Silti luokittelussa on sinänsä järkeä: korkeammin luokitellut julkaisusarjat yleensä saavat enemmän viittauksia ja oletettavasti vaikuttavuus tutkimusyhteisössä on suurempi. Julkaisufoorumi-luokitus toimii välillisesti vaikuttavuuden mittana, etenkin kun arvioitava julkaisumäärä on suuri.

Harmi ettei Jufo oikeasti toimi. Lehtien julkaisumäärät ovat hyvin erilaisia: jossain sarjassa julkaistaan ehkä joitain kymmeniä lehtiä, toisissa kymmeniä tuhansia lehtiä. Tätä huomiodakseen Jufossa eri tasoilla olevien lehtien määrää on rajoitettu niin että tasolla 2 olevien lehtien julkaisuvolyymi saa olla enintään 20% ykköstason lehtien volyymistä. Vastaavasti tasolla 3 saa olla enintään 25% tason 2 volyymistä. Eli suomeksi: se kuinka monta artikkelia lehti julkaisee vuodessa vaikuttaa siihen, kuinka monta lehteä tasolle mahtuu.

Uusin trendi, etenkin luonnontieteiden alalla, ovat megajulkaisusarjat (megajournals). Ne ovat open access -lehtiä – eli tutkimus on kaikkien luettavissa ilmaiseksi – ja ne julkaisevat kaiken kelvon tutkimuksen, joka niille lähetetään. Etenkin korkealle luokitellut perinteiset julkaisusarjat karsivat merkittävän osan tutkimusartikkeleista pois sen perusteella kuinka kiinnostavaksi tutkimus koetaan. Uudet megajulkaisusarjat eivät näin tee. Tästä on tietenkin yksi selkeä seuraus: julkaisusarjan taso ei kerro käytännössä mitään julkaisusarjassa julkaistusta yksittäisestä tutkimuksesta. Mukana on helmiä ja huteja. Tällöin myös lehden Jufo-luokitus on entistä hatarammalla pohjalla.

 

Julkaisufoorumia on haukuttu jo pitkään eri näkökulmista. En ole luokitteluun tarkemmin perehtynyt, koska - Luojan kiitos - omalla alallani siitä ei välitetä. Tutkijoiden ammattitaitoon kuuluu osata lähettää tutkimuksensa niihin julkaisuihin, jotka ovat soveliaimpia.

Mielenkiinnosta selasin, miten omalla alallani on jufoluokiteltu julkaisuja. Pääosin lista näytti järkevältä, mutta yhden julkaisusarjan sijoittaminen korkeimmalle kolmostasolle hämmensi. Lehti on hyvin selkeästi yhden tutkimussuuntauksen äänenkannattaja ja viittausmetriikan mukaan julkaisusarjan julkaisut viittaavat lähinnä muihin saman tutkimustavan julkaisuihin, eikä niinkään muihin biologian aloihin. Kyseessä ei ole missään nimessä huono lehti, ja sen impact factor – siis se kuinka paljon lehdessä julkaistuihin tutkimusartikkeleihin viitataan – on kunnioitettava. On kuitenkin vaikeaa nähdä miten lehti täyttäisi tason 3 kriteerin ”kattaa omaa tieteenalaansa laajasti, eikä rajoitu kapean erikoistematiikan käsittelyyn”.

Miksi tällainen niche-julkaisu on sitten noussut ylimmälle tasolle? Huomasin, että lehti on noussut tänä vuonna kolmostasolle – tähän mennessä se oli sijoitettu kakkostasolle. Kappas, juuri viime vuonna arviointipaneeliin oli nimitetty uudet jäsenet ja – ohhoh – uudessa paneelissa on mukana tutkija, joka on kyseisen lehden vanha päätoimittaja ja lehteä julkaisevan yhdistyksen entinen puheenjohtaja.

Kysyin Julkaisufoorumilta, miten esteellisyydet on otettu huomioon.  Vastaus: ei ole.

Yliopistojen rahoituksesta siis 13 % määräytyy arviontikriteerien perusteella, jotka ovat osittain subjektiivisia, ilman että on huomioitu mahdollisia arvioitsijoiden esteellisyyksiä. Jännä.  

Kyseessä ei ole varmastikaan ainoa esimerkki: kokeneilla tutkijoilla varmasti on kokemusta useamman lehden toimittajana toimimisesta – tämähän on yksi keskeisiä tutkijan työn puolia.

Kuten olen aiemminkin sanonut, ongelma ei ole siinä, että tutkijoilla on monenlaisia sidonnaisuuksia. Päinvastoin, kukapa onkaan parempi arvioimaan julkaisusarjoja kuin ihmiset, jotka ovat uurastaneet tieteellisen julkaisemisen eri puolilla pitkään ja hartaasti. Silloin pitää myös nähdä vaivaa sidonnaisuuksien merkityksen minimoimiseen.

 

Julkaisufoorumi on työläs prosessi, joka tuottaa ”vähän sinnepäin” metriikkaa, joka on herkkä subjektiivisille päätöksille. Lisäksi se ei voi mitenkään toimia yksittäisen tutkijan apuna. Keskeinen kysymys kuuluukin: onko Julkaisufoorumi-projekti järkevä tapa päättää rahan jakamisesta?

Jos halutaan mitata tutkimuksen vaikuttavuutta tiedeyhteisössä, miksei saman tien seurata julkaisujen saamien viittausten määriä? Suoraviivaista tämäkään ei ole, koska eri tieteenalojen välillä on eroja ja näitä pitää normalisoida. Säännöllisten tiedealakohtaisten laajojen ulkopuolisten asiantuntijoiden arvioiden mukaan nämä voisivat hyvinkin ohjata tutkimusrahoitusta järkevästi.

Kommentit (1)

Jufo 3 on räppäri

Tähtitieteen lehtien luokitus näyttää ainakin Julkaisufoorumi-sivuston perusteella olevan jokseenkin järjetön: Astronomy & Astrophysics (3), Astrophysical Journal (2) ja Monthtly Notices of the Royal Astronomical Society (1). Käsittääkseni nuo kaikki ovat olleet tutkijoiden itsensä arvostuslistalla suunnilleen samalla viivalla, mitä tukevat impact factoritkin: 4.378, 5.993 ja 5.107. Tässä verrataan siis saman alan lehtiä ilman mitään komiteoita.

Seuraa 

Kaiken takana on loinen

Tuomas Aivelo on ekologian ja evoluutiobiologian tutkijatohtori Helsingin yliopistossa. Hän karkaa arjestaan tutkimaan Helsingin viemärirottia, punkkeja ja metsämyyriä Alpeille, pohtimaan biologian oppimista tai ihan vain ihastelemaan loisia.

Teemat

Blogiarkisto

2017
Heinäkuu
2016
2015
2014