Olen aiemmin kirjoittanut tieteellisen kustantamisen ongelmista. Pelin säännöt ovat sellaiset, että tutkijat antavat työnsä hedelmät eli artikkelit ilmaiseksi kustantajille, jotka sitten myyvät ne takaisin tutkijoiden instituuteille, usein kohtuuttomaan hintaan. Osa kustantajista on tieteellisiä yhteisöjä, joiden hinnat ovat hillitympiä, mutta isoilla yrityksillä on keskeinen rooli, ja ne korottavat hintoja jatkuvasti. Ongelma on pahentunut ainakin 90-luvulta asti ja nykyään edes Harvardin yliopistolla ei ole varaa hankkia tarpeellisia tieteellisiä julkaisuja.

Lääkkeeksi on tarjottu ns. open access -mallia, jossa artikkelit ovat ilmaiseksi luettavissa. Jos artikkelin julkaisee kaupallinen kustantaja, sille pitää maksaa siitä, että artikkeli on kaikkien ilmaiseksi saatavilla. On keskusteltu paljon siitä, kuka maksun suorittaa: tutkija omista apurahoistaan, tutkijan oma laitos, yliopisto tai tutkimuslaitos vai kirjastot. Tämä kysymys on kuitenkin toissijainen. Riippumatta siitä, minkä hallinnollisten elinten kautta eurot kierrätetään, lopputulos on sama: tieteeseen käytetty raha vähenee ja suuryritysten voitot kasvavat.

Open accessin edistämistä hiukkasfysiikassa ajaa yhteishanke nimeltä SCOAP3(Sponsoring Consortium for Open Access Publishing in Particle Physics), jossa on mukana hiukkasfysiikan laboratorioita ja rahoittajia sekä kansallisia ja kansainvälisiä kirjastoja. Suomenkin kansallinen elektroninen kirjasto on SCOAP3:n jäsen. Viime vuoden syyskuussa SCOAP3ilmoitti solmineensa kustantajien kanssa sopimuksen, jonka mukaan se maksaa kustantajille hiukkasfysiikan artikkelien julkaisemisesta ja nämä vastineeksi laittavat artikkelit ilmaiseksi saataville. Maksut alkavat vuoden 2014 alusta ja niiden suuruus vaihtelee lehdestä riippuen, mutta ne ovat noin 1 000 euroa per artikkeli. Projekti kattaa suuren osan alan kustantajista, ja sen arvioidaan maksavan noin kymmenen miljoonaa euroa vuodessa.

Tietääkseni hiukkasfysiikka on ensimmäinen ala, jossa ollaan toteuttamassa näin kattavaa open access -projektia. Hiukkasfyysikot ovatkin edelläkävijöitä open accessin saralla, mutta juuri siksi SCOAP3:n sopimus on tarpeeton, tai oikeastaan vahingollinen.

Kaikki hiukkasfysiikan tutkimus julkaistaan vuodesta 1991 toimineessa nettiarkisto arXivissa, ja artikkelien laittaminen sinne ja lukeminen sieltä on ilmaista. Mikään julkaisukanava tai arkisto ei pyöri ilman rahaa, mutta arXivin kustannukset ovat vähäiset verrattuna perinteisiin julkaisuihin. arXiv julkaisee vuodessa noin 85 000 artikkelia, ja sen kokonaisbudjetti on noin 800 000 dollaria, siis vajaa 10 dollaria per julkaisu. Vapaaehtoinen jäsenmaksu instituuteille on 1500-3000 dollaria vuodessa, riippuen siitä kuinka paljon instituutista luetaan arXivin artikkeleita. Kyse on siis aivan eri suuruusluokan summista kuin perinteisten kustantajien tapauksessa.

arXiv karsii sellaiset artikkelit, jotka se katsoo ilmeisen epätieteellisiksi, mutta varsinaisesta vertaisarvioinnista ei ole kyse. Vertaisarviointi onkin ainoa perinteisten julkaisujen tarjoama tarpeellinen palvelu, mutta sen voisi hoitaa ilman niitä tai ainakin paljon halvemmalla. Kustantajat varmaankin tietävät että heidän tuotteensa on yhä tarpeettomampi, joten he lienevät hyvin tyytyväisiä SCOAP3:in hankkeesta, joka antaa nykyiselle ansiomallille tekohengitystä.

Erityisen huojentava SCOAP3:n projekti on kustantajille siksi, että raha maksetaan keskitetysti. Jos kukin tutkija itse päättäisi siitä, uhratako yli tuhat euroa per julkaisu jotta saisi lehden laittamaan ilmaiseksi saataville artikkelin, joka on ilmaiseksi luettavissa muutenkin, niin valtaosa epäilyttä käyttäisi rahan mieluummin tutkimuksen edistämiseen. Esimerkiksi Fysiikan tutkimuslaitoksen tutkijat julkaisevat noin 250 artikkelia vuodessa, mikä tekisi noin 300 000 euroa. Tällä summalla palkkaisi kuusi täysipäiväistä tutkijaa. Mutta SCOAP3:n järjestelmässä yksittäisillä tieteilijöillä ei ole mahdollisuutta vaikuttaa siihen, että aina kun he julkaisevat artikkelin lehdessä, niin ehtyvistä julkisista varoista siirtyy rahaa kustantajan tilille.

Taloudellisesti malli on varsin omalaatuinen. Kustantajat eivät myy artikkeleita lukijoille, vaan SCOAP3:lle, joka ostaa kaiken mitä he tuottavat lukumäärästä ja laadusta riippumatta, kiinteään hintaan. (Kustantajien saamille maksuille on kyllä asetettu vuosittainen yläraja.) Useimmilla aloilla yritykset voivat vain unelmoida tällaisesta tilanteesta. Järjestelmä kannustaa kustantajia julkaisemaan mahdollisimman paljon sisällöstä välittämättä, koska rahantulo ei riipu siitä, haluaako kukaan lukea julkaistuja artikkeleita. Kaupallisten kustantajien etiikassa on tällä saralla jo ollut vakavia ongelmia. Mutta rahoitusmalli houkuttelee fyysikoiden yhteisöjen julkaisemia epäkaupallisia lehtiäkin tekemään rahaa roskalla.

On surullista, että Journal of High Energy Physics (JHEP), jonka hiukkasfyysikot perustivat vuonna 1997 vaihtoehdoksi kaupallisille lehdille on nykyään suuryrityksen tallissa ja osallistuu SCOAP3:n hankkeeseen hintaan 1200 euroa per artikkeli. Toisaalta Journal of Cosmology and Astroparticle Physics, joka oli aikoinaan JHEPin sisarlehti ja joka on vieläkin voittoa tavoittelemattomien yhteisöjen julkaisema, saa SCOAP3:lta eniten rahaa artikkelia kohden, 1400 Britannian puntaa.

Tieteellinen julkaiseminen ja tiedonvälitys käyvät läpi vallankumousta, ja hiukkasfyysikoiden yhteisö on ollut sen eturintamassa. World Wide Web kehitettiin CERNissä, ja arXiv syntyi helpottamaan hiukkasfysiikan artikkeleiden jakamista ennen niiden julkaisemista. SCOAP3:n projekti, jossa suojataan perinteisiä lehtiä teknologian kehitykseltä, on hiukkasfyysikoille askel väärään suuntaan. Tieteellisen tiedon avoin saatavuus on toki muidenkin kuin fyysikoiden huolenaihe, ja vallankumouksilla on marttyyrinsä, kuten Aaron Swartz, joka teki tammikuussa itsemurhan Yhdysvaltain oikeuslaitoksen vaadittua häntä kymmeniksi vuosiksi vankilaan. Swartz oli ladannut miljoonia tieteellisiä artikkeleita koneelleen ja häntä syytettiin aikeista laittaa ne julkiseen levitykseen ilman lupaa. Kohtuuttomien rangaistusvaateiden taustalla tosin oli luultavasti myös Swartzin toiminta sananvapauden ja kansalaisoikeuksien puolesta.

Ei ole valmista mallia sille, miten vertaisarviointi hoidettaisiin ilman perinteisiä lehtiä. On mahdollista, että joidenkin toimintojen ulkoistaminen tiedeyhteisöstä kaupallisille kustantajille voi olla hyödyllistä. Mutta lähtökohtana pitää olla tiedeyhteisön tarpeet, ei kaupallisten kustantajien voittomarginaali tai kiintymys vanhentuneisiin käytäntöihin, jotka on kehitetty ennen internetiä.

Yksi mahdollisuus on arXivia hyödyntävä verkkolehti, jonka ainoa tehtävä on vertaisarviointi ja jonka vaatimattomat kustannukset katetaan arXivin tapaan instituuttien pienillä vapaaehtoisilla jäsenmaksuilla, ja alkuvaiheessa apurahoilla. Muitakin harkitsemisen arvoisia vaihtoehtoja voi olla, mutta perinteiset lehdet ovat tiensä päässä, alojen välisiä julkaisuja kuten Naturea ja Scienceä kenties lukuun ottamatta. Varmaa on, että tieteellisen julkaisemisen muutos jatkuu ja murto-osalla SCOAP3:n miljoonista euroista olisi mahdollista rahoittaa toimiva ratkaisu hiukkasfysiikassa ja läheisillä aloilla, ja luoda malleja muillekin aloille.

Päivitys (06/03/13): Blogimerkinnän johdosta minut kutsuttiin esittämään puheenvuoro Opetus- ja kulttuuriministeriön Tutkimuksen tietoaineistot -hankkeen keskustelutilaisuudessa. Minun ja muiden puhujien (mm. Helsingin yliopiston kanslerin, Suomen Akatemian ylijohtajan ja OKM:n opetusneuvoksen) esitykset löytyvät tilaisuuden sivuilta.

Kommentit (41)

Vapaan kaupan ainoa arvo on raha

Huikeista hintaeroista ja kansallisista, julkisista kirjoista putkahti mieleen, että eikö verovaroin ylläpidettyjen julkisien laitosten, esim. kirjastojen, kuuluu kilpailuttaa hankintansa? Eikö kilpailutus koskekaan kaikkien valtion tai kuntien laitosten kaikkia hankintoja? Eikö talkoohenkistä ilmaispalvelua voi kilpailuttaa kaupallisia yrityksiä vastaan? Jos ei voi, miksi ei?

Kuka korjaa lehtien julkaisuista tekijänoikeuspalkkiot? Jääkö kaikki tekijän tuottama rahallinen arvo lehden julkaisijan hyppysiin, vai saako jotain myös artikkelin kirjoittaja tai hänen tutkimuksensa mahdollistanut laitos? Onko artikkeleilla edes mitään tekijänoikeussuojaa, vai saako niitä kuka tahansa kopioida mielivaltaisesti mihin tahansa käyttöön?

Jos lehti rahastaa muiden kustantamilla artikkeleilla tai jos sen koko olemassaolo perustuu tutkimuslaitosten työntekijöiden tuottamille artikkeleilla, pitäisi sen silloin ostaa julkaistavat artikkelit tutkijoilta tai heidän edustamiltaan tutkimuslaitoksilta. Jos tiede ei enää ole vapaasti julkaistavissa, voidaan samalla poistaa vanha ehto, jonka mukaan tiedettä ei voi patentoida tai suojata tekijänoikeuksin. Että hommatkaa markkinointiporukkaa ja bisnesjuristeja julkisiin tutkimuslaitoksiin, koska nykytrendinä on kaikkialla kaikkien kustannusten tarkkailu ja olemassaolon perustelu rahallisella tuotolla: raha on kuningas, rahastus elämäntapa ja kassan kasvu tavoite.

JOhanna

Huvittaa näin tuktijana ajatus, että kirjoittaja saisi jotain tekijänoikeuskorvauksia artikkelistaan... Toki tutkija omistaa tuloksensa (tai hanke tai yliopisto, riippuen tilanteesta ja rahoitusssopimuksista), mutta lehden artikkeli on lehden omaisuutta (copyright) ja jopa tutkijan pitää pyytää lupa, jos haluaa käyttää artikkeliaan tai vaikka sen kuvia esimerkiksi kirjassaan. Moni lehti kyllä myöntää jo etukäteen luvan käyttää artikkeleita esim. väitöskirjan liitteenä.

Lehdet sitten tyypillisesti myyvät printtiversioitaan ja pdf-muotoisia yksittäisiä artikkeleita.

Itse olen julkaissut pari juttua Plosissa (http://www.plos.org/publications/journals/). Impaktiltaan (lehden vaikuttavuus ja "arvo" tiedeyhteisön silmissä) esim. PloS One on tyypillisen yhtä tieteenalaa edustavan hyvätasoisen lehden luokkaa. Nopea ja kätevä, mutta ei ihan ongelmaton sekään.

HuuHaata

Itse muistan innostuneeni kymmenen vuotta sitten tutustuessani ArXiv:n (hyvä palvelu ei valittamista siitä), ja kyllästyneeni viisi vuotta sitten siitä keskustelusta kuinka olisi parempi, jos kustantajia ei olisi.

Jos se olisi selkeästi parempi, ja yliopistot voisivat samalla kohdentaa enemmän rahaa tutkimukseen, niin miksi ihmeessä sitä ei ole tehty? Ja miksi ihmeessä sitä ei ole tehty jo aikapäiviä sitten? En ymmärrä miten niin älykäs yhteisö, kuin tiedeyhteisö on, suostuu vapaavalintaisesti kyykytykseen.

Jos taas ongelma on mallia kapitalismi vs. sosialismi (eli jostain syystä artikkeleiden kustantaminen on hyvin vaikea loputtomasti haasteita sisältävä ongelma), niin silloin asiaan perehtyneimmät yksilöt osaavat ongelmat ratkaista parhaimmin. Eli, kapitalismi voitti. Itkeminen on silloin turhaa ja nykyinen meno jatkukoon.

Syksy Räsänen

Vapaan kaupan ainoa arvo on raha:

JOhanna jo vastasikin copyright-kysymykseen. Kilpailuttaminen ei oikein tule kyseeseen, kun kirjastojen odotetaan hankkivan niitä julkaisuja, joissa tuloksia on julkaistu. SCOAP^3-projektissa taas on kysymys julkaisemistavan (tai oikeastaan sen rahoituksen) aktiivisesta muuttamisesta, ei palveluiden ostamisesta.

Ongelmana ei ole markkinointiporukan tai bisnesjuristien puute. Tutkimusartikkelien julkaisun kohdalla mitään ei tarvitse myydä, eikä mikään laki estä tutkijoita perustamasta omia julkaisujaan, jotka keskittyvät vain vertaisarviointiin. Ongelmana on järjestäytymisen, vision ja rahan kohtaaminen.

Esimerkiksi vertaisarviointiin keskittyvän RIOJA-projektin http://www.ucl.ac.uk/ls/rioja/about/ yhteydessä astrofyysikoille tehty kysely osoitti, että (ainakaan silloin) monet eivät tuntuneet tietävän, miten suuri taloudellinen taakka kaupalliset lehdet kirjastoille ovat. (Tämä vastaannee myös HuuHaata:n kommentteihin. Sanottakoon, myös, että kysymys ei ole siitä onko kustantajia olemassa, vaan siitä miten julkaiseminen järjestetään. Ks. esimerkiksi huomiot JCAP-lehdestä merkinnässä http://www.tiede.fi/blog/2009/01/30/hedelmien-jalleenmyyntiarvo ja sen kommenteissa.)

HuuHaata

"Ongelmana on järjestäytymisen, vision ja rahan kohtaaminen."

Näetkö Syksy, että tämä ongelma on ratkeamassa? Tai miten se pitäisi mielestäsi ratkaista? Ajan kanssa tietysti ainakin tietämys ja näkemys kasvaa.

Itse vaikkapa olen niin suuressa kiitollisuudenvelassa tiedeyhteisöä kohtaan, että tekisin ihan mielelläni open source tyypistä vapaaehtoistyötä asiassa, jos siitä vaan olisi jotain hyötyä. Mutta hyvinkin voi olla, ettei sellaisesta hyötyä olisi.

Asiastahan ovat kirjoittaneet monetkin eturivin tutkijat vuosikausia.

Syksy Räsänen

HuuHaata:

Ongelma ratkaistaan vamasti, mutta on valitettavaa jos se tapahtuu ennen kuin kymmeniä miljoonia euroja syydetään kustantajille turhaan. Kirjoitin merkinnässä http://www.tiede.fi/blog/2012/05/23/kauas-puusta-pudonneet/ joistakin esimerkeistä siitä mitä on tehty. En tunne open access -kuvioita eikä minulla ole tiedepoliittista vaikutusvaltaa niin että osaisin sanoa, miten esimerkiksi SCOAP^3:een olisi mahdollista vaikuttaa.

Paras käytännön asia olisi yksinkertaisesti ruveta perustamaan vertaisarviointiin keskittyviä laadukkaita verkkolehtiä ja saada niille yhteisön hyväksyntä. Tähän tarvitaan arvostetuista tutkijoista koostuva toimituskunta, jonkin verran rahaa lehden saamiseen alkuun ja järjestelmä, jolla instituutit tukevat lehteä (ja muita vastaavia lehtiä) vähäisillä summilla. Kenties jokin muukin rahoitusmalli olisi mahdollinen. Tekniset ratkaisut ovat jo olemassa RIOJA-projektin jäljiltä, mutta projektin mukaisia lehtiä ei koskaan toteutettu, en tiedä miksi. Pitääkin kysyä kun näen projektissa mukana olleita henkilöitä.

Eusa

Eikö ole varsin ymmärrettävä peruslogiikka siin, että järjestäytyneet kustantajat maksavat päteville vertaisarvioijille ja näin julkaisun tilaaja voi luottaa, että arvioija on panostanut arviointiin oman uransa luotettavuuden? Jos tiedepiiri nostaa pystyyn oman verkkojulkaisun, arvelen jäävän useita tutkijoita sen ulkopuolelle syystä, ettei nimellinen korvaus riitä kattamaan perehtymisen vaatimaa panostusta.

Eri lähtökohta olisi, jos lajemmin yliopistot ja niiden rahoituspohja voisi sopia riittäävän rahoituksen järjestämisestä yhteiselle julkaisulle. Tällaisissa järjestelyissä on valitettavasti se vaara, että vapaus kärsii ja arvioinnit monopolisoituvat taantumuksellisille voimille ;) Olisiko paras tuoda sopivasti tutkimuspiirien wiki-arviointi-julkaisu, jossa vertaisarviointi olisi usean osallistujan vuoropuhelua? Tämä ei kilpailisi nykyisen vakaan järjestelmän kanssa vaan toisi diversiteettiä ja ketteryyttä, voisi mahdollistaa jopa paremmin useiden täysin erilaisten näkökulmien mukaan tulon.

Kimmo Rouvari

Voisiko vertaisarvioinnista luopua? Tämä veisi terän ainakin tiedejulkaisijoiden hegemonialta ja poistaisi Paywall:it. Tieteentekijän julkaisu olisi kaikkien käytössä, tyyliin arXiv. Tieteentekijät varmasti löytävät arkistosta itseään kiinnostavat julkaisut. Julkaisun yhteydessä oleva ei-anonyymi keskustelufoorumi toimisi vertaisarvioinnin näyttämönä.

Tiedejulkaisut voisivat julkaista maksua vastaan mielenkiintoisiksi kokemiaan tutkimuksia ja teorioita. Voisiko tällainen systeemi toimia? Ilmeisesti ei päätellen miten asiat nykyään hoituvat.

Mika

Jatkaisin tuota Kimmon ideaa vielä sen verran, että miten Syksy näkisit mahdollisuuden käyttää sosiaalisesta mediasta tuttuja mekanismeja vertaisarviointiin?

Esimerkki: arXiv tyyppinen palvelu, johon tieteentekijä voi rekisteröityä ja joka tarkistaa rekisteröityjän meriitit / asiantuntijuuden alaltaan ennen jäseneksi hyväksymistä. Palveluun ladattuja artikkeleita voivat kommentoida ja arvioida muut palveluun rekisteröityneet saman alan tieteentekijät, eli he keneltä vertaisarviointian normaalistikin pyydettäisiin. Artikkelia voisi tietysti muokata ja päivittää kommenttien perusteella.

Voisiko jostain tämänkaltaisesta järjestelmästä kehittää vaihtoehtoista ajatusta nykyiselle julkaisijavetoiselle vertaisarvioinnille?

Anonyymi astrofyysikko

Omien artikkelieni kanssa minulla oli aina hyvä tuuri arvioijien suhteen, mutta kerran olen toiminut toisena arvioijana tilanteessa, jossa ensimmäinen arvioija ei suositellut artikkelin julkaisemista. Sain käyttööni ensimmäisen (nimettömän) arvion, ja sehän oli ihan käsittämätöntä tuubaa. Oli aivan ilmeistä, ettei ensimmäinen arvioija ollut lukenut käsikirjoitusta kokonaan, ja kaiken huippuna arvioija viittasi asiaa käsitellyn tyhjentävästi eräässä review-artikkelissa - jossa asia ohitettiin kahdella epämääräisellä lauseella.

Syksy Räsänen

Kimmo Rouvari, Mika:

Vertaisarvioinnin muuttamisesta puhutaan paljon, ks. esim. RIOJA-projektin yhteydessä tehty kysely, http://www.ucl.ac.uk/ls/rioja/project-docs/ . On kuitenkin syytä tietää, miten tieteellisten tulosten oikeellisuus taataan ja mikä on vertaisarvioinnin tarkoitus.

Paywalleilla ei ole hiukkasfysiikassa mitään merkitystä, koska julkaisut ovat ilmaiseksi saatavilla arXivissa jo nyt. Tiedejulkaisujen ainoa merkitys on antaa laatuleima tutkimukselle. Olen kirjoittanut vertaisarvioinnista aiemmin, ks. http://www.tiede.fi/blog/2009/01/25/totuuden-ovivahdit . Vertaisarvioinnin tarkoituksena ei ole tarkistaa sitä, onko artikkeli oikein ja laadukas. Sen tarkoituksena on vain karsia laaduttomat ja ilmeisen virheelliset artikkelit. Eri lehdillä on tosin erilaisia linjauksia siitä, miten hyviä artikkeleiden pitää olla, ja niillä on sen mukaan erilainen maine. Mutta sisällön todellinen tarkistus tulee siitä, että tulokset ovat arXivissa (ja data koeryhmien sivuilla) saatavilla, ja muut voivat toistaa analyysin. Keskusteluilla blogeissa ja foorumeilla on oma roolinsa, mutta ne eivät korvaa sen enempää vertaisarviointia kuin oikeellisuuden tarkistamistakaan. Niillä kuitenkin voisi kenties olla suurempi rooli kuin nyt, mutta ei ole selvää mikä se olisi.

On myös syytä huomata, että vertaisarvioinnin antaman laatuleiman kenties suurin merkitys on se, että paikkoja hakiessa voi osoittaa tehneensä arvioitua tutkimusta, ja hyviksi katsotuissa lehdissä. Vaihtoehtoistojen arviointitapojen pitäisi taata se, että artikkelit saavat samanlaisen statuksen, jonka arvioijat ja rahoittajat hyväksyvät.

Eri asia on sitten se, että vertaisarvioinnin laatu on hyvin vaihteleva (on esimerkiksi tavallista, että kahden arvioijan raportit ovat ristiriitaisia), eikä Anonyymin Astrofyysikon mainitsema tapaus ole harvinainen.

Maksua vastaan julkaisemisessa on se mainitsemani ongelma, että se kannustaa julkaisemaan mahdollisimman paljon laadusta riippumatta, ks. merkinnässä linkittämäni esimerkit.

Kimmo Rouvari

Transparentti tapa hoitaa vertaisarviointi esim. arkiston yhteydessä olevassa foorumissa tuo mukanaan muutamia asioita.

1. Laatu vertaisarvioinneissa parantuu. Omalla nimellä toimiminen varmasti skarppaa omaa vertaisarvioita.
2. Politikointi jää pois. Erilaisten kuppikuntien kampittelu menettää merkitystään. Pienissä piireissä opitaan tuntemaan ihmisten hidden agendat.
3. Edellisten kohtien vuoksi arvostus tämän muotoista vertaisarviointia kohtaan kasvaa.
4. Tieteen uskottavuus kasvaa suuren yleisön silmissä.

Nämä nyt tuli ensimmäisenä mieleen.

Syksy Räsänen

Kimmo Rouvari:

Vertaisarvioijien anonymiteetin tarkoituksena on suojella nuorempia ja heikommassa asemassa olevia arvioijia arvioitavana olevien myöhemmältä vallankäytöltä.

En tiedä mitä tuo "transparentti tapa" pitää sisällään. Mutta keskustelu eri yhteyksissä (konferensseissa, nettifoorumeilla, blogeissa, kahvipöydässä) on tärkeää, mutta se ei voi korvata vertaisarviointia, koska vertaisarvioinnin tärkein anti on tutkijoiden arvioimisessa (paikoista ja apurahoista päätettäessä) käytetty laatuleima. Laatuleima on uskottava vain jos siitä päättää auktoriteetti. Yhden vertaisarvioijan korvaaminen useammalla, jotka kommunikoisivat keskenään, mutta editorin vallan pitämisenä samana ei ole mahdoton ajatus ja voisi karsia arvioiden ilmeisiä virheitä. Se tosin vähentäisi arvioiden riippumattomuutta ja lisäisi arvioiden tekemiseen kuluvaa aikaa.

Kimmo Rouvari

Anonymiteetti on tosiaan tärkeä kun sitä tuolta kantilta katsoo.

Jalostetaan hieman tuota "transparenttia tapaa"... Mikä estää vaikka kaksi vertaisarviota tehtäisiin anonyymisti keskustelun pohjaksi. Vertaisarvioiden tekemisestä voisi hyvin vaikka maksaa jollakin tuloutusperiaatteella. Esim. kun lehti julkaisee ja maksaa korvauksen (tässä mallissa) paperin tekijälle, siitä jyvitettäisiin myös anonyymien vertaisarvion tekijöille. Kevyellä hallinnolla tuon saisi toimimaan ja saataisiin samalla rahavirtaa tieteentekijöille tehdystä työstä.

Syksy Räsänen

Kimmo Rouvari:

Arvioista maksaminen vain jos ne puoltavat julkaisemista loisi motiivin kirjoittaa myönteisiä arvioita. Artikkeleista maksaminen voi vaikuttaa siihen, että artikkeleita kirjoitettaisiin rahan saamisen takia. Parempi olla sotkematta rahallisia motivaatioita suoraan julkaisuihin. Joissain kiinalaisissa yliopistoissa tutkijoille maksetaan jokaisesta julkaistusta artikkelista, sitä enemmän mitä arvostetumpi lehti, ja tämä ei todellakaan ole omiaan parantamaan julkaistujen artikkeleiden laatua.

Kimmo Rouvari

Turhan myönteisten arvioiden kirjoittamista voisi vähentää arvioiden pohjalta käytävä julkinen keskustelu. Toisekseen, tiedejulkaisijan maksama palkkio ei liene parhaimmassakaan tapauksessa kovin iso ja vertaisarvion tekijän osuus on huomattavasti tätäkin pienempi. Mutta kait se pienikin raha voi vääristää vertaisarvioita, mene ja tiedä.

Siljamaarit

Vertaisarvioinnissa ongelmana voi olla sekin, että vallitsevan paradigman vastaiset tulokset eivät välttämättä ylitä julkaisukynnystä - paitsi jos ovat riittävän shokeeraavia. Tiedelehdissä pätee sama mikä muussakin lehdistössä: raflaava artikkeli on parempi myymään lehteä ja siksi halutumpi kuin maltillinen. Tästä aiheutuva julkaisuharha on tavallinen esim. lääketieteessä.
Pulma olisi tosiaan ratkaistavissa: avoimet ja ilmaiset nettilehdet aktiiviseen käyttöön, ja vertaisarviointi pois.Vaikka osa julki tulevista jutuista olisi laadullisesti huonoja, nämä varmaan saisivat kriittisiä kommentteja lukijoilta, joten "vertaisarviointi" tapahtuisi kuitenkin, vaikka jälkikäteen.

Syksy Räsänen

Siljamaarit:

Lehdissä julkaistujen artikkelien sisällöllä ei ole juuri merkitystä niiden tilaamisen kannalta, koska -kuten olen maininnut- artikkeleita ei lueta lehdistä, vaan arXivista. Oleellista on vain se, että lehtien maine on hyvä.

Kuten yllä sanoin, vertaisarvioinnin tärkein tehtävä on antaa laatuleima, jota käytetään paikoista ja rahoituksesta päätettäessä. Kommentit lukijoilta eivät voi hoitaa tätä tehtävää.

Jo nyt julkaistaan enemmän huonoa tutkimusta kuin mitä kukaan ehtii kommentoida. Artikkeleita ilmestyy hiukkaskosmologiassa tusinoittain joka päivä.

Yleisesti ottaen sanottakoon, että jos ei tunne jotain toimintaa, ei ole mahdollista antaa siitä mielekkäitä parannusehdotuksia.

Metusalah

"Kuten yllä sanoin, vertaisarvioinnin tärkein tehtävä on antaa laatuleima, jota käytetään paikoista ja rahoituksesta päätettäessä."

Alaa tarkemmin tuntematta kysyn: Voisiko olla mahdollista, että eri puolilla maailmaa työskentelevät tutkijat "laatuleimaavat" toinen toisiaan, keskinäisen "sopimuksen" pohjalta? Taloudellinen hyöty saattaisi tällaisessa tapauksessa olla jaettavissa ...

Siljamaarit

Syksy, totta tuokin. Kuitenkin keskustelua vapaasta julkaisemisesta käydään aktiivisesti monilla foorumeilla, esim. tuolla:
http://news.sciencemag.org/sciencenow/2013/03/live-chat-should-scientifi...
Olet varmaan oikeassa, että lukijakommentit eivät korvaa vertaisarviointia. Itselläni on kumminkin kokemusta sekä julkaisemisesta että vertaisarvioijana toimimisesta (lääketieteen alalla), ja olen kokenut vertaisarviointiin liittyviä ongelmia molemmissa rooleissa. Parhaimillaan tietysti vertaisarviointi ei ainoastaan auta valikoimaan laadun perusteella julkaisuun pääseviä artikkeleita, vaan myös toimii kokeneemman tutkijan apuna nuorelle vasta-alkajalle, kun vertaisarvioitsija neuvoo, miten juttua voi parantaa ja saattaa julkaisukelpoiseksi. Pahimmillaan käy niin, että jos juttu edustaa eri koulukuntaa kuin arvioitsija, sitä ei tahdo saada julki ilman, että saatekirjeessa mainitaan pari tutkijaa, joita ei haluta vertaisarvioijiksi ilmeisen intressiristiriidan vuoksi.

Syksy Räsänen

Metusalah:

Arvioijan valitse editori. Juonessa pitäisi siis olla mukana editori, arvioija ja arvioitava. Periaatteessa tällainen ei ole mahdotonta, mutta jos julkaisujen laatu olisi todella huono ja niitä olisi paljon, niin siitä jäisi luultavasti kiinni nopeasti. Editorien vallan väärinkäyttöä on kyllä tapahtunut, ks. http://www.math.columbia.edu/~woit/wordpress/?p=4851 .

Syksy Räsänen

Siljemaarit:

Linkittämäsi keskustelun aihe on open access (ilmeisesti tarkoitat sitä ilmaisulla "vapaa julkaiseminen"), ts. se että julkaisut ovat vapaasti luettavissa. Tällä ei ole mitään tekemistä vertaisarvioinnin kanssa, ne ovat täysin eri asioita.

Vertaisarvioinnissa on toki parantamisen varaa.

Siljamaarit

Anteeksi että olin epäselvä: voidaan toki käyttää suomenkielisten termien sijasta englanninkielisiä. Yritin puhua kahdesta asiasta: toisaalta siitä, että lehtien täytyy myynnin takaamiseksi ottaa raflaavia juttuja julkaistavakseen, ja toisaalta siitä, että vertaisarviointi ei välttämättä onnistu estämään tästä johtuvaa julkaisuharhaa. Tässä open access auttaisi. Suurin osa oman alani lehdistä ei ole avoimesti luettavissa, ja yksittäisten artikkelien full-text-versioiden hinnat liikkuvat useiden kymmenien dollarien hintaluokassa - jollei lukija ole tilaaja tai töissä esim. yliopistolla tai muulla työnantajalla, joka on tilannut lukuoikeuden.
Varmaankin pulmat ovat eri tieteenaloilla erilaisia. Tähtitieteellisten artikkelien lukijakunta on kenties suuremmaksi osaksi itse tutkijoita kuin lääketieteellisten, joiden lukijakunta on valtaosin ihan tavallisia lääkäreitä. Tähtitieteessä julkaisuharha ei ehkä ole ongelma, sen sijaan lääketieteessä on tutkitusti varsinkin lääkehoitotutkimusten osalta niin, että negatiiviset tulokset jäävät julkaisematta helpommin kuin positiiviset, ja siksi lääkkeiden tehosta syntyy valheellisen hyvä kuva. Syypäänä pidetään lääketeollisuuttakin, mutta kun lääkefirmat joka tapauksessa julkaisevat nykyään kaikki tutkimustuloksensa netissä (clinicaltrials.gov yms nettiportaaleissa), niin ilmeisesti lääketieteellisten lehtien "lööppihakuinen" julkaisupolitiikka on sittenkin tärkein syy julkaisuharhaan.

Syksy Räsänen

Siljemaarit:

Termin "open" vakiintunut käännös on ymmärtääkseni "avoin", ei "vapaa". Mitä itse asiaan tulee, niin miten artikkelien avoin saatavuus auttaisi siihen, että negatiiviset tulokset jäävät julkaisematta helpommin kuin positiiviset? (Hiukkasfysiikassahan, jota merkintä käsittelee, kaikki julkaisut ovat avoimesti saatavissa.)

Anonyymi astrofyysikko

Tieteellisten tähtitieteellisten julkaisujen lukijakunta taitaa tosiaan koostua lähes pelkästään tutkijoista, ja raflaavimmat näkemäni otsikot ovat olleet lähinnä jonkinlaista nörttihuumoria. Tähtitieteen puolella tilanne on se, että useimmat lehdet jopa suosittelevat tekijöitä pistämään artikkelin myös arXiviin, ongelmaksi muodostuu tällöin lähinnä joidenkin artikkelien kuvitus - tähtitieteelliset kuvat kun voivat olla joskus varsin suuria, ja arXivin pakatuista suttuversioista ei välttämättä saa tarpeeksi hyvin selvää. Toki monet tutkijat ovat tiedostaneet tämän ongelman, ja arXiv-julkaisun yhteydessä on myös linkki tekijöiden kotisivuilta löytyvään korkeamman resoluution kuvat sisältävään versioon.

Monessa suhteessa siirtyminen täysin avoimiin julkaisuihin olisi hyvin mutkatonta, mutta ironista kyllä, tällä hetkellä esteenä on raha. Lehdet eivät maksa kirjoittajille tai arvioijille, mutta osa laitosten rahoituksesta määräytyy tehtyjen julkaisujen perusteella. Ja noissa laskelmissa merkitystä on vain muutamalla lehdellä, tähtitieteen tapauksessa noita oli vuosi sitten noin puolenkymmentä kappaletta. Nämä rahoituskuviot ovat tosin viime vuosina muuttuneet siihen tahtiin, etten edes halua enää seurata missä mennään...

Siljamaarit

Siten, että open access -lehtien ei tarvitse valita juttuja myyvyyden perusteella, kun jutut ovat ilmaisia - kuten edellä jo aiemmin kerroin, n.s positiiviset tulokset julkaistaan helpommin kuin negatiiviset, koska ne ovat "raflaavampia" ja edistävät myyntiä paremmin.

Syksy Räsänen

Siljamaarit:

Ahaa. Hiukkasfysiikan lehdissä artikkelien määrää ei ole kiinnitetty, eli se että jokin artikkeli jätetään julkaisematta ei luo tilaa toisille (tai muutenkaan vaikuta niiden julkaisemiseen). Ilmeisesti lääketieteen lehdissä on vain tietty määrä artikkeleita per vuosi tai per numero?

Siljamaarit

Kyllä juuri näin. Lehdet ovat vakiokokoisia. En tämän keskustelun jälkeenkään ole varma, miksi jotkut hyvät ja tärkeät jutut eivät tahdo päästä julki ja taas jotkut jo metodisesti arveluttavat julkaistaan. Takavuosina kollegani kertoi, että hänen artikkelinsa oli kiertänyt aikanaan monen lehden kautta kaikkiaan yhden vuoden ajan ennen kuin se lopulta pääsi julkaistavaksi, mutta sen jälkeen se oli monen vuoden ajan siteeratuin suomalaisen kirjoittama lääketieteellinen artikkeli. Olin itsekin tuolloin nähnyt siihen viitattavan kymmenissä muissa artikkeleissa ja kongressiesitelmissä. Open access on yksi ratkaisu. Mutta rahasta riippumattakin vikaa voi olla myös lehtien toimituksen tai vertaisarvioijien työskentelyssä. Hyvä jos tähtitieteessä julkaiseminen ei riipu tieteellisen tason ulkopuolisista asioista.

Syksy Räsänen

Siljamaarit:

OK, nyt ymmärrän. Hiukkasfysiikassakaan julkaisupäätös ei välttämättä perustu vain artikkelin tasoon, koska vertaisarvioinnin laatu vaihtelee paljon, ja voi olla että arvioija ei pidä jostain artikkelista tai ei ymmärrä sitä. Tämän riski tietysti kasvaa mitä kauemmas valtavirran keskeltä mennään. Yleensä artikkelit kuitenkin julkaistaan jossain toisessa lehdessä, jos ne vain ovat jotenkin asiallisia. Ongelmana on ennemmin se, että vertaisarviointi on tutkijoille alhainen prioriteetti, joten arviot tehdään usein miten sattuu, kuin systemaattinen vinouma.

Fyysikko

Tämä Syksyn mainitsema laatuleima on todella merkittävässä asemassa. On olemassa hyvin eriarvoisia leimoja lehtien impact factoreista riippuen. Rahoittajat yms haluavat tuloksia ja luotettujen (editorointi+vertaisarviointi) lehtien impact factoreiden laskeminen on yksi yleisimmistä tulosten mittareista. Toimiva open access -järjestelmä vaatii editorit, vertaisrvioinnin sekä eritasoisia lehtiä, jotta kovimmilla tuloksilla on mahdollista kerätä enemmän pisteitä rahoittajia varten. Muutoin julkaisuja epäilemättä valuu PRL:n, Naturen, Sciencen yms suuntiin.

Esimerkiksi ArXiv ei millään voi toimia ratkaisuna tähän julkaisuongelmaan.

Pentti S. Varis

Aina eivät vertaisarvioitsijat oikein onnistu. Esimerkiksi Nature (muistaakseni) hylkäsi biologi Sean Carrollin artikkelin, josta sittemmin tuli maailmankuulu. 80-luvulla J.theor.biol.-lehden toimitus esitti eräälle aistiteoreetikolle pahoittelunsa siitä, että lehti oli jättänyt kymmenen vuotta aikaisemmin julkaisematta hänen artikkelinsa, joka sisälsi olennaisesti samat asiat kuin uusi, julkaistu juttu.

Aika erikoista lienee, että maallikko saa artikkelinsa tasokkaaseen fysiikan journaaliin. Näin kuiutenkin kävi 80-luvulla, kun Phys.Rev.A (muistaakseni) julkaisi uuden teorian atomiytimestä. Kirjoittaja oli psykologi ja hän esitti ytimen rakenteen olevan analoginen aivojen kanssa..

Kimmo Rouvari

Fyysikko:

Nykyinen arXiv ei voi toimia ratkaisuna, painottaisin sanaa nykyinen.

Mielestäni eritasoisten lehtien käyttö pistemäärien keräämisessä toimii myös tiedettä vastaan. Tutkijoille selviää hyvin nopeasti minkä tyyppisillä papereilla on mahdollista saada oma tuotos julkaistuksi ns. huippulehdessä, toisin sanoen opitaan käyttämään hyväksi editorien ja vertaisarvioijien confirmation bias taipumusta.

Susanna

"Mielestäni eritasoisten lehtien käyttö pistemäärien keräämisessä toimii myös tiedettä vastaan. Tutkijoille selviää hyvin nopeasti minkä tyyppisillä papereilla on mahdollista saada oma tuotos julkaistuksi ns. huippulehdessä, toisin sanoen opitaan käyttämään hyväksi editorien ja vertaisarvioijien confirmation bias taipumusta."

Tämä on valitettavasti hyvin totta, mutta julkisesti tästä ei kannata keskustella.

Mika

Useassa viestissä ollaan puhuttu laatuleimasta ja mainittu myös sanapari impact factor. Kyseiseen arvioon liittyy kuitenkin paljon ongelmia, alkaen siitä että sen koostaa kaupallinen toimija omien intressiensä mukaan eikä esimerkiksi jokin avoin akateeminen järjestö. Myös laskentatapaa kohtaan on esitetty kritiikkiä.

Maailmalla on myös muita, osin avoimempi ja epäkaupallisempia, julkaisujen merkittävyyden arvioijia. Miten näkisitte niiden roolin nyt tai tulevaisuudessa, vai onko impact factorin paikka sementöity liian syvään akatemiassa?

Syksy Räsänen

Mika:

Niille, joille impact factor ei ole tuttu, ks. merkinnän http://www.tiede.fi/blog/2009/01/30/hedelmien-jalleenmyyntiarvo kommentit. Lehden impact factor saadaan laskemalla, montako kertaa jonkin lehden artikkeleihin on viitattu vuoden aikana ja jakamalla lehdessä ilmestyneiden artikkeleiden määrällä.

Impact factorin tosiaan nykyään laskevat kaupalliset toimijat, mutta sen määrittelyssä ei ole mitään erityisen kaupallista. arXiv (yhdessä Inspire-tietokannan kanssa) seuraa viittauksia jo nyt, systeemin laajentaminen ja automatisoiminen impact factorin laskemiseksi oleellisesti ilmaiseksi ei olisi ongelma.

Mitä tulee muihin ongelmiin jotka liittyvät impact factorien käyttämiseen hakijoita arvioidessa, niillä ei ole juuri mitään tekemistä vertaisarvioinnin tai avoimen julkaisemisen kanssa, joten en kommentoi niitä tässä.

Tasainen askel - blogit - Tied...

[...] julkisti tänään 28 artikkelia, ja ne ovat Planckin sivuilla vapaasti luettavissa. Artikkelit käyvät vielä läpi vertaisarvioinnin, mutta niiden pääasiallinen tarkistus tulee [...]

AaPee

Meidän puljussa (Valtion tutkimuslaitos) julkaisuongelma on ratkaistu. Julkaisut täytyy pistää Elsevier:n, Springer:in tms. lehtiin. Open access ei ole mahdollista. Tutkimusrahat on ajettu niin alas, että meidän puljussa ei tulisi kuuloonkaan, että julkaisun tekeminen maksaisi. Katselin open access vaihtoehtoja ja n. 2000 € maksu siitä, että saan julkaisuni läpi niin ei tullut kuuloonkaan.
Elsevier julkaisi artikkelin ilmaiseksi kun ei ota hard copy:ä vaan saan julkaisuni suoraan pdf-versiona sähköpostiini.

Syksy Räsänen

AaPee:

Ongelmana ei ole tulosten avoin saatavuus tai niiden julkaiseminen (arXiv ratkaisee sen), vaan vertaisarvioinnin järjestäminen edullisesti. Artikkelien lähettäminen Elsevierin lehtiin pahentaa tätä ongelmaa.

Seuraa 

Maailmankaikkeutta etsimässä

Blogin päivittäminen on päättynyt.

Syksy Räsänen on teoreettinen fyysikko Helsingin yliopistossa. Syksy kirjoittaa kosmologiasta, hiukkasfysiikasta ja niiden tekemisestä, tai ainakin asioista sinne päin.

Teemat

Blogiarkisto