ACATIIMI 3/12 tulosta | sulje ikkuna

Kirjastot mukana tutkimuksen arvioinnissa

Bibliometriikka, eli julkaisutoiminnan mittaaminen ja analysointi, on yliopistoissa yhä ajankohtaisempaa ja kysytympää asiantuntijuutta.

Yliopistokirjastot ovat Suomessa, kuten muissakin pohjoismaissa, viime vuosina tulleet eri tavoin mukaan tutkimuksen arviointiin. Kirjastoissa on korkeasti koulutettuja tietoasiantuntijoita, joilla on tieteenalatuntemuksen ohella bibliometrista osaamista. Yliopistojen tutkimushallinnossa on nähty tärkeäksi tehdä yhteistyötä oman yliopiston kirjaston kanssa.

Kirjastojen asiantuntijoita on pyydetty tekemään tutkimuksen arviointiin liittyviä bibliometrisia analyysejä mm. Aalto-yliopistossa, Helsingin yliopistossa, Lappeenrannan teknillisessä yliopistossa ja Tampereen teknillisessä yliopistossa.

Myös muissa yliopistoissa bibliometriikka, julkaisutoiminnan mittaaminen ja analysointi, on yhä ajankohtaisempaa ja kysyttyä asiantuntijuuden aluetta. Oulun yliopiston kirjastossa on tehty bibliometrisia analyysejä, jotka ovat liittyneet Suomen Akatemian tieteenala-arviointiin ja Tampereen yliopiston kirjastossa on aloitettu kiinnostava pilotti yhteistyössä informaatiotieteiden yksikön kanssa.

Bibliometrisissa analyyseissä on viime vuosina haettu jotain laadullisempaa näkökulmaa, erityisesti humanistis-yhteiskuntatieteellisillä aloilla, joilla perinteiset viittausanalyysit Web of Science –tietokannan aineistosta eivät anna oikeaa tai edes minkäänlaista kuvaa julkaisutoiminnasta. Syynä on se, että tietokannan kattavuus humanistis-yhteiskuntatieteellisillä aloilla on huono. Toinen syy on se, että näillä tieteenaloilla julkaistaan paljon monografioita ja monografia-artikkeleita, joita em. tietokantaan ei sisälly ja joihin viittaamista ei voida näin tutkia.

Yksi tapa arvioida julkaisun merkitystä, on tutkia, missä lehdissä jokin artikkeli on julkaistu tai mikä kustantaja on tämän kirjan julkaissut. Norjassa kehiteltiin viime vuosikymmenellä aikakausjulkaisujen ja kustantajien ranking-listoja, joita on käytetty hyväksi tutkimuksen arvioinnissa ja myös rahoituksessa. Näiden listojen taustalla on Universitets- og høgskolerådet (UHR).

Vastaavanlaisia listoja on myös Australiassa ja Tanskassa. Suomen vastikään julkistettu Julkaisufoorumi kulkee samoja jalanjälkiä.

Ranking-listat ja tutkimuksen arviointi

Helsingin yliopiston kansainvälisessä tutkimuksen ja jatkokoulutuksen arvioinnissa 2005-2010 pyrittiin ottamaan huomioon tieteenalojen erilaisuus ja erilaiset julkaisukulttuurit. Leidenin yliopistossa (CWTS) tehtiin kaikille arviointiin osallistuneille tutkijayhteisöille bibliometriset analyysit siten, että Helsingin yliopiston tutkimustietokanta TUHATin perusteella Web of Science –tietokannasta kartoitetut julkaisut analysoitiin eri näkökulmista mm. viittausanalyysein.

Niille tutkijayhteisöille, joiden julkaisuja oli alle 50, tehtiin kirjastossa täydentäviä analyysejä, joissa mm. tarkasteltiin lähemmin lehtien ja kustantajien arvostusta tiedeyhteisössä. Näistä tutkijayhteisöistä suurin osa toimi humanistis-yhteiskuntatieteellisillä aloilla ja osa tietojenkäsittelytieteen piirissä.

Bibliometrisissa analyyseissä käytettiin hyväksi lehtien ranking-listoja. Tutkijayhteisöjen tuottamien lehtiartikkelien määrät laskettiin ja niitä vertailtiin lehtien saamiin arviointeihin. Koska arvioinnin bibliometrisia analyysejä tehtäessä keväällä 2011 Julkaisufoorumin työ oli vielä kesken, käytetyt ranking-listat olivat Norjan ja Australian sekä European Science Foundation’in joillakin humanistisilla aloilla olevat ns. ERIH-luokitukset. Niinpä jollain tutkijayhteisöllä saattoi olla 178 artikkelista 15 tasolla 2 (highest scientific journal) ja 98 artikkelia tasolla 1 (scientific journal) Norjan mukaan. Australian mallin tai ERIHin rankingien mukaan luvut olivat hiukan erilaiset, mutta erot eivät olleet olennaiset. Pikemminkin näiden eri ranking-listojen antamat tiedot tukivat toisiaan.

Humanistis-yhteiskuntatieteellisillä aloilla tutkimustuloksia julkaistaan edelleen suurelta osin monografioissa tai monografia-artikkeleina. Helsingin yliopiston tutkimuksen arvioinnissa laskettiin myös erityyppisten monografioiden lukumäärä ja vertailtiin niiden kustantajia Norjan julkaisijoiden rankinglistaan. Jollain tutkijayhteisöllä saattoi olla 5 kirjaa tasolla 2 (leading scientific publisher) ja 15 tasolla 1 (scientific publisher). Loput, ehkä 20 kirjaa, olivat sellaisten kustantajien julkaisemia, jotka eivät olleet saaneet mitään ranking-arvoa. Nämä saattoivat olla kotimaisia kaupallisia kustantajia, tutkimuslaitoksia tai tieteellisiä seuroja.

Norjan luokitukset ja Suomen Julkaisufoorumi

Julkaisufoorumin julkistettua ranking-listansa, tein pienen analyysin siitä, miten Helsingin yliopiston tutkimuksen arvioinnissa ne 20 lehteä, jotka ovat julkaisseet eniten vertaisarvioituja tieteellisiä artikkeleita, ovat sijoittuneet toisaalta Norjan ranking-listalla, toisaalta Julkaisufoorumin listalla.

Sen mukaan molemmat ovat arvioineet tästä joukosta 6 lehteä korkeatasoiseksi tieteelliseksi lehdeksi (taso 2/3) ja yhden tieteelliseksi lehdeksi (taso 1). Sen sijaan norjalaiset ovat arvioineet 8 lehteä tasolle 1, kun suomalaiset ovat arvioineet ne korkeammalle. 4 lehteä jää norjalaisessa ilman rankingia, kun ne Julkaisufoorumissa ovat tasolla 1.

Kaikki nämä ovat suomalaisia tieteellisiä lehtiä. Yksi lehti on päässyt Norjassa tasolle 1, kun Julkaisufoorumissa sitä ei ole lainkaan luokiteltu. Kyseessä on suomalainen tieteellinen lehti. Kiinnostavaa on se, että kaikki TOP-20 -lehdet ovat saaneet jonkin ranking- luvun joko Norjan tai Suomen paneeleilta.

Ranking-listat antavat yhdenlaisia välineitä julkaisujen laadun kuvaamiseen. Ranking-listojen takana on kuitenkin tiedeyhteisö, eri tieteenalojen johtavista ja arvovaltaisista tutkijoista koostuva paneeli. Se miten hyvin tämä paneeli edustaa tiettyä tieteenalakokonaisuutta, on tiedeyhteisön arvioitavissa.

Ohjaako Julkaisufoorumi kirjastojen aineistonvalintaa?

Helsingin yliopistossa pidetyssä Julkaisufoorumitilaisuudessa helmikuussa korostettiin sitä, että ranking- listoja ei pitäisi käyttää väärin tai että ne eivät saisi ohjata tutkijoiden käyttäytymistä ja eri alojen julkaisukulttuuria. Tosiasia kuitenkin on se, että niitä tullaan varmasti käyttämään ohjenuorana monissa julkaisuihin ja julkaisemiseen liittyvissä asioissa.

Jo nyt useissa tieteellisissä kirjastoissa seurataan lehtien vaikuttavuuskertoimia (Impact Factor), jotka pohjautuvat siihen, miten Web of Science -tietokannassa olevissa lehdissä (= lehtiin sisältyvissä artikkeleissa) tiettynä ajanjaksona viitataan toisiin Web of Science -tietokannassa oleviin lehtiin (=lehdissä ilmestyneisiin artikkeleihin). Lääketieteen ja monien luonnontieteiden alalla tämä onkin ihan perusteltavissa, koska tutkijat kirjoittavat hyvin suunnitelmallisesti oman alansa parhaisiin lehtiin.

Humanistis-yhteiskuntatieteellisillä aloilla tämä vaikuttavuuskerroin valinnan perusteluna ei ole toiminut mm. siitä syystä, että Web of Science -tietokannoissa nämä tieteenalat ovat varsin huonosti edustettuina. Julkaisufoorumissa on kuitenkin arvioitu kaikkien tieteenalojen lehtiä 23 eri tieteenalapaneelissa. Olen varma, että näitä rankinglistoja tullaan käyttämään ainakin jonkinlaisena tukena, kun päätetään, mitä lehtiä hankitaan tai jätetään hankkimatta. Erityisesti silloin, kun määrärahat niukkenevat, joudutaan jollain kriteereillä tekemään reippaita päätöksiä. Silloin kyllä yritetään pitää huolta siitä, että parhaiksi arvioidut lehdet tulevat yliopiston kirjastoon.

Myös kustantajien ranking-listat vedetään kokoelmapoliittisessa työssä varmasti esiin, kun aineistonvalinnassa pohditaan, olisiko tämä – ehkä kalliskin – kirja syytä hankkia. Johtava tieteellinen kustantaja on yksi arviointikriteeri, joka päihittää kustantajan, jota ei ole listoilla huomioitu.

Missä tutkijat julkaisevat?

Kirjastoihin hankitaan lehtiä, joissa tutkijat julkaisevat ja joita he arvostavat. Tutkijat tarjoavat varmasti artikkeleita sellaisiin lehtiin, jotka arvioidaan korkeatasoiksi tieteellisiksi lehdiksi. Vanhemmat tutkijat ohjaavat nuorempia tähän, ja jos yliopisto, tiedekunta tai laitos tulee saamaan rahaa sillä perusteella, kuinka monta vertaisarvioitua artikkelia on julkaistu arvostetussa tieteellisessä aikakauslehdessä, on aivan selvää, että sinne artikkeli pyritään saamaan. Kilpailu kiristyy tieteessä ja paikasta auringossa.

Kirjastotkaan eivät voi olla tästä tietämättömiä. Tutkijat ja opiskelijatkin kysyvät kirjastoista jo nyt sitä, miten tämä lehti on luokiteltu Norjan tai Julkaisufoorumin listoilla. Tutkijoiden ja jatko-opiskelijoiden informaatiolukutaidon kursseilla Julkaisufoorumi ja luokitukset ovat jo nyt toivomuslistalla.

Kuitenkin humanistis-yhteiskuntatieteellisillä aloilla on tieteidenvälisiä aloja, ja uusia tutkimusaloja kahden tieteenalan kohdatessa saattaa syntyä. Kauanko kestää, että uusi tieteellinen lehti saa tunnustetun aseman ja arvostuksen ranking-listalla?

Eri tieteenaloilla tutkijoiden keskuudessa jotkut kustantajat ovat arvostetumpia kuin toiset. Jos kirjan julkaisee Cambridge University Press, sen status on ihan toinen kuin jonkin kotimaisen, sinänsä tasokkaan kustantajan. Mutta miten käy nousevien tieteenalojen ja vaihtoehtokustantajien?

Kuinka Julkaisufoorumi rankkeerataan tiedeyhteisössä?

Helsingin yliopiston tutkimuksen ja jatkokoulutuksen kansainvälisessä arvioinnissa koimme, että olemassa olevat lehtien ja kustantajien ranking-listat tarjoavat yhden välineen, jolla tutkimusta ja sen laatua voidaan arvioida. Ne eivät voi olla ainoita, eivätkä kansainvälisistä huippututkijoista koostuneet arviointipaneelitkaan niin varmasti ajatelleet. Mutta ne ovat yksi tapa yhdistää laadullista näkökulmaa kvantitatiiviseen bibliometriseen analyysiin.

On olennaista Julkaisufoorumin käyttökelpoisuuden ja tulevaisuuden kannalta se, miten tiedeyhteisö(t) itse ovat mukana sitä kehittämässä ja kriittistenkin arvioiden myötä viemässä sitä mahdollisimman hyvään suuntaan.

teksti Maria Forsman
VTT, johtava tietoasiantuntija Helsingin yliopiston kirjasto

  • Artikkeli löytyy painetun lehden sivulta 32

ACATIIMI 3/12 tulosta | sulje ikkuna