Kirjastot mukana
tutkimuksen arvioinnissa
Bibliometriikka, eli julkaisutoiminnan mittaaminen ja analysointi,
on yliopistoissa yhä ajankohtaisempaa ja kysytympää asiantuntijuutta.
Yliopistokirjastot ovat Suomessa,
kuten muissakin pohjoismaissa,
viime vuosina tulleet eri tavoin
mukaan tutkimuksen arviointiin.
Kirjastoissa on korkeasti koulutettuja
tietoasiantuntijoita, joilla
on tieteenalatuntemuksen ohella
bibliometrista osaamista. Yliopistojen tutkimushallinnossa
on nähty tärkeäksi tehdä yhteistyötä oman
yliopiston kirjaston kanssa.
Kirjastojen asiantuntijoita on pyydetty tekemään
tutkimuksen arviointiin liittyviä bibliometrisia analyysejä
mm. Aalto-yliopistossa, Helsingin yliopistossa,
Lappeenrannan teknillisessä yliopistossa ja Tampereen
teknillisessä yliopistossa.
Myös muissa yliopistoissa bibliometriikka, julkaisutoiminnan
mittaaminen ja analysointi, on yhä ajankohtaisempaa
ja kysyttyä asiantuntijuuden aluetta.
Oulun yliopiston kirjastossa on tehty bibliometrisia
analyysejä, jotka ovat liittyneet Suomen Akatemian
tieteenala-arviointiin ja Tampereen yliopiston kirjastossa
on aloitettu kiinnostava pilotti yhteistyössä
informaatiotieteiden yksikön kanssa.
Bibliometrisissa analyyseissä on viime vuosina
haettu jotain laadullisempaa näkökulmaa, erityisesti
humanistis-yhteiskuntatieteellisillä aloilla, joilla
perinteiset viittausanalyysit Web of Science –tietokannan
aineistosta eivät anna oikeaa tai edes minkäänlaista
kuvaa julkaisutoiminnasta. Syynä on se,
että tietokannan kattavuus humanistis-yhteiskuntatieteellisillä
aloilla on huono. Toinen syy on se, että
näillä tieteenaloilla julkaistaan paljon monografioita
ja monografia-artikkeleita, joita em. tietokantaan ei
sisälly ja joihin viittaamista ei voida näin tutkia.
Yksi tapa arvioida julkaisun merkitystä, on tutkia,
missä lehdissä jokin artikkeli on julkaistu tai mikä
kustantaja on tämän kirjan julkaissut. Norjassa kehiteltiin
viime vuosikymmenellä aikakausjulkaisujen ja
kustantajien ranking-listoja, joita on käytetty hyväksi
tutkimuksen arvioinnissa ja myös rahoituksessa.
Näiden listojen taustalla on Universitets- og høgskolerådet
(UHR).
Vastaavanlaisia listoja on myös Australiassa ja
Tanskassa. Suomen vastikään julkistettu Julkaisufoorumi
kulkee samoja jalanjälkiä.
Ranking-listat ja tutkimuksen arviointi
Helsingin yliopiston kansainvälisessä tutkimuksen
ja jatkokoulutuksen arvioinnissa 2005-2010 pyrittiin
ottamaan huomioon tieteenalojen erilaisuus ja erilaiset
julkaisukulttuurit. Leidenin yliopistossa (CWTS)
tehtiin kaikille arviointiin osallistuneille tutkijayhteisöille
bibliometriset analyysit siten, että Helsingin
yliopiston tutkimustietokanta TUHATin perusteella
Web of Science –tietokannasta kartoitetut julkaisut
analysoitiin eri näkökulmista mm. viittausanalyysein.
Niille tutkijayhteisöille, joiden julkaisuja oli alle
50, tehtiin kirjastossa täydentäviä analyysejä, joissa
mm. tarkasteltiin lähemmin lehtien ja kustantajien
arvostusta tiedeyhteisössä. Näistä tutkijayhteisöistä
suurin osa toimi humanistis-yhteiskuntatieteellisillä
aloilla ja osa tietojenkäsittelytieteen piirissä.
Bibliometrisissa analyyseissä käytettiin hyväksi
lehtien ranking-listoja. Tutkijayhteisöjen tuottamien
lehtiartikkelien määrät laskettiin ja niitä vertailtiin lehtien saamiin arviointeihin. Koska arvioinnin bibliometrisia
analyysejä tehtäessä keväällä 2011 Julkaisufoorumin
työ oli vielä kesken, käytetyt ranking-listat
olivat Norjan ja Australian sekä European Science
Foundation’in joillakin humanistisilla aloilla olevat
ns. ERIH-luokitukset. Niinpä jollain tutkijayhteisöllä
saattoi olla 178 artikkelista 15 tasolla 2 (highest scientific
journal) ja 98 artikkelia tasolla 1 (scientific journal)
Norjan mukaan. Australian mallin tai ERIHin rankingien
mukaan luvut olivat hiukan erilaiset, mutta
erot eivät olleet olennaiset. Pikemminkin näiden eri
ranking-listojen antamat tiedot tukivat toisiaan.
Humanistis-yhteiskuntatieteellisillä aloilla tutkimustuloksia
julkaistaan edelleen suurelta osin monografioissa
tai monografia-artikkeleina. Helsingin
yliopiston tutkimuksen arvioinnissa laskettiin myös
erityyppisten monografioiden lukumäärä ja vertailtiin
niiden kustantajia Norjan julkaisijoiden rankinglistaan.
Jollain tutkijayhteisöllä saattoi olla 5 kirjaa
tasolla 2 (leading scientific publisher) ja 15 tasolla 1
(scientific publisher). Loput, ehkä 20 kirjaa, olivat
sellaisten kustantajien julkaisemia, jotka eivät olleet
saaneet mitään ranking-arvoa. Nämä saattoivat olla
kotimaisia kaupallisia kustantajia, tutkimuslaitoksia
tai tieteellisiä seuroja.
Norjan luokitukset
ja Suomen Julkaisufoorumi
Julkaisufoorumin julkistettua ranking-listansa, tein
pienen analyysin siitä, miten Helsingin yliopiston
tutkimuksen arvioinnissa ne 20 lehteä, jotka ovat
julkaisseet eniten vertaisarvioituja tieteellisiä artikkeleita,
ovat sijoittuneet toisaalta
Norjan ranking-listalla, toisaalta Julkaisufoorumin
listalla.
Sen mukaan molemmat ovat arvioineet
tästä joukosta 6 lehteä korkeatasoiseksi
tieteelliseksi lehdeksi
(taso 2/3) ja yhden tieteelliseksi lehdeksi
(taso 1). Sen sijaan norjalaiset
ovat arvioineet 8 lehteä tasolle 1, kun
suomalaiset ovat arvioineet ne korkeammalle.
4 lehteä jää norjalaisessa
ilman rankingia, kun ne Julkaisufoorumissa
ovat tasolla 1.
Kaikki nämä ovat suomalaisia tieteellisiä lehtiä.
Yksi lehti on päässyt Norjassa tasolle 1, kun Julkaisufoorumissa
sitä ei ole lainkaan luokiteltu. Kyseessä on
suomalainen tieteellinen lehti. Kiinnostavaa on se,
että kaikki TOP-20 -lehdet ovat saaneet jonkin ranking-
luvun joko Norjan tai Suomen paneeleilta.
Ranking-listat antavat yhdenlaisia välineitä julkaisujen
laadun kuvaamiseen. Ranking-listojen takana
on kuitenkin tiedeyhteisö, eri tieteenalojen johtavista
ja arvovaltaisista tutkijoista koostuva paneeli. Se
miten hyvin tämä paneeli edustaa tiettyä tieteenalakokonaisuutta,
on tiedeyhteisön arvioitavissa.
Ohjaako Julkaisufoorumi kirjastojen
aineistonvalintaa?
Helsingin yliopistossa pidetyssä Julkaisufoorumitilaisuudessa
helmikuussa korostettiin sitä, että ranking-
listoja ei pitäisi käyttää väärin tai että ne eivät
saisi ohjata tutkijoiden käyttäytymistä ja eri alojen
julkaisukulttuuria. Tosiasia kuitenkin on se, että niitä
tullaan varmasti käyttämään ohjenuorana monissa
julkaisuihin ja julkaisemiseen liittyvissä asioissa.
Jo nyt useissa tieteellisissä kirjastoissa seurataan
lehtien vaikuttavuuskertoimia (Impact Factor), jotka
pohjautuvat siihen, miten Web of Science -tietokannassa
olevissa lehdissä (= lehtiin sisältyvissä artikkeleissa)
tiettynä ajanjaksona viitataan toisiin Web
of Science -tietokannassa oleviin lehtiin (=lehdissä
ilmestyneisiin artikkeleihin). Lääketieteen ja monien
luonnontieteiden alalla tämä onkin ihan perusteltavissa,
koska tutkijat kirjoittavat hyvin suunnitelmallisesti
oman alansa parhaisiin lehtiin.
Humanistis-yhteiskuntatieteellisillä aloilla tämä
vaikuttavuuskerroin valinnan perusteluna ei ole toiminut
mm. siitä syystä, että Web of Science -tietokannoissa
nämä tieteenalat ovat varsin huonosti
edustettuina. Julkaisufoorumissa on
kuitenkin arvioitu kaikkien tieteenalojen
lehtiä 23 eri tieteenalapaneelissa.
Olen varma, että näitä rankinglistoja
tullaan käyttämään ainakin
jonkinlaisena tukena, kun päätetään,
mitä lehtiä hankitaan tai jätetään
hankkimatta. Erityisesti silloin, kun
määrärahat niukkenevat, joudutaan
jollain kriteereillä tekemään reippaita
päätöksiä. Silloin kyllä yritetään pitää
huolta siitä, että parhaiksi arvioidut
lehdet tulevat yliopiston kirjastoon.
Myös kustantajien ranking-listat vedetään kokoelmapoliittisessa
työssä varmasti esiin, kun aineistonvalinnassa
pohditaan, olisiko tämä – ehkä kalliskin –
kirja syytä hankkia. Johtava tieteellinen kustantaja on
yksi arviointikriteeri, joka päihittää kustantajan, jota
ei ole listoilla huomioitu.
Missä tutkijat julkaisevat?
Kirjastoihin hankitaan lehtiä, joissa tutkijat julkaisevat
ja joita he arvostavat. Tutkijat tarjoavat varmasti
artikkeleita sellaisiin lehtiin, jotka arvioidaan korkeatasoiksi
tieteellisiksi lehdiksi. Vanhemmat tutkijat
ohjaavat nuorempia tähän, ja jos yliopisto, tiedekunta
tai laitos tulee saamaan rahaa sillä perusteella, kuinka
monta vertaisarvioitua artikkelia on julkaistu arvostetussa
tieteellisessä aikakauslehdessä, on aivan
selvää, että sinne artikkeli pyritään saamaan. Kilpailu
kiristyy tieteessä ja paikasta auringossa.
Kirjastotkaan eivät voi olla tästä tietämättömiä.
Tutkijat ja opiskelijatkin kysyvät kirjastoista jo nyt
sitä, miten tämä lehti on luokiteltu Norjan tai Julkaisufoorumin
listoilla. Tutkijoiden ja jatko-opiskelijoiden
informaatiolukutaidon kursseilla Julkaisufoorumi
ja luokitukset ovat jo nyt toivomuslistalla.
Kuitenkin humanistis-yhteiskuntatieteellisillä
aloilla on tieteidenvälisiä aloja, ja uusia tutkimusaloja
kahden tieteenalan kohdatessa saattaa syntyä. Kauanko
kestää, että uusi tieteellinen lehti saa tunnustetun
aseman ja arvostuksen ranking-listalla?
Eri tieteenaloilla tutkijoiden keskuudessa jotkut
kustantajat ovat arvostetumpia kuin toiset. Jos
kirjan julkaisee Cambridge University Press, sen
status on ihan toinen kuin jonkin kotimaisen, sinänsä
tasokkaan kustantajan. Mutta miten käy
nousevien tieteenalojen ja vaihtoehtokustantajien?
Kuinka Julkaisufoorumi
rankkeerataan tiedeyhteisössä?
Helsingin yliopiston tutkimuksen ja jatkokoulutuksen
kansainvälisessä arvioinnissa koimme, että olemassa
olevat lehtien ja kustantajien ranking-listat
tarjoavat yhden välineen, jolla tutkimusta ja sen laatua
voidaan arvioida. Ne eivät voi olla ainoita, eivätkä
kansainvälisistä huippututkijoista koostuneet arviointipaneelitkaan
niin varmasti ajatelleet. Mutta ne
ovat yksi tapa yhdistää laadullista näkökulmaa kvantitatiiviseen
bibliometriseen analyysiin.
On olennaista Julkaisufoorumin käyttökelpoisuuden
ja tulevaisuuden kannalta se, miten
tiedeyhteisö(t) itse ovat mukana sitä kehittämässä ja
kriittistenkin arvioiden myötä viemässä sitä mahdollisimman
hyvään suuntaan.
teksti Maria Forsman
VTT, johtava tietoasiantuntija
Helsingin yliopiston kirjasto
- Artikkeli löytyy painetun lehden sivulta 32
|