onsdag den 6. januar 2010

Hvordan måle vitenskap?

af Svend Bruhns*

Det Norske Videnskaps-Akademi har i august 2009 publiceret en lille bog med ovennævnte hovedtitel. Den rummer tre af indlæggene fra et møde i Oslo den 12.marts 2009 om det nye ”tellekantsystem”, dvs det bibliometriske forskningsevalueringssystem som blev indført i Norge for nogle siden, og som med modifikationer også er vedtaget i Danmark. Tællekant er et øgenavn som benyttes af kritikerne af systemet; ordet er betegnelse for kanter som man bøjede på lagner osv i linnedskabet så man nemmere kunne tælle om der manglede noget.
Rapporten har indlæg af Gunnar Sivertsen, Per O. Seglen og Nils Roll-Hansen; jeg koncentrerer mig om de to førstnævnte.

Sivertsen er forskningsprofessor ved NIFU – Norsk Institutt for Studier av Forskning – hvor han har arbejdet som bibliometriker i mange år, men han er doktor på en afhandling om Holberg. Som bibliometriker har han bl.a. undersøgt publicerings- og citationsmønstre i videnskabelige tidsskrifter. I de senere år har han arbejdet ihærdigt med udvikling af en publiceringsindikator til brug ved resultatbaseret fordeling af forskningsmidler. Modellen blev præsenteret i en indstilling fra det norske UHR – Universitets- og Høgskoleråd med titlen Vekt på forskning (Oslo, 2004) og indført i Norge med virkning fra budgetåret 2006.
Sivertsens artikel hedder følgelig ikke noget med tællekant, men ”Publiseringsindikatoren” og Sivertsen lægger stor vægt på at hensigten med indikatoren er at måle forskningsaktivitet på institutionsniveau, så der kan indføres resultatfinansiering af forskning, ikke at være et redskab til vurdering af forskningskvalitet, og slet ikke på individniveau.
Formålet har også været at stimulere forskningsaktivitet, og det er også sket, i hvert fald hvis man kigger på publiceringsaktivitet: Norge har haft en bemærkelsesværdig stigning i antal videnskabelige publikationer; Norge plejede at ligge på et lavere niveau end Danmark, Finland og Sverige men er i de seneste år kommet på niveau med os andre. Det skyldes uden tvivl det incitament som den nye publiceringsindikator har givet de norske forskere.
Sivertsen fremhæver også at en gavnlig bivirkning af indførelsen af indikatoren er at Forskning er blevet vældig meget diskuteret, både internt i institutionerne og i pressen, også af bredere grupper af forskere som ellers ikke har deltaget i forskningspolitiske debatter.
Et punkt som har givet anledning til kritik og til mange diskussioner (og som fortsat vil gøre det) er at publikationskanalerne (tidsskrifter og videnskabelige bogforlag) inddeles i to niveauer, hvor fx niveau-1 tidsskrifter gir 1 point, mens niveau-2 tidsskrifter gir 3 point. Man må uvilkårligt tænke at alle niveau-2 tidsskrifter er af meget højere kvalitet end dem på niveau-1. Det hævder Sivertsen imidlertid ikke, han understreger at niveaudelingen ikke kan anvendes til at måle ’kvalitet’. Niveaudelingen i det norske system er indført for at dæmme op for mulige negative effekter på publiceringsmønstret. Sagen er at i lande (Sydafrika, Australien) hvor man tidligere havde indført belønning for publicering i de fine (ISI)-tidsskrifter, bevirkede det ganske vist en forøget publicering, men kvaliteten (målt som citationer per paper) faldt.
Der foreligger endnu ingen officiel evaluering af Det Norske System, men Sivertsen har foretaget nogle undersøgelser som viser/tyder på at norsk forskning efter indførelsen af publiceringsindikatoren
  • øger publicering i de mest citerede ISI-tidsskrifter
  • beholder sin høje citeringshyppighed på artikelniveau
  • har fortsat stabilitet i publiceringsmønstret
Seglen
Seglen er højtciteret cellebiolog, professor ved Radiumhospitalet i Oslo, men han var også i en del år knyttet til NIFU som forsker. I denne egenskab undersøgte han kritisk især den såkaldte Journal impact factor (JIF) som ved hjælp af citationsindexerne udregnes i firmaet ”Institute for Scientific Information” (ISI) – nu Thomson Reuters. JIF er blevet (og bliver desværre stadig her og der) anvendt til at bedømme forskerkvalitet. JIF har også en vis betydning for grundlaget for Det norske publiceringsindikatorsystem thi det oprindelige udkast til tidsskriftslister som de norske fagråd fik som udgangspunkt da de skulle vælge de tidsskrifter der skulle tælle i Systemet var ISItidsskrifter rangeret efter JIF.
JIF, på dansk har jeg set oversættelsen: gennemslagsfaktor - er et mål for den hyppighed som en gennemsnitsartikel i et bestemt tidsskrift er citeret med. Hos ISI udregnes den ved at dividere alle citatio-ner som et bestemt tidsskrift modtager i et bestemt år til de artikler som tidsskriftet rummede de to foregående år med antallet af artikler som det rummede de to år. Vi tager som exempel to tidskrifter A og B som i 2008 hver modtog ialt 500 citatio-ner til de artikler de rummede i 2006 + 2007. Tidsskrift A rummede ialt 300 artikler i de to år 2006 + 2007 og får en JIF på 1.667, men B rummede kun 100 artikler de to år og får følgelig en højere JIF på 5.000. Tidsskrift C som kun modtog 50 citatio-ner får også faktor l.667 hvis det kun rummede 30 artikler i de pågældende år.

Det sidste ord om JIF?
Man skulle tro at de sidste ord om JIF som kvalitetsindikator var sagt med Seglens konklusioner ( 1997):
Summary points
  • Use of journal impact factors conceals the difference in article citation rates (articles in the most cited half of articles in a journal are cited 10 times as often as the least cited half)
  • Journals' impact factors are determined by technicalities unrelated to the scientific quality of their articles
  • Journal impact factors depend on the research field: high impact factors are likely in journals covering large areas of basic research with a rapidly expanding but short lived literature that use many references per article
  • Article citation rates determine the journal impact factor, not vice versa
Men nej, bibliometristerne vrider og vender sig for at forbedre denne indikator, det er al ære værd; det slemme er at der stadig er nogle der lider af impactitis og at forskningsadministratorerne ikke engang vrider sig, men blot gnider sig i hænderne over at have lettilgængelig JIF til brug ved evaluering.
På ISI har de tidligere ofte været ret floromvundne i omtalen af JIF, men i 2008 så jeg en udtalelse ”at man vanskeligt kan retfærdiggøre anvendelsen af JIF som surrogat for en mere omhyggeligt udført direkte måling af citationsimpakt”. ISI mener så at JIF-tal kan anvendes til at give et billede af tidsskriftshierarki.

Seglens indlæg i rapporten (s.39-70) hedder ”Er tidsskriftsrenommé og artikkeltelling adekvate mål for vitenskapelig kvalitet og kvantitet?” og det spørgsmål besvarer han allerede i sin første underrubrik:

”Tidsskriftene er ikke representative for artiklene”
Seglen måtte (omkring 1990) undre sig da han kunne konstatere at nogle forskere hvis artikler ialt modtog færre citationer end en anden forsker men alligevel blev rangeret højere end denne, fordi deres JIF-tal var højere. Enhver kan sige sig selv at et tidsskrifts JIF ikke har gyldighed for den enkelte artikel når man véd at citationstal er meget skævfordelt. Seglen illustrerede denne undersøgelse med en ofte citeret graf – 15% af artiklerne i et tidsskrift modtar 50% af alle citationer; 50% modtar 90% af citationerne:

Figur 1C fra Seglen 2009:

[klik på fig. for at forstørre] (orig. fig.-tekst: "Fig. 1. Dårlig korrelasjon mellom tidsskrift-impaktfaktorer og artikkelsiteringer p.g.a. skjeve fordelinger" (...) "C. Summerte relative bidrag fra de enkelte artiklene (kohortisert og arrangert i avtagende rekkefølge) til tidsskriftets totale impakt (normalisert gjennomsnitt for de tre tidsskriftene i B); fra Seglen (1992a)").

”Tidsskriftene bidrar ikke til siteringshyppigheten”
Det er ganske vist givet at artikler publiceret i et af ISIs kildetidsskrifter statistisk set blir meget mere citeret end artikler der ikke er inde i varmen, men hvis man kun betragter de tidsskrifter (ISI) der er over den internationale synlighedstærskel, så indikerer undersøgelser som Seglen tidligere har foretaget at tidsskriftets impaktfaktor ikke har nogen væsentlig indflydelse på citeringshyppigheden af den enkelte artikel. Seglen har også en hypotese om hvorfor det er sådan idag, idet han mener at dagens forskere ikke finder frem til de artikler de skal bruge ved at skimme de fineste tidsskrifter, men gennem databasesøgning. [Det kunne være interessant at få efterprøvet det ved lejlighed. SB].

Er der nogen sammenhæng mellem JIF og tidsskriftskvalitet?
Der er en del undersøgelser der har vist at der kan være god korrelation mellem JIF og expertvurderinger af tidsskriftskvalitet. Men den subjektive kvalitetsvurdering i en af disse undersøgelser spredte sig over et påfaldende trangt skalaområde (fra 4,9 til 8,4) hvor skalaen ellers gik fra 1-10. Mens JIF rakte fra 0,17 til 27,8. Den egentlige kvalitetsforskel mellem sådanne tidsskrifter er antagelig ret moderat, derfor forekommer den store pointforskel mellem niveau-1 og niveau-2-artikler (hhv 1 og 3 point) alt for stor og ikke mindst tilfældig, når man tænker på de tidsskrifter som ligger på vippen mellem niveau-1 og -2. Man kan næppe konstatere en reel kvalitetsforskel mellem tidsskrifter nær delelinjen.

Kvantificering af artikler
Om en artikel er lang eller kort [eller om en bog er på 100 eller på 600 sider] gør ingen forskel i systemet. Seglen mener dog at når nu det hele går ud på at tælle, så burde man også tage hensyn hertil. Der er masser af undersøgelser der har konstateret at længere artikler tiltrækker flere citationer, og selvom Seglen som alle kyndige véd at man ikke kan sætte lighedstegn mellem antal citationer og kvalitet, så har Seglen lavet textanalyser af publikationer på felter som han selv er expert på, og vist at der var sammenhæng mellem artiklernes længde og deres informationsindhold.

Forskergruppestørrelser
Det har vist sig – i hvert fald i Norge – at større forskergrupper modtager en uforholdsmæssig stor del af forskningsstøttekronerne. Men det er et faktum at små forskergrupper er lige så produktive mht publikationer pr forsker som store grupper, og” Original, nyskapende forskning kan minst like gjerne tenkes å oppstå i en liten, lettmanøvrert gruppe som i et stort, tungrodd forskernettverk.”

Konklusion
Seglen behandler kun naturvidenskab og det er een grund til at han og Sivertsen i nogen grad taler forbi hinanden, for sidstnævnte arbejder jo ud fra den præmis at indikatorsystemet skal dække alle fag.

Sivertsen fremhæver også og med rette at det norske system har den store fordel at det tvinger forskningsadministrationerne til at etablere en fuldstændig og nøjagtig database over landets forskningspublikationer, ”Norsk vitenskapsindeks”. Også Danmark er nu tvunget til at etablere en Bibliografisk forskningsdatabase. Hvad vi har i Danmark og mange andre lande på dette område er ren ynk. Det er egentlig utroligt at vi har haft et videnskabs-/forskningsministerium i nu en del år uden at dette relativt nemt overskuelige problem er blevet løst. Ja, allerede Kultusministeriet burde have løst det for hundrede år siden. Der er tegn på at der endelig er ved at ske noget her i landet, men husk at gøre en indsats for også at få de forskningspublikationer som ikke er knyttet til en offentlig institution med i registranten.

Hvis det forholder sig sådan at tidsskriftet er uden betydning for synligheden og brugen af den enkelte artikel ”hvorfor skal en da streve med å forsøke å få artikler akseptert i de mest renommerte tidsskriftene?” (Seglen). Et godt spørgsmål, som man siger hvis man ikke kender svaret. Men vi kender faktisk svaret på det spørgsmål, for det er jo at Regeringen og politikerne ønsker det, det står i deres globaliseringspapirer. Så det egentlige spørgsmål er, hvorfor Regeringen ønsker at danske forskningsinstitutioner skal ændre deres publiceringsadfærd så de koncentrerer sig om ”at publicere i de mest anerkendte og prestigefyldte publiceringskanaler inden for fagområdet”. Det spørgsmål er der ikke grundigt redegjort for, og jeg nægter at tro at det er politikerforfængelighed og ”rangsyge” (higen efter at Danmark kommer højere op på de internationale ranglister som fx THES’) der skal styre forskernes publiceringsadfærd. Mens det at skabe god og nyttig forskning kan risikere at komme i anden række.


Hvordan måle vitenskap?: søkelys på bibliometriske metoder. Red.: Øyvind Østerud. Oslo: Novus Forlag/Det Norske Videnskaps-Akademi, 2009. 80 s. (download pdf)

*) Svend Bruhns er fhv. assisterende fagleder ved Danmarks Biblioteksskole i Aalborg; udgiver snart en bog på dansk om citationsindexering og publikationspoint. Forskningsinteresser: Bibliografisk teori, metode & historie.

Ingen kommentarer: