mandag den 29. oktober 2012

Bibliometriske fristelser

Ros til Forskerforum for sin kritiske indgang til nyheden d. 19/9 (her) om at den "upopulære" Bibliometriske Forskningsindikator fortsætter, efter den noget lemfældige evaluerings- og høringsproces' afslutning. Indlægget nærlæste høringssvarene, og bemærkede at politikerne valgte at overhøre den kritik af BFI-modellen, der lå i svarene fra de mange centrale aktørers side.
Ris til Forskerforum for den aktuelle nyhed (d. 29/10, her) med overskriften "Indikator: Bedst forskningskvalitet pr. forsker". Man kan kun ryste på hovedet af den tilgang, der er valgt her. Første sætning slår grundtonen an:
"KU står for 32 pct. af landets samlede forskningskvalitet, AU for 25, DTU for 14, Aalborg for 10, SDU for 9, CBS for 4 og RUC for 3.5 pct."
Herre Jemini! Havde der så stået x % af landets forskning, altså en størrelse man kunne have et vist håb om at opgøre kvantitativt. Nu hævder artiklen, at man kan bruge BFI-statistikken til at sætte procenttal på forskningskvalitet når man sammenligner analoge fakulteter! Det er noget af en påstand!
Det bliver værre endnu. Ganske vist siges det, at "BFI kan ikke afkodes til individniveau." Men hvad gør Forskerforum så? Citat:
"FORSKERforum har derimod udregnet uni-fakulteternes publicerings-score over for hinanden (publikationspoint pr. vip-forskningsårsværk (...). Og her er der et par overraskelser, for det er ikke nødvendigvis de store forskermiljøer, som scorer højest."
Det er da muligt, at denne tal-leg kan føre til "overraskelser", men den er dybt uheldig, og mere meningsløs end bare problematisk. Ikke alene ud fra et rent fagligt-bibliometrisk synspunkt. Den bidrager også til en tendens, man ser til at en del yngre forskere tager hele BFI-modellens postulater og reifikationer for gode varer, og begynder at tælle egne "publikationspoint" sammen, eller skele til om det tidsskift, det er mest hensigtsmæssigt at sende en artikel til, tilfældigvis figurerer på høj- eller lav-niveau ifølge BFI's såkaldte autoritetslister. Forskerforums forfatter vil måske forsvare sig med, at det nævnes, at modellen er omdiskuteret:
"BFI-statistikken er omstridt, men Forskningsstyrelsen og politikerne retfærdiggør målemetoden med, at uni-rektorerne mener, at det er den mindst ringe metode til kvalitetsmåling."
Jammen ikke engang rektorformanden eller Forskningsstyrelsens egne folk påstår, at den måler kvalitet! Hvis der er noget, den er "mindst ringe" til, så er det at fordele forskningskroner mellem universiteterne ud fra produktivitet – ikke kvalitet. Modellen kan tværtimod som utilsigtet konsekvens medføre et volumenræs, som reelt nedsætter kvaliteten. For at sige det meget kort: Hellere een god artikel per forsker hvert tredje år, end 15 dårlige på 3 år, som koger suppe på det samme, er sjuskede, forkerte, eller bare ligegyldige og intetsigende. Også selvom en god artikel ikke giver lige så mange BFI-point (og dermed kroner) til universitetet som 15 dårlige. — Som en god kollega sagde til mig for få dage siden: Der skrives for meget og læses for lidt. Det er bare ikke så let at måle input i form af læst materiale som output i form af skrive-kværnens lette strøm af publikationer.

ps:
En opsamlende liste af pro et contra for BFI kan ses her.