Galilei og den store nordiske bibliometristrid

Videnskabens klassiske normer, som universalitet og upartiskhed, betyder bl.a. at et udsagns sandhedsværdi skal bedømmes på dets indhold og ikke på hvem der har ytret det. Alligevel låner mange udsagn autoritet fra de videnskabens helte, hvis visdomsord er uddestilleret gennem videnskabshistoriens interesse for det unikke og excellente.
Tag nu Galilei. Han skal have sagt noget i stil med "mål alt, hvad der kan måles, og gør det måleligt, som endnu ikke kan måles!" Er dette diktum nu selv videnskabeligt? Hvis vi antager, at udsagnet er udtryk for den højeste videnskab, kan vi så finde metoder til at måle dets sandhedsværdi? Eller måske måle den forskningskvalitet, som ligger bag?

Vi vender tilbage til Galilei efter en lille bibliometrisk omvej. I forlængelse af mit indlæg om den svenske bibliometri-debat, har jeg modtaget flere viderebringelsesværdige oplysninger fra bloggens netværk (tusind tak!). Det handler om det 21. århundredes store nordiske bibliometristrid. Sverige synes i forhold til Danmark befolket med bibliometrikere, og man kunne derfor undre sig over hvorfor man ikke allerede i Sverige har indført modeller a la den norske. Måske fortæller striden hvorfor.
Jeg må lige indskyde, at bibliometri betragtet som grundforskning på grænsen af videnskabssociologi, informationsvidenskab og lignende discipliner, har min store respekt. Men der går formodentlig ingen lige linier fra bibliometrisk forskning til dens anvendelse eller misbrug som quasi-politisk administrativt redskab. (Man kan jo også være en habil demograf uden at gå ind for malthusianisme om politisk ideologi).
Det forlyder, at debatten i Sverige har været betændt og personlig. På et tidspunkt overvejede man den "norske model", men politisk vendte man på en tallerken, og gik nu i stedet ind for en model udarbejdet af Ulf Sandström, som jeg nævnte i mit sidste indlæg. Sandströms model var ellers blevet voldsomt kritiseret af eksperter som bidrog til i en svensk udredning ("Resurser för kvalitet" - Staten Offentliga Utredningar (SOU 2007:81) [her]), men ikke desto mindre fandt den sine tilhængere politisk, og udredningen endte med at indeholde en så kraftig kritik af den norske model, at det førte til løftede øjenbryn fra det norske Universitets- og Høgskolerådet, som bad om en mere saglig omgang med den norke model i den videre behandling af udredningen.
Sandström er meget kritisk overfor den "norske model", men ikke i forhold til dens formål. Han er tilhænger af ressourcetildeling på baggrund af bibliometriske indikatorer, og har endda talt varmt for bibliometrisk evaluering af forskere på individuelt niveau - noget de fleste bibliometrikere klart afviser. I forhold til den norske model, vil Sandström ikke acceptere at fuldstændige publikationstællinger kan anvendes (alene) i en fordelingsindikator. For ham er citationsanalyser altafgørende. For mange er citationsanalyser den eneste bibliometriske metode, der kan sige noget om 'kvalitet'. Det er velkendt, at citationsanalyser nødvendigvis er mere retrospektive end publikationsanalyser; kendere på feltet siger, at for at undersøge citationer til artikler publiceret i 2008, skal man minimum vente 3 og gerne 5 år, før man kan foretage en seriøs undersøgelse. Og det er også velkendt, at datagrundlaget for citationsanalyser begrænser disse til de "våde" områder. Rationalet for den "norske model" er netop de problemstillinger (og andre) der knytter sig til citationsanalyser. Det fremgår bl.a. af en artikel om den "norske model" af Jesper W. Schneider fra Danmarks Biblioteksskole (Schneider, J.W. 2009: "An outline of the bibliometric indicator used for performance-based funding of research institutions in Norway", European Political Science 8(3): 364-378). Artiklen diskuterer den norske models rationale i forhold til citationsanalyser. Schneider synes at mene, at den norske model, hvis man altså absolut ønsker at ressourcer tildeles efter output eller performance, er det mindste onde, men at man ud fra et rent fagligt perspektiv må sige, at ”performance-based funding” er temmelig problematisk – spørgsmålene er flere end svarene.

Sandström har udviklet en model, der efter sigende tager højde for det problem i den norske model, at denne fokuserer på volumen snarere end indhold, indikerer aktivitet snarere end kvalitet: Det sker ved at inkludere citationsanalyser i fordelingsnøglen. Her må man spørge, hvordan dette løser de fundamentale problemer ved citationsanalyser, at de er retrospektive og kun egnede til 'våde' områder? Sandströms svar er estimering og forudsigelse. Han tager udgangspunkt i en sandsynlighedsfordeling kaldet Waring, og ud fra denne forsøger han at estimere performance for de enkelte institutioner. Sandströms model er sammensat af to indikatorer, dels en velkendt og afprøvet relativ citationsindikator (ofte kaldet ”Crown-indikatoren”), som måler citationer per publikation set i forhold til gennemsnittet indenfor emneområdet, og dels en produktionsindikator. Produktionsindikatoren forsøger at estimere størrelsen af en institutions videnskabelige produktion. Denne metode er til gengæld uprøvet i forhold til institutioner, og den baserer sig på ufuldstændige data. Produktionsindikatoren bygger på antal publikationer per forsker. Da man ikke har fuldstændige data, anvender man Waringfordelingen til at estimere dette antal. I sidste ende bliver produktionstallet ”kvalitetsjusteret” gennem en multiplikation med citationsindikatoren. Dermed kommer modellen ifølge Sandström til i højere grad at afspejle videnskabelig kvalitet frem for ”bare” aktivitet.
Warringfordeling er tidligere brugt indenfor bibliometrien til at forudsige landes videnskabelige produktion. Sandström bryder fordelingen ned i mindre enheder (emneområder og institutioner) og her har han mødt en hel del kritik, fordi det er kendt at Waring-fordelingens estimationskraft bryder sammen ved mindre enheder. Waring-fordelingen forsøger at estimere produktion per forsker, altså hvor mange publicerer 0, 1, 2 publikationer osv. indenfor et område. Da Sandström udelukkende baserer sig på data fra citationsindekser (Thompson Reuters) er han nødt til at gætte på produktiviteten for fx humanistiske forskere, som så sættes til en konstant der gælder for alle! Det korte af det lange er, at Sandströms model ikke måler konkrete resultater fra fx det foregående år, men forsøger at estimere og forudsige performance for alle emneområder, skønt grundlaget er baseret på et begrænset datasæt fra Thompson Reuters (dvs. data er af ældre dato). Grunden til at Sandström mener, at modellen er legitim, er at han har modelleret den i forhold til de komplette norske data (fra den norske model) og har fundet en stor sammenhæng. Sandströms pointe synes derfor at være, at man kan gøre det hele meget lettere - skønt aldeles ugennemsigtigt for enkelte forskere og institutioner - ved hjælp af modellen. Og derudover indeholder modellen citationer! Problemet er bare, at vi ikke ved, hvordan modellen fungerer på mindre valide data end de norske (de norske data er jo komplette på grund af modellen), og at man ved, at Waring-fordelingen flader sammen ved mindre enheder. Dette er unægtelig et usikkert grundlag for en fordelingsindikator.
(For de teknisk interesserede: Her er en kritik af Waring-modellen ved Tore Lund fra Chalmers Bibliotek. Det forlyder, at det svenske videnskabsråd i næste uge offentliggør en grundig redegørelse og kritik af Waring-modellen. Den danske universitetsstyrelse (UBST) under Videnskabsministeriet lavede allerede d. 12/11-2007 et notat til fordel for en norsk fremfor en svensk model med impact-mål: her). Som et kuriosum skal siges, at man i Belgien, hvor Waring-fordelingens ophavsmand Wolfgang Glänzel (indenfor bibliometrien) holder til, ikke anvender den, tværtimod er man ved at gå over til et system der ligner det norske for Hum-Samf-området.
Så meget i denne omgang for den store nordiske bibliometristrid (fortsættelse følger sikkert). Hvordan, vil nogle måske spørge, kan 'almindelige' forskere overhovedet tage bibliometri seriøst? Det ville være rart, hvis vi kunne betragte bibliometri blot som et forskningsredskab og som et fagområde blandt andre. A la bibliografi. Som redskab til finde mønstre, ikke til at måle det umålelige.

Og nu tilbage til Galilei. Nu påstod han jo ifølge legenden ikke, at man skulle gøre det måleligt, som de facto ikke kan måles. Men sjovt nok er indledende citat er muligvis falsk, selvom det er tilskrevet Galilei millioner af gange. En historiker siger om spørgsmålet: "Although Galileo is quoted with these words in a large number of publications, the authenticity of the sentence is highly dubious because no one has ever provided a precise bibliographical reference for where to find it in Galileo’s works." (...) "Notwithstanding its increasing popularity, referring to this expression as a quotation from Galileo is a striking example of academic sloppiness." (Andreas Kleinert 2009: "Der messende Luchs", NTM Zeitschrift für Geschichte der Wissenschaften, Technik und Medizin 17(2): 199-206). Bibliografisk arbejde som korrektion af scientometrisme og lemfældig bibliometri?