Årets forskningshøst: Delte reaktioner på indikatorstatistik

LEGETIMITETSKRISE.
Den nationale forskningsindikator deler vandene. Den undsiges i de faglige miljøer og skaber krisestemning blandt universitetsledere. Alligevel kører ministeriet videre og har netop frigivet første datahøst.
af Claude Zlemmecke, Forskningsfrihed?s udsendte medarbejder.

Den videnspolitiske analyseenhed i Forsknings-, Innovations, Værdi- og Vidensstyrelsen (FIVV) har netop frigivet de første tal om den ganske danske forsknings volumen og fordeling, ikke i vægt af papirsider eller rumfang af bøger, men dens profil ifølge den store nationale bibliometriske forskningsindikator (link her). På websitet kan man, som som FIVV skriver, "finde det antal publikationer, som blev høstet fra hvert universitet i oktober 2009. Du kan også finde de publikationspoint, som blev resultatet af beregningerne."

Indikatoren er en del af den politiske aftale om fordeling af basismidler, der blev indgået i sommer, hvor videnskabsminister Helge Sander udtalte, at "De universiteter, der gør det godt, skal belønnes. Og dårlig kvalitet skal have konsekvenser."

For at se nærmere på høstudbyttet (og inspireret af ministeriets egen pressemeddelelse) har bloggen Forskningsfrihed? spurgt en række forskningspolitiske aktører om deres tolkning af tallene, der viser store forskelle mellem universiteterne og mellem hovedområderne, og om deres generelle syn på bibliometrien.

Ikke nok konkurrence

Cheføkonom i Dansk Industri Lars Silverschmidt hører til de, der ser kritisk på resultaterne, især hvad angår patenter; en af de parametre indikatorstatistikken dækker. Mens Syddansk Universitet fik førertrøjen og scorede 8,14 publikationspoint - i denne eliteprægede og lettere esoteriske universitetsdisciplin (sammenlignet med de 814,21 point samme universitet hentede hjem på højniveauartikler) - hjemtog både DTU, CBS og RUC siger og skriver 0,00 point hver i patenter. Silverschmidt udtaler, at "det er rystende at se, at hverken industri- eller finanskapitalens universiteter, DTU eller CBS, formår at leve op til vores Innovationsmanual 2012 eller de strategiske overmål, der tilskynder forskerne til at bidrage til Danmarks konkurrenceevne og competetiveness. Kan vi ikke patentere vores viden, risikerer vi jo at vores konkurenter fakturerer den før os". Silberschmidt udtrykker ellers glæde over tallene, for som han siger, "nu kan selv ministeren jo se hvordan kvaliteten udvikler sig".

Fra den borgerlige tænketang NEOLIBS mener mestertænker Martini Åger, at indikatorens tal maner til eftertanke: "Der er simpelthen ikke konkurrence nok i dansk forskning. Sander har kun gjort arbejdet halvt. Der er behov for at fordele endnu flere midler i åben eller halvlukket konkurrence, både strategiske, anvendte og frie forskningsmidler, og så må vi se at få privatiseret de dårligste universiteter. Når man scorer så lavt i publikationspoint som RUC, er det på tide, at det private initiativ får flere muligheder", mener Martini Åger, som iøvrigt ærgrer sig over at en anden indikator for tildeling af basismidler, som måler universiteternes evne til at tiltrække eksterne forskningsmidler, som følge af den politiske aftale er faldet fra 40 til 20% i vægt. "Det skal vi lave om på, så begge indikatorer hver vejer mindst 60%" siger Åger og tilføjer, "det kræver blot lidt ændret matematik, men løsninger på det kan sagtens udliciteres."

Statistikken på FIVVs site tillader også at se resultaterne i lyset af disciplinernes indbyrdes konkurrence, eller hovedområdernes kamp. Formanden for Rådet for Frivillig Forskning, professor Pete the Harder, er glad for statistikken.
"Nu har jeg sort på hvidt, at de humanistiske og samfundsvidenskabelige fag klarer sig flot, især i den værdikamp mellem Snows to kulturer som Sander netop har blæst igang", siger han, og mener at "Selvom naturvidenskab, teknik og medicin tilsammen fører med 70 publikationspoint i disciplinen doktorgrad, synes jeg der er flot, at vi får synligjort, at den bløde del af de to kulturer alligevel er med oppe i feltet med deres samlede hele 60 point."
Pete the Harder tilføjer, at "nu skal vi bare have flere studerende på litteraturvidenskab til at aflevere deres specialer som doktorafhandlinger, så tror jeg vi er oppe i feltet i 2012."

Antologistrategier

Til gengæld raser ærkehumanist på Århus Universitet Dr.phil. Hans Lauge mod hele systemet: "Det var bedre i universitetsmarxismens dage, dér var det kun i bøgernes indledning, at man skulle skrive om brugsværdiens underkastelse under kapital og bytteværdi. Nu kan man skrive hvad som helst, hvis bare teksten lader sig subsumere under en bestemt kommunikationskanal." Adspurgt om han ikke selv publicerer i internationale engelsksprogede tidskrifter svarer Dr. Lauge, at "der alligevel ikke er nogen i USA, der interesserer sig for hverken mig eller Løgstrup".
I disciplinen antologier virkede det i denne første kvalifikationsrunde som om der var et tæt løb mellem SDU og DTU, men alligevel uddistancerede DTU med 428 publikationspoint SDU, der kun opnåede 334. Man er dog ikke skuffet på SDU. Rektor Jens Stærkodder som også er rektorformand forklarer, at nu gælder det om at se fremad og indtænke antologikvalitetsarbejdet i SDU's strategiplaner for næste år, så skal SDU nok være længere fremme på antologibanen næste år.

Kvalitet og hcf

En af de store diskussioner, der gik forud for opstillingen af indikatoren var, om den indikerer kvalitet eller blot kvantitet. Helge Sander har hele tiden fastholdt, at basismidler skal tildeles efter kvalitet, og indbygget i indikatoren er også, at en publikation i et højniveau-tidskrift udløser flere point end i de øvrige tidskrifter, der overhovedet er anført på de såkaldte autoritetslister. (Forskerne må stadig godt publicerer andre steder, men en forsker har ud fra et ledelsesperspektiv dømt sig selv ude, hvis han eller hun gør det).
Kritikere af Sander og FIVV's indikatormodel har sagt, at den kanal, et arbejde publiceres i, i sig selv intet siger om dets kvalitet, og at indikatoren vil føre til rent volumenræs og forskyde interessen bort fra emner, der er særlig interesse for i det danske samfund. Dansk Folkeparti fik lovning på at de danske forlag ikke ville stilles ringere end de internationale, men hvordan man på lang sigt skal 'ranke' eller niveaudele forlag, er endnu ikke afklaret.

Bloggen Forskningsfrihed?'s konsulent i højere norsk brøkregning, Gunnars Ivertsen, har på basis af tallene undersøgt hvad den nyhøstede statistik siger om kvaliteten af hovedområdernes præstationer. Forholdet mellem antallet af publikationer i højniveautidskrifter i forhold til høj- plus lavniveau tilsammen er ifølge Ivertsen en klar meta-indikation af kvalitet (i bibliometriske kredse kaldet hcf-indekset, som står for "Høj CigarFøring"). Her er de indhøstede hcf-tal for hovedområderne:

NAT/TEK: 3397/(3397+2546) = 57,15%
SAM: 828/(828+433) = 65,66%
SUND: 3633/(3633+1696) = 68,17%
HUM: 470/(470+267) = 63,77%

Kvalitetsvinderen er sundhedsvidenskab, hvilket er ganske naturligt, siger Ivertsen, der dog understreger at hele feltet ligger ganske tæt, og at intet sikkert endnu kan siges om, hvem der til næste år fører cigaren højst.
Til gengæld er Socialdemokraternes forskningspolitiske ordfører, Kirsti Brosme, ganske tilfreds: "For socialdemokraterne er det jo vigtigt, at de offentlige midler til forskning også bidrager til velfærden, og jo mere sundhedsforskning af høj kvalitet, jo mere velfærd. Vi fik i forligskredsen omkring aftalen netop sikret, at det er dansk velfærd, vi taler om".
- Men vil indikatoren ikke bare føre til at forskerne deler de samme resultater op i flere artikler, efter salamimetoden? Brosme: "Når det handler om sundhed og videnskab, kan vi næppe få for meget af den, og jeg er ikke bange for salami."
Ivertsen tilføjer, at når kvalitetstallene er højere i Danmark end i Norge må det skyldes, at den danske indikator har et højere mafiosa-index end den norske - et index, som måler graden af publikationsbias i selve opstillingen af niveaudelingen af tidskrifter (efter devisen, de tidskrifter, vi allerede publicerer i, vælger vi selv som de bedste). Ivertsen har dog endnu publiceret sine undersøgelser af dette index og vil også helst undgå lynchstemning blandt de danske faggrupper.

Faggrupperne

De 68 faggrupper, som består af forskere fra de forskellige fagfelter og som fik til opgave af ministeriet at ranke tidskrifter i høj, lav, og nul kvalitet, er ikke glade for indikatoren. En enquete, som blev foretaget af formanden for Faggruppen for Ubekvem Forskningsanalyse, Klaes Emhaetche, viste, at et stort flertal af faggrupper faktisk var pinligt berørte over den indikator, de selv havde været med til at rådgive ministeriet om.
- Virker det ikke selvmodsigende at videnskabsfolk først rådgiver ministeriet om en indikator, og bagefter undsiger den?
"Jo, men det er ikke forskerne selv, der har bedt om den indikator. Mange har blot påtaget sig hvervet som en form for borgerligt ombud eller damage control", siger Emhaetche og tilføjer, at der også i flere faggrupper lige nu mangler faggruppeformænd, fordi mange er udtrådt og har smækket med døren.
"Det gælder fx formanden for faggruppen for sociologi. De havde vurderet, at tidskriftet Dansk Sociologi var af høj nok kvalitet til at tælle som niveau 2, men blev overrulet af det centrale Faglige Udvalg. Det er den slags som gør, at hele projektet mister fagligt legitimitet", siger Emhaetche.
Enqueten (her) påviste, at ialt 38 ud af 67 faggrupper helt eller delvist tilslutter sig et hovedforbehold gående på, at opdelingen af tidskrifter i høj og lav ikke under de givne betingelser er en optimal løsning, og at man råder til ikke at anvende modellen i praksis før alle dens konsekvenser er nøjere belyst og datagrundlaget bedre.

Den ringe tilslutning har bekymret universitetsledernes klub Danske Universiteter og sendt nervøse vibrationer gennem ministeriet. Forskningsstyrelsen indkalder nu til dialogmøde med faggrupperne d. 8. december, og på RUC har protorektor Henning Salig-Olesø taget initiativ til et krisemøde med de RUCske faggruppemedlemmer den 4. december, måske for at coache dem til mødet den 8/12.
- Salig-Olesø, mener du stadig, at den modificerede "norske" model er den mindst ringe?
"Ja, hvis eller når der skal fordeles ressourcer på basis af forskningsproduktion, må RUC prioritere at anvende kvalificerede medarbejdere til at repræsentere sig i udvalgsarbejdet."
- Men der er meget få, der har lyst til at være med til at legitimere hele projektet?
"Det er det, vi skal drøfte den 4. december. Faggruppernes svar på Emhaetche-enquetens spørgsmål om forbeholdet overfor selve BFI-modellen foreligger kun delvist i Emhaetches notat. Vi ser frem til, at alle sørger for, at vi senest den dag har et overblik over vores repræsentanters standpunkter."
- Hvad mener du om Fagligt Udvalgs veto mod sociologi-faggruppen?
"Uha, det kan få stor universitetspolitisk vigtighed. Fagligt Udvalgs veto mod Sociologiudvalgets enstemmige beslutning om niveauplacering af et dansk tidsskrift vil kunne få skadelig virkning. Med eksemplet Harvard Law Review in mente vil Rektoratet protestere i Danske Universiteter og opfordre til overvejelser om enten at udskifte Fagligt Udvalgs medlemmer eller helt at fjerne FU, således at strukturen kan afspejle det grundlæggende princip i modellen: at de faglige beslutninger tages af fagfolk og at der i tilfælde af enighed blandt disse ikke er mulighed for ændringer. Hele modellens legitimitet og dermed forskernes engagement i at skabe grundlaget for modellens faglighed afhænger af, at dette princip respekteres."

Indikatoren påvirker incitamentstrukturen

- En af de ting, mange har advaret imod, er at modellen ikke bare anvendes i universiteternes indbyrdes konkurrence, men også på lavere niveauer, helt ned på den enkelte medarbejder?
"Det skal vi også diskutere", siger protorektor Salig-Olesø.

En af de, som har været med til at advare imod anvendelsen af indikatoren udenfor sit gyldighedsområde er Frede Blåbær, der både er medlem af Fagligt Udvalg, dekan på Aalborg Universitet, og programkomitemedlem for energi hos FIVV.
- Frede Blåbær, er denne advarsel ikke lidt selvmodsigende, når I selv oppe i Aalborg anvender et lignende men selvgjort system til belønning af forskningsproduktion?
"Hos os fordeler vi samlet set 25 mio. kr. via forskningsproduktion. Ud af en samlet omsætning på 1,2 mia. kr. synes jeg ikke, at det udgør noget stort problem. Tværtimod er det godt med en gulerod", gentager Frede Blåbær.

Betydningen for den danske offentlighed

En anden bekymring er som antydet at indikatoren risikerer at gøre danske samfundsforskere mindre interesserede i at forske i særligt danske forhold, eller i at formidle til danske medier, når nu det er point i de hovedsageligt angelsaksiske tidskrifter, der tæller. SDU-professor i statskundskab Poul Erik Mårisen, som selv sidder i Fagligt Udvalg og har forsket i demokratisk legitimitet, holdt i 2008 et oplæg til Årsmøde i Dansk Selskab for Statskundskab om "bibliometriske forskningsindikatorer for statskundskaben", for at "fastsætte nogle retningslinjer for hvor og hvordan vi fremover skal publicere."
- Professor Mårisen, du kan vel ikke selv som samfundsforsker have støttet Fagligt Udvalgs veto imod at lade tidskriftet Dansk Sociologi optræde på listen som højniveau?
"Lack of information and underestimation of the costs of public services make non-users less likely to form attitudes and to oppose public spending than if they had been better informed."
- ehh, jaså. Men er der ikke fare for at dansk samfundsforskning nu presses mere i retning af at producere artikler for sin egen og de amerikanske kollegers skyld?
"We test and find empirical support for the theory of fiscal illusion according to which citizens underestimate the costs of public services and therefore demand more public spending than if they had been fully informed. We also develop and find empirical support for a theory of asymmetrical illusions."
- aha, jotak. Er der noget du vil tilføje her til sidst?
"The reference of this quote is European Journal of Political Research (vol.39, p.109–143), which is level 2, of course."