Det hele starede med det utilitaristiske "noget for noget" og "basismidler efter kvalitet". Globaliseringsrådet og Helge Sander fik som led i den borgerlige regerings forskningspolitik gennentrumfet et system, hvor en del af de nye midler (som forskningen skulle tilføres af Globaliseringspuljen) skulle fordeles således, at den bedste forskning - eller i den statslige optik, "de bedste universiteter" blev belønnet. Det hed "konkurrenceudsættelse af basismidlerne" og VTU tumlede i 2007 med en sindrig "kvalitetsfinansieringsmodel" (se her) bygget op på fire ”kvalitetsparametre”, der hver især skulle kunne udtrykkes ved sammenvejning af forskellige indikatorer. De fire parametre var omkostningseffektivitet, forskningskvalitet, uddannelseskvalitet og videnspredningskvalitet hvor sidstnævnte skulle måle synlighed i pressen og andel af private forskningsmidler. Forskningskvalitet blev til "den bibliometriske forskningsindikator", som ikke har meget med kvalitet at skaffe og som opererer med et byzantinsk system af autoritetslister over puliceringskanaler, som tæller forskelligt, og hvor den humanistiske forskning let kommer i knibe, senest påpeget i en kronik i Politiken (her) af Rasmus Øhlenschlæger Madsen, fordi formidling af humanistisk forskning ofte sker på dansk og i bøger henvendt til en bredere offentlighed. Sådanne udgivelser vil evt. score lavere målt i forhold til den arbejdsindsats de kræver sammenlignet med produktion af små artikler på engelsk i specialiserede fagtidskrifter, så det her indlagte incitament bliver, at humanister slet ikke bør henvende sig til en dansk, men til en engelsk-amerikansk og smal videnskabelig deloffentlighed indenfor akademia. Vi har ofte skrevet om forskningsindikatoren (se her) og skal ikke trætte med det igen.
Men et eller andet sted i processen fra 2007 og op til i dag gled formidling som element af "vidensdeling" ud af kvalitetsmodellen. Formidling belønnes ikke. Filosoffen Klemens Kappel påpegede for nyligt i Universitetsavisen (her) det problem, at når man i den nye incitamentstruktur belønnes for at forske, undervise og tiltrække eksterne midler, men ikke for at formidle, vil tid anvendt til formidling, set ud fra en ren tids- og belønningslogik (jeg tror sidstnævnte udtryk er mit, ikke hans) de facto skade ens institut eller universitet. Jeg synes det er rigtigt set, og det sætter fingeren dybt ned i det sår, det giver enhver institution, der er båret af en høj kaldsetik, engagement og identifikation fra medarbejdernes side med institutionens overordnede (brede komplekse og relativt vagt definerede) mål, når en økonomisk kvantitativ belønningsstruktur lægges ned over systemet. Kappel gentog sine pointer i DRs program Orientering på P1 (her) og journalisterne fulgte historien op dagen efter med et interview d. 23/4 med rektorformanden for universitetsleder-logen "Danske Universiteter" Jens Oddershede (her).
(Kappels kom i sit bidrag til at sige, at han mener, at god forskning, god undervisning og evnen til at tiltrække eksterne midler skal belønnes. Det er jeg næppe helt enig med ham i, for man kan da spørge: Når man nu er ansat til at forske, og vi alle ved, at blivende forskningsresultater giver anerkendelse i det videnskabelige samfund, hvorfor skal den enkelte forsker så belønnes yderligere for det? Det er da heller ikke tilfældet med bibliometrien, hvor "belønningen" tilfalder universitetet. Og hvorfor skal evnen til at hive eksterne midler hjem i sig selv belønnes ekstra, det er vel netop en 'belønning' hvis ens succesrate her overstiger fx 10%? Nå, men det er en tangent.)
Det var et medlem af bloggens netværk, der gjorde mig opmærksom på Oddershedes logisk set inskonsistente bidrag, i interviewet af 23/4, som rummer visse animerede kvaliteter der gør det værd at høre. Inkonsistensen er følgende: Oddershede mener ikke, at formidling skulle belønnes efter en indikator, men han har selv som rektorformand og med succes lobbyet for at indføre en forskningsindikatoren (han overbeviste den ellers skeptiske Marianne Jelved sidste sommer)! Men nu vil jeg for en gang skyld forsvare manden. Han indførte et nyt begreb i den danske forskningspolitik: Søløveprincippet. Søløven, hævder Oddershede, flytter sig kun, og i små ryk, når den får en fisk. Og sådan bliver forskeren også, hvis han eller hun skal belønnes for enhver enkelt ting man gør. Derfor skal en forsker ikke belønnes særskilt for sin formidling: Universitetsansatte skal belønnes for deres samlede indsats.
Med al respekt for søløver, der forhåbentligt er mere komplekse dyr end i Oddershedes beskrivelse, indebærer det jo en radikal kritik af al incitamenttænknings tendens til at fremavle "perverse incitamenter". Oddershede mere end antydede en klar forståelse af, at indikatorer altid vil have negative sideeffekter. Åh – ja, hvor er det dog ærgerligt at han ikke vil tage konsekvensen af den indsigt og trække sin støtte til forskningsindikatorer tilbage. I samtalen var der ligefrem et moment of suspense, da han nævnte, at bibliometrisk dokumentation allerede opsamler data om formidlende publikationer – underforstået, vi kunne godt lave en indikator også her, hvis vi ville. Og Oddershede vil typisk kun dén mindste fælles nævner, der politisk set er mulig. Apropos principper, så minder det om Groucho Marx' berømte ord: "These are my principles - and if you don't like them, I have others!".
Debatten om indikatorer for måling af forskningen er international, og mange spørger sig selv om man ikke kan komme op med bedre indikatorer, som tager mere hensyn til forskningens mangfoldighed. EU holdt en høring om nye metoder inden for dette område d. 14. april i Bruxelles (European Parliament Hearing: Measuring scientific performance for FP8). Oplægsholderen Julia Lane talte om det amerikanske STAR METRICS udviklet af "Federal Demonstration Partnership - Redefining the Government University Research Partnership", og i hendes essay i Nature d. 25 marts 2010 [her] med titlen "Let's make science metrics more scientific" kan man læse om ambitionen – "To capture the essence of good science, stakeholders must combine forces to create an open, sound and consistent system for measuring all the activities that make up academic productivity". Det er interessant læsning, ikke mindst kommentarerne. Et af de mest tankevækkende svar kom fra fysikeren og bloggeren Sabine Hossenfelder, som på bloggen Backreaction (her) i indlægget "Against Measure" analyserede selve incitamentstænkningens grundlæggende modsigelse:
"She [Julia Lane] also points out that there are many differences between fields that have to be accounted for, and that the development of good metrics is an interdisciplinary effort at the intersection of the social and natural sciences. I would have added the computer sciences to that. I agree on all that. What I don't agree on is the underlying assumption that measuring scientific productivity is under all circumstances good and useful to begin with."Tak, det er godt sagt og alt for ofte overset i debatten. Incitamenter baseret på indikatorer har en tendens til at gøre mennesker (og søløver) til pavlovske hunde. Hvis ikke rudimenter af min fagforeningsbevidsthed stadig levede, ville jeg udbryde: Lad arbejdet bære lønnen i sig selv!
"(...) let me ask the other way 'round: Where is the scientific evidence that the use of metrics to measure scientific success is beneficial for progress?"
"One has to be very clear on one point: metrics are not external to the system. The measurement does affect the system. Julia Lane actually provides some examples for that. Commonly known as "perverse incentives" it's what I've referred to as a mismatch between primary goals and secondary criteria: You have a primary goal. That might be fuzzy and vague. It's something like "good research" or "insight" or "improved understanding." Then you try to quantify it by use of some measure. If you use that measure, you have now defined for the community what success means. You dictate them what "good research" is. It's 4 papers per year. It's 8 referee reports and 1 YouTube video. It doesn't matter what it is and how precise you make it, point is that this measure in turn becomes a substitute for the primary goal" (...)
"Measures for achievements are fine if you have good reason to believe that your measure (and you could adapt it when things go astray) is suitably aligned with what you want. But the problem arises in cases where you don't know what you want. Lane eludes to this with her mentioning of researchers who think their work is "too complex" (to be accurately measured) and that "science is unpredictable." But then she writes this is no reason to abandon metrics. I already said that metrics do have their use, so the conclusion cannot be to abandon them altogether. But merely selecting what one measures tells people what they should spend their time on. If it's not measured, what is it good for? Even if these incentives are not truly "perverse" in that they lead the dynamics of the system totally astray, they deviate researchers' interests. And there's the rub: how do you know that deviation is beneficial? Where's the evidence? You with your science metric, please tell me, how do you know what are the optimal numbers a researcher has to aim at? And if you don't know, how do you dare to tell me what I should be doing?"
Ingen kommentarer:
Send en kommentar