Bibliometriske fristelser

Ros til Forskerforum for sin kritiske indgang til nyheden d. 19/9 (her) om at den "upopulære" Bibliometriske Forskningsindikator fortsætter, efter den noget lemfældige evaluerings- og høringsproces' afslutning. Indlægget nærlæste høringssvarene, og bemærkede at politikerne valgte at overhøre den kritik af BFI-modellen, der lå i svarene fra de mange centrale aktørers side.
Ris til Forskerforum for den aktuelle nyhed (d. 29/10, her) med overskriften "Indikator: Bedst forskningskvalitet pr. forsker". Man kan kun ryste på hovedet af den tilgang, der er valgt her. Første sætning slår grundtonen an:

"KU står for 32 pct. af landets samlede forskningskvalitet, AU for 25, DTU for 14, Aalborg for 10, SDU for 9, CBS for 4 og RUC for 3.5 pct."

Herre Jemini! Havde der så stået x % af landets forskning, altså en størrelse man kunne have et vist håb om at opgøre kvantitativt. Nu hævder artiklen, at man kan bruge BFI-statistikken til at sætte procenttal på forskningskvalitet når man sammenligner analoge fakulteter! Det er noget af en påstand!
Det bliver værre endnu. Ganske vist siges det, at "BFI kan ikke afkodes til individniveau." Men hvad gør Forskerforum så? Citat:

"FORSKERforum har derimod udregnet uni-fakulteternes publicerings-score over for hinanden (publikationspoint pr. vip-forskningsårsværk (...). Og her er der et par overraskelser, for det er ikke nødvendigvis de store forskermiljøer, som scorer højest."

Det er da muligt, at denne tal-leg kan føre til "overraskelser", men den er dybt uheldig, og mere meningsløs end bare problematisk. Ikke alene ud fra et rent fagligt-bibliometrisk synspunkt. Den bidrager også til en tendens, man ser til at en del yngre forskere tager hele BFI-modellens postulater og reifikationer for gode varer, og begynder at tælle egne "publikationspoint" sammen, eller skele til om det tidsskift, det er mest hensigtsmæssigt at sende en artikel til, tilfældigvis figurerer på høj- eller lav-niveau ifølge BFI's såkaldte autoritetslister. Forskerforums forfatter vil måske forsvare sig med, at det nævnes, at modellen er omdiskuteret:

"BFI-statistikken er omstridt, men Forskningsstyrelsen og politikerne retfærdiggør målemetoden med, at uni-rektorerne mener, at det er den mindst ringe metode til kvalitetsmåling."

Jammen ikke engang rektorformanden eller Forskningsstyrelsens egne folk påstår, at den måler kvalitet! Hvis der er noget, den er "mindst ringe" til, så er det at fordele forskningskroner mellem universiteterne ud fra produktivitet – ikke kvalitet. Modellen kan tværtimod som utilsigtet konsekvens medføre et volumenræs, som reelt nedsætter kvaliteten. For at sige det meget kort: Hellere een god artikel per forsker hvert tredje år, end 15 dårlige på 3 år, som koger suppe på det samme, er sjuskede, forkerte, eller bare ligegyldige og intetsigende. Også selvom en god artikel ikke giver lige så mange BFI-point (og dermed kroner) til universitetet som 15 dårlige. — Som en god kollega sagde til mig for få dage siden: Der skrives for meget og læses for lidt. Det er bare ikke så let at måle input i form af læst materiale som output i form af skrive-kværnens lette strøm af publikationer.

ps:
En opsamlende liste af pro et contra for BFI kan ses her.

Høringssvar på forskningsindikator-evaluering

Høringssvar på udkastet til evalueringen af den bibliometriske forskningsindikator (BFI) er nu ankommet (vi fik fristen udstrakt til 1. juli), og en af de ting, der nok vil blive diskuteret, er modellens omfordeling af midler i forhold til de samlede basismidler og modellens omkostninger.

    Før BFI opererede man med en 50-40-10 model, dvs. 50% af de nye basismidler fordeltes efter uddannelses-output, 40% efter evne til at tiltrække eksterne midler, og 10% efter færdige ph.d.'er. Den nye model hedder 45-25-20-10, dvs. 45% efter uddannelses-taxameter, 25% efter publikationer (BFI), 20% efter eksterne midler, og 10% efter ph.d.-produktion. (Repræsentanter for Hum- og Samf-fagene har været glade for nedgangen fra 40 til 20% af vægten af belønningen for at tiltrække eksterne midler, og man kan spørge, hvorfor det det element overhovedet skal have nogen vægt). Ifølge Finansloven for 2012 er de samlede basismidler til de danske universiteter 8,1 mia. kr. 
    Kun nye midler fordeles efter den nye 45-25-20-10 model, hvilket i 2012 er 720 mio. kr., så af disse fordeles således 25% efter BFI. Ifølge udkastet (her) der sendtes i høring fremgår, at "Hvis man sammenligner fordelingen i 2012 med hvordan den ville have været med den gamle 50-40-10-model (uden BFI), er omfordelingseffekten på 1,6 prosent." (s. 23 i udkastet). Hertil bemærkede en af mine kolleger: "Ethvert system som bruger 26 millioner kroner og oceaner af ubetalt forskningstid for de medvirkende forskere på at omfordele 1.6 mio. kr. pr. 100 mio. kr. må anses for absurd. Dette er ingen undtagelse." 
    Jesper W. Schneider og Kaare Aagaard udtrykker det sådan: "Betragter man den minimale omfordeling og sammenholder den med den til tider ophedede debat omkring BFI, fremstår hele øvelsen i udpræget grad som 'stor ståhej for ingenting', uanset om man anskuer det fra et universitetsperspektiv eller en politisk/administrativ vinkel" (s. 249 i kapitlet (her) om BFI i bogen Dansk Forskningspolitik Efter Årtusindskiftet). De tilføjer dog, at den alligevel kan bidrage til en udvikling med potentielt negative effekter, og de giver den danske BFI en anderledes kritisk behandling end evalueringsudkastet. Schneider og Aagaard sammenligner BFI med den oprindelige "norske model" og fremfører fire kritikpunkter: 1. Uklare målsætninger og mangelfuldt forarbejde; 2. Uklare incitamenter (de stiller spørgsmål ved, om vi overhovedet "i Danmark har brug for en model med incitamenter til øget akademisk publicering" (s.254)); 3. Fastlåsning af midler indenfor hovedområderne (hvad man ikke har i Norge); 4. Problematisk dokumentationssystem og datakvalitetssikring.
    Noget af kritikken går igen i de høringssvar, vi nu kan offentliggøre her på bloggen, nemlig fra Dansk Magisterforening (her); Akademikernes Centralorganisation (her) og Faggruppe 68 (her) som undertegnede er formand for. Vi modtager gerne supplerende høringssvar til offentliggørelse. 
    DM citerer bloggen og Finn Hansson for bl.a. det snævre kommissorium og det ensidige fokus på dekanernes meninger. Med hensyn til spørgsmålet om forskningskvalitet spørger DM retorisk, om man måler det værdifulde, eller værdsætter det målbare? Herefter slår DM i sit svar ned på et helt principielt spørgsmål, menlig publiceringsfrihed: Det er

"DM’s grundlæggende opfattelse, at beslutningen om, hvordan og hvor et forskningsresultat bedst offentliggøres ikke er et strategisk ledelsesspørgsmål eller skal være incitamentstrukturer, som desuden danner grundlag for tildeling af en større eller mindre del af de samfundsmæssige forskningsressourcer. Publicering er en naturlig og indbygget del af enhver forskningsproces, og må som sådan være omfattet af den samme forskningsfrihed som selve forskningen, og det må være op til forskeren/forskergruppen selv at vurdere, hvordan den bedste og mest effektive publicering kan foretages.
     Hermed indikerer DM også, at foreningen er helt enig i, at forskningsresultater naturligvis skal publiceres og gøres til genstand for en åben akademisk debat, som er den mest effektive måde at bringe forskningen fremad. I denne sammenhæng kan det således undre, at det i rapporten fremstår som om at publiceringskrav i peer reviewede videnskabelige tidsskrifter eller monografier mv. ikke har været et tema ved danske universiteter før BFI blev introduceret. Dette er imidlertid ikke tilfældet. Alle danske universiteter har mindst de sidste 20 år haft forskellige procedurer og aftaler om forskningspublicering/forskningsvogtning, hvor der har været krav om jævnlig publicering i en eller anden relevant form efter peer review af det indleverede materiale.  (...) denne historiske kontekst nævnes end ikke i rapporten."

Også AC kritiserer, at man kun har valgt at inddrage universiteternes ledelser, og ikke de aktive forskere. Evalueringsrapporten viser efter AC’s vurdering, 

"at der fra universitetsledelsernes side mere er tale om en passiv opbakning end aktiv støtte til BFI. Universiteterne foretrækker BFI i mangel af bedre alternativer, fordi den har vist sig at give nyttig ledelsesinformation og gøre det muligt at sammenligne publiceringsadfærden på tværs af universiteter."

Endvidere finder AC det også problematisk, 

"når flere universiteter anvender BFI som grundlag for den interne fordeling af forskningsmidler. Det vil være bekymrende, hvis BFI mere generelt kommer til at være bestemmende for fordelingen af forskningsbevillinger mellem fakulteter og institutter. En sådan udvikling risikerer at ”straffe” forskningsområder uden en stærk tradition for kvantitativ måling af forskningens omfang og resultater og at hæmme innovation og nytænkning i forskningsmiljøerne."

Denne udvidede brug af BFI ligger ikke i den oprindelige grund til at indføre den, og det er en brug som Fagligt Udvalg i BFI-organisationen selv har advaret imod. Endelig peger AC, ligesom Faggruppe 68, på at 

"Mange faggrupper der dækker vidt forskellige forskningsfelter har det problem, at 20%-reglen om hvad der hører til ”det bedste” ekskluderer en række videnskabelige specialers tidsskrifter fra højniveaustatus. Det sker selv om de både har et højt niveau, anses for førende på feltet blandt feltets egne forskere og udgør den vigtigste publiceringskanal for det pågældende speciale. Det sker alene fordi de udgrænses af andre højniveau tidsskrifter fra andre videnskabelige specialer i faggruppen. En løsning kunne her være at øge antallet af faggrupper selvom også dette vil være forbundet med problemer."

Den største omkostning ved DFI er måske ikke så meget de økonomisk-administrative omkostninger  og tidsforbruget (evalueringen skønner kun faggruppernes samlede timeforbrug for 2012 til 2,7 årsværk) som den ændrede måde man kommer til at opfatte forskning på. (Schneider og Aagaard: Implementeringen af indikatoren har skabt "en italesættelse og nogle afledte effekter, der er mere adfærdsændrende, end hvad selve indikatorens økonomiske omfordeling burde tilsige", op.cit., p. 255). 
     Her indikerer BFI en sygdom i opfattelsen af videnskab som noget, der skal forvaltes fordistisk som en bil- eller brødfabrik. Der er behov for at bryde med det billede. Som DM påpeger: "Forskning må og skal bygge på en tillid til, at forskerne anvender de ressourcer, som bliver stillet til rådighed for dem, på den bedst tænkelige måde – også selv om det ikke er alle forskningsprojekter, som nødvendigvis fører til en artikel i et højt estimeret tidsskrift med mange citationer inden for de første år efter publiceringen."

NIFU-direktør svarer på kritik af evalueringsudkast vedr. forskningsindikator

I anledning af den foreløbige kritik, omtalt i dagbladet Information, af udkastet frigivet til høringsvar (eller korrektur og faktuelle rettelser) af evalueringen af den Bibliometriske Forskningsindikator – en kritik som initieredes af et indlæg her på bloggen – har direktøren Sveinung Skule for det norske institut, hvor udkastets hovedforfatter Gunnar Sivertsen er ansat (NIFU - Nordisk institutt for studier av innovasjon, forskning og utdanning), nu svaret på kritikken. Information har bedt om en forkortet udgave, men Sveinung Skule har ønsket offentliggørelse af det fulde svar, som så er sendt her til bloggen. Korrespondancen og Sveinung Skules fulde svar kan ses her. Sveinung Skule skriver bl.a.:

"NIFU er ikke et kommercielt foretagende, men et selvstændigt, non-profit, samfundsvidenskabeligt forskningsinstitut med basismidler fra Norges forskningsråd. Vi ville ikke have den samme tillid hos europæiske myndigheder og i europæiske forskningsmiljøer som vi har i dag, hvis vi lavede politiske bestillingsværker eller optrådte som konsulenter med påholden pen. Vores forskere har desuden fast løn og har derfor ingen personlig økonomisk fordel af vores kontrakter. 

Den bibliometriske forskningsindikator har heller aldrig været til salg. Som det fremgår af den nye rapport, er denne indikatormodel først udarbejdet i et samarbejde mellem universiteterne og forskningsmyndighederne i Norge. Derefter er der udarbejdet en lignende model i et samarbejde mellem universiteterne og forskningsmyndighederne i Danmark. På vegne af NIFU har Sivertsen været rådgiver i begge sammenhænge. Disse roller er omtalt i rapporten. Rapporten er ingen evaluering af Sivertsens eget arbejde. Den er et grundlag for at vurdere og diskutere indikatoren, herunder problemerne og konflikterne omkring den, efter tre år."

Da jeg selv – bl.a. under indtryk af, at ministeriets styrelse i første omfang gik udenom de 67 faggrupper (se her) – har betegnet udkastet som en "selvevaluering", en betegnelse som jeg står ved, vil jeg senere kommentere mere uddybende også på dette aspekt. Antydningsvist kan jeg nævne, at jeg med udtrykket "selv" i selvevaluering ikke så meget tænkte på NIFU eller Gunnar Sivertsen som fagperson, men på ministeriet og styrelsen som institution.

Skal evalueringen af den bibliometriske forskningsindikator foregå i stilhed?

Endnu engang viser den styrelse, som er ansvarlig for Den Bibliometriske Forskningsindikator, og som ledes af Inge Mærkedahl, sin tilbøjelighed til lukket kommunikation. Det er ellers blevet bedre efter at Forsknings- og Innovationsstyrelsen (den enhed, der har ansvaret for indikatoren, hedder nu: Styrelsen for Videregående Uddannelser og Uddannelsesstøtte, Koncerncenter for Analyse og Statistik, lad os kalde den SVUUKAS) fik taget sig sammen til at informere om projektet på styrelsens hjemmesider.
Men nu ligger der altså en evaluering, og hvad sker der så? De videnskabelige rådgivere i de oprindeligt 68 faggrupper, som har været med til at forsøge at gøre indikatoren "så lidt ringe" som muligt, når den nu var politisk besluttet, negligeres. Høringen sendes direkte til universitetsledelserne, men hvem i toppen af de enkelte universitetsledelser forestiller man sig skal skrive høringssvar? Tror SVUUKAS og Inge Mærkedahl, at topledelserne sender rapporten og høringen videre "nedad" til de faglige rådgivere?

I al fald har undertegnede faggruppemedlem ad helt tilfældig vej - nemlig i en kommentar til et andet indlæg på denne blog! - fået nys om såvel evalueringsrapporten som høringen. Høringsperioden er 25. maj til 15. juni 2012.
Det er utilfredsstillende. Protest og materiale, inkl. evalueringsrapport, er nu gjort tilgængelig for alle interesserede her.
ps:
det er symptomatisk, at i dag betyder ord som "Københavns Universitet" i ministeriets ordbog "universitetets topledelse", og man glemmer at topledelsen for fx KU ikke er synonym med KU.

Undervisningsfrihed og publiceringsfrihed

De akademiske friheder er under angreb i disse år, på direkte og mere subtile måder. En subtil form for angreb sker gennem New Public Management, som påtvinger forskerne eksterne incitamenter, som er ydre i forhold de måder, videnskabernes faglige miljøer selv har reguleret deres videnskabelige virke på, dvs. efter rent videnskabelige kvalitetskriterier. Et omdiskuteret eksempel er den bibliometriske forskningsindikator (DBF). Forskningsstyrelsen har netop afholdt et stormøde med faggrupperne om "forlagsproblematikken", dvs. hvordan man tæller videnskabeligt output på områder, hvor forskerne især publicerer bøger og bogbidrag. Ministeriet vil v.h.a. DBF ikke bare tælle, dokumentere og synliggøre forskningen i en database (hvilket er fint nok), men gennem belønning til universiteterne anspore forskerne til at publicere i tidskrifter, bogserier og på forlag, som ligger på et særligt højt "niveau". – Men det forsøger forskerne jo i forvejen; problemet er, at de ikke gives nogen universel algoritme, der omsætter forskerens fagspecifikke fornemmelse for kvalitet til en statsautoriseret liste af pointgivende tidskrifter og forlag. På mødet havde jeg i frokostpausen lejlighed til at tale med Hans Fink om en anden akademisk frihed, nemlig undervisningsfriheden, i anledning af et aktuelt indlæg af Linda Maria Koldau i Politiken d. 9. januar om denne ret oversete frihed.

For undervisningsfrihed er ikke, som en googlehjerne ellers kunne tro, at have fri for timer på uni eller i skolen. I 2003 udgav fire filosoffer, idé- og videnskabshistorikere ved Århus Universitet, Hans Fink, Peter C. Kjærgaard, Helge Kragh og Jens Erik Kristensen, den læseværdige bog Universitet og videnskab. Universitetets idéhistorie, videnskabsteori og etik. Et af bogens formål var at beskrive kernen i selve universitetsbegrebet, nemlig

A. Tæt forbindelse mellem forskning og uddannelse

B. Forskningsfrihed

C. Undervisningsfrihed

D. Selvstyre

E. Videnskabens enhed

Der er tale om principper og idealer, der aldrig har været fuldt realiserede, men, som Hans Fink skriver (s. 12), "ikke desto mindre både før og nu er blevet set som mål at stræbe efter eller kæmpe for". Bogen udkom samme år som vedtagelsen af Helge Sanders lov om universiteter. Loven var et voldsomt anslag mod flere af de selvsamme principper. Med afskaffelsen af demokratisk valgte ledere, fakultets- og institutråd gjorde loven med ét slag bogens beskrivelser af disse kollegiale organer for selvstyret, og af hvad et universitet i det hele tager er, forældede.

Men der er al mulig grund til ikke at glemme principperne og vedblive med at kæmpe for dem.

Det gælder også undervisningsfrihed. Det er ganske vist ikke meget bogen skriver om dette element i den akademiske frihed, andet end at studienævnene, som indstiller studieordninger til godkendelse, har ligelig repræsentation af studenter og lærere fra det pågældende studium (hvad de stadig har), og at "Den enkelte lærer har ofte i samspil med sine undervisningshold en betydelig frihed med henblik på undervisningens konkrete indhold og form, og alle lærere har i princippet pædagogisk metodefrihed." Desuden anføres, at "Universitetets undervisningsfrihed er forbundet med de studerendes uddannelsesfrihed" (som også er begrænset af bl.a. mangel på fri adgang til alle studier).

Det er trist at undervisningsfrihed, allerede før 2003-loven, generelt behandledes stedmoderligt, og at de universitetsansatte ikke i højere grad har opfattet den som en integral men truet del af den akademiske frihed generelt, der som bekendt omfatter forskningsfrihed (herunder frihed til valg af publiceringsform); retten til at ytre sig frit, såvel indenfor universitetets mure, hvor der bør herske selvstyre i akademiske anliggender, som udenfor murene; samt altså undervisningsfrihed. Ideelt set skal universitetets uafhængighed af økonomiske og politiske interesser sikres ved en udstrakt grad af akademisk frihed og institutionelt selvstyre.

Undervisningsfriheden (Lehr- und Lernfreiheit) er det humboldske element, som skal give underviserne frihed til at udbyde forelæsninger, seminarer og kurser indenfor de områder, hvor de faktisk er kompetente og kan yde forskningsbaseret undervisning, og de studerende frihed til at følge den undervisning, de virkelig ser som essentiel for deres uddannelsesproces. Enheden af forskning og undervisning indenfor universitetet som organisatorisk ramme er den dag i dag stadig en vigtig forudsætning for såvel produktionen af ny viden som dens videregivelse under uddannelsesforløbet.

Men denne enhed er truet og undervisningsfriheden knægtes på forskellig vis. Mest markant ved at universiteterne underlægges en bureaukratisk akkrediteringsinstitution, som skal blåstemple nye såvel som gamle tiltag på undervisningssiden, og dermed indskrænker universiteternes autonomi. En anden indskrænkning er mindre synlig og sker, når undervisningsfriheden opfattes alene som universitetets – ikke den enkelte forskers.

Mht. forskningsfriheden udgør 2011-revisionen af universitetsloven en forbedring, fordi det præciseres, at forskningsfriheden ikke blot er hele universitetets, men også den enkelte forskers (§2 stk. 2, "Universitetet skal værne om universitetets og den enkeltes forskningsfrihed og om videnskabsetikken"). Tilsvarende eksplicitering findes ikke mht. undervisningsfriheden. End ikke ordet nævnes i loven! Den konflikt, der blev beskrevet i L. M. Koldaus indlæg d. 9/1, henviser til en situation, hvor den enkelte forskers undervisningsfrihed udelukkes af universitetet selv i skikkelse af et studienævn, som repræsenterer en bestemt faglig majoritet, der undviger åben diskussion om interessekonflikter mellem forskellige tilgange indenfor et bredt fagområde, og som forhindrer, at en forsker der repræsenterer ekspertise indenfor et bestemt underfelt, kan udfolde sit talent her. Ud over det triste forhold, at en sådan konflikt i det konkrete tilfælde (jf. også Klaus Wivels artikel "Hjem til Århus" i Weekendavisen 1/6-2011) er et sindsbillede på en inkompetent og ansvarsforflygtigende universitetsledelse, ligger der et principielt problem her:

Princippet om undervisningsfrihed har alt for længe ligget underdrejet og er truet af glemsel. På den baggrund er det trods alt glædeligt, at de fire århusianske tænkere huskede det! Lad os håbe, at også ledelsen af Århus Universitet (og verdenseliten) har format til at erindre princippet om undervisningsfrihed – og om at det gælder såvel for den headhuntede Loke som for den menige forskermasse af Tordenskjolds soldater.

ps

- Koldaus indlæg berørte også adgangen til ph.d.-studier; det har jeg modtaget flere kommentarer på, og vender tilbage til senere.

Liberal forskningspolitik frister til uredelighed

Den 17. august i år skrev Informations journalist Lise Richter (her) om hvordan antallet af indsendte forskningsartikler er steget så markant, at det lægger peer review systemet under pres, og det bliver sværere at finde fagfolk til at kontrollere indholdet. Resultatet er, at der bliver publiceret dårligere og i værste fald mere uredelig forskning.

Sådan lyder advarslen fra medredakørrer og fagfællebedømmere på videnskabelige tidskrifter. En af de forskere der citeres er Søren Nors Nielsen, p.t. gæsteforsker på Shanghai University og medredaktør på et tidskrift indenfor økologiske modeller.

Hans iagttagelser af udviklingen i den kvalitetssikring, som videnskabsfolk selv udøver overfor deres egne publikationer, peger på en bekymrende tendens. Man er pludselig er begyndt at kvalitetssikre alt andet end forskningen selv, og de ekstra opgaver skal forskerne jo så også bruge tid på.

I Søren Nors Nielsens baggrundsnotat "Liberal forskningspolitik frister til uredelighed" (som vi har fået lov til at bringe her) til Informations artikel skriver han bl.a.:

"Værst er det dog, at et stigende antal forskere tilsyneladende fravælger at udføre denne forskernes egne kvalitetskontrol, med længere publikationstid til følge. Et stigende antal manuskripter har meget svært ved at kunne opnå det krævede antal reviews. Der synes at være færre og færre kvalificerede forskere fra samme felt, der er villige til at investere tid i at gennemlæse og konstruktivt kritisere en anden forskers arbejde. Det skyldes, at dette simpelthen ikke værdsættes tilstrækkeligt om overhovedet under det eksisterende system, ligesom den anseelse, der er forbundet med arbejdet som editor eller reviewer, kan ligge på et meget lille sted. Desuden indgår emner som: “kunsten at skrive en artikel og at bedømme den”, ikke i tilstrækkelig grad i uddannelserne. Men det er nu engang, de skuldre og den kvalitetssikring vor egen forskning hviler på. Eller har man tænkt sig, at forskningsministeriet skulle lave en afdeling for dette?

Det var kvantiteten, men hvad sker med kvaliteten? Et øget antal artikler forkastes stort set med det samme, fordi de ikke har det niveau, et manuskript forventes at være på, når de bliver indsendt. Det virker simpelthen som om, at en del forskere er så opmærksomme på, at reviewprocessen er under pres, at de siger: “går den så går den”, og går den, har man endnu en publikation i hus. Kvaliteten er lavere, men tidsskriftets citations-index er det samme.

Summa summarum: der bliver indsendt flere og flere manuskripter, med lavere kvalitet og endog øget frekvens af snyd i videste forstand. Samtidig er forskernes egen faglige kontrol under stærkt pres og muligvis allerede forringet. Altsammen udløst af manglende indsigt i forskningsprocessen fra denne regerings side."

Nu har vi snart en ny regering, og en ny forskningsminister. Lad os som tidligere nævnt håbe, at det bliver en person med indsigt - også i de videnskabelige bedømmelsesprocesser, der slet ikke har godt af at pålægges en ydre incitamentstruktur (den bibliometriske forskningsindikator) som medfører volumenræs og måske, imod hensigten, mindre kvalitet.

Læs hele notatet her.

Satse på kvalitet eller satse på rangliste-position?

I artiklen "Review of University Rankings Offers a Comprehensive Critique of the Process" af Aisha Labi (The Chronicle of Higher Education, 17. juni, 2011) omtales en ny rapport om den stigende betydning af anvendelsen de årlige hitlister over universiteter, Global University Rankings and Their Impact (kan hentes her).

Rapporten, som er bestilt af organisationen European University Association (EUA) der omfatter 850 universiteter i 47 lande, er EUAs første nålestiksoperation ind i et meget kontroversielt felt. EUAs medlemsuniversiteter udtrykte behov for en guide til at finde ud af hvad der er op og ned i de mange forskellige rankings, der efterhånden er på markedet, og en af de ting, rapporten peger på, er at der kommer flere, og mere specialiserede ranglister de kommende år. Den danske formand for det tidligere rektorkollegium (nu "Danske Universiteter", rettelig: Danske Universitetsledere) Jens Oddershede er med i EUA-redaktionsgruppen for rapporten.

Rapporten ser på de mest kendte rankings - det er: Shanghai Academic Ranking of World Universities (ARWU); Times Higher Education World University Ranking (Times Higher Education, nu i samarbejde med Thomson Reuters); World’s Best Universities Ranking – US News & World Report i samarbejde med Quacquarelli Symonds, US; den russiske Global Universities Ranking, Reitor; Europakommissionens EU University-Based Research Assessment, AUBR Working Group; den hollandske Leiden Ranking, Leiden University; den taiwanesiske Performance Rankings of Scientific Papers for World Universities, Higher Education Accreditation and Evaluation Council; og seks yderligere mindre kendte ranking-virksomheders lister. Hensigten i rapporten er ikke at ranke disse!

Rapporten finder, at rankings især er dårlige til at sige noget om uddannelsernes kvalitet når universiteterne skal sammenlignes, fx af kommende studerende, bl.a. fordi der er så stort et fokus på forskningssiden:

"The report confirms that most international rankings focus predominantly on indicators related to the research function of universities. Attempts to measure the quality of teaching and learning generally involve the use of proxies, often with a very indirect link to the teaching process, and are rarely effective. The importance of links to external stakeholders and environments are largely ignored. Where existing data is used, it is often not used consistently, and reputational factors have in many cases disproportional importance. Taken together, this leads to an oversimplified picture of institutional mission, quality and performance, and one that lacks relevance for the large majority of institutions, especially at a time when diversification and individual institutional profiling are high on agendas across Europe." (p. 7).

Om de begrænsede fordele hedder det,

"the arrival of global rankings over the last few years has focused considerable attention on higher education, and put the spotlight on universities that are increasingly being compared nationally and internationally. Rankings have certainly helped to foster greater accountability and increased pressure to improve management practices. They have encouraged the collection of more reliable data and in some countries have been used to argue for further investment in higher education. Although it is said they can be used to guide consumer choice, there is little convincing evidence that they do so (except in Asia or via the CHE Ranking in Germany)." (p. 8)

Selvom rankings ifølge rapporten både har fordele og ulemper, kan ulemperne ikke opvejes af fordelene:

"at present it would be difficult to argue that the benefits offered by the information they provide, given the lack of transparency that we have observed, are greater than the ‘unwanted consequences of rankings’. For there is a danger that time invested by universities in collecting and using data and statistics in order to improve their performance in the rankings may detract from efforts to progress in other areas such as teaching and learning or community involvement."

Rapporten peger også på, at værdierne for de tal, der indgår i de enkelte listers indikatorer kan manipuleres (og giver en række eksempler, alene af den grund vil den sikkert læses med stor grundighed af de enkelte universitetssekretariater), og endelig peges på det helt generelle problem ved udefra påførte indikatorer optrædende som incitamenter, at indikatorerne ikke forbliver eksterne i forhold til det, de måler, men selv bliver en del af og ændrer systemet (som vi før har omtalt her). Med rapportens ord:

"In an attempt to improve their positions in the rankings, universities are strongly tempted to improve their performance specifically in those areas which are measured by ranking indicators." (p. 15)

Endelig peges på det absurde i fænomener som "top-500" lister over verdensklasse-universiteter: Der er måske omkring 16.000 universiteter i verden med meget forskellige opgaver og profiler, men der vil altid være plads til kun 500 på en sådan 'global league'-tabel. Den vil intet kunne sige om generelle kvalitetsløft over en længere periode, eller hvor godt et lokalt universitet er i forhold til lokale og nationale formål. Kun et fåtal af universiteter er anlagt med den hensigt at kunne det samme, som de tunge forskningsuniversiteter som Stanford, Oxford og Cambridge kan.

Bortset fra de nævnte overordnede pointer rummer rapporten et væld af interessant information om den besynderlige sport det er at reducere kvalitet og mangfoldighed til numre på en lineær skala (ufortalt, at der selvfølgeligt også gennemgås mere sofistikerede forsøg på at repræsentere mangfoldigheden, såsom The European Multidimensional University Ranking System, "U-Multirank"). Det er altsammen noget, de store ranking-firmaer med mere eller mindre held spinder guld på. Verden vil bedrages, og politikere vil stadig efterspørge tal, flere tal og flere tal om tal. Hvis tale er sølv, er tal blevet guld, og meta-tal åbenbart Gud.

Videnskab eller patentering

Hvor langt uvidenskabelige normer har fået lov til at trænge ind i og omforme den videnskabelige verden i Danmark, afspejler sig med næste symbolsk tydelighed i den faglige overvægt, man har givet patentet. Vi er helt syge efter at arbejde hen imod at udtage patentet, og et patent betragtes som et mål i sig selv for vores videnskabelige stræben. Tilmed et mål der ofte i talen om universiteterne overordnes andre resultater. Vi kan kun retfærdiggøre vores eksistens i vore høje herrers øjne, hvis vi kan udtage en masse patenter. Ja, patenteringen er trængt helt ind i vores grundfinansiering. I Den Bibliometriske Forskningsindikator, som jo skal bruges til det selvmodsigende projekt at ”konkurrenceudsætte” ”basismidler”, vejer udtagningen af et patent på lige fod med forfatterskab til videnskabelige arbejder. Som var patentet i sig selv et videnskabeligt resultat.

I processen ignoreres det, at få ting er så fundamentalt uvidenskabelige som patenter. Videnskabens formål er at frembringe og sikre viden, patentets at spærre adgangen til den. Hver gang der udtages et patent, bliver et stykke af menneskets viden gjort utilgængelig for alle andre, end dem som sidder inde med patentet, og hvem de måtte finde for godt at dele denne viden med.

Videnskab er afhængig af at have adgang til fri viden. Videnskaben er en gaveøkonomi. Man modtager en masse viden fra tidligere videnskabsfolk, arbejder videre med den og giver derefter sit resultat tilbage til det videnskabelige samfund. Udtagningen af patentet bryder gaveøkonomien. Forskeren (som dermed formentlig træder ud af rollen som videnskabsmand) giver ikke sit resultat tilbage til det videnskabelige samfund (og dermed til hele samfundets almindelige vidensbase), men beholder det for sig selv eller en privat virksomhed og forhindrer dermed efterfølgende forskere i frit at arbejde videre med det.

Historisk set befinder vi os i dag på et så sent punkt i denne udvikling, at meget store dele af den menneskelige viden reelt er spærret inde bag forskellige typer af patenter Ja, viljen til at patentere er så udviklet, at der har måttet udvikles jurdiske ”antipatenteringspatenter” for at få ny viden til at forblive fri af patentering.

Den faglige konsekvens af dette er, at den videnskabelige gaveøkonomi er brudt på et tidligere punkt i processen. Det er på en række områder vanskeligt faktisk at få adgang til den viden, man skal bruge til sit videre faglige arbejde. På samme måde vil der i mange situationer være bindinger på, hvad man faktisk kan gøre ved den viden, man har fået adgang til. Der vil være grænser for, hvad man må undersøge, og der kan være grænser for, hvilke af de faglige resultater, man når frem til i sit arbejde, man må publicere. Hvis der er tunge økonomiske interesser i fx at et produkt virker, eller at det ikke har bestemte bivirkninger eller eksternaliteter knyttet til sig, vil det hyppigt være umuligt at få tilladelse til at fremlægge det fagligt set bedste resultat. Denne type ubekvemme forskningsresultater vil ofte være af den allerstørste samfundsmæssige betydning.

Ud fra en faglig betragtning er det altså svært at finde de forsonende elementer i patenteringen. Det er fornuftigt nok, at dansk forskningspolitik beskæftiger sig med patentering, men retningen burde være modsat. Snarere end at gøre patenteringen til norm burde forskningspolitikken skærme det fælles vidensrum, videnskabeligt arbejde er afhængigt af, imod patenteringen. Der bør arbejdes for, at dansk videnskab får adgang til den viden, der er nødvendig for at kunne udføre det videnskabelige arbejde, og der bør sikres, at viden, som er frembragt med støtte fra offentlige midler, ikke derefter spærres inde bag private patenter.

Også på dette punkt står vi i en situation, hvor det er særdeles tvivlsom, om erhvervsnytte og samfundsnytte er det samme, for samfundet har betydeligt mere brug for at have adgang til en kvalificeret uafhængig viden end til at der udtages endnu et patent.

Hvorfor var KU passive?

Af de mange mærkværdigheder i forbindelse med Penkowasagen - eller, om man vil, sagerne, forekommer ingen formentlig mere mærkværdig for den udefrakommende end universitetets reaktion på den sære episode, hvor en studentermedhjælper blev forsøgt inkrimieret for Penkowas underslæb via dokumentfalsk. Politiken sammenfatter problemet storartet:

Selvom politiet hurtigt fandt studenterhjælpen uskyldig og forskeren skyldig, gik der alligevel 14 måneder hvor ledelsen på universitetet var bekendt med falskneriet, før de valgte at suspendere hjerneforskeren.

Studentermedhjælperen mener, at en undskyldning er på sin plads.

»Jeg skrev til Københavns Universitet i december 2008 og fortalte om den falske anklage, fordi jeg mente, at universitetet har et ledelsesmæssigt ansvar i forhold til, hvad Milena Penkowa havde gjort. Det har været frustrerende at se, at Københavns Universitet valgte ikke at forholde sig til sagen trods de klokkeklare beviser. At de var villige til at se igennem fingre med det ledelsesmæssige svigt og samtidig fremme Milenas karriere«, siger han. (her)

Imidlertid er det spørgsmålet, hvorvidt dette reaktionsmønster egentlig er særlig overraskende, når man betænker de danske universiteters almindelige praksis, hvor henvendelser nedefra vanemæssigt ignoreres. Det skete, da bestyrelsen blankt afviste en henvendelse fra 144 bekymrede forskere i anledning af Det Humanistiske Fakultets system til forskningsmåling (her), det skete, da universiteterne med AU i spidsen omhyggeligt sminkede kritikken fra forskere og undervisere i forbindelse med universitetsevalueringen (som jeg har gennemgået det i Hjernedød), det sker lige nu på AU i forbindelse med den såkaldte "faglige udviklingsproces", hvor medarbejdere og studerende oplever at være sat uden for indflydelse (her). Man er helt banalt vant til at ignorere kritiske henvendelser nedefra. Man sætter sig tungt ned på sine lederstol, kigger den anden vej, irettesætter eventuelt kritikerne, og venter på at det hele går over igen.


Jeg skal ikke kunne sige, om det er, hvad der er sket her, men af alle oplysninger i Penkowasagen, så er den, at KU ignorerer en klage fra en studerende om ulovlige forhold, den, der har overrasket mig mindst. Selv nu kan det stort set ikke lade sig gøre at hive en reel undskyldning ud af universitetets "rektor", Ralf Hemmingsen. Hemmingsens "undskyldning" lyder:

- Jeg vil gerne beklage det forløb, en studerende har været igennem, hvor Penkowa øjensynligt har brugt hans lønoplysninger og lavet falske anklager. Det er meget svært at gardere sig mod den slags svindel, siger han til KU's hjemmeside. (her)

Beklage Penkowas handlinger kan man lige finde ud af, men selv har KUs ledelse selvfølgelig ingen fejl begået. Ledelsens manglende handling i denne sag ligner business as usual: Det kommer nedefra, ergo skal det ignoreres. Og så glemte man, at det måske var en relevant oplysning, at der denne gang var strafferetslige forhold involveret, og at man risikerede, at sagen blev ført videre ad andre, mere lydhøre kanaler - fx byretten, og at ens ubegribelige tungbagethed derfor kunne ende med at give - ja: bagslag.

Indikatorkritik

I dag udkommer et nyt nummer af tidskriftet Kritik. Det indeholder en kritisk analyse ved Sune Auken og undertegnede af Den Bibliometriske Forskningsindikator. Vi udsender en pressemeddelelse, som kan læses her, sammen med åben adgang til et fortryk af artiklen (link). At jeg takket være Inge Henningsen ved samme lejlighed opdagede, at der var noget der hed Goodharts lov, kan jeg kun sige tak for.

Er danske fysikere bare gode eller for selvfede?

Overskriftens spørgsmål – i en knapt så spidsformuleret version – skal følgende personer snart tage stilling til, i et forum under Forsknings- og Innovationsstyrelsen (FI) som hedder Fagligt Udvalg: Formand for dette er direktør Jørgen Søndergaard (SFI, Det Nationale Forskningscenter for Velfærd) og medlemmer er docent, dr.phil. Hans Fink (Institut for Filosofi og Idéhistorie, Aarhus Universitet), professor Poul Erik Mouritzen (Institut for Statskundskab, Syddansk Universitet, professor Søren Molin (BioCentrum, Danmarks Tekniske Universitet), professor Søren-Peter Olesen (Biomedicinsk Institut, Københavns Universitet), professor Frede Blaabjerg (Det Ingeniør-, Natur- og Sundhedsvidenskabelige Fakultet, Ålborg Universitet), og konsulent Gunnar Sivertsen (NIFU STEP, Norge). Disse personer ved selvfølgelig meget om deres egne videnskabelige felter, og efterhånden en hel del om bibliometri – Sivertsen så meget at han er opfinderen bag den norske, og nu også danske, model for forskningsmåling – men ingen af dem er fysikere eller astronomer, så vidt jeg ved.
Spørgsmålet om danske fysikere og astronomer bare er gode eller lidt for gode dukker op pga. de kriterier, som Videnskabsministeriet ved FI stiller op for god og supergod forskning: Mistanken om selvgodhed, eller "nationalt bias", som FI har kaldt det, ligger i disse tal, som er de aktuelle tal for niveaudeling af tidskrifter for 2009-artikler:

Gruppe 29 - Fysik og Astronomi
Gruppens tidsskrifter: 267 stk.
Niveau 2 tidsskrifter: 26 stk.
Niveau 2-andel verden: 19,184%
Niveau 2-andel DK: 39,509%
(aflæst 14. sept. 2010 på FI's administrative site for medlemmerne af faggrupperne).

Man ser af tallet 19% (jeg dropper decimalerne), at faggruppen pænt har overholdt kriteriet for at være et "førende" niveau 2 tidskrift (standard tidskrifter er niveau 1), nemlig ikke blot (a) de facto at være førende (jeg har tillid til at fysikerne i faggruppen faktisk kun har sat de førende i højniveau kategorien), men også (b) at max. 20% af "verdensproduktionen" målt i antal artikler må sendes ud gennem tidskrifter som er markeret til førende (med andre ord, hvis et felt som fysik havde vurderet, at der faktisk var flere tidskrifter som var førende, så man nåede op på 28 eller 33% af verdensproduktionen som publiceredes via disse, ville det stride mod FI's kriterium b). Nuvel, her har fysik-faggruppen fulgt FI's retningslinier, keine hexerei.

Men uha, tallet for "Niveau 2-andel DK" er 39%. Det er ikke godt, fysikere, det er for meget! Og det kræver en forklaring til ministeriet ... Er læseren på dette tidspunkt mystificeret, følger her et forsøg på en forklaring på ministeriets kontrolmani:
I en af vejledningerne til den igangværende "niveaudeling" – en gentagen øvelse, hvor de 68 faggrupper bedes om at revidere deres ranking af fagområdets tidskrifter, så årets tal passer til FI's rankingskriterier – skriver FI (d. 18/5-2010, brevet kan ses her, og lidt om konteksten her) at

"Resultatet af jeres niveauinddeling i forhold til dansk produktion kan godt ligge over de 20 %, men vil have indflydelse på Fagligt Udvalgs kvalitetssikring af niveauinddelingen. Vi opfordrer jer til at holde øje med den danske produktion, da Fagligt Udvalg vil kigge nærmere på de faggrupper, hvor den danske produktion ligger over 30 %."

I et andet brev, "Retningslinier for niveaudeling" også fra 18/5-2010 (her), hedder det uddybende

"I tilfælde hvor meget mere end 20 % af den danske produktion i en faggruppe bliver placeret på niveau 2, kan dette skyldes, at faget har mange danske forskere på meget højt internationalt niveau, men det kan også skyldes, at den danske produktion er koncentreret til relativt få tidsskrifter samtidig med, at autoritetslisten omfatter et forholdsvist stort antal tidsskrifter, hvor danske forskere i praksis aldrig publicerer. I sidstnævnte tilfælde kan 20 pct. reglen indebære, at en utilsigtet stor del af den danske produktion bliver placeret på niveau 2.
Fagligt udvalg har derfor besluttet, at underkaste niveaudelingen i en faggruppe en nøjere granskning af årsagerne hertil, såfremt niveauinddelingen indebærer at mere end 30 pct. af den danske produktion i 2009 er på niveau 2. Hvis årsagen er et dansk publiceringsmønster, der er koncentreret på usædvanligt få tidsskrifter i forhold til faggruppens samlede liste, vil Fagligt Udvalg drøfte behovet for at nominere færre tidsskrifter til niveau 2 med faggruppen, for at begrænse de utilsigtede virkninger."

Bortset fra den blødere formulering er der for så vidt intet nyt i forskningsstyrelsens mistænksomhed overfor de 68 videnskabelige rådgivningsgrupper, som skal fungere som rådgivnings- og legitimationsbasis for ministeriets forskningsindikator; og det omtalte Faglige Udvalg har den utaknemmelige opgave, at imødegå de tilskyndelser til kassetænkning og point-spekulation, der er indbygget i modellen. Samme slagsmål var oppe sidste år: Da skrev FI, at

"I år findes der også oplysninger om de danske publiceringer. De bør anvendes som en del af overvågningen af, at nomineringen til niveau 2 ikke er biased til gunst for særlige danske publiceringsmønstre. Derfor bør det give anledning til en kritisk granskning både i faggruppen og i Fagligt udvalg, hvis andelen af danske publiceringer i niveau 2 tidsskrifter er væsentligt højere end 20 pct" (Retningslinjer for nominering af tidsskrifter til niveau, d. 24/7-2009 [her], min fremhævelse, CE)

Dette førte til megen undren og en del kritik fra mange faggrupper, opsamlet i et notat (her), der afgik d. 5/8-2009 til FI. En af kommentarerne fra faggrupperne dengang lød:

"Det henstår helt uklart hvorfor der er denne overrepræsentation af danske artikler i niveau 2 tidsskrifter (omend det ikke kommer bag på mig). Det på ingen måde klart, om vi skal være glade for overrepræsentationen, om vi skal forsøge at bekæmpe den, eller om vi bare skal være ligeglade." (...) "Pointen er dog, at vi ikke aner hvad tallene dækker over. Og uden at vide dette vil det være omsonst at ændre adfærd pga disse tal."

Mig bekendt har FI ikke foretaget en analyse af den danske overrepræsentaion i forhold til verdensgennemsnittet, eller forelagt en sådan for de rådgivende faggrupper, som reelt sidder i den interessante rolle dels at skulle bidrage til objektive råd om konstruktionen af en indikator der skal fordele forskningsmidler, og dels repræsentere eget fagområde i forhold til andre, dvs. tage hensyn til de fagpolitiske interesser i faggruppens eget bagland af forskere indenfor det pågældende videnskabelige speciale. Og her hænger mistanken om selvfed publikationsbias stadig i luften.

Med andre ord, som led i ministeriets "kvalitetssikring" af dansk forskning, inkl. dansk fysik, skal fysikerne i faggruppen nu til at forklare Jørgen Søndergaard & co, om det virkeligt er sandt, at de er så gode, at de får så mange artikler ud i internationale tidskrifter på et så højt niveau at det udgør 39% af det danske bidrag*) til "verdensproduktionen", eller om de har et så stort nationalt bias, at de som faggruppe blot udpeger de tidskrifter til højniveau, hvor danske fysikere nu engang publicerer mest.
Og det er ikke kun fysikken, der er mistænkelig i ministeriets øjne: En optælling (her) viser, at det her pr. 14. september er 42 ud af de 68 faggrupper, som ryger op over 30%-grænsen og skal forklare sig ... med mindre de degraderer en række af deres tidskrifter fra top- til standard-niveau i ministeriets målestok.

*) Note: Altså selvfølgelig ikke 39% af den samlede verdensproduktion, her bidrager Danmark kun få promille, men at 39% af de danske bidrag til denne indenfor fysik og astronomi ligger i højniveau (niveau 2).

Videnskabsministeriets verdensbillede - fra excel til forskningsudvikling

Jeg har fået en ny last: At læse stillingsbeskrivelser der udsendes af Videnskabsministeriets styrelser. Sidste skrig er dette tilbud: "Vil du være med til at udvikle dansk forskning"? Det er overskriften på en annonce (her) fra Forsknings- og Innovationsstyrelsen, som søger en AC-fuldmægtig til Analyseenheden i Forskningspolitisk Center. Oh, hvilke navne! Intet mindre end dansk forskning får den kommende AC-fuldmægtige medansvar for at "udvikle". Det skjules ikke, at det handler om New Public Management, for de første linier i opslager lyder:

"Du indgår i en mindre projektgruppe, hvor det fælles mål er at udvikle forskningsindikatoren til en ny model til fordeling af universiteternes basismidler. Formålet med indikatoren er at fremme publicering i de mest anerkendte videnskabelige tidsskrifter og styrke kvaliteten af dansk forskning. Indikatoren har været under udvikling i tre år, og arbejdet går nu over i en ny fase, hvor der er fokus på nye udviklingsopgaver og forbedring af datakvalitet."

Det er selvfølgelig fair nok at søge folk, der - som det fremgår helt nederst i opslaget - er gode til "• bibliometri og tekniske processer; • excel; • databehandling og kvalitetssikring af data", men hvad er det for en megaloman illusion at foregøgle, at udvikling af et måleinstrument er det samme som at udvikle danske forskning? Og i det omfang, der er en kobling mellem måleinstrument og det, der måles, er den næppe fremmende for kvaliteten: Omvikling, snarere end udvikling, ville være det rette ord.
Hvem forfatter disse annoncer? Vi har før (her) set på stillingsbeskrivelsernes sammenblanding af politisk dagsordensætten og administrativ udførelse af det politiske flertals vilje (se også bagsiden af FORSKERforum nr. 233, april 2010).
Unødvendigt at sige, at når det i annoncen hævdes, at "Formålet med indikatoren er at fremme publicering i de mest anerkendte videnskabelige tidsskrifter og styrke kvaliteten af dansk forskning", så lyder det måske som et ædelt alment formål som ingen kan være uenige i, men som – mht. indikatoren som middel og incitament – de fleste menige forskere på Danske Universiteter, de som har hands on indsigt, og derfor også de faggrupper, som ansøgeren til stillingen skal velsekvirke med, reelt ikke tror på, at denne "indikator" fremmer kvalitet. Lad os håbe for vedkommende, at opslagets ordlyd hurtigt vil gå i glemmebogen efter ansættelse.

Søløveprincippet og Oddershedes bidrag til kritikken af incitamenttænkningens modsigelser: Kan forskningsmåling videnskabeliggøres?

Jeg tror jeg har større respekt for søløver end rektorformand Oddershede har, men hans seneste udtalelser i P1 Orientering fortjener alligevel opmærksomhed. Det vil jeg forklare, men først lidt forhistorie.
Det hele starede med det utilitaristiske "noget for noget" og "basismidler efter kvalitet". Globaliseringsrådet og Helge Sander fik som led i den borgerlige regerings forskningspolitik gennentrumfet et system, hvor en del af de nye midler (som forskningen skulle tilføres af Globaliseringspuljen) skulle fordeles således, at den bedste forskning - eller i den statslige optik, "de bedste universiteter" blev belønnet. Det hed "konkurrenceudsættelse af basismidlerne" og VTU tumlede i 2007 med en sindrig "kvalitetsfinansieringsmodel" (se her) bygget op på fire ”kvalitetsparametre”, der hver især skulle kunne udtrykkes ved sammenvejning af forskellige indikatorer. De fire parametre var omkostningseffektivitet, forskningskvalitet, uddannelseskvalitet og videnspredningskvalitet hvor sidstnævnte skulle måle synlighed i pressen og andel af private forskningsmidler. Forskningskvalitet blev til "den bibliometriske forskningsindikator", som ikke har meget med kvalitet at skaffe og som opererer med et byzantinsk system af autoritetslister over puliceringskanaler, som tæller forskelligt, og hvor den humanistiske forskning let kommer i knibe, senest påpeget i en kronik i Politiken (her) af Rasmus Øhlenschlæger Madsen, fordi formidling af humanistisk forskning ofte sker på dansk og i bøger henvendt til en bredere offentlighed. Sådanne udgivelser vil evt. score lavere målt i forhold til den arbejdsindsats de kræver sammenlignet med produktion af små artikler på engelsk i specialiserede fagtidskrifter, så det her indlagte incitament bliver, at humanister slet ikke bør henvende sig til en dansk, men til en engelsk-amerikansk og smal videnskabelig deloffentlighed indenfor akademia. Vi har ofte skrevet om forskningsindikatoren (se her) og skal ikke trætte med det igen.
Men et eller andet sted i processen fra 2007 og op til i dag gled formidling som element af "vidensdeling" ud af kvalitetsmodellen. Formidling belønnes ikke. Filosoffen Klemens Kappel påpegede for nyligt i Universitetsavisen (her) det problem, at når man i den nye incitamentstruktur belønnes for at forske, undervise og tiltrække eksterne midler, men ikke for at formidle, vil tid anvendt til formidling, set ud fra en ren tids- og belønningslogik (jeg tror sidstnævnte udtryk er mit, ikke hans) de facto skade ens institut eller universitet. Jeg synes det er rigtigt set, og det sætter fingeren dybt ned i det sår, det giver enhver institution, der er båret af en høj kaldsetik, engagement og identifikation fra medarbejdernes side med institutionens overordnede (brede komplekse og relativt vagt definerede) mål, når en økonomisk kvantitativ belønningsstruktur lægges ned over systemet. Kappel gentog sine pointer i DRs program Orientering på P1 (her) og journalisterne fulgte historien op dagen efter med et interview d. 23/4 med rektorformanden for universitetsleder-logen "Danske Universiteter" Jens Oddershede (her).
(Kappels kom i sit bidrag til at sige, at han mener, at god forskning, god undervisning og evnen til at tiltrække eksterne midler skal belønnes. Det er jeg næppe helt enig med ham i, for man kan da spørge: Når man nu er ansat til at forske, og vi alle ved, at blivende forskningsresultater giver anerkendelse i det videnskabelige samfund, hvorfor skal den enkelte forsker så belønnes yderligere for det? Det er da heller ikke tilfældet med bibliometrien, hvor "belønningen" tilfalder universitetet. Og hvorfor skal evnen til at hive eksterne midler hjem i sig selv belønnes ekstra, det er vel netop en 'belønning' hvis ens succesrate her overstiger fx 10%? Nå, men det er en tangent.)
Det var et medlem af bloggens netværk, der gjorde mig opmærksom på Oddershedes logisk set inskonsistente bidrag, i interviewet af 23/4, som rummer visse animerede kvaliteter der gør det værd at høre. Inkonsistensen er følgende: Oddershede mener ikke, at formidling skulle belønnes efter en indikator, men han har selv som rektorformand og med succes lobbyet for at indføre en forskningsindikatoren (han overbeviste den ellers skeptiske Marianne Jelved sidste sommer)! Men nu vil jeg for en gang skyld forsvare manden. Han indførte et nyt begreb i den danske forskningspolitik: Søløveprincippet. Søløven, hævder Oddershede, flytter sig kun, og i små ryk, når den får en fisk. Og sådan bliver forskeren også, hvis han eller hun skal belønnes for enhver enkelt ting man gør. Derfor skal en forsker ikke belønnes særskilt for sin formidling: Universitetsansatte skal belønnes for deres samlede indsats.
Med al respekt for søløver, der forhåbentligt er mere komplekse dyr end i Oddershedes beskrivelse, indebærer det jo en radikal kritik af al incitamenttænknings tendens til at fremavle "perverse incitamenter". Oddershede mere end antydede en klar forståelse af, at indikatorer altid vil have negative sideeffekter. Åh – ja, hvor er det dog ærgerligt at han ikke vil tage konsekvensen af den indsigt og trække sin støtte til forskningsindikatorer tilbage. I samtalen var der ligefrem et moment of suspense, da han nævnte, at bibliometrisk dokumentation allerede opsamler data om formidlende publikationer – underforstået, vi kunne godt lave en indikator også her, hvis vi ville. Og Oddershede vil typisk kun dén mindste fælles nævner, der politisk set er mulig. Apropos principper, så minder det om Groucho Marx' berømte ord: "These are my principles - and if you don't like them, I have others!".
Debatten om indikatorer for måling af forskningen er international, og mange spørger sig selv om man ikke kan komme op med bedre indikatorer, som tager mere hensyn til forskningens mangfoldighed. EU holdt en høring om nye metoder inden for dette område d. 14. april i Bruxelles (European Parliament Hearing: Measuring scientific performance for FP8). Oplægsholderen Julia Lane talte om det amerikanske STAR METRICS udviklet af "Federal Demonstration Partnership - Redefining the Government University Research Partnership", og i hendes essay i Nature d. 25 marts 2010 [her] med titlen "Let's make science metrics more scientific" kan man læse om ambitionen – "To capture the essence of good science, stakeholders must combine forces to create an open, sound and consistent system for measuring all the activities that make up academic productivity". Det er interessant læsning, ikke mindst kommentarerne. Et af de mest tankevækkende svar kom fra fysikeren og bloggeren Sabine Hossenfelder, som på bloggen Backreaction (her) i indlægget "Against Measure" analyserede selve incitamentstænkningens grundlæggende modsigelse:

"She [Julia Lane] also points out that there are many differences between fields that have to be accounted for, and that the development of good metrics is an interdisciplinary effort at the intersection of the social and natural sciences. I would have added the computer sciences to that. I agree on all that. What I don't agree on is the underlying assumption that measuring scientific productivity is under all circumstances good and useful to begin with."
"(...) let me ask the other way 'round: Where is the scientific evidence that the use of metrics to measure scientific success is beneficial for progress?"

"One has to be very clear on one point: metrics are not external to the system. The measurement does affect the system. Julia Lane actually provides some examples for that. Commonly known as "perverse incentives" it's what I've referred to as a mismatch between primary goals and secondary criteria: You have a primary goal. That might be fuzzy and vague. It's something like "good research" or "insight" or "improved understanding." Then you try to quantify it by use of some measure. If you use that measure, you have now defined for the community what success means. You dictate them what "good research" is. It's 4 papers per year. It's 8 referee reports and 1 YouTube video. It doesn't matter what it is and how precise you make it, point is that this measure in turn becomes a substitute for the primary goal" (...)

"Measures for achievements are fine if you have good reason to believe that your measure (and you could adapt it when things go astray) is suitably aligned with what you want. But the problem arises in cases where you don't know what you want. Lane eludes to this with her mentioning of researchers who think their work is "too complex" (to be accurately measured) and that "science is unpredictable." But then she writes this is no reason to abandon metrics. I already said that metrics do have their use, so the conclusion cannot be to abandon them altogether. But merely selecting what one measures tells people what they should spend their time on. If it's not measured, what is it good for? Even if these incentives are not truly "perverse" in that they lead the dynamics of the system totally astray, they deviate researchers' interests. And there's the rub: how do you know that deviation is beneficial? Where's the evidence? You with your science metric, please tell me, how do you know what are the optimal numbers a researcher has to aim at? And if you don't know, how do you dare to tell me what I should be doing?"

Tak, det er godt sagt og alt for ofte overset i debatten. Incitamenter baseret på indikatorer har en tendens til at gøre mennesker (og søløver) til pavlovske hunde. Hvis ikke rudimenter af min fagforeningsbevidsthed stadig levede, ville jeg udbryde: Lad arbejdet bære lønnen i sig selv!

Forskningsfrihed, men…

Et af de absolutte lyspunkter på den nyligt afholdte AC-konference om evalueringen af universitetsloven var Hans Hauges indlæg, fordi det så klart imødegik den enormt ensliggørende tendens der præger disse års forskningspolitik og universitetsadministration, og fordi det understreger det særegne ved humanistisk forskning. Jeg takker Hans Hauge for for oplægget, som jeg herved har den glæde at bringe videre til bloggens læsere. C.E.

Forskningsfrihed, men…
af Hans Hauge

Constraints

Evalueringsrapporten indleder med selv at nævne alle de begrænsninger (constraints), der er for forskningsfriheden. De er der endog ”clearly”. Den slags gør man, fordi man er bange for, at den skal misbruges, eller som om nogen tager sig for mange friheder.
Dernæst kaldes disse friheder traditionelle. De er en arv fra det gamle dannelsesuniversitet med de udstrakte friheder for både lærere og studerende. Da jeg læste, var det frit, om vi ville modtage undervisning eller ej, i dag tvinges de studerende til at modtage undervisning. Lærerne forskede, men det havde ikke med undervisningen at gøre. Der var frihed uden begrænsninger.
Vi evaluerede ved at blive væk og læse selv; de evaluerer ved at udfylde skemaer og med mindre tid til at læse selv. Men hvordan nu med forskningsfriheden på det ”andet” moderne universitet? Det globaliserende universitet, der har afløst det nationaliserende.

Jeg vil med udgangspunkt i den fransk filosof J. Derridas skrift om universitetet uden betingelser – L’Université sans conditions (2001)– tale ud fra et ideal om, at humaniora – det han kalder det ny humaniora – er den principielle ret (droit) til at sige hvad som helst (tout) selv under navnet (au titre) fiktioner, og retten til at sige det offentligt og at udgive det – den sidste ret forbinder universitetet med oplysningen. Derrida siger dette, fordi han kunne se, de begrænsninger, der var på vej.

Jeg taler kun om humaniora og teologi. Jeg er helt indforstået med, at universitetet skal bruges til at fremme konkurrencestaten Danmark i en global økonomi. Blot er der intet, af det man siger om videnskab og forskning, der passer på humaniora – the arts, som de hed. Problemet er, at humanisterne lader, som de også bidrager.

Den største og første begrænsning i forskningsfriheden inden for humaniora er ligger i, at alle videnskaber betragtes på samme måde som naturvidenskaber, science, eller som nyttige videnskaber. Der generaliseres så det batter. Der er ikke en videnskabelig essens. Universitetet taler utallige sprog.
Når man taler engelsk bliver science et langt snævrere begreb, end hvis man taler tysk eller dansk. Der sker en sproglig og begrebsmæssig indsnævring af feltet. Når man taler engelsk kommer forskning til at hedde research. Dermed forsvinder the scholar og the critic. Der sker igen en reduktion.

Humaniora bør have en hel række undtagelsesparagraffer. Det er ikke science, når vi skriver en artikel om Kaj Munks drama, rockvideoer, feminisme eller Paulus’s breve. Humaniora er formidling. Og det giver ikke mening at skelne mellem forskning og formidling, som PURE påtvinger os.
Humaniora fremmer ikke betalingsbalancen. Og har intet at gøre med ”a more effective innovation relationship between universities and the private sector.” Det eneste, vi kan, er at afmytologisere det tomme ord innovation. Men vi skal også tage i betragtning, at det humanistiske er det mest populære fakultet.

Den anden begrænsning gælder det bibliometri-system, der gør, at vi skal udgive små artikler på engelsk alene for at tjene penge til instituttet. Artikelproduktion hedder det med en dårlig metafor. Dette system forhindrer videndeling og dermed alle tanker om folkeoplysning.

Den tredje gælder peer-review, der på humaniora fører til menings- og ikke kvalitetskontrol. Det er tilfældigt, ukontrolleret, uigennemsigtigt. Det vil på ingen måde forbedre noget.


Be free

Forskningsfrihed behandles i afsnit 4.2.2. s. 39. Forskningsfrihed er fundamental, moralsk og intellektuelt uafhængig. Siges det. Den må således godt være umoralsk. Senere opererer rapporten dog med noget, der kaldes etiske restriktioner. Hvordan kan være moralsk uafhængigt og etisk begrænset?

Derefter beskrives begrænsningerne (constraints) med en hel del ”withins”. ”Clearly, this (friheden) is not unlimited”, som det siges. Det skal være frihed, inden for et felt eller ”field of employment.” Må man ikke forske uden for marken eller feltet? Hvordan med tværfaglighed? Dernæst skal det være inden for visse standarder. Hvem sætter dem?
Derefter kommer en stort set uforståelig sætning, der igen indledes med within: “within these constraints, the general principles often invoke to give (sic!) the concept a functional definition that researchers should be allowed to freely select – her ser vi en split infinitive – their research topics, freely develop their research methodology and be free to publish their research results”. Man bliver ikke frie ved at gentage free tre gange, men med en lille variation, der også ændrer betydningen. Man kan freely select og freely develop, men det er lidt anderledes med publikation. Da er man ”free to” – som det hedder ”be free to”. Du skal være så god at udgive. Du må godt. To be free to er ikke det samme som freely. Man har således ikke ret til at vælge, udvikle eller offentliggøre.

Har vi så den frihed til at vælge emne, som de kalder enten topic, agenda eller issue. Nej, ikke i praksis.
Hvad begrænser valget eller friheden? Det gør de studerende, der jo bestemmer, hvad der skal forskes i. Universitetet er brugerstyret. På det punkt er der sket en demokratisering uden lige. Studenterindflydelsen er omfattende og det har ført til en culture of complaint.
Vi får at vide, at de fag, vi udbyder, skal være ”trendy”. Jeg kan ikke undervise i noget, hvis der ikke er kunder. På den måde forsvinder alle de klassiske eller traditionelle emner. Det må ikke være for svært eller for gammelt. Det er slut med ældre litteratur for nu at tage et eksempel. Undervisningen skal være forskningsbaseret, og derfor er jeg tvunget til at forske i det, der er trendy eller populært. Det er vel den begrænsning, der hedder ”the financial frameworks of the institution”. Der er ikke frihed til at vælge emne. Rapporten tager fejl. De studerende styrer, hvad der skal forskes i, og det er en stor begrænsning af forskningsfriheden. Man kan ikke have give al magt til de studerende og samtidig fastholde, at undervisningen skal være forskningsbaseret.

Vi må selv vælge metode. Må man vælge den fra? Her viser videnskabstroen sig. Må man være against method, som er titlen på en bog? Eller against theory? Det er slet ikke alle, der arbejder metodisk eller vælger en eller anden metode. Hermeneutikkens hovedværk hed Sandhed og metode, og det betyder sandhed eller metode (Gadamer).

Fri til (be free) at udgive. Ja, det er vi med de begrænsninger, som peer-review nu har. Peer-review fungerer sikkert andre steder. På humaniora er det et lykkehjul og et politisk magtmiddel, der fører til homogenisering og anonymisering. Man er er nødt til at skjule, hvem man er.

Fri til at udgive resultater. Resultat? Men hvad er et filosofisk resultat? Inden for humaniora frembringer man ikke resultater, selvom man kan.

Der er heller ikke metodefrihed - pædagogisk set. Vi er tvunget til virkningsløse evalueringer og kollegial supervision. Men det er et indgreb i den pædagogiske frihed. Snart kommer vel et krav om, at man skal bruge aktivitetsdræberen power point.

Humaniora er i høj grad, hvad man kalder ”oppositionsvidenskab”. Det er uhyre vanskeligt for en person, der er borgerlig at blive ansat på humaniora. Det er også en begrænsning af friheden. Der fører til ensretning.

Og endelig vil jeg nævne den tvang, der ligger i, at vi skal forske i flok – gruppeforskning. En af mine venner på SDU har fået at vide, at hvis han ikke indgår i et forskningsteam, vil ingen tage hensyn til, hvad han har lavet eller laver. En anden kollega har netop fået at vide, at hans område er overflødigt. Hvis han ikke forsker i noget andet – noget ganske bestemt, endda en ganske bestemt – så skal han fyres. Det er paragraf 17.2. i praksis.
Konsensustvangen har også ført til, at den kollegiale kritik er ophørt. Det har gjort ph.d. forsvarshandlinger til hygge og underholdning – som det fremgik af prodekan Claus Holms kommentar i Information d. 27.1.
Og jeg har netop hørt om en dygtig og flittig medarbejder, der er blevet bedt om at ophøre med sin forskning og begynde på noget helt andet. Det er en brug af 17.2. Det skal også siges, at en institutleder på Engelsk i Århus lang tid før 2003 forlangte, at flere af os skulle omskoles og forske i noget uden for vort field of employment. Om paragraffer er der eller ej gør muligvis ingen forskel.

Forskningsfriheden inden for humaniora begrænses altså af:

1. at al videnskab eller forskning eller skriftlig produktion skal være science – der skal være mange kulturer. Positivismen er tilbage som før 1968. Den skal bekæmpes igen.
2. måling af forskningspublikationer – det indskrænker friheden – det modarbejder oplysningsaspektet. Der er tale om en helt absurd og dyr overproduktion af humanistisk videnskab uden modtagere. Det er uliberalt. Man kunne tage subsidierne fra os og lade markedet bestemme som den tyske historiker Götz Aly har foreslået. Alene udtrykket ”artikelproduktion” viser det absurde.
3. kravet om trendiness og studenterindflydelse begrænser valget af forskningsemner.
4. kollektivismen: kravet om at forske i flok fører til ensretning – humaniora lever af dissens – konsensus er terror. Individualiteten hæmmes, og stil forsvinder.
5. Det hæmmer friheden at skrive på dårligt engelsk. Man kan ikke sige, hvad man ved, men hvad man kan.

Humaniora og teologi vil langsomt dø bort. Den vil blive politisk korrekt og kedelig. Der vil aldrig komme en Lindhardt, Løgstrup eller Sløk – de ville være fyret før fyrre. Der er ikke noget underligt i det. Det er rationelt nok. Dannelsesuniversitetet kunne næppe få plads til naturvidenskaberne. Der var for Kant et universitet, der bestod af jura, medicin og teologi. Og så filosofi. Det var for Cardinal Newman (The Idea of a University) et universitet helt uden naturvidenskab. Men efter især C.P. Snows The Two Cultures skal det centrale være science. Der skal derfor findes særordninger for at bevare humaniora i et universitet, hvor det ikke hører hjemme, men hvor mange unge helst vil være humanister.
Det nye humaniora (Derrida) skal være et sted for frihed uden betingelser og begrænsninger. Frihed til at sige hvad som helst også som fiktion. Og sådan bliver det nok ikke. I fremtiden vil vi skulle leve med forskningsfrihed med begrænsninger. Clearly.

Hans Hauge
Lektor, dr.phil.
Nordisk Institut
Aarhus Universitet

(Ovenstående er manuskript til et mundtligt oplæg ved ACs konference om universitets evalueringen.)

Indlæg om forskningsfrihed

Informationssamfund eller ej. Nogle gange bevæger oplysninger sig langsomt. Dette interessante indlæg om forskningsfrihed på Lisbeth Klastrups blog Klastrup´s Cataclysms er værd at læse.

Den danske forskningsindikator favoriserer bestemte publikationsmønstre mere end den norske model

af Jesper Wiborg Schneider *

I efteråret 2009 offentliggjorde Forsknings- og Innovationsstyrelsen den første ”indikator-statistik”, med publikationspoint og antal publikationer fordelt på universiteter og hovedområder. I den forbindelse har Leif Hansen i et tidligere indlæg her på bloggen diskuteret problemstillingen om at de midler den bibliometriske indikator skal udløse først skal fordeles mellem de 4 store hovedområder inden indikatoren bruges til at fordele midlerne mellem universiteterne indenfor det enkelte hovedområde. Denne praksis fører til, at publikationspointene i realiteten har forskellig værdi. Ser man på det oprindelige udgangspunkt for den danske indikator, den såkaldte ”Norske model”, så strider dette mod intentionerne om sammenlignelighed på tværs af fagområder.
En anden ”lille finurlighed” i danske indikator som også bryder med de oprindelige intentioner i den Norske model, er spørgsmålet omkring ”belønning”af forskningssamarbejder.
Universitets- og Høgskoleråd (UHR) i Norge har i publikationen Vekt på forskning (Oslo, 2004) grundigt redegjort for de teoretiske og empiriske overvejelser der ligger til grund for modellen. Et centralt element i den Norske model, såvel som den danske, er anvendelsen af fraktioneret publikationstælling. Set fra et bibliometrisk synspunkt er dette velvalgt og essentielt, hvilket jeg har redegjort for i en oversigtsartikel sidste år (Schneider, 2009). I princippet er fraktioneringen med til at ”sikre” en vis ensartethed i tildelingen af publikationspoint på tværs af emneområder med forskellige samarbejds- og publikationsmønstre.
Et eksempel kunne være en monografi indenfor humaniora udgivet på et niveau 2 forlag. En sådan publikation har oftest 1 ophav hvilket betyder, at alle 8 publikationspoint bliver tildelt en enkelt institution uden fraktionering. Når man ser på danske publikationsmønstre indenfor f.eks. klinisk medicin, så svarer dette rent faktisk til 5-7 artikler i et tidsskrift som The Lancet. Her er der typisk tale om flerforfatterskaber, omkring 4-6 ophav, måske lidt færre institutionelle ophav, og oftest internationalt samarbejde. I sådanne tilfælde fraktioneres pointene, og som anført skal der en række Lancet artikler til før man opnår den samme pointtildeling som den videnskabelige monografi indenfor humaniora. Det har vist sig i Norge, at pointfordelingen mellem f.eks. det humanistiske og sundhedsfaglige fakultet på Oslo universitet har været nogenlunde ens; de to fakulteter var i øvrigt også cirka lige store med hensyn til forskningsårsværk.
Hvorvidt denne ”lighedstankegang” er berettiget eller ej skal ikke diskuteres her. Men det skal anføres, at ingen fraktionering – altså at alle får fuld pointhøst – sandsynligvis vil føre til spekulation i delte forfatterskaber, og det er bestemt ikke hensigtsmæssigt. Men omvendt så rejser det også spørgsmålet hvorvidt fraktionering vil give et negativt incitament i forhold til forskningssamarbejder. I Norge har man valgt at se tiden an i forhold til denne problematik, og i skrivende stund er der intet der tyder på, at norske forskere tænker mere på publikationspoint end på forskningssamarbejde – tværtimod! Fraktionering har ikke haft negative effekter på dette punkt i Norge.
Nu kommer vi så til den ”lille finurlighed” i den danske indikator. Som det fremgår af punkt 6 i Forsknings- og Innovationsstyrelsens ”Samlet notat om den bibliometriske forskningsindikator”, så

”… etableres [der] et belønningssystem for samarbejde på tværs af organisationsgrænser både nationalt og internationalt, således at publikationer med forfattere fra forskellige universiteter multipliceres med 1,25, inden fraktionering foretages.”

Dette betyder f.eks. at en artikel i et niveau 2 tidsskrift med 5 ophav, hvor mindst ét ophav kommer fra en anden institution, som udgangspunkt skal dele 3,75 publikationspoint og ikke 3, eller hvert ophav får 0,75 point i stedet for 0,6 point.
Efter min vurdering er det danske ”belønningssystem for samarbejde” diskutabelt af flere grunde. For det første bryder det med et af de helt centrale principper i den Norske model, dens simpelhed og gennemsigtighed. For det andet, og langt mere problematisk, så underminerer det intentionen med fraktionering, nemlig sammenlignelighed på tværs af publikationsmønstre. Som tingene er nu, favoriseres de ”våde” fag, som allerede har en lang tradition for flerforfatterskaber på tværs af institutioner og lande. Et lignende publikationsmønster findes ikke i nær samme omfang indenfor humaniora og samfundsvidenskab.
Et kig på den første ”indikator-statistik” for Danmark, viser da også en forholdsvis stor forskel i publikationspoint mellem hovedområderne, hvor de ”våde” områder får klart flere point end humaniora og samfundsvidenskab. Sammenligner man med Norge, er den relative forskel i publikationspoint mellem hovedområderne i Danmark væsentligt større. Nu rejser spørgsmålet sig naturligvis, hvor stor ville forskellen være mellem hovedområderne hvis ikke samarbejder mellem institutioner blev belønnet med en arbitrær faktor på 1,25 – vi ved det desværre ikke da disse tal ikke er offentliggjorte.
Under alle omstændigheder må man konstatere, at den ”lille finurlighed” har økonomiske konsekvenser. Den favoriserer fagområder med bestemte publikationsmønstre, og sandsynligvis også bestemte institutioner. Den komplicerer indikatoren og bryder med de intentioner og incitamenter der ligger bag den Norske model – det er problematisk fordi det danske tiltag savner en saglig begrundelse.

Litteratur:
Schneider, J.W. (2009). An outline of the bibliometric indicator used for performance-based funding of research institutions in Norway. European Political Science, 8(3), p. 364-378.(pdf).

* Jesper Wiborg Schneider, PhD, lektor i informationsvidenskab ved Danmarks Biblioteksskole, Aalborg.

Hvordan måle vitenskap?

af Svend Bruhns*

Det Norske Videnskaps-Akademi har i august 2009 publiceret en lille bog med ovennævnte hovedtitel. Den rummer tre af indlæggene fra et møde i Oslo den 12.marts 2009 om det nye ”tellekantsystem”, dvs det bibliometriske forskningsevalueringssystem som blev indført i Norge for nogle siden, og som med modifikationer også er vedtaget i Danmark. Tællekant er et øgenavn som benyttes af kritikerne af systemet; ordet er betegnelse for kanter som man bøjede på lagner osv i linnedskabet så man nemmere kunne tælle om der manglede noget.
Rapporten har indlæg af Gunnar Sivertsen, Per O. Seglen og Nils Roll-Hansen; jeg koncentrerer mig om de to førstnævnte.

Sivertsen er forskningsprofessor ved NIFU – Norsk Institutt for Studier av Forskning – hvor han har arbejdet som bibliometriker i mange år, men han er doktor på en afhandling om Holberg. Som bibliometriker har han bl.a. undersøgt publicerings- og citationsmønstre i videnskabelige tidsskrifter. I de senere år har han arbejdet ihærdigt med udvikling af en publiceringsindikator til brug ved resultatbaseret fordeling af forskningsmidler. Modellen blev præsenteret i en indstilling fra det norske UHR – Universitets- og Høgskoleråd med titlen Vekt på forskning (Oslo, 2004) og indført i Norge med virkning fra budgetåret 2006.
Sivertsens artikel hedder følgelig ikke noget med tællekant, men ”Publiseringsindikatoren” og Sivertsen lægger stor vægt på at hensigten med indikatoren er at måle forskningsaktivitet på institutionsniveau, så der kan indføres resultatfinansiering af forskning, ikke at være et redskab til vurdering af forskningskvalitet, og slet ikke på individniveau.
Formålet har også været at stimulere forskningsaktivitet, og det er også sket, i hvert fald hvis man kigger på publiceringsaktivitet: Norge har haft en bemærkelsesværdig stigning i antal videnskabelige publikationer; Norge plejede at ligge på et lavere niveau end Danmark, Finland og Sverige men er i de seneste år kommet på niveau med os andre. Det skyldes uden tvivl det incitament som den nye publiceringsindikator har givet de norske forskere.
Sivertsen fremhæver også at en gavnlig bivirkning af indførelsen af indikatoren er at Forskning er blevet vældig meget diskuteret, både internt i institutionerne og i pressen, også af bredere grupper af forskere som ellers ikke har deltaget i forskningspolitiske debatter.
Et punkt som har givet anledning til kritik og til mange diskussioner (og som fortsat vil gøre det) er at publikationskanalerne (tidsskrifter og videnskabelige bogforlag) inddeles i to niveauer, hvor fx niveau-1 tidsskrifter gir 1 point, mens niveau-2 tidsskrifter gir 3 point. Man må uvilkårligt tænke at alle niveau-2 tidsskrifter er af meget højere kvalitet end dem på niveau-1. Det hævder Sivertsen imidlertid ikke, han understreger at niveaudelingen ikke kan anvendes til at måle ’kvalitet’. Niveaudelingen i det norske system er indført for at dæmme op for mulige negative effekter på publiceringsmønstret. Sagen er at i lande (Sydafrika, Australien) hvor man tidligere havde indført belønning for publicering i de fine (ISI)-tidsskrifter, bevirkede det ganske vist en forøget publicering, men kvaliteten (målt som citationer per paper) faldt.
Der foreligger endnu ingen officiel evaluering af Det Norske System, men Sivertsen har foretaget nogle undersøgelser som viser/tyder på at norsk forskning efter indførelsen af publiceringsindikatoren

• øger publicering i de mest citerede ISI-tidsskrifter
• beholder sin høje citeringshyppighed på artikelniveau
• har fortsat stabilitet i publiceringsmønstret

Seglen
Seglen er højtciteret cellebiolog, professor ved Radiumhospitalet i Oslo, men han var også i en del år knyttet til NIFU som forsker. I denne egenskab undersøgte han kritisk især den såkaldte Journal impact factor (JIF) som ved hjælp af citationsindexerne udregnes i firmaet ”Institute for Scientific Information” (ISI) – nu Thomson Reuters. JIF er blevet (og bliver desværre stadig her og der) anvendt til at bedømme forskerkvalitet. JIF har også en vis betydning for grundlaget for Det norske publiceringsindikatorsystem thi det oprindelige udkast til tidsskriftslister som de norske fagråd fik som udgangspunkt da de skulle vælge de tidsskrifter der skulle tælle i Systemet var ISItidsskrifter rangeret efter JIF.
JIF, på dansk har jeg set oversættelsen: gennemslagsfaktor - er et mål for den hyppighed som en gennemsnitsartikel i et bestemt tidsskrift er citeret med. Hos ISI udregnes den ved at dividere alle citatio-ner som et bestemt tidsskrift modtager i et bestemt år til de artikler som tidsskriftet rummede de to foregående år med antallet af artikler som det rummede de to år. Vi tager som exempel to tidskrifter A og B som i 2008 hver modtog ialt 500 citatio-ner til de artikler de rummede i 2006 + 2007. Tidsskrift A rummede ialt 300 artikler i de to år 2006 + 2007 og får en JIF på 1.667, men B rummede kun 100 artikler de to år og får følgelig en højere JIF på 5.000. Tidsskrift C som kun modtog 50 citatio-ner får også faktor l.667 hvis det kun rummede 30 artikler i de pågældende år.

Det sidste ord om JIF?
Man skulle tro at de sidste ord om JIF som kvalitetsindikator var sagt med Seglens konklusioner ( 1997):

Summary points

• Use of journal impact factors conceals the difference in article citation rates (articles in the most cited half of articles in a journal are cited 10 times as often as the least cited half)
• Journals' impact factors are determined by technicalities unrelated to the scientific quality of their articles
• Journal impact factors depend on the research field: high impact factors are likely in journals covering large areas of basic research with a rapidly expanding but short lived literature that use many references per article
• Article citation rates determine the journal impact factor, not vice versa

Men nej, bibliometristerne vrider og vender sig for at forbedre denne indikator, det er al ære værd; det slemme er at der stadig er nogle der lider af impactitis og at forskningsadministratorerne ikke engang vrider sig, men blot gnider sig i hænderne over at have lettilgængelig JIF til brug ved evaluering.
På ISI har de tidligere ofte været ret floromvundne i omtalen af JIF, men i 2008 så jeg en udtalelse ”at man vanskeligt kan retfærdiggøre anvendelsen af JIF som surrogat for en mere omhyggeligt udført direkte måling af citationsimpakt”. ISI mener så at JIF-tal kan anvendes til at give et billede af tidsskriftshierarki.

Seglens indlæg i rapporten (s.39-70) hedder ”Er tidsskriftsrenommé og artikkeltelling adekvate mål for vitenskapelig kvalitet og kvantitet?” og det spørgsmål besvarer han allerede i sin første underrubrik:

”Tidsskriftene er ikke representative for artiklene”
Seglen måtte (omkring 1990) undre sig da han kunne konstatere at nogle forskere hvis artikler ialt modtog færre citationer end en anden forsker men alligevel blev rangeret højere end denne, fordi deres JIF-tal var højere. Enhver kan sige sig selv at et tidsskrifts JIF ikke har gyldighed for den enkelte artikel når man véd at citationstal er meget skævfordelt. Seglen illustrerede denne undersøgelse med en ofte citeret graf – 15% af artiklerne i et tidsskrift modtar 50% af alle citationer; 50% modtar 90% af citationerne:

Figur 1C fra Seglen 2009:

[klik på fig. for at forstørre] (orig. fig.-tekst: "Fig. 1. Dårlig korrelasjon mellom tidsskrift-impaktfaktorer og artikkelsiteringer p.g.a. skjeve fordelinger" (...) "C. Summerte relative bidrag fra de enkelte artiklene (kohortisert og arrangert i avtagende rekkefølge) til tidsskriftets totale impakt (normalisert gjennomsnitt for de tre tidsskriftene i B); fra Seglen (1992a)").

”Tidsskriftene bidrar ikke til siteringshyppigheten”
Det er ganske vist givet at artikler publiceret i et af ISIs kildetidsskrifter statistisk set blir meget mere citeret end artikler der ikke er inde i varmen, men hvis man kun betragter de tidsskrifter (ISI) der er over den internationale synlighedstærskel, så indikerer undersøgelser som Seglen tidligere har foretaget at tidsskriftets impaktfaktor ikke har nogen væsentlig indflydelse på citeringshyppigheden af den enkelte artikel. Seglen har også en hypotese om hvorfor det er sådan idag, idet han mener at dagens forskere ikke finder frem til de artikler de skal bruge ved at skimme de fineste tidsskrifter, men gennem databasesøgning. [Det kunne være interessant at få efterprøvet det ved lejlighed. SB].

Er der nogen sammenhæng mellem JIF og tidsskriftskvalitet?
Der er en del undersøgelser der har vist at der kan være god korrelation mellem JIF og expertvurderinger af tidsskriftskvalitet. Men den subjektive kvalitetsvurdering i en af disse undersøgelser spredte sig over et påfaldende trangt skalaområde (fra 4,9 til 8,4) hvor skalaen ellers gik fra 1-10. Mens JIF rakte fra 0,17 til 27,8. Den egentlige kvalitetsforskel mellem sådanne tidsskrifter er antagelig ret moderat, derfor forekommer den store pointforskel mellem niveau-1 og niveau-2-artikler (hhv 1 og 3 point) alt for stor og ikke mindst tilfældig, når man tænker på de tidsskrifter som ligger på vippen mellem niveau-1 og -2. Man kan næppe konstatere en reel kvalitetsforskel mellem tidsskrifter nær delelinjen.

Kvantificering af artikler
Om en artikel er lang eller kort [eller om en bog er på 100 eller på 600 sider] gør ingen forskel i systemet. Seglen mener dog at når nu det hele går ud på at tælle, så burde man også tage hensyn hertil. Der er masser af undersøgelser der har konstateret at længere artikler tiltrækker flere citationer, og selvom Seglen som alle kyndige véd at man ikke kan sætte lighedstegn mellem antal citationer og kvalitet, så har Seglen lavet textanalyser af publikationer på felter som han selv er expert på, og vist at der var sammenhæng mellem artiklernes længde og deres informationsindhold.

Forskergruppestørrelser
Det har vist sig – i hvert fald i Norge – at større forskergrupper modtager en uforholdsmæssig stor del af forskningsstøttekronerne. Men det er et faktum at små forskergrupper er lige så produktive mht publikationer pr forsker som store grupper, og” Original, nyskapende forskning kan minst like gjerne tenkes å oppstå i en liten, lettmanøvrert gruppe som i et stort, tungrodd forskernettverk.”

Konklusion
Seglen behandler kun naturvidenskab og det er een grund til at han og Sivertsen i nogen grad taler forbi hinanden, for sidstnævnte arbejder jo ud fra den præmis at indikatorsystemet skal dække alle fag.

Sivertsen fremhæver også og med rette at det norske system har den store fordel at det tvinger forskningsadministrationerne til at etablere en fuldstændig og nøjagtig database over landets forskningspublikationer, ”Norsk vitenskapsindeks”. Også Danmark er nu tvunget til at etablere en Bibliografisk forskningsdatabase. Hvad vi har i Danmark og mange andre lande på dette område er ren ynk. Det er egentlig utroligt at vi har haft et videnskabs-/forskningsministerium i nu en del år uden at dette relativt nemt overskuelige problem er blevet løst. Ja, allerede Kultusministeriet burde have løst det for hundrede år siden. Der er tegn på at der endelig er ved at ske noget her i landet, men husk at gøre en indsats for også at få de forskningspublikationer som ikke er knyttet til en offentlig institution med i registranten.

Hvis det forholder sig sådan at tidsskriftet er uden betydning for synligheden og brugen af den enkelte artikel ”hvorfor skal en da streve med å forsøke å få artikler akseptert i de mest renommerte tidsskriftene?” (Seglen). Et godt spørgsmål, som man siger hvis man ikke kender svaret. Men vi kender faktisk svaret på det spørgsmål, for det er jo at Regeringen og politikerne ønsker det, det står i deres globaliseringspapirer. Så det egentlige spørgsmål er, hvorfor Regeringen ønsker at danske forskningsinstitutioner skal ændre deres publiceringsadfærd så de koncentrerer sig om ”at publicere i de mest anerkendte og prestigefyldte publiceringskanaler inden for fagområdet”. Det spørgsmål er der ikke grundigt redegjort for, og jeg nægter at tro at det er politikerforfængelighed og ”rangsyge” (higen efter at Danmark kommer højere op på de internationale ranglister som fx THES’) der skal styre forskernes publiceringsadfærd. Mens det at skabe god og nyttig forskning kan risikere at komme i anden række.

Hvordan måle vitenskap?: søkelys på bibliometriske metoder. Red.: Øyvind Østerud. Oslo: Novus Forlag/Det Norske Videnskaps-Akademi, 2009. 80 s. (download pdf)

*) Svend Bruhns er fhv. assisterende fagleder ved Danmarks Biblioteksskole i Aalborg; udgiver snart en bog på dansk om citationsindexering og publikationspoint. Forskningsinteresser: Bibliografisk teori, metode & historie.