mandag den 2. april 2007

Kvalitetsvægten for universitet nr. j i år t

Dekan for det Samfundsvidenskabelige Fakultet i Århus Svend Hylleberg har på sin blog i dag i to indlæg ("Fordelingen af basismidler til universiteterne" og "Forskningskvalitetsindikatoren er en hjælp til den trængte grundforskning") løftet lidt af sløret for de incitamenter og andre mekanismer, der diskuteres som det, der skal bestemme fordelingen af basismidler til de danske universiteter. Det første indlæg måtte i pdf-format for at kunne rumme den smukke formel, vi gengiver ovenfor, som Hylleberg gør sig umage for at forklare - i korthed:
"Det enkelte universitets basisbevilling for år t kan herefter beregnes som universitetets kvalitetsvægt gange universitetets basisbevilling for år (t-1) gange med forholdet mellem de samlede basisbevillinger i år t og summen af alle universiteters kvalitetsvægt gange basisbevilling for år (t-1)."

I sit andet indlæg forsøger dekanen at gengive kritikken af den slags indikatorer og dele sol (kritik) og vind (sin lederrolle som legitimerende mediator) lige:

"At undgå at blive vejet og målt er imidlertid ikke en politisk mulighed, og her synes jeg faktisk, at indførelsen af en kvalitetsindikator for forskningen er et afgjort fremskridt."
Han afslutter med denne kritik af Rektorkollegiet:
"Noget uforståeligt har Rektorkollegiet i høj grad forsøgt at promovere den såkaldte 50:40:10 model som grundlag for tildeling af forskningsmidler. Efter min opfattelse trækker denne model i alt for høj grad vægten væk fra den basale grundforskning og over mod den forskning, der umiddelbart synes anvendbar, idet modellen giver en vægt på 0.4 til de eksterne bevillinger et universitet har opnået. Og de eksterne bevillinger har jo givetvis en bias mod det anvendelsesorienterede.
Så til alle os, der også vil lægge vægt på de langsigtede mål, er forslaget om en kvalitetsindikator for forskningen baseret på opgørelser af forskningspublikationerne, vægtet efter selv en ufuldstændig kvalitetsopgørelse af publikationskanalerne, et skridt i den rigtige retning."

Det sidste kan jo nok diskuteres, og bør blive det. Bloggens læsere opfordres til at bidrage!

P.S.:
Svend Hylleberg refererer i sit første indlæg til "det såkaldte Dialogmøde mellem VTU om universiteterne den 29. november 2006" - det drejede sig, har jeg googlet mig frem til, om en "ny model for kvalitetsbaseret fordeling af basisforskningsmidlerne": Af et notat fra SDU's sider (her) fremgår fgl.:
"Universitets- og Bygningsstyrelsen (UBST) under VTU indbyder bestyrelsesformænd, rektorer og universitetsdirektører til dialog møde onsdag den 29. november 2006. Ifølge regeringens globali­seringsstrategi skal universiteterne fra 1. januar 2008 tildeles basismidler efter en samlet bedømmelse af resultater for kvalitet af forskning, uddannelse og videnspredning relativt til universi­tetets størrelse. Fra Syddansk Universitet deltager rektor Jens Oddershede i mødet."

pps: beklager fejlstavningen som nu er rettet, navnet er ikke Hyllebjerg !

10 kommentarer:

Heine Andersen sagde ...
Denne kommentar er fjernet af forfatteren.
Heine Andersen sagde ...

Jeg hælder her til at støtte Hyllebjergs synspunkt. Til den overordnede budgettering på nationalt plan er anvendelse af en eller anden form for indikatorbaseret model antagelig den mindst ringe løsning. Og blandt dem, jeg kender, er igen den norske nok den mindst ringe, hvad angår selve principperne (fx sammenlignet med det engelske eller hollandske).
(Beskrivelse af ordningen kan findes på: http://www.uhr.no/forskning/publiseringsutvalget/). Så må man i gang med finde ud af, hvordan principperne skal udmøntes konkret.
Et problem ved indikatormodeller er ofte at undgå perverse effekter, som virker imod hensigten - fx hvis gennemførelsesprocenter (som foreslået) anvendes som indikator på undervisningskvalitet med det resultat at institutionerne sænker beståelseskrav til eksamner. Anvendelse af eksterne bevillinger som indikator på "vidensspredning" trækker forskningen i retning af at servicere dem, der har mange penge og gerne vil betale for forskning, typisk jo ud fra en interesse i at tjene endnu flere penge. Tabere kan blive forskning, som ingen vil betale for - fx grundforskning eller anvendt forskning, som ingen bare vil eller kan betale for. Dertil kommer, at der selvfølgelig vil være interessekampe mll. institutioner og fag om at definere indikatorer, fordi de afgør fordelingen. Hyllebjerg har den pointe, at det er institutionerne, der alene bærer usikkerheden, fordi den samlede sum af basismidler, vi skal slås om, ligger fast. Staten risikerer ikke at skulle punge ekstra penge ud, uanset hvor godt vi gør det på universiteterne, men det ene universtitet risikerer at tabe penge til et andet.

Det er klart at indikatorbaserede kvalitetsmodeller kun skal anvendes på helt overordnede niveauer, hvor det er urealistisk at foretage egentlige, valide indholdsmæssige kvalitetsvurderinger, fx ved at lade en hær bedømmere læse alle publikationer (dette indgår jo faktisk i den engelske model).

Der er mange tekniske specialiteter i sådanne ordninger, som det tager tid at sætte sig ind i. Der er klart et stort demokratisk underskud i forskningspolitik i Danmark i den forbindelse, fordi de færreste følger med i, endsige tager sig tid til at sætte sig ind i disse systemer. Underskuddet skyldes især, at vi er gået fra en form for universitetsdemokrati til ekstremt politisk og bureaukratisk topstyre. Vi burde have en universitetslærer/ professionsforening med en professionel stab, stor og kvalificeret nok til at varetage de professionsdemokratiske interesser for forskningen. Og vi mangler også i Danmark i ekstrem grad forskningspolitiske studier, som kan udvikle ekspertise i fordele og ulemper ved forskellige styringsmodeller og hvilke kræfter og interesser, der står bag de forskningspolitiske tendenser, vi ser. I øjeblikket træffes beslutninger på et utroligt spinkelt grundlag - som i gunstigste fald kan findes i powerpoint præsentationer eller smånotater på videnskabsministeriets hjemmesider.

Claus Emmeche sagde ...

Tak til Heine for kommentaren. Jeg er enig i at der er et stort demokratisk underskud i forskningspolitik i Danmark, og at det ville være oplagt hvis nogle professionsforeninger (fagforeninger?) gav sig til at følge den forskningspolitiske debat tættere og mere systematisk (end de få lyspunkter som fx FORSKERforum).

Det lyder dybt problematisk at opfinde en ressourcefordelingsmodel, der vil kunne komme til systematisk at underprioritere (det som lige nu ser ud til at være) ikke-anvendt, ikke-strategisk forskning.

Claus Emmeche sagde ...

Supplerende: Om den model ("50-40-10 ordningen") som Hyllebjerg kritiserer Rektorkollegiet for at promovere, finder man på Videnskabsministeriets hjemmeside denne beskrivelse:

======= citat:
Boks 6.3:
50-40-10–ordningens effekt


Modellen baserer sig på, at midler til forskning bliver fordelt efter universiteternes evne til at tiltrække og uddanne studerende (50 procent), deres evne til at tiltrække eksterne forsknings-midler (40 procent) og deres evne til at uddanne ph.d.’ere herunder også ErhvervsPhDer (10 procent). Ordningen støtter målsætningerne om mere samspil mellem universiteter og erhvervsliv.

Et universitet vil således får en større del at de midler, der fordeles efter ordningen, hvis det har succes med at tiltrække eksterne forsknings-midler eller uddanne ErhvervsPhDere.

Ordningen fører med andre ord til omfordeling mellem universiteterne til gavn for de stærkeste miljøer.

Det hårdest ramte universitet ville miste 20 procent af sin bevilling, hvis staten fordelte alle universiteternes forskningsbasisbevillinger efter 50-40-10–ordningen. Det bedst stillede universitet ville vinde 27 procent. Det er især Handelshøjskolerne i Århus og København samt Aalborg Universitet, der vinder på ordningen. Det sker i kraft af et tæt forsknings- og uddannelsesmæssigt samspil med erhvervslivet.
======= citat slut.
Kilde:
Videnskabsministeriet (2003): Nye veje mellem forskning og erhverv - fra tanke til faktura (Udgivet af Ministeriet for Videnskab, Teknologi og Udvikling)
URL: her
ISBN nr: 87-91258-71-5
link til citatet

Ja, så hvad det angår kan man da kun støtte Hyllebjergs skepsis.

Claus Emmeche sagde ...

Efter at have genlæst Hyllebjergs to indlæg synes jeg det hele lyder temmelig problematisk, men jeg kan jo ikke udelukke, at det skyldes mit ringe kendskab andre og mere ringe løsninger og hidtidig praksis mht. ressourcefordeling mellem universiteterne.

Hyllebjerg skriver (i sin første indlæg, det i pdf) efter at have nævnt de fire indikatorer, som der nu arbejdes med i et ministerielt udvalg:
"Efter at man har fået udarbejdet indikatormodellen, skal det selvfølgelig afgøres, hvordan den skal anvendes, og det afgørende spørgsmål bliver her, den hastighed med hvilken modellens udsagn får indvirkning på bevillingerne, og de eksterne rammer der fastlægges for den samlede bevilling. Her må man håbe, at modellen indfases så langsomt, at den giver universiteter og forlag tid til at tilpasse sig den incitamentsstruktur model fastlægger."

Det lyder bagvendt: Man binder sig først til en bestemt model, som får universiteterne til indbyrdes at konkurrere om en fast sum af midler, uden helt at have styr på konsekvenserne, og så håber man på, at man bagefter når at tilpasse sig virkninger og bivirkninger.

Hyllebjergs egne beregninger i tabel-eksemplerne viser, at han selv er klar over en række risici: Han skriver:

"Det fremgår, at på sigt kan en dårlig placering godt kan blive en dyr affære, selvom de årlige udsving er begrænsede. Eksempelvis vil Universitet nr. 7 have mistet 1/3 af sine basismidler og 6.638 mio. DKK i år t+5. Og det kan jo ske selvom Universitet nr. 7 har gjort det bedre målt på de givne indikatorer.
Selvom modellen således forsøger at gøre universiteternes budgetusikkerhed mindre, er der i realiteten stadig en betragtelig usikkerhed tilbage om udviklingen i basisbevillingen."


Spørgsmålet er vel hvorfor man i første omgang skal acceptere en model, der resulterer i den slags konsekvenser? Bliver forskningen bedre af at universiteterne nu primært skal se hinanden som konkurrenter om midlerne?

Hvilke konsekvenser har det for ansættelsestrygheden? De såkaldt faste stillinger ved universiteterne, som der iøvrigt er for få af, bliver næppe mere faste af det.

Selve begrebet om et helt universitets "kvalitetsvægt" som modellen forudsætter, virker også lettere suspekt, fordi det vel aggregerer en masse vidt forskellige forskningsområder - hvad er mon summen af et stærkt institut for geologi og et middelgodt institut for statskundskab eller omvendt?

Det ville være rart at få debat om det ministerielle udvalgs arbejde, før de barsler med en definitiv mester-algoritme som Jens Oddershede & co. uvægerligt vil forelske sig i.

Heine Andersen sagde ...

Vedr. den norske model: der er mange dokumenter på den side, jeg henviste til:http://www.uhr.no/forskning/publiseringsutvalget/
- den udredningsrapport, der oprindeligt dannede baggrund er rapporten "Vekt på forskning" fra 2004.:

http://www.uhr.no/documents/Vekt_p__forskningIII.doc

Den beskriver overvejelserne og principperne bag ordningen.

Andre findes under linket "sentrale dokument".

Dertil kommer en række links der vedrører den løbende administration af ordningen - bl. lister over de publikationskanaler, der giver "point" (dvs. penge i kassen).

Heine Andersen sagde ...

Jeg vil gerne følge Claus' opfordring til at føre debatten (og flere må gerne bidrage):

Ja, "kvalitetsvægte" er absolut dybt suspekt. Selve ideen med at kvantificere "kvalitet" er selvfølgelig selvmodsigende, eftersom kvalitet og kvantitet er kontrære kategorier. Det er hvad alle, der gennem tiderne har tænkt dybere over spørgsmålet mig bekendt er nået frem til. At måle "kvaliteten" af videnskabelige resultater (såvel som fx af kunstværker osv.) ved hjælp af en eller anden form for optælling er derfor plat, afstumpet og forfladigende. Det bør vi bestemt vedholdende insistere på. Så det er klart en meget defensiv og defaitistisk strategi at gå ind i teknisk betonede diskussioner om den ene eller anden formel er den bedste, og om hvor meget den ene eller anden slags publikationer skal veje. Men desværre mener jeg, at det slag er tabt. I hvert fald er det ikke til at få øje på kræfter med styrke til at ændre noget: der har de sidste snes år været meget lav forskningspolitisk interesse, så der har været fri bane for den alliance af erhvervsinteresser og forskningsbureaukrater, der tegner billedet for tiden. Hverken universiteterne selv, bestyrelser, ledere, forskere eller studerende udgør nogen politisk faktor, der kan stille noget op mod. Dertil kommer, at brugen af den type indikatorbaserede budgetmodeller, som der her er tale om, indgår i en bredere, langsigtet strømning, som ser ud til at være irreversibel.
Så jeg tror, at det nu handler om for det første at bliver ved med at forsøge at forklare, hvorfor kvantitative indikatorer altid må være misvisende, og for det andet, når de nu alligevel åbenbart skal anvendes, at minimere skadevirkningerne. De består i de skævvridninger, der går ud over fri og kritisk erkendelsesdrevet grundforskning, til fordel for mere overfladisk, hurtig omsættelig, erhvervsrettet forskning, gerne spektakulær og let at sprede og popularisere (eksempler er forskning indenfor ”oplevelsesøkonomi” og computerspil). Dertil kommer, at indikatorer, der bygger på vedtagne lister over publikationskanaler, der kan give point, altid vil være konservativ. Nye felter vil ofte skulle etablere nye tidsskrifter eller bruge mere uformelle kanaler – og det vil typisk tage lang tid, før sådanne kommer til at tælle med. Ligeledes vil små felter typisk risikere at komme i klemme – og på længere sigt simpelthen være truet på deres eksistens.
I det foreliggende forslag, synes jeg, det der skriger mest til himlen er at ”videnspredningskvalitet” foreslås målt ved indtægter fra samarbejde med erhvervslivet og patenter. Hvad med almenrettet formidling og oplysning om nye forskningsresultater? Men i øvrigt bliver det afgørende, hvorledes listerne over pointgivende publiceringsformer skal fastlægges, og hvem der kommer til at bestemme.

Finn Hansson sagde ...

Jeg vil gerne give et bidrag til den debat om konsekvenser af det opkommende nye kvantitative ’kvalitatsmålesystem’ som der arbejdes med. Ser vi ud over det europæiske landskab er det ikke blot England og Holland og nu også Norge der har sådanne systemer – der arbejdes ihærdigt over en bred kan i hele Europa på at opfinde nye indikatorsystemer. Hvorfor sådanne nye former for planøkonomi kan genopstå få år efter murens fald kan der være flere forklaringer på, men der er tilløb til klare alliancer mellem ministerium og universitetsadminstratorer i at få opstillet enkle målesystemer, der kan bruges til at kontrollere universiteternes indre hidtil relativt frie liv. Det gælder forskningen men så sandelig også undervisningen – begge dele skal standardiseres for derved at få et kvalitetsstempel.
Et element i denne udvikling hvor forskningskvalitet sættes lig målelige parametre er en uhørt disciplinering af især de yngre forskere, for hvem karriereforløbet bliver meget veldefineret – skriv artikler til engelsksprogede tidsskrifter, brug ikke tid til at være aktiv i samfundsanliggender med mindre du har en betalingsdygtig modtager. I ministerens markedsøkonomiske optik er samfundsrelevant forskning lig betalingsforskning og er der ingen betaling så er der ingen kvalitet!
Exit kritisk samfundsrelevant forskning.
Der er en dyb ironi i disse centralistiske tiltag. Ministeren og det meste af regering og opposition bruger jo ofte den nye vidensøkonomi som reference til behovet for effektivisering og kvalitetsløft!!
I stort set alle seriøse undersøgelser af videnstunge organisationer fremgår det klart, at hierarkiske ledelsessystemer og kvantitative systemer til kvalitetsmåling ikke kan bruges – det er tværtimod flade og åbne ledelsesstrukturer og en løbende faglig debat om kvalitet, der præger disse. I to cases studier jeg selv gennemførte for et par år siden af to forskningstunge danske virksomheder var det også slående, at deres forskningsafdelinger ikke kunne drømme om at indføre alle disse evalueringssystemer, som universiteterne har fået. De så dem som direkte kontraproduktive for at udvikle banebrydende viden.
Kan vi på universiteterne bekæmpe disse Kafka’ske tiltag? Måske, men det vil nok kræve at langt flere af kollegerne træder frem og protesterer – måske også organiserer sig. Genoplivning af 80ernes universitetslærerforening som et alternativ til de eksisterende akademikerorganisationer, hvis interesse for universitetsansattes forhold ikke er til at få øje på, kunne være en mulighed. En udmeldelse af DJØF, DM, IDA osv. i større stil kunne gøre det klart for disse organisationer, at det er helt uacceptabelt, at AC konstant forhandler helt henover hovedet på universitetsansatte i alle forskningspolitiske spørgsmål.

Claus Emmeche sagde ...

På mødet om Forskningsfrihed på Københavns Universitet rejste jeg et spørgsmål, også postet bagefter på den rektorale blog her, nemlig, citat:

=======
5. maj 2007 kl. 15:02 af Claus Emmeche
Kære Ralf Hemmingsen,
tak for et godt initiativ til debatmødet. Jeg er enig med dig i det bekymrende i, som du skriver, “tendensen i retning af flere forskningsstrategiske midler og relativt færre frie forskningsmidler vil få en uhensigtsmæssig adfærdsregulerende effekt, som kan påvirke forskningsfriheden.” Men vil samme tendens ikke gøre sig markant gældende, hvis de danske universiteter skal rankes, når basismidlerne skal “konkurrenceudsættes”? Fx vil anvendelse af eksterne bevillinger som indikator på “vidensspredning” trække forskningen i retning af at servicere dem, der har mange penge og gerne vil betale for forskning. Tabere kan blive den grundforskning og anvendte forskning, som ingen bare vil eller kan betale for.

Hele tanken om et enkelt universitets “kvalitetsvægt” som modelarbejdet forudsætter, virker suspekt, fordi det aggregerer en masse vidt forskellige forskningsområder. Et hypotetisk eksempel: skal NAT-fak på KU så indskrænkes, hvis hele KU placeres lavere end ÅU, selvom NAT egentligt gjorde det rigtigt godt? Hvordan vil man håndtere de effekter af indikatormodellen, som omhandler nedskæringer som følge af dårlig placering, og som man vel må påregne vil opstå (jf. Svend Hyllebjergs regleeksempler, diskuteret bl.a. her)?

Det ville være stærkt ønskeligt at vi som menigt KU-ansatte kunne følge processen mere direkte, og vide hvilke forholdsregler repræsentanter for eksempelvis KU forsøger at inddrage i det udvalgsarbejde, der er i gang om disse modeller (ministeriets tre arbejdsgrupper om s.k. “kvalitetsfordelte” basismidler mht. indikatorer for henholdsvis forskningskvalitet, uddannelseskvalitet og videnspredningskvalitet) - det er meget lidt, der så vidt jeg ved er sluppet ud om dette, og det ville være rart at være bedre informeret, da den konkrete indikatormodel, man lander på, givet vil have adfærdsregulerende konsekvenser.

M.v.h.
Claus Emmeche
======

Dette blev samme sted besvaret af rektor, se nedenfor:

======
11. maj 2007 kl. 18:35 af Ralf Hemmingsen

Kære Claus Emmeche.
Tak for dit indlæg.
Der vil i fremtiden, bl.a. som konsekvens af globaliseringspuljen, være flere forskningsmidler til rådighed. Alt andet lige må det stille universiteternes forskningsmiljøer bedre. Universiteterne lever ikke i et tomrum, og det er derfor legitimt, at der stilles krav til den måde vi udnytter midlerne på, så længe det ikke kvæler den kreativitet og frihed, som forskning ikke kan leve uden. Jeg synes derimod, som jeg også understregede på symposiet, at det er problematisk, hvis balancen tipper mod forskningsstrategiske midler.

Nu er kriterierne for de konkurrenceudsatte basismidler endnu ikke fastsat, men så længe mængden af frie basismidler ikke reduceres, synes jeg ikke nødvendigvis det er problematisk.

Dernæst nogle betragtninger om ekstern finansiering: På den ene side er det vel rigtigt, at kilderne til ekstern finansiering, f.eks. erhvervslivet, ønsker, at der i sidste ende skal komme brugbare resultater ud af den forskning der finansieres. Det er der ikke noget galt i. Vil erhvervslivet så ikke være interesseret i grundforskning? Eller rettere sagt: Vil den enkelte virksomhed betale for en grundforskning, som i princippet kommer alle til gode? Ja, det mener jeg der er belæg for. Dels vil der naturligvis være en (fortjent) pr-værdi i at støtte grundforskning. Dels vil specielt meget store virksomheder kunne regne med at få gavn af en relativ stor del af grundforskningens resultater og de kandidater der uddannes i slipstrømmen på den. NOVO Nordisk Fonden har som bekendt netop doneret 600 millioner kr. til at opbygge et nyt center for proteinforskning på Panum, og selvom beløbets størrelse er historisk stort, illustrerer det mekanismen på glimrende vis.

Vil der være områder, som ingen vil betale for og som derfor vil blive tabere? Der er ingen tvivl om, at den eksterne finansiering og midlerne til strategisk forskning hverken nu eller i fremtiden vil fordele sig ligeligt over universitetets fag og forskningsområder. Til gengæld er det en værdi i sig selv at kunne præsentere en faglig bredde (hvilket også er et selvstændigt strategisk mål i KU´s strategi). For det første øger det vores evne til at tiltrække studerende fra ind og udland. For det andet er det umuligt at forudse hvilke grundforskningsmiljøer, der vil være højt prioriterede i fremtiden (tænk bare på faget arabisk), og en ting er sikkert: Det er dyrt at genopbygge et grundforskningsmiljø. Derfor vil vi internt handle derefter.

Om kvalitetsvægte og modeller: Jeg er enig i, at det er afgørende, at en finansieringsmodel skrues sammen således, at incitamenter ikke skævvrider den oprindelige intention og dermed modvirker sit eget formål. Derfor skal politikerne tænke sig grundigt om.

Universiteterne prøver derfor naturligvis at påvirke dette arbejde. Det arbejde der er igangsat styres af VTU/FIST, og institutionerne har udtrykkeligt betinget sig i Rektorkollegiet, at der bliver en bred høring når der ligger et forslag, og jeg er enig i, at modelforslag skal debatteres grundigt før de bliver sat i værk.

Med venlig hilsen
Ralf

===========

Curt Hansen sagde ...

Det rygtes, at videnskabsministeriet snart offentliggør et udspil. Husk: i arkivet (her) findes en opsamling af spredt nyt om udvalgsarbejdet.