søndag den 14. oktober 2007

Kvalitetsindikatorer

Kvalitetsindikatorer

Det har vist sig, at mange har svært ved at holde sig ajour med hensyn til, hvor langt processen med at indføre kvalitetsindikatorer er kommet. Det er ikke underligt, eftersom der slipper meget få informationer ud fra Forsknings- og innovationsstyrelsen (FI), som hører under Helge Sander, og som er den ansvarlige myndighed. En del er sikkert tilgået universiteterne, men under det nye regime er det meget begrænset og tilfældigt, hvad der kommer videre ned til gulvet, hvor vi andre bevæger os. Heller ikke forskningsrådene, i hvert fald ikke det, jeg selv er medlem af, har fået informationer.

Her på bloggen vil vi gerne give Sander en håndsrækning ved at give læserne af bloggen et kort resume over, hvor de er kommet til, og hvad der forestår. Det har jeg påtaget mig at gøre. Informationerne stammer i hovedsagen fra forskellige dokumenter, som venligst er tilsendt til bloggen fra FI på anmodning, samt samtaler med imødekommende personer i FI og Rektorkollegiet.

Videnskabsministeriet har besluttet, at en del af universiteternes basismidler fra år 2010 skal fordeles på basis af ”kvalitetsindikatorer”. Indikator på kvalitet er ifølge ministeriet et tal, nemlig antallet af publikationer i bestemte videnskabelige tidsskrifter eller i bøger på bestemte forlag, som er opført på nogle lister, såkaldte ”autoritetslister”. Princippet er, at institutionerne så får point – og dermed penge – efter hvor mange publikationer, de har i de oplistede tidsskrifter mv. Arbejdet med at lave disse lister er netop gået i gang.

Den overordnede styring har en gruppe med Inge Mærkedahl, direktør i FI, som formand og som desuden tæller rektorkollegiets forretningsudvalg: Jens Oddershede, Ralf Hemmingsen og Lauritz B. Holm-Nielsen, samt Jacob Fuchs fra Universitets- og Bygningsstyrelsen. Til at styre det fagligt krævende arbejde med at opstille autoritetslisterne har de – efter samråd med Koordinationsudvalget for Forskning (hvor bla. Danfossdirektør Mads Clausen er medlem) – nedsat et ”fagligt udvalg” på fem personer: Jørgen Søndergaard, SFI (formand), Kirsten Gomard, HUM, AU, Poul Erik Mouritzen, SAM, SDU, Søren Molin, NAT, DTU, Søren-Peter Olesen, SUND, KU og Frede Blaaberg, TEK, AAU. De fem skal sørge for de overordnede rammer, bla. at udpege, hvilke fag og områder, hele forskningsfeltet skal opdeles i, og hvor mange tidsskrifter og forlag, hvert fag skal have mv. Liste over fag er lavet, og foreløbig er de kommet til, at forskningen i Danmark består af 54 fag og områder (her).

For hver af disse skal der så nedsættes faggrupper, altså 54, hver på 3-6 forskere. Det er lige sat i gang og grupperne skal være klar 26.10.2007. Dernæst skal disse grupper for hver deres fag opstille autoritetslisterne, afsluttet senest 7.12.2007, altså i løbet af godt en måned. I løbet af 2008 foregår så godkendelse og finjustering af listerne. Dernæst kommer et meget centralt element, nemlig at publikationsmedierne skal niveaudeles ud fra kvalitet, og det skal besluttes, hvordan de skal vægtes.

Et spørgsmål, som ingen i verden med indsigt hidtil har ment gav mening, men som Fagligt Udvalg og Styregruppen så vidt jeg forstår nu vil give en løsning på, er følgende: hvordan kan man vægte kvalitet på tværs af fag (fx om en artikel i New England Journal of Medicine har højere kvalitet end en artikel i American Economic Review. Mit forslag er her at bruge den relativt billige og simple metode, som de romerske kejsere anvendte: at spørge indvoldstyderne). FI har afsat sommer og efterår 2008 til at løse denne opgave. Desuden er der en række spørgsmål vedr. pointdeling ved samforfatterskaber mv., der skal afklares.

Sideløbende foregår et teknisk arbejde med, hvorledes kontrollerbare data for publikationstal indsamles og håndteres mv. Hele arbejdet skal være afsluttet primo 2009, således at datainput kan gå i gang og være klar til brug for finanslov 2010.

Som sagt er denne oversigt i hovedsagen stykket sammen ud fra dokumenter, der allerede har været bragt her på bloggen. Da vi må konstatere, at FI ikke kan overkomme at orientere forskeroffentligheden ved selv at lægge dokumenterne på deres egen hjemmeside, er vi fortsat gerne behjælpelig – så send endelig mere, gerne uden at vi først behøver at spørge.

9 kommentarer:

Thomas Söderqvist sagde ...

Glimrende sammenfatning, Heine! Den her øvelse er ifølge min opfattelse mere skæbnesvanger end universitetsloven -- fordi man med dette styreinstrument vil kunne afgøre politisk hvad der er "legitim" og "illegitim" forskning. De der ikke kommer med på "listen" over godkendte tidsskrifter og forlag (nomenklaturaen) vil være dømt til marginalitet! Ville erhvervslivet acceptere den slags bureaukratisk konservatisme? Ville Brin og Page have kunnet skabe Google på de præmisser?

Claus Emmeche sagde ...

Enig!
De dokumenter, vi har kunnet få at se, er lagt op i dette supplerende arkiv hvorfra de kan downloades. Tak til Heine for oversigten.

Sune Auken sagde ...

Jeg henviser til min, Johnny Kondrups og mange af vore kollegers kamp imod et tilsvarende system på humaniora. Alle de argumenter, vi fremførte der, og hvortil vi intet tilfredsstillende svar har fået fra nogen instans i systemet, er gyldige i forhold til FISTs nuværende arbejde.

Videnskaben arbejder jo med virkelighedsbeskrivelse, men hvis vores virkelighedsbeskrivelse var så dårlig og virkelighedsfjern, som det, der vil blive resultatet af FISTs arbejde, ville vi nærme os den videnskabelige uredelighed med hastige skridt. Men den slags indvendinger gælder ikke i de administrative systemer, hvor det administrative niveau til hver en tid er overordnet det faglige.

Resultat: Vi skal nu have tildelt midler efter et system, der

1) kun forholder sig til ydre omrids, IKKE til indhold,
2) ikke på nogen måde kan registere kvaliteten i et givent arbejde,
3) fremmer konservatisme frem for nybrud,
4) vægter den forsker, der skriver mange, rimeligt ordentlige artikler, frem for den, der skriver få fremragende, og
5) er rent mekanisk og derfor aktivt hjernedødt og ufornuftigt.

Jeg bliver så trææææt........ Træt af mit job, træt af mine politikere, træt af min ledelse, der ikke forsvarer vores interesser, og i særdeleshed TRÆT AF FIST!

Claus Emmeche sagde ...

Jeg tror de mere frihedselskende dele af regeringspartiet Venstre vil være enige, Sune, og det er da på en måde opløftende. Lyt til dette citat fra Birthe Rønn Hornbech:

"de store opdagelser i verdenshistorien var næppe blevet til, hvis ikke Ørsted og Bohr m.fl. havde tænkt udover de politiske krav om anvendelighed. Det er en fattigdom i dagens Danmark og i den vestlige verden, at alt skal måles og vejes. Det spærrer for den frie tanke og det er fatalt."

(citat fra mail fra BRH til vores medblogger Henrik Nielsen, viderebragt her).

Findes der mon en forskningspolitisk brudflade, på tværs af skellet mellem højre og venstre side i Folketinget, imellem på den ene side de utilitaristiske kræfter (markedsorienterede neoliberalistister i Venstre + velfærdsstatsorienterede Socialdemokrater) og på den anden side de politisk-ideologiske fanebærere for de grundliggende frihedsværdier i et borgerligt samfund, herunder anerkendelse af nødvendigheden af at have (i al fald nogle) relativt autonome institutioner såsom universiteter med fuld forskningsfrihed?

Sune Auken sagde ...

Jeg tror - trods mit træthedsudbrud før -, Claus har ret, og jeg er ikke sikker på, at politikerne fuldt ud har overskuet situationen i forbindelse med forskningsindikatorerne. Jeg tror, man burde overveje at samle nogle af alle de gode oplysninger og argumenter her fra bloggen og andre steder og fremlægge dem i en sammenhængende, overskuelig form for folketingets forskningsudvalg, så dets medlemmer fik en chance for at se, hvad det er for ulykker, de er ved at lave inde hos FIST.

Thomas Söderqvist sagde ...

Man får lyst til at sige 'fuck FIST' -- men var det ikke noget med at de har ændret akronym af netop den grund?

Sune Auken sagde ...

Jo, så kan de bedre tvinge os med jernnæven, uden at vi kan lave vittigheder om det.

Claus Emmeche sagde ...

Til Sunes 5 punkter ovenfor kan føjes dette:

6) systemet er kontraproduktivt, dels i kraft af de ressourcer, der kræves for at implementere det (og som går fra egentlig forskning), dels i form af de bånd på kommunikations- og publikationskanaler, der sætter for forskningen fremover.

M.h.t. implementering: det er store mængder tid, der vil blive anvendt på det: I en mail fra sekretariatschefen for KU's Direktørsekretariat (jammen det hedder det!) lød det den 5. okt.:

--- citat:
"Vedr. medlemmer til at udfærdige autorisationslister til det bibliometriske forskningsindikator system

Se nedenstående og vedhæftede.

Som I kan se skal der nu meget hurtigt nedsættes følgegrupper til at udarbejde autoritetslister til bibliometriske forskningsindikatorer. Frist til Rektorkollegiets Sekretariat er torsdag d. 18. oktober, så Rektorkollegiets Forretningsudvalg kan fastlægge faggrupperne på dets møde torsdag d. 25. oktober.

Det bliver omfattende – med udgangspunkt i det norske arbejde forventes det, at der vil blive nedsat minimum 60 faggrupper a´ 3-8 medlemmer! Altså mellem 200-400 personer!
Hvert universitet kan indstille et eller flere medlemmer til hver faggruppe. Ved indstilling af flere medlemmer bedes anført prioritering af disse. Man vil blive opfordret til så vidt muligt at indstille personer, der er parat til eventuelt til at påtage sig formandskab for en faggruppe, og dermed kontaktperson til Forsknings- og Innovationsstyrelsen, samt ansvarlig for tilbagemelding til denne vedrørende faggruppens indstillinger.
Så snart vi har listen over de faggrupper der skal nedsættes vil den blive udsendt."
--- citat slut.

Selve tidsfristerne fandt KU uhyrlige og senere, d. 11. okt., forlød det fra samme sted,

--- citat:
"Til dekanerne/fakulteterne

Om autorisationslister:

Ministeriet har nu meddelt, at de 2-deler processen, således at der først indmeldes kommentarer til oversigtslisten, og at der derefter, på baggrund af kommentarerne, udsendes en revideret liste som der så indkaldes personnavne til.

Så derfor indkaldes nu af kommentarer til listen, som hermed genfremsendes. I bedes, hvor det giver mening, så tydeligt som det er muligt referere til et fagfelt I mener skal opdeles eller suppleres med et nyt fagfelt.

Så snart den formelle meddelelse fra ministeriet foreligger og ny frist kendes, får I besked. Vi regner med at fristen for kommentering af faglisten bliver ca 1/11."
--- citat slut.

Hvad angår nye og tværfaglige områder er der det sædvanlige problem, at disses tidskrifter ofte endnu ikke er veletablerede, og at fagområderne ikke optræder specificeret på listen, som er meget grov. Kategoriseringsproblemer er der også nok af, og som vi alle ved, vil den slags i sig selv kunne holde hele forskningsprojekter i gang i mange år. Umiddelbart virker hele dette cirkus som absurd teater.

Heine Andersen sagde ...

De nye oplysninger, om tidsplan mv. som Claus har skaffet, viser tydeligt, hvor kaotisk og inkompetent processen foregår. Jeg forstår ikke, at vores topledere med lønninger i millionklassen – Ralf Hemmingsen, Jens Oddershede, Jørgen Søndergaard mfl. – vil lade sig drive rundt i manegen på den måde. Bare et blik på den liste med 54 fag, som faggruppen med Jørgen Søndergaard som formand udsendte, viser kvalitetsniveauet.
Autoritetslister hedder det. Det får mig til at tænke på, at selve termen ”autoritet” udtrykker en ny stil, et brud med den flade og monotone new speak-stil, som ellers har præget styringen – ”udviklingskontrakt”, ”kvalitetsindkator” osv. ”Autoritet” udtrykker jo faktisk bogstaveligt, hvad der er tale om, jf. definitionen i Den store danske encyklopædi:

”autori'tet, (af lat. auctoritas 'myndighed'), evne til legitimt at kunne bestemme andres handlinger, opfattelser eller tanker samt den eller det, der besidder denne egenskab. Autoritet forbindes som regel med en hierarkisk orden og anerkendes pga. en særlig værdighed, hellighed, oprindelse eller pga. sjældne evner, ufejlbarlighed, følelsesmæssig identifikation eller legalitet.”

Velgørende, i det mindste, at man nu bruger klar tale.

På dette tidspunkt kan jeg ikke lade være med at minde om, at formanden for styregruppen for kvalitetsindikator-projektet, direktør i FI Inge Mærkedahl, er den samme person som stod i spidsen i Arbejdsmarkedsstyrelsen da skandale-edbprojektet AMANDA kørte i sænk med tab på flere hundrede millioner kroner.