lørdag den 28. april 2007

Mere om "kvalitetetsmåling"

Sagen om det formodede system til "måling" af "kvalitet" på Københavns Universitets humanistiske fakultet bliver mere og mere fascinerende og forbløffende, som tiden skrider frem. Sidste nummer af Universitetsavisen (nr. 6, 27. april 2007) rummer først et referat fra stormødet på fakultetet om pointsystemet den 11. april 2007 og siden et indlæg om sagen af dekan Kirsten Refsing. Begge er bemærkelsesværdige.

Det mest slående udsagn på stormødet kom fra en af systemets ophavsmænd: professor Peter Harder fra Engelsk. Han vinder min respekt på dette punkt, skønt vi er uenige, dels fordi han svarer relevant på indvendinger, dels fordi han på mødet erklærede, at det vigtige ved systemet slet ikke er målingen af forskningskvalitet. Det handler i stedet

"om at Humaniora har brug for et system der kan overbevise omverden, rektor og videnskabsministeriet om at de for noget for de penge de poster ind i humaniora. "Så lad være med at kalde det kvalitetsmåling. Det er det ikke, det er et skalkeskjul," sagde Haarder."

Senere citeres han for at "den såkaldet kvalitetsmåling bare er en måde at holde "de glubske ulve" på afstand". Vi, der var til stede ved mødet, kan bevidne, at professor Haarder ikke er for skarpt citeret, var hans indlæg noget, var det skarpere endnu. Jeg er enig hele vejen igennem, men drager den modsatte konklusion. Gad vide, hvad rektor og ministeriet siger til denne erklæring om at ville præsentere dem for et skalkeskjul.

Helt så skarpt formulerer dekan Kirsten Refsing sig ikke i sin KUmmentar om målesystemet. Men hun erklærer sig dog enig i et af de centrale kritikpunkter, når hun siger, at "en simpel kvalitetsindikator som fagfællebedømmelse naturligvis ikke er udtryk for en differenteret kvalitetsmåling i sig selv. Enestående og middelmådige tidsskriftsartikler der begge er fagfællebedømte vil i modellen opnå samme pointtal" og fortsætter "der findes næppe objektive og målbare vurderinger af kvaliteten af humanistisk forskning".

Vi må da vist snart til at give dimsen et andet navn end "forskningskvalitetsmålingssystem", når alle nu er enige om, at den ikke måler forskningskvalitet. At Kirsten Refsing alligevel forestiller sig, at systemet vil fremme en hensigtsmæssig adfærd, forekommer mig tvivlsomt al den stund, den adfærd, systemet åbenlyst opfordrer til, ikke så meget er fagfællebedømmelsen som en høj publikationshyppighed, da man pointbelønnes efter antallet af publicerede enheder, ikke efter hvor gode de er.

3 kommentarer:

Claus Emmeche sagde ...

Det er helt fabelagtigt: Når nu de som sætter sig ind i og analyserer konsekvenserne af point-systemet, kommer frem til at det er en dårlig ide, hvordan kan det så være at ledelserne alligevel mener at universiteterne bør gå med til det? Hvorfor kan man ikke få ministeriet i tale? Hvor er den fornuftige, demokratiske, rationelle debat med den videnskabspolitiske top? Ophober Videnskabsministeriet ikke et kæmpe legitimitetsproblem, tillidsunderskud og troværdighedstab? Og risikerer universiteternes ledelser - hvis strategi er "samarbejde for enhver pris for at undgå noget værre" - ikke det samme?

Thomas sagde ...

Helt enig i kritiken af ministeriets m.fl. sammenblanding af kvalitet og kvantitet.

Men når det er sagt, så synes jeg også at der er en tendens i kritiken til at stille forskningskvantitet op over for forskningskvalitet.

Det er selvfølgelig helt tosset at tro, at et vist antal publikationer skulle være et entydigt mål på forskningskvalitet. Men omvendt er det naivt at frakende kvantitet (produktivitet) nogen som helst betydning i evalueringen af en (individuel eller kollektiv)forskningsindsats.

Argumentet er snarere at kvantiteten af artikler og bøger, fair enough, er en væsentlig parameter til bedømmelse af en forsker -- det er bare ikke den eneste, eller endda den vigtigste.

Spørgsmålet er så, hvordan man vægter en kvantitativ optælling (som jo ikke er særligt svær at lave) i forhold til den nødvendige kvalitative vurdering? Det er den slags vægtninger man gør hver gang man sidder i et bedømmelsesudvalg til stillinger eller stipendier. Man både tæller og vurderer. Jeg har ikke deltaget i noget bedømmelsesudvalg som ikke gør begge dele.

Det brittiske RAE-system (http://www.rae.ac.uk) er ikke helt tosset i den her forbindelse, synes jeg. Her laver man jo netop en kvalitetsbedømmelse af forskernes vigtigste publikationer. Det er et kæmpecirkus, som har været igang ca. hvert femte år siden 1986 (den næste er i 2008).

Der er selvfølgelig blevet truffet mange uretfærdige og forkerte konklusioner (og der har været meget kritik af RAE-systemet) -- men man har dog forstået at vægte den kvalitative vurdering højt.

(PS: jeg kan ikke få preview-funktionen på den her blog til at fungere, så der kan være nogle småfejl i teksten som jeg ikke kan se, det må I bære over med).

Claus Emmeche sagde ...

Ja, der må være nogen i det tys-tys udvalgsarbejde (se her), som pågår lige nu om udvikling af en dansk indikatormodel for konkurrenceudsættelse af basismidlerne, som ved hvor meget eller lidt man har skelet til det britiske RAE-system. Du har sikkert ret mht. det med kvalitatives højere vægtning, og også mht. den stærke kritik: Her er et citat fra den britiske sammenslutning af universitetslærere:
"The RAE has had a disastrous impact on the UK higher education system, leading to the closure of departments with strong research profiles and healthy student recruitment. It has been responsible for job losses, discriminatory practices, widespread demoralisation of staff, the narrowing of research opportunities through the over-concentration of funding and the undermining of the relationship between teaching and research."