lørdag den 12. maj 2007

Konstruktive forslag til forskningsevaluering

Jeg har ingen problemer med at se svaghederne i de mange evalueringstiltag der kommer fra ministeriet. Men jeg savner til gengæld konstruktive forslag til hvordan en god forskningsevalueringspraksis ville kunne se ud. Dvs. hvordan ser den positive utopi ud? Hvad siger Sune og Claus fx.?

5 kommentarer:

Sune Auken sagde ...

Det er endog meget godt spurgt. Lad mig først afklare et par forudsætninger. Det er måske selvforsvar, men det er ikke nødvendigvis kun det. Undskyld forviklingerne:

1) Den foreslåede model måler lige lidt, uanset om vi kan fremsætte et alternativ. Det vil sige, at ”hvordan skal vi så gøre?” nok er en rimelig forespørgsel, men ikke er et rimeligt forsvar for modellen. Altså: Kritikken rammer, uanset om vi formulerer et alternativ.
2) Det er ledelsens opgave at formulere et brugbart system. Derfor følger der ikke en forpligtelse til at være konstruktiv med, når man kritiserer, hvad der fremlægges.

Dermed er i en vis forstand ingenting sagt, for problemet står tilbage: Hvordan evaluerer og kvalitetssikrer man forskningen konstruktivt.

Her må der imidlertid igen sættes et spørgsmål ind, nemlig: På hvilket niveau skal man evaluere forskningen? Et centralt problem i det evalueringslandskab, der tegner sig, er, at det muligvis er en ambition af måle hele universiteter imod hinanden (er KU, AU, CBS eller DTU de bedste?), og at lade midlerne følge denne måling. Det giver imidlertid det problem, at jo højere det niveau er, hvorpå der skal måles, des mindre præcis bliver målingen. Når den så – som det er tilfældet i KU-Humanioras system – er meningsløs allerede på enkeltforskerens niveau, så bliver resulatet af tusindvis af kumulerede fejlmålinger en dumhed af ubegribelige dimensioner, hvis ”målingen” føres igennem til de højeste niveauer. Whiteheads gamle advarsel mod at begå den malplacerede konkretions fejlslutning vinder en uhørt relevans.

Må jeg derfor få lov i første omgang at spørge tilbage (der skal nok komme mere). Er du enig med mig i følgende betragtning:

Hvis målet er at få så megen og så god forskning som muligt, så bliver det egentlige spørgsmål: På hvilke niveauer skal der evalueres og kvalitetssikres, og hvordan skal der evalueres og kvalitetssikres på de forskellige niveauer?

Claus Emmeche sagde ...

Det er besnærende at ville fremkomme med konstruktive alternativer, så der er grund til at sige, at der jo allerede foregår en masse evaluering i forskningen: Når man søger om eksterne midler, når man søger en stilling, hvergang med indsender en artikel til et peer review tidskrift eller fremsender et abstract til en konference, for slet ikke at tale om den videnskabelige debat i det pågældende felt. Disse evalueringeprocesser er sammenknyttet med de gængse videnskabelige normer om åbenhed, efterprøvbarhed i bred forstand, organiseret skepsis, uafhængighed af politiske og økonomiske særinteresser, osv. Disse selvregulerende bedømmelsesprocesser er i høj grad grundlæggende for samfundets tillid til at universiteterne kan bedrive uafhængig grundforskning.
Der er selvfølgelig mange aspekter ved forskning udover dens faglige indhold, som kan gøres til genstand for en diskussion om kvalitet og fordeling af ressourcer, fx organiseringen af forskningen, dens ledelse, prioriteringen mellem områder, etc. Derfor er evaluering noget meget komplekst, og man må hele tiden også spørge: Hvad er sigtet med evalueringen? Hvem skal bruge en bestemt evaluering, og har brugerne tilstrækkelig fortolkningskompetence og indsigt i evalueringsmetodens begrænsninger? Her bliver en diskussion om sigtet med evaluering meget vigtig: Er sigtet kontrol med objektet for evaluering eller fx læring i organisationen?
Jeg vil tilføje, at mit eget synspunkt på de ting er ikke så interessant; jeg er ikke selv ekspert i forskningsevaluering, men der er i Danmark, bl.a. på KU og ÅU dygtige fagfolk, som har haft dette som deres forskningsspeciale i årevis. I forhold til det med kritik og alternativer mener jeg det er helt legitimt at kritisere forringelser af en situation, uden at skulle opstille utopiske alternativer, men jeg kan da kun bifalde en nøgtern diskussion af fordele og ulemper ved forskellige evalueringsmetoder.

Claus Emmeche sagde ...

PS: og vi er heldige at have nogen af dem her på bloggen! Og også fra CBS selvfølgelig! :-)

Thomas Söderqvist sagde ...

Kære Sune og Claus,

Jeg mener ikke at man bare kan læne sig tilbage og forbeholde sig retten at kritisere statsadministrationens mere eller mindre tåbelige forslag uden at stille med egne konstruktive alternativer.

Og jeg forstår ikke helt relevansen af Sunes spørgsmål om, hvilket niveau evalueringen skal foregå på. For mig er det indlysende at den skal foregå på alle niveauer, fra individ til universitet. For selv om vi med rette ønsker et universitet, der fungerer under mere selvstyrende former, så er vi stadigvæk finansieret af skattemidler, og dermed er vi i sidste ende forpligtede til at kunne gøre rede for, hvor godt og effektivt vi hver for sig forvalter de 500-700.000 i lønomkostninger vi trækker ud af systemet.

Med andre ord: Vi har ikke trukket fribiletter til en evalueringsfri tilværelse og derfor er jeg tilhænger af, at universitetsforskeres arbejdspræstationer evalueres med jævne mellemrum. Spørgsmålet er så ikke hvorvidt, men hvordan evalueringen skal foregå.

Claus påpeger, at der allerede foregår en række evalueringstiltag: stillingsbedømmelser, vurdering af ansøgninger, referee-rapporter på indsendte manuskripter m.m., og tillægger at disse “selvregulerende bedømmelsesprocesser” i høj grad er “grundlæggende for samfundets tillid til at universiteterne kan bedrive uafhængig grundforskning”.

Jamen, problemet er vel, at disse og andre bedømmelsesprocesser faktisk ikke er med til at sikre samfundets tillid til universiteterne. Stillingsbedømmelser sker for det flestes vedkommende 1-3 ganger i livet, måske lidt oftere hvis man skifter universitet, dvs. ca. hvert 10. -30. år. Ansøgninger om forskningsmidler giver sjældent ophav til feed-back, hverken til ansøgerne eller til deres institutioner. Og referee-rapporter på manuskripter er jo en blandet affære. Man kan sagtens altid finde et tidskrift som vil optage halvdårlige artikler, hvis man leder længe nok i den akademiske periferi (se bare på de tidskrifter, som Søren Ventegodt ynder at publicere i).

Hele misæren er jo, at disse og andre bedømmelsesprocesser netop ikke fungerer særligt selvregulerende og derfor ikke er med til at skabe den fornødne tillid, hverken i befolkningen som helhed eller politikerne (eller blandt akademiske kolleger!). Og derfor får vi disse evalueringstiltag.

Men problemet er altså ikke at vi blir stillet til ansvar — problemet er, at de løsninger vi præsenteres for er så elendige. Og netop derfor er det vigtig, at komme med konstruktive og offensive forslag til et bedre evalueringssystem.

Det svenske forskningssystem har i mange år arbejdet med internationale evalueringer (“utvärderinger”) af en lang række fagområder, og her synes jeg at man kombinerer kvalitative og kvantitative metoder på en god måde.

For det første er evalueringerne internationale. For det andet betaler man evalueringsgruppen godt så de gider bruge tid og energi på opgave. For det tredje får gruppen tilsendt individuelle selvevalueringer og litteraturlister i forvejen. Og for det fjærde (og ikke mindst vigtigt) gør evalueringsgruppen ‘site visits’ til de lokale institutioner, hvor de samtaler med forskerne, nogen gange også individuelt.

Jeg har selv været med i en lignende evalueringsgruppe (af et enkelt forskningscenter), hvor vi brugte denne metode og det fungerede fremragende. Jeg har heller ikke hørt mange negative reaktioner fra mine svenske kollegaer til denne form for evalueringssystem.

Jeg er ikke sikker på at man skal kopiere RAE eller det svenske system, men her findes i hvert fald nogle erfaringer man vil kunne bygge videre på, som modvægt til den naive teknokratiske model som ministeriet i øjeblikket arbejder med.

“Utopiske modeller” var altså et forkert udtryk. Der findes helt konkrete modeller — og jeg tror såmænd ikke en gang at man behøver spørge specialister i forskningsevaluering :-)

Steffen Jöhncke sagde ...

Der er mange nyttige overvejelser og bud vedr. forskningsevaluering i Thomas' sidste indlæg. Men jeg synes alligevel Claus' spørgsmål -hvad skal evalueringerne bruges til af hvem? - fortsat ikke er rigtig godt besvaret. Hvis udgifter og ulejlighed med evalueringer kun kan begrundes med behovet for legitimering af udgifterne til forskning, så taler vi ligesom lidt i ring. For så må evalueringerne jo også legitimeres gennem evaluering og så fremdeles. Foruden af man kan spørge sig, om motivationen for evaluering (legitimering af forskningsudgifter) overhovedet imødekommes? Hvem er aftagere af evalueringerne i praksis, og bruges de til noget? Eller er det alene det faktum, at der evalueres, og ikke hvad evalueringerne kommer frem til, der er legitimerende?