DFF har i årets løb også arbejdet intenst med kvalitetsbegrebet – et arbejde, der fortsætter i 2007. For det er langt fra nogen let diskussion.
– Målet er, at vi i 2007 kan komme med nogle relativt præcise bud på, hvad vi forstår ved forskning af høj kvalitet. Men det er ikke nogen helt let opgave, forklarer Nina Smith, formand for bestyrelsen for Det Frie Forskningsråd.
– På den ene side er det ikke altid muligt at kvantificere kvalitet. Omvendt skylder vi vore ansøgere en klar udmelding om, hvilke krav vi stiller for at kunne give et forskningsprojekt prædikatet forskning af høj kvalitet, fastslår hun.
I årsrapporten kan man læse mere om rådets arbejde med kvalitetsbegrebet.
Man kan downloade DFF's årsrapport 2006 her. 
Nåda, det lyder spændende, for jeg er på jagt efter nye positive alternativer til den bevidstløse kvantitative algoritme for "kvalitetsvægt" af et samlet universitet, som man leder med lys og lygte efter andetsteds i ministeriet. Da det nu ser ud til at DFF har startet en studiekreds om emnet, bliver man jo nysgerrig. Nå, - og glædeligt overrasket? Her er et citat fra rapporten:
"Som et altafgørende element i kvalitetssikringsprocessen finder vurderingen og prioriteringen mellem de enkelte ansøgninger sted i de faglige forskningsråd baseret på direkte fagkyndighed i forhold til hvert enkelt projekt. De faglige forskningsråd fungerer altså som permanente flerfaglige bedømmelsespaneler, der ud over at foretage peer review også prioriterer mellem de enkelte ansøgninger og træffer kollektive afgørelser. Denne brug af fagkyndighed i processen giver de bedste muligheder for at identificere den nyskabende, spirende og fremadrettede forskning. Særligt når denne kombineres med en vis risikovillighed fra de faglige forskningsråds side i bevillingssituationen. Organiseringen af udmøntningsprocessen i DFF er med til at sikre stabiliteten og kontinuiteten i rådets beslutninger og dermed legitimiteten og transparensen i forhold til det danske forskersamfund. Det er denne proces, der gør DFF i stand til at foretage en helhedsvurdering af projektets potentiale og ansøgers kvalifi kationer, og dermed at sikre, at kun de projekter, som er af højeste kvalitet, imødekommes." (s.5)
Se, det er da grundig, fornuftig, konkret vurdering af forskning! Man måler ikke så meget som man vurderer og fagligt bedømmer. Men der er vel ikke den helt store nyhed i dét (okay, jeg kan tage fejl for måske er det ikke essensen af det "intense arbejde med kvalitetsbegrebet"). Hmmm, kvalitet. Det er godt nok svært. Hvis man selv kender indgående til et felt, en specialitet, ja så véd man hvornår man møder det. Hvis ikke, må man bero sig på andre, fx eksperter, og hvis der ingen eksperter er (eller de har travlt med mere fornuftige ting end at bedømme fagfæller) man må måle. Men så er det ikke hvalitet, man måler...
1 kommentar:
(Dette er også en kommentar til de tidligere indlæg om kritik af evalueringsmetoder mv. - af Rune, Thomas mfl.)
Som helhed har vi forskere de seneste år været alt for tavse og defensive i forhold den ekspanderende topstyring og centralisme, og medierne har, med få undtagelser, heller ikke villet tage debatten op. Så det er vigtigt, at få kritikken frem. Hvordan men end vendere og drejer det, er indførelse af centralt fastlagt, indikatorbaseret budgettering en potentiel trussel mod forskningens selvstændighed med hensyn til at vurdere, hvad der er god og dårlig forskning. Det skal vi bestemt være på vagt overfor.
På den anden side mener jeg også, vi er nødt til at tænke strategisk i forhold til de realpolitiske betingelser. Statsmagten skal have et eller andet grundlag for fordeling af ressourcer, som ser meningsfuldt ud. Den egentlige kvalitetsvurdering, som fx ved bedømmelser af afhandlinger og ansøgere, må selvfølgelig bygge på omhyggelig granskning. Men jo mere aggregerede niveauer, man bevæger sig til, jo mere urealistisk bliver den metode, og jo mere vil man være henvist til indikatorer, som i bedste fald smager lidt af fisk, det, som det egentlig skulle handle om. På det nationale plan, hvor man skal fordele uden direkte indblik i indholdet, er en eller anden for kvantitativt indikatorbaseret system at foretrække frem for de alternativer, man (jeg) kan komme i tanker om – ud fra pragmatiske og realpolitiske overvejelser. Den rene inertiens lov kan ikke legitimeres i et dynamisk samfund, og ad hoc uddelinger, som vi har set med diverse puljer (fx ”oplevelsesøkonomi”, ”innovationsaccelerende forskningsplatforme” mv.), mener jeg ikke, vi er tjent med. En eller anden form for kvantitative forskningsindikatorer må trods alt også være bedre end fx indvoldstydere, som nogle af de romerske kejsere vist nok brugte.
Så handler det om, at forsøge at få luget de mest katastrofale fejl ud – og samtidig blive ved at påpege, at kvalitet i indholdsmæssig forstand siger det ikke noget om. Det må foregå blandt forskerne. På mit eget fakultet, Det Samfundsvidenskabelige, KU, har dekanen fx foreslået at rangordne artikler efter, hvor stor impact factor de tidsskrifter har, som de er trykt i. Det er en alt for misvisende metode – kun marginalt bedre end den, de romerske kejsere brugte. Jf. i øvrigt den gode (men korte og meget koncentrerede) artikel af Sivertsen i sidste nr. af Humaniora. Så nogen af os må gå ind i det konkrete arbejde med vurdering af metoder. I øvrigt mener jeg heller ikke, at nogen har været så fjollede at påstå, at fx publikationstællinger er udtryk for en kvalitetsvurdering. Men hvis der er, bør de korrigeres.
Så jeg tror ikke vi kommer uden om det besværlige arbejde med at undersøge de forskellige metoder og fejlkilder og også at undersøge, hvilke metoder, der egner sig på forskellige niveauer. Det er ret møjsommeligt og tidskrævende arbejde, hvis man ikke lige har det som særligt interesseområde. Det er der jeg heldigvis nogle, der har (eller har haft?) – men de er få, og desværre ser det ikke ud til, at de bliver inddraget overhovedet, hverken på centralt forskningspolitisk niveau, eller internt på universiteterne. Forskningsstyrelsen er jo ved at opbygge en enhed, der skal udvikle kompetence på området. De starter på bar bund med at ansætte nye folk, og det bliver meget spændende om de finder nogen, der har forstand på det, eller om dem de ansætter først skal uddannes. Og det bliver endnu mere spændende, om de vil gå i åben dialog med den fagkundskab, der findes på universiteterne, som man gjorde i Norge, eller om det skal foregå bag lukkede døre og nedrullede gardiner.
Send en kommentar