- Der gives flere penge til forskning og uddannelse, men disse midler står ikke mål med de arbejdsopgaver, der følger med (man skal søge sine forskningspenge selv og masseuniversitetet medfører masseundervisning og massevejledning).
- Politikerne har et legitimt behov for at måle, hvad pengene går til – men de lever på en forestilling om, at de målinger de indfører rent faktisk fungerer, og det er ikke tilfældet. Målinger foretages arbitrært og lemfældigt.
- Et aktuelt eksempel på denne problematik er det nye tiltag, hvor basismidler skal tildeles i forhold til hvor mange tidsskriftsartikler universiteterne kan producere inden for et bibliometrisk system, hvor forskerne selv har udpeget hvilke tidsskrifter, der er de væsentligste på deres felter. Problemet med denne måling begynder allerede med udpegningen af de faggrupper, der skal identificere de væsentlige tidsskrifter. I begyndelsen af december skrev Rektorkollegiet til universiteterne og bad institutlederne sende navne på personer, der kunne sidde i de bibliometriske udvalg. De fik ca. 2 døgn til det. 19. december er der svar fra rektorkollegiet, der har skrevet ud til en række formænd, der var udpeget ud fra de navne, institutbestyrere på universiteterne havde foreslået. Med denne henvendelse fulgte ikke en nærmere beskrivelse af kommissorium, redegørelse for kriterierne ved udpegningen af medlemmerne af de enkelte grupper osv.. Hertil kommer indkaldelse til første møde endnu inden grupperne er endeligt sammensat.
fredag den 11. januar 2008
Bibliometrisk panik
Humanistisk Forum (en tværfaglig organisering af humanister som er bekymrede over tendenser til ensretning og bureaukratisering i forskningspolitikken; mere om HF her) udsendte i dag en meddelelse til medlemmerne med følgende passus om arbejdet med kvalitetsindikatorer til ranking, måling og konkurrence om universiteternes basismidler:
Abonner på:
Kommentarer til indlægget (Atom)
4 kommentarer:
Lad os repetere følgende tre oplysninger om de bibliometriske "målinger":
1) De måler ikke noget som helst, der står i en meningsfuld relation til forskningen, og ville aldrig blive accepteret, hvis de skulle optræde som en videnskabelig måling.
2) De fortæller ikke det politiske system noget. Dette har det politiske system fået at vide, men der fortsættes uanfægtet, som om man havde at gøre med en objektiv måling.
3) Målingen er mere end en OPFORDRING til at manipulere med forskningen for at optimere den i forhold til de opstillede arbitrære kategorier. Det er en ORDRE til at manipuluere, fordi kun den, der tager sig optimal ud i systemet optik, vil kunne undgå beskæringer i sine tilførte midler.
Det er svært ikke at komme til at tænke på Mark Twains gamle udsagn om, at hvis folk vil gøre sig dummere, end de er, så er det meget svært at forhindre dem.
Jeg deler mange af de nævnte bekymringer hvad angår kvantitative målinger af forskning. Det er derfor godt at Humanistisk Forum [HF] gør opmærksom på de mange faldgrupper herved og på konkrete problemer i forbindelse de specifikke bibliometriske tiltag.
Men tror jeg at det er både fejlagtigt og ustrategisk med en kategorisk afvisning kvantitative målinger der er baseret på gennemskuelige ratings udarbejdet af kompetente forskere. Ordlyden i HF’s meddelelse – ”målinger foretages arbitrært og tilfældigt” – kan udlægges som sådan en kategorisk afvisning. Ligeledes kan Sune Aukens kommentar og der hersker vist, i mange danske universitetsmiljøer, en indgroet generel modvilje mod kvantitative målinger.
Det er svært at gennemføre gode bibliometriske undersøgelser og der er naturligvis flere indikatorer på god forskning end publikationer. Men der er værd at skelne mellem en dårlig udført bibliometrisk undersøgelse og antagelsen at forskningspublikationer er en relevant indikator på god forskning. Forskningspublikationer i internationale peer-reviewed tidsskrifter er i det mindste en central indikator på god forskning. Med dette i mente er det ikke helt skørt at foretage en ’ranking’ af journals. Der er forskel på en artikel i et dansk festskrift og én i Nature eller Science. Alternativet kan blive et vurderingssystem baseret på et unuanceret tællesystem eller uigennemskuelige parametre eller nepotisme osv. Eller endnu værre, alternativet kan blive at god forskning slet ikke belønnes.
Selvom der er mange ulemper, faglige tvister osv. ved at rangere journals/publication houses, så kan sådanne ranking-baserede bibliometrikker faktisk fordre bedre forskningsmiljøer på en række områder – blot man husker på at de ikke måler alle relevante parametre. Følgelig tror jeg at det fra forskerside er mere strategisk at imødegå de bibliometriske tiltag med påpegning af konkrete problemer og forslag til hvordan målinger og vurderinger kan forbedres snarere end kategoriske afvisninger.
Bedste hilsener,
Mikkel Gerken
PS: Jeg er netop hjemvendt fra UCLA hvor jeg har taget tog min Ph.d i filosofi. I USA udgør en ranking-baserede bibliometrik et (blandt mange) parametre i en ’holistisk’ vurdering af institutter. Selvom systemet ikke er perfekt er der generel tilfredshed med det indenfor mit fag.
Jeg tror ikke, vi er så langt fra hinanden. Jeg er måske mere skeptisk, end du er, that´s all. Det system, vi er ved at få i hovedet nu, er fagligt betragtet rent nonsens. Det måler ingenting osv. Og det implementeres på alle fag uanset fagligt begrundede variationer i deres publikationsmønstre (mit fags publikationsmønstre passer til fysiks som fod i handske og vice versa). Forskningsministeriet er på dette punkt som en manufakturhandler, der kun fører tøj i en størrelse. Hvis det ikke passer: surt for kunden, ikke mit problem.
Min modstand mod dette betyder ikke, at jeg har noget imod målinger, hvis kvalitet jeg kan anerkende, og som faktisk kan afspejle virkeligheden i de faglige miljøer. Hvis du kan komme op med sådan et, gerne fra USA, er jeg lutter øren. Det vi har lige nu er en teknokratisk løsning, hvis eneste fordel er, at den giver politikere en fornemmelse af at have et overblik, skønt de intet har.
Sune (et. al.),
Jeg tror heller ikke at vi er specielt uenige eller at der fra forskerside er en principiel modvilje mod veludførte kvantitative bibliometrikker. Det er udførslen der er problemet! Forskere er jo selv uhyrligt fokuserede på publikationer og meget bevidste om hvor de publicerer. Og vi kan også være enige om at givet at vi vil blive underlagt én eller anden form for måling gælder det om at få den bedst mulige. Min pointe var at ideen med at lade kompetente forskere udarbejde rankings ikke er helt ved siden af. Således kan man undgå et helt naivt ’tællesystem’ hvor en inviteret ”netværkspublikation” tæller det samme som en peer-reviewed journal publikation.
Indenfor en række fag har ESF netop publiceret en journal ranking. Selv om der selvfølgelig er problemer ved en sådan er den allerede begyndt at gøre nogen gavn i mit fag. F.eks. modvirker den en mangeårig tendens i visse Middelhavslande (rigtigt gættet: Italien ; ). Her har de bedste forskere der tog deres uddannelse på de bedste udenlandske ph.d. programmer igennem mange år set deres forskningsmidler gå til mindre kvalificerede kollegaer der har fungeret som ugentlig skribent i et lokalt institutblad. Sådan ser det heldigvis ikke ud i DK. Men her kunne en ranking (evt. i kombination med en kort deskriptiv ”guide” til de enkelte fags publikationsmønstre) fungere som et værktøj – hverken mere eller mindre – i forbindelse med uddeling af forskningsmidler.
Men som du, og HF, nævner skal der selvfølgelig differentieres mellem de forskellige fags publikationsmønstre. Og der er andre vigtige indikatorer på god forskning end publikationer. Disse pointer er vi helt enige om. Min bekymring er blot at disse korrekte og vigtige klagepunkter let kan drukne i generel negativ retorik der let kan fremstå som kategorisk afvisning af den blotte ideen om målinger (i dette tilfælde rating-baserede målinger). Det er strategisk bedre at formulere pointerne som konkret konstruktiv kritik – gerne med forslag til forbedringer.
Bedste hilsener,
Mikkel
Send en kommentar