Efter gennemgang af det offentligt tilgængelige materiale publiceret i dagbladet Børsen den 26. september, 2008, under overskriften: ’DTU er Danmarks Bedste universitet’, har jeg følgende videnskabelige forbehold og bemærkninger til den såkaldte analyses resultater.
- de anvendte bedømmelseskriterier mellem universiteterne er bestemt ad-hoc og følger ingen anerkendt international standard for inter-universitær forskningsbedømmelse; man kunne fx lige så godt have haft et kriterium benævnt ”Citationer per VIP”.
- vægtningen af de enkelte kriterier er opfundet til lejligheden og ikke videnskabeligt gennemprøvet; ”citation impact” indgår to gange bedømmelserne: i Shanghai/THES-analyserne (5 %) og imellem de udvalgte universiteter (40 %).
- i to af seks kriterier er der ikke foretaget bedømmelse af alle parter (Shanghai/THES-analyserne; international medarbejderandel).
- kriteriet vedr. studerende per VIP ratio er afhængigt af de forskellige taxameterordninger, som de enkelte universiteter har opnået i deres kontrakter; de kan derfor ikke sammenlignes direkte.
- ”Citation Impact 2003-07” angivet for de enkelte universiteter er usammenlignelig! Dette skyldes, at de enkelte universiteter har vidt forskellige forsknings- og publikationsprofiler – også indenfor de brede områder ”TEK/NAT”; ”SUNDHED” og ”SAMFUND”.
- det er ikke umiddelbart videnskabeligt funderet, hvordan ’DTU’ kan opnå den vægtede værdi 2.0 for ’Citation Impact’, da DTU i de offentliggjorte tal blot opnår 5.4 i TEK/NAT slagkraft, ingen i SUNDHED eller SAMFUND, mens KU og SDU opnår langt højere slagkraft over hele linien?
En Crown Indicator udtrykker simpelthen enhedens (her: universitetets) slagkraft indenfor sin specifikke forskningsprofil, set op imod verdens gennemslagskraft for samme profil. Det er der jo ikke tale om her i Børsens analyser. Direkte at sammenligne fx KU, DTU og RUC indenfor TEK/NAT, er som at sammenligne frugtkurve med cykler og malerier. Det er fuldstændig udenfor de videnskabelige standarder indenfor forskningsevaluering. Analyserne ville blive bedømt til dumpegrænsen på seriøse læreranstalter, som forsker i forskningsevaluering, selv på et BA-kursus.
Det er derfor forståeligt, dels at mange ikke ønsker at kommentere undersøgelsen, dels interessant at formanden for rektorkollegiet, Jens Oddershede, SDU, ikke gennemskuer, at hans eget universitet snydes i amatøranalysen. Det er klogt af formanden at tage forbehold, idet en hurtig analyse af Danmarks publikationsandel på globalt niveau i Science Citation Index og Social Science Citation Index fra 2003 i Thomson Dialog viser, at vi ikke stiger mærkbart efter fusionerne:
Jeg er allerede i gang med at anvende Børsen-analyserne som skrækeksempel på uvidenskabelighed indenfor forskningsanalyse og -bedømmelse.
Peter Ingwersen, Professor i Informationsformidling; Danmarks Biblioteksskole
(Sendt som kommentar til indlægget "Verden er politisk", men da tabellen ikke kom med, bringes hele kommentaren her som selvstændigt indlæg (C.E.))
2 kommentarer:
Amatørisme eller humbug
Jeg forstår godt at Ingwersen vil bruge denne case i undervisningen som skrækeksempel, men jeg tror der kan lægges en anden synsvinkel end ren amatørisme.
Man skal være opmærksom på, at det jo ikke er Børsen, men DTU's analyseafdeling ViTi, der har lavet beregningerne. Det udelukker selvfølgelig ikke amatørisme, men det fører også nemt tanken hen på svindel og humbug.
De 6 punkter Ingwersen fremhæver er helt korrekte og - som han fremhæver - børnelærdom for folk der beskæftiger sig seriøst med bibliometri og ranking. Der er imidlertid en særlig historie om delindikator 6 "citationsimpact". Jeg beklager det bliver lidt regneteknisk og umiddelbart kedeligt, men pointen en ret spændende!
I følge artiklen i børsen har man forsøgt at "løse" problemet med at sammenligne forskellige fagområder ved at bruge "det enkelte universitets bedste placering". Og da der deles 8 point ud til den bedste, 7 til næstebedste osv. så skal DTU naturligvis have 5 point (svarende til en 4. plads) for deres placering på TEK/NAT listen. Hvis man ganger det med 40%, som er indikatorens vægt, får man 2,0 point, som det fremgår af tabellen.
Denne beregningsmetode ville imidlertid give SDU 8x40% = 3,2 point for deres førsteplads indenfor TEK/NAT (eller for den sags skyld indenfor SUND). Men når man kigger på tabellen får de kun 1,9!
Forklaring på dette følger, men først: Hvis denne beregningsmetodevar blevet fulgt for alle universiteter ville rækkefølgen i den samlede ranking være blevet: 1) SDU; 2&3) KU og DTU 4) AU og dernæst AAU, CBS, RUC og ITU. Denne rækkefølge fremgår i øvrigt også af en tabel, som DTU/ViTI i første omgang sendte til Børsen.
Imidlertid besluttede man at ændre beregningsformel for indikatoren for citationsimpact. Af materiale sendt til Rektorkollegiet fremgår det, at man i den endelige udgave af modellen valgt følgende:
Da der kun er 7 universiteter indenfor TEK/NAT tildeles de fra 7 til 1 point; indenfor SUND er det 3 til 1 point og indenfor SAM er det 6 til 1 point. Det enkelte universitets samlede pointtal divideres så med 3, 2 eller 1 alt efter hvor mange lister man optræder på og ganges endelig med 40% for at få delresultatet.
Det er de resultater, man kan se i deltabel 6 i artiklen bortset fra, at man ikke fik rettet udregningen af DTU, der jo nu kun skulle have 4 point for sin fjerdeplads på 7-skalaen og dermed 1,6 point til det samlede resultat (der er ligeledes også en regnefejl for ITU, der kun skulle have haft 0,4 point på denne indikator).
Og nu kommer så det spændende: det er dobbelt så godt at ligge nr. 1 indenfor SAM som indenfor SUND og faktisk mere end dobbelt så godt at ligge nr. 1 indenfor TEK/NAT som indenfor SUND. Ja, det er faktisk bedre at ligge nr. 4 indenfor TEK/NAT end nr. 1 indenfor SUND. Og samtidig betyder denne beregning så, at DTU ender på førstepladsen. Sådan!
Dette kan næppe være resultat af blot og bar amatørisme, men hvis dette skyldes amatørisme så er der brug for et besøg hos en TEK/NAT kollega f.eks en matematiker eller statistiker på KU.
Endelig en kort kommentar om betydningen af fusionerne for alt dette. Ingwersens tabel viser ikke nogen umiddelbar synlig effekt. Det ville da også være mærkeligt, da fusionerne først formelt trådte i kraft 1.1. 2007 og jo i praksis forløb hen over 2007. Hvorledes dette skulle kunne måles allerede er helt uforståeligt, og herunder er det jo interessant at en enkelt tabel eksplicit anvender tal fra før fusionerne. Kun på STUD/VIP ratioen har fusionen haft indflydelse gennem tilgang af en lang række VIP fra sektorforskningsinstitutioner, der ikke har undervisning eller hvor der ikke samtidig fulgte studerende med.
Hvis fusionsprocessen har haft nogen effekt, så har det snarere gjort visse institutioner så rundtossede, at de ikke kan kende forskel på op og ned - eller sand og falsk.
Leif Hansen
Chefkonsulent
Copenhagen Business School
Det er ikke første gang at DTUs analyseafdeling spiller en noget uheldig rolle i forbindelse med den slags undersøgelser. Links og referencer til to tidligere sager findes her:
http://vip.db.dk/jni/debat.htm
Send en kommentar