tag:blogger.com,1999:blog-5168446943555931790.post9011133019494933463..comments2022-08-19T13:51:53.470+02:00Comments on Forskningsfrihed?: Amatørvidenskabens score cardCurt Hansenhttp://www.blogger.com/profile/18371112676165103629noreply@blogger.comBlogger2125tag:blogger.com,1999:blog-5168446943555931790.post-55586319944907992102008-10-07T09:24:00.000+02:002008-10-07T09:24:00.000+02:00Det er ikke første gang at DTUs analyseafdeling sp...Det er ikke første gang at DTUs analyseafdeling spiller en noget uheldig rolle i forbindelse med den slags undersøgelser. Links og referencer til to tidligere sager findes her:<BR/><BR/>http://vip.db.dk/jni/debat.htmAnonymousnoreply@blogger.comtag:blogger.com,1999:blog-5168446943555931790.post-43545654465952463312008-10-03T14:53:00.000+02:002008-10-03T14:53:00.000+02:00Amatørisme eller humbugJeg forstår godt at Ingwers...<B>Amatørisme eller humbug</B><BR/><BR/>Jeg forstår godt at Ingwersen vil bruge denne case i undervisningen som skrækeksempel, men jeg tror der kan lægges en anden synsvinkel end ren amatørisme.<BR/><BR/>Man skal være opmærksom på, at det jo ikke er Børsen, men DTU's analyseafdeling ViTi, der har lavet beregningerne. Det udelukker selvfølgelig ikke amatørisme, men det fører også nemt tanken hen på svindel og humbug.<BR/><BR/>De 6 punkter Ingwersen fremhæver er helt korrekte og - som han fremhæver - børnelærdom for folk der beskæftiger sig seriøst med bibliometri og ranking. Der er imidlertid en særlig historie om delindikator 6 "citationsimpact". Jeg beklager det bliver lidt regneteknisk og umiddelbart kedeligt, men pointen en ret spændende!<BR/><BR/>I følge artiklen i børsen har man forsøgt at "løse" problemet med at sammenligne forskellige fagområder ved at bruge "det enkelte universitets bedste placering". Og da der deles 8 point ud til den bedste, 7 til næstebedste osv. så skal DTU naturligvis have 5 point (svarende til en 4. plads) for deres placering på TEK/NAT listen. Hvis man ganger det med 40%, som er indikatorens vægt, får man 2,0 point, som det fremgår af tabellen.<BR/><BR/>Denne beregningsmetode ville imidlertid give SDU 8x40% = 3,2 point for deres førsteplads indenfor TEK/NAT (eller for den sags skyld indenfor SUND). Men når man kigger på tabellen får de kun 1,9!<BR/><BR/>Forklaring på dette følger, men først: Hvis denne beregningsmetodevar blevet fulgt for alle universiteter ville rækkefølgen i den samlede ranking være blevet: 1) SDU; 2&3) KU og DTU 4) AU og dernæst AAU, CBS, RUC og ITU. Denne rækkefølge fremgår i øvrigt også af en tabel, som DTU/ViTI i første omgang sendte til Børsen.<BR/><BR/>Imidlertid besluttede man at ændre beregningsformel for indikatoren for citationsimpact. Af materiale sendt til Rektorkollegiet fremgår det, at man i den endelige udgave af modellen valgt følgende:<BR/>Da der kun er 7 universiteter indenfor TEK/NAT tildeles de fra 7 til 1 point; indenfor SUND er det 3 til 1 point og indenfor SAM er det 6 til 1 point. Det enkelte universitets samlede pointtal divideres så med 3, 2 eller 1 alt efter hvor mange lister man optræder på og ganges endelig med 40% for at få delresultatet.<BR/><BR/>Det er de resultater, man kan se i deltabel 6 i artiklen bortset fra, at man ikke fik rettet udregningen af DTU, der jo nu kun skulle have 4 point for sin fjerdeplads på 7-skalaen og dermed 1,6 point til det samlede resultat (der er ligeledes også en regnefejl for ITU, der kun skulle have haft 0,4 point på denne indikator).<BR/><BR/>Og nu kommer så det spændende: det er dobbelt så godt at ligge nr. 1 indenfor SAM som indenfor SUND og faktisk mere end dobbelt så godt at ligge nr. 1 indenfor TEK/NAT som indenfor SUND. Ja, det er faktisk bedre at ligge nr. 4 indenfor TEK/NAT end nr. 1 indenfor SUND. Og samtidig betyder denne beregning så, at DTU ender på førstepladsen. Sådan!<BR/><BR/>Dette kan næppe være resultat af blot og bar amatørisme, men hvis dette skyldes amatørisme så er der brug for et besøg hos en TEK/NAT kollega f.eks en matematiker eller statistiker på KU.<BR/><BR/>Endelig en kort kommentar om betydningen af fusionerne for alt dette. Ingwersens tabel viser ikke nogen umiddelbar synlig effekt. Det ville da også være mærkeligt, da fusionerne først formelt trådte i kraft 1.1. 2007 og jo i praksis forløb hen over 2007. Hvorledes dette skulle kunne måles allerede er helt uforståeligt, og herunder er det jo interessant at en enkelt tabel eksplicit anvender tal fra før fusionerne. Kun på STUD/VIP ratioen har fusionen haft indflydelse gennem tilgang af en lang række VIP fra sektorforskningsinstitutioner, der ikke har undervisning eller hvor der ikke samtidig fulgte studerende med.<BR/><BR/>Hvis fusionsprocessen har haft nogen effekt, så har det snarere gjort visse institutioner så rundtossede, at de ikke kan kende forskel på op og ned - eller sand og falsk.<BR/><BR/>Leif Hansen<BR/>Chefkonsulent<BR/>Copenhagen Business SchoolLeif Hansenhttps://www.blogger.com/profile/15434806868981692336noreply@blogger.com