Citationsanalyser er ikke for forskere

Der er nu spredte rygter om at et mindre mytteri brød ud flere institutter på det naturvidenskabelige fakultet, KU, da forskerne tidligere i november af dekanatet blev bedt om selv at gå ind på citationsdatabaserne, og udregne deres citationstal, H-index m.v. som led i fakultetsledelsens bestræbelser på at profilere sig og udarbejde en samlet strategi (med vejledende ord som "Identify research areas that are under development and have the potential to become world-class in 5 years, including plans for attracting external funding to this area", etc.). Umiddelbart lyder den slags nemt, men det er halsløs gerning at bede hver enkelt forskningsgruppeleder om det, for citationsanalyser er hverken for bønder eller forskere, men for fagfolk som er uddannet i bibliometri, og der er mange fejl og faldgruber i databaserne. Dette påpegede fysikeren Peter Sigmund og forskningsbibliotekaren Johan Wallin allerede i en artikel om "Bibliometri som forskningsindikator?" fra 2006, som er værd at citere fra:

"Citationsanalyse er blevet så almindelig, at ledelserne på universiteter og forskningsinstitutioner ofte har tallene liggende for den enkelte medarbejder og større enheder, og de kan basere forskningspolitiske og personelle beslutninger på disse tal, hvis de ikke nærer principielle betænkeligheder ved brugen af dem. Det er derfor af afgørende betydning, at disse tal er rimelig korrekte."
"Vi har ekstraheret bibliometriske data for to danske fysikere af Science Citation Index. Manglen på konsistens samt hyppigheden af fejl i de fremkomne data fører os til den konklusion, at denne database, som hidtil har indtaget en monopolstilling på området, har alvorlige, vanskeligt korrigerbare mangler af en art, der skaber tvivl om dens egnethed til formålet."

"Thomson Scientifics Science Citation Index database har fortsat alvorlige, vanskeligt korrigerbare mangler af en art, der skaber tvivl om dens egnethed til ensidig evaluering og prioritering af forskning ved citatanalyse. Det hjælper, hvis der foretages en samtidig kontrol af citationsdata af såvel en ekspert i bibliometri som en forsker indenfor den disciplin eller subdisciplin, der ønskes evalueret. Men derved rejser sig dels spørgsmålet, om den investerede tid er så stor, at det går ud over de pågældendes egentlige opgaver, nemlig forskning og forskningens infrastruktur, dels spørgsmålet om omkostninger og WoS’ monopolstilling på området." (læs hele artiklen her).

Forskernes protester på Københavns Universitet virker ikke mindst på den baggrund velbegrundede. Som det kan ses af protesterne (her) var Sigmund og Wallins ord næsten profetiske. En vred professor skrev:

"The whole exercise is anyway futile, since all the needed information is present in the Web of Science database. It is not necessary to bother every scientist at the institute with this. In particular with so poorly prepared and foggy instructions on the how to fill the boxes.
What has this exercise cost the institute in man-hours? Have we really become a flock of sheep terrorized into speechlessness? Are we willing to duck our heads and obey any command from above, how silly it may be? Will we in the future humbly do whatever we are told by any anonymous administrator (who in the present case evidently doesn't even have the wherewithal to write a set of clear instructions)?"

PS:
Peter Sigmund skriver til mig om artiklen: "Artiklen er ikke trykt i noget tidsskrift. Den lå til bedømmelse i det norske Forskningspolitikk, som mente at den ikke indeholdt noget nyt. Det er en dom, der normalt ville gøre mig bekymret, men i nærværende tilfælde blev jeg glad, for det betyder da at der må være andre der er opmærksomme på det omtalte problem." — Ja, men åbenbart ikke universitetsledelserne!