At manipulere systemet

I den sidste udgave af Ingeniøren i fredags skrev jeg en lille klumme om et lille internationalt fagblad for eksperter i stemme-rehabilitering, som lavede et trick med impact factor systemet - med det resultat at både fagbladets 'stemme' og dermed bidragydernes status blev 'rehabiliteret'. Artiklen er sikkert af interesse for dette forum, så her er den:

I-faktoren
Det er kommet på mode at måle fagblades og forskeres status på baggrund af den såkaldte Impact factor. (Lad os for nemhedens skyld bare kalde den I-faktoren, for ligesom med talentshowet X-faktor handler den om at vise, at man duer til noget.) Man tager antallet af citationer til artikler i et fagblad de sidste to år, og dividerer det med det totale antal artikler, som fagbladet har udgivet i samme periode. Dette giver for sidste år en I-faktor for f.eks. Nature på 26,7 og for Proceedings of the National Academy of Science (PNAS) på 9,6.

Mange politikere og administratorer bruger I-faktoren som et mål for kvaliteten af deres institutioner og forskere, og dermed som udgangspunkt for bevillinger og ansættelser. Surt show for folk, som skriver til Ugeskrift for Læger, der udkommer på dansk, og derfor har en I-faktor på nul. Det er også surt show for en lang række andre tidsskrifter, som har et godt ry, men hvor emnet er lidt for specialiseret eller lokaliseret til at blive citeret flittigt.

Et godt eksempel er det Schweiziske tidsskrift Folia Phoniatrica et Logopaedica, der, som det latinske antyder, beskæftiger sig med rehabilitering af mennesker med sprog-, stemme- og kommunikationsproblemer. Med en I-faktor på 0,66 i 2007 var bladet ikke i stand til at bringe ære og penge til forfatternes institutioner, på trods af, at bladet er velanset blandt de indviede.

Derfor slog de tilbage med en slags fælles stemme. De to forskere Harm Schutte fra universitetet i Groningen, Holland, og Jan Svec fra universitetet i Palacky, Tjekkiet, udgav en artikel i bladet med den oversatte titel ‘Folias reaktion på den eksisterende trend af Impact factor-målinger’. I artiklen diskuteres problemerne, men vigtigst af alt: Sidst i artiklen citeres alle de publicerede artikler i tidsskriftet igennem de sidste to år. Resultatet er, at Folias I-faktor i år er røget op på 1,44. Det hjalp at råbe i kor.

Det er jo dejligt, fordi tidsskriftet dermed er hoppet op fra en 22.-plads til en 13.-plads i den internationale rangliste blandt rehabiliterings-fagbladene. Det betyder blandt andet, at kollegerne fra Groningen og Palacky Universitet ikke længere bliver så sure over, at de der stemmeforskere trækker ned på deres institutions I-faktor. Og det betyder også, at de hollandske og tjekkiske forskningsråd vil lytte mere til fremtidige ansøgninger om penge og forfremmelser.

Det er sikkert ikke sidste gang, det er sket. For at modstå de mange administratorer og bevillingsgivere, der i travlhedens tegn måler forskningskvalitet med et enkelt tal, vil der fremover være brug for mange gode sciento­metrister, som kan booste fagbladenes og forskernes I-faktor. Og det er vigtigt at komme i gang nu, hvor forskningsministeriet arbejder med kvalitetsindikatorer til ranking, måling og konkurrence om universiteternes basismidler.

De mange udvalg under ministeriet er lige nu i gang med at 'niveauinddele autoritetslister', som på dansk betyder at vægte udvalgte fagblade efter deres vigtighed, derunder deres impact factor. Herfra et opråb til alle forskere og fagblade: forén jer. Det gælder om at råbe i kor nu, i stedet for at græde i kor senere.
(publiceret i Ingeniøren, 26. september 2008, side 25)