Bibliometriske fristelser

Ros til Forskerforum for sin kritiske indgang til nyheden d. 19/9 (her) om at den "upopulære" Bibliometriske Forskningsindikator fortsætter, efter den noget lemfældige evaluerings- og høringsproces' afslutning. Indlægget nærlæste høringssvarene, og bemærkede at politikerne valgte at overhøre den kritik af BFI-modellen, der lå i svarene fra de mange centrale aktørers side.
Ris til Forskerforum for den aktuelle nyhed (d. 29/10, her) med overskriften "Indikator: Bedst forskningskvalitet pr. forsker". Man kan kun ryste på hovedet af den tilgang, der er valgt her. Første sætning slår grundtonen an:

"KU står for 32 pct. af landets samlede forskningskvalitet, AU for 25, DTU for 14, Aalborg for 10, SDU for 9, CBS for 4 og RUC for 3.5 pct."

Herre Jemini! Havde der så stået x % af landets forskning, altså en størrelse man kunne have et vist håb om at opgøre kvantitativt. Nu hævder artiklen, at man kan bruge BFI-statistikken til at sætte procenttal på forskningskvalitet når man sammenligner analoge fakulteter! Det er noget af en påstand!
Det bliver værre endnu. Ganske vist siges det, at "BFI kan ikke afkodes til individniveau." Men hvad gør Forskerforum så? Citat:

"FORSKERforum har derimod udregnet uni-fakulteternes publicerings-score over for hinanden (publikationspoint pr. vip-forskningsårsværk (...). Og her er der et par overraskelser, for det er ikke nødvendigvis de store forskermiljøer, som scorer højest."

Det er da muligt, at denne tal-leg kan føre til "overraskelser", men den er dybt uheldig, og mere meningsløs end bare problematisk. Ikke alene ud fra et rent fagligt-bibliometrisk synspunkt. Den bidrager også til en tendens, man ser til at en del yngre forskere tager hele BFI-modellens postulater og reifikationer for gode varer, og begynder at tælle egne "publikationspoint" sammen, eller skele til om det tidsskift, det er mest hensigtsmæssigt at sende en artikel til, tilfældigvis figurerer på høj- eller lav-niveau ifølge BFI's såkaldte autoritetslister. Forskerforums forfatter vil måske forsvare sig med, at det nævnes, at modellen er omdiskuteret:

"BFI-statistikken er omstridt, men Forskningsstyrelsen og politikerne retfærdiggør målemetoden med, at uni-rektorerne mener, at det er den mindst ringe metode til kvalitetsmåling."

Jammen ikke engang rektorformanden eller Forskningsstyrelsens egne folk påstår, at den måler kvalitet! Hvis der er noget, den er "mindst ringe" til, så er det at fordele forskningskroner mellem universiteterne ud fra produktivitet – ikke kvalitet. Modellen kan tværtimod som utilsigtet konsekvens medføre et volumenræs, som reelt nedsætter kvaliteten. For at sige det meget kort: Hellere een god artikel per forsker hvert tredje år, end 15 dårlige på 3 år, som koger suppe på det samme, er sjuskede, forkerte, eller bare ligegyldige og intetsigende. Også selvom en god artikel ikke giver lige så mange BFI-point (og dermed kroner) til universitetet som 15 dårlige. — Som en god kollega sagde til mig for få dage siden: Der skrives for meget og læses for lidt. Det er bare ikke så let at måle input i form af læst materiale som output i form af skrive-kværnens lette strøm af publikationer.

ps:
En opsamlende liste af pro et contra for BFI kan ses her.

Forskningsindikator, incitamenter og kassetænkning - styrk basismidlerne!

Mens de naturvidenskabelige fakulteter gør sig klar til at nedskære og fyre forskere, arbejder Videnskabsministeriet tilsyneladende videre, trods stor modstand og vanskeligheder, med sine NPM-metoder til at 'fremme forskningskvalitet'. I et nyt “Samlet notat om den bibliometriske forskningsindikator” fra Forsknings- og Innovationsstyrelsen fra 18. dec. (se her, kopi her) hedder det friskt og frejdigt, at

“Indikatoren fremmer adfærd, der skaber incitament til at publicere i de mere prestigefyldte tidsskrifter og forlag
Formålet med dette princip er at pointere, at det ikke er et formål blot at stimulere til mere publicering. Indikatoren skal skabe incitament til, at det kan betale sig at publicere i de mest anerkendte og prestigefyldte publiceringkanaler inden for fagområdet. Derfor skal der ske en niveauinddeling af autoritetslistens publiceringskanaler.”

Hele tanken om at ministeriet vil inføre incitamenter til at gøre dét, som alle forskere ved landets universiteter allerhelst vil og ønsker at havde bedre tid til, virker absurd. Professor Poul Bjerregaard ved Biologisk Institut, SDU, udtrykker det (i seneste nummer af sit fakultetsblad Perspektiv og Mening, se artiklen her) ret diplomatisk:

“Hvis autoritetslisterne virkelig slår igennem i ministeriet, således at de kommer til at betyde noget væsentligt for universiteternes økonomi, ja så vil vi nok inden længe opleve, at visse dekaner og institutledere går ind og ser meget nøje på de enkelte medarbejdere og deres publikationer. Og så kan man jo frygte, at nogle af disse dekaner og institutledere vil sige, at man som ansat skal publicere i de tidsskrifter inden for det ønskede niveau, hvor det er relativt nemmest at komme i – og ikke i det tidsskrift inden for niveauet, hvor kvaliteten er højest. Og det synes jeg er dybt uhensigtsmæssigt, siger Poul Bjerregaard. Han ser også en mulig fare for, at visse forskere i stedet for at samle én god artikel til et tidsskrift med meget høj kvalitet vil vælge at dele den op i to eller tre knapt så gode artikler, der vil være i stand til at blive optaget i mindre gode tidsskrifter inden for samme niveau. For på den måde vil institutionerne formelt kunne få to eller tre gange så megen ”valuta for pengene”. - Jeg er forfærdelig bange for den slags kassetænkning, forklarer Poul Bjerregaard.

Man kan kun håbe, at flere forskningspolitiske ordførere i Folketinget får øje på absurditeten i hele projektet, når universitetsloven skal revideres næste år, og at man vælger helt at skrinlægge tanken om at omlægge basismidler til "konkurrenceudsatte midler". Ellers kan voldsomme ryk i de enkelte fakulteters indtægter, som dem vi ser nu, blive endnu hyppigere og kraftigere.

At manipulere systemet

I den sidste udgave af Ingeniøren i fredags skrev jeg en lille klumme om et lille internationalt fagblad for eksperter i stemme-rehabilitering, som lavede et trick med impact factor systemet - med det resultat at både fagbladets 'stemme' og dermed bidragydernes status blev 'rehabiliteret'. Artiklen er sikkert af interesse for dette forum, så her er den:

I-faktoren
Det er kommet på mode at måle fagblades og forskeres status på baggrund af den såkaldte Impact factor. (Lad os for nemhedens skyld bare kalde den I-faktoren, for ligesom med talentshowet X-faktor handler den om at vise, at man duer til noget.) Man tager antallet af citationer til artikler i et fagblad de sidste to år, og dividerer det med det totale antal artikler, som fagbladet har udgivet i samme periode. Dette giver for sidste år en I-faktor for f.eks. Nature på 26,7 og for Proceedings of the National Academy of Science (PNAS) på 9,6.

Mange politikere og administratorer bruger I-faktoren som et mål for kvaliteten af deres institutioner og forskere, og dermed som udgangspunkt for bevillinger og ansættelser. Surt show for folk, som skriver til Ugeskrift for Læger, der udkommer på dansk, og derfor har en I-faktor på nul. Det er også surt show for en lang række andre tidsskrifter, som har et godt ry, men hvor emnet er lidt for specialiseret eller lokaliseret til at blive citeret flittigt.

Et godt eksempel er det Schweiziske tidsskrift Folia Phoniatrica et Logopaedica, der, som det latinske antyder, beskæftiger sig med rehabilitering af mennesker med sprog-, stemme- og kommunikationsproblemer. Med en I-faktor på 0,66 i 2007 var bladet ikke i stand til at bringe ære og penge til forfatternes institutioner, på trods af, at bladet er velanset blandt de indviede.

Derfor slog de tilbage med en slags fælles stemme. De to forskere Harm Schutte fra universitetet i Groningen, Holland, og Jan Svec fra universitetet i Palacky, Tjekkiet, udgav en artikel i bladet med den oversatte titel ‘Folias reaktion på den eksisterende trend af Impact factor-målinger’. I artiklen diskuteres problemerne, men vigtigst af alt: Sidst i artiklen citeres alle de publicerede artikler i tidsskriftet igennem de sidste to år. Resultatet er, at Folias I-faktor i år er røget op på 1,44. Det hjalp at råbe i kor.

Det er jo dejligt, fordi tidsskriftet dermed er hoppet op fra en 22.-plads til en 13.-plads i den internationale rangliste blandt rehabiliterings-fagbladene. Det betyder blandt andet, at kollegerne fra Groningen og Palacky Universitet ikke længere bliver så sure over, at de der stemmeforskere trækker ned på deres institutions I-faktor. Og det betyder også, at de hollandske og tjekkiske forskningsråd vil lytte mere til fremtidige ansøgninger om penge og forfremmelser.

Det er sikkert ikke sidste gang, det er sket. For at modstå de mange administratorer og bevillingsgivere, der i travlhedens tegn måler forskningskvalitet med et enkelt tal, vil der fremover være brug for mange gode sciento­metrister, som kan booste fagbladenes og forskernes I-faktor. Og det er vigtigt at komme i gang nu, hvor forskningsministeriet arbejder med kvalitetsindikatorer til ranking, måling og konkurrence om universiteternes basismidler.

De mange udvalg under ministeriet er lige nu i gang med at 'niveauinddele autoritetslister', som på dansk betyder at vægte udvalgte fagblade efter deres vigtighed, derunder deres impact factor. Herfra et opråb til alle forskere og fagblade: forén jer. Det gælder om at råbe i kor nu, i stedet for at græde i kor senere.
(publiceret i Ingeniøren, 26. september 2008, side 25)

Vejret, klimaet og internationale ranking standarder

Kigger man på temperaturen globalt, har der faktisk ikke været nogen stigning i jordens gennemsnitstemperatur siden 2000 og denne trend ser måske ud til at fortsætte et par år endnu (Ingeniøren 21/5 2008). Betyder det at klimaforandringerne er aflyst? Betyder det, at vi ikke længere skal bekymre os om kul, olie og de fossile glæder?
Næppe. Det betyder nok snare, at den årlige gennemsnitlige temperatur for jorden som sådan er et uhyre dårligt og nogle gange ligefrem misvisende billede af de faktorer der ligger bag og af de reelle problemer, hvor temperaturstigninger bare er et af symptomerne.
Dette er jo ikke ny viden. Allerede i gymnasiet lærer man om forskellen mellem klima og vejr, der jo netop er et forsøg på at skille udsigterne for en standtur næste søndag med den generelle trend over 30 år. Men sagen kompliceres yderligere. Det globale gennemsnit er måske ikke den bedste indikator, da én af de vel snart empirisk efterviste konsekvenser af klimaforandringerne, er flere ekstreme begivenheder både varme og kolde, tørre og våde.
Dertil kommer, at klimaforandringerne jo næppe er de eneste konsekvenser af vores CO2 udledende ”way of life”. Selv hvis klimaforandringerne var aflyste ville naturen i Alaska lide, hvis antallet af olieboringer blev udvidet. Vi ville unægtelig oftere opleve olieindsmurte strande. Vi ville opleve mere allergi i byer, dårligere arbejdsvilkår i de kinesiske kulminer osv. Kort sagt jordens gennemsnitstemperatur i 2007 er et dårligt mål for klimaforandringerne.

Alligevel skal de institutioner der plæderer for komplekse analyserer, inden for stort set alt hvad vi rører, vejes som var målet at fastslå om det var fornuftigt at tage på stranden i weekenden.

Et af de ranking systemer der regnes blandt de mere seriøse THE (Times Higher Education university ranking) har kun eksisteret i fire år, med lister for 2004-2007. I den periode har Københavns Universitet hoppet mellem en 54 plads og en 93 plads (S.E.= 16.8), Århus Universitet har været lidt mere stabil med pladser mellem 114 og 138 (S.E. =9.8) og DTU mellem 130 og 194 (S.E. =27.4). Det er voldsomme spring i et system, der på trods af voksende forståelse for utilstrækkeligheder stadig bruges oftere, både af universiteterne til at promovere sig selv og af udefrakommende til at dømme os. At Københavns Universitet er gået 39 pladser tilbage fra 2006 til 2007 beskriver ikke en reel kvalitetsnedgang af så voldsom karakter, hvis overhoved nogen. Og at Universidade Estadual de Campinas i Brasilien har en difference mellem sit gennemsnitlige placering og 2007 placering på 135 pladser fortæller også lidt om de enorme usikkerheder der knytter sig til et for kortsigtet og unuanceret blik på rankingslisterne. Dertil kommer, at THEs metode ikke har været konsekvent gennem sine fire år, med tilpasninger og ændringer undervejs.

THE rankingen er ikke nødvendigvis dårligt. Og kigger man på listen for 2007 har man intuitivt også en fornemmelse af, at de har fat i noget af det rigtige. De kriterier den indeholder, inddrager også både kvantitative mål for peer-review artikler og citationer samt kvalitative som forsker og studentertilfredshed. Men med de store usikkerheder der ligger i metoderne bag disse rankingsystemer kan man overvejede om de kan fordøjes så ufordøjet som det til tider sker i dag og om de har år nok på bagen til vi tør stole på de overordnede tendenser i universitetsklimaet. Som nævnt har den globale gennemsnitstemperatur i samme periode ændret sig med mindre en 0.1 grad celsius og det endda i nedadgående retning.

Det vi gør på universiteterne kan vejes. Eller rettere: der findes ideer, undervisning, forskning, formidling og forskere der ikke gør det godt nok. Bygninger kan være af en stand der er for elendig og forhold i alt fra kantinen til mødelokaler og auditorier så dårlige at nogen må gøre noget. Der findes metoder der ude der stimulerer, belønner og opfordrer til at fortsætte med at undersøge, undervise osv.

Men er det et problem at det er komplekst? Er det et problem at løsningerne kan være forskellige fra universitet til universitet eller miljø til miljø? I den sammenhæng kan rankingsystemer måske være en del af løsningen, men ud fra den i mange tilfælde optimistiske i andre tilfælde mere deprimerende devise om at man får hvad man beder om, bliver rankingsystemer og benchmarking farligt når de står alene og når de som det ses i dag bruges som vejrmålinger, hvor der er brug for viden om klimaet.
så bliver den åndelige føde, universiteterne producerer til sondemad behandlet i ”den matematiske blender, som forvandler en kvalitativ mangfoldighed af ingridienser til en ensformig grød af tal”.

Thomsons rolle - svar fra Peter Ingwersen

Den 18. juli rejste Thomas Söderqvist (her på bloggen) spørgsmålet "Hvilken rolle spiller Thomson Scientific i forskningsevalueringspolitikken?", og i en efterfølgende diskussion af indlægget foreslog jeg at sende spørgsmålet videre til professor Peter Ingwersen fra Biblioteksskolen, da han netop har forskningsevaluering som sit eget forskningsfelt. Peter Ingwersen har netop sendt mig dette svar og sin tilladelse til at bringe det her:

"Thomson Scientific's monopol på citationsområdet, og dermed i forbindelse med forksningsevaluering er brudt, og har iøvrigt været brudt længe. Dels findes en lige så dækkende tjeneste i form af SCOPUS fra Eslevier koncernen (http://www.info.scopus.com/setup/promo/demo/sc_DEMO_0407.html), dels benytter CWTS-centret ved Universitet i Leiden, ledet af professor Anthony van Raan (http://www.socialsciences.leidenuniv.nl/cwts/vanraanafj.jsp ), siden 1990-erne de samme rådata som Thomson Scientific i deres konsulentservice. Dette skyldes at Leiden køber disse data direkte fra Thomson, men derefter renser og videreudvikler dem selvstændigt i nye evaluerings- og analyseprodukter, herunder citationsanalyser og brug af indikatorer. Det nye er, at Leiden også køber fra SCOPUS og dermed kan producere forbedrede tjenester, idet Thomson og SCOPUS dels overlapper hinanden voldsomt, dels supplerer hinanden: SCOPUS indeholder samfundsvidenskabelige monografier samt konferenceproceedings, mens Thomson har en lidt anderledes tidsskriftsdækning og mere traditionel emneopdeling. Fælles for begge producenter er, at der er tale om fagfællebedømte videnskabelige publikationer. Der er foretaget indledende analyser af overlap og dækning, fordele og ulemper ved Thomson Scientific's ISI baser, SCOPUS og Google Scholar (http://www3.interscience.wiley.com/journal/116311060/abstract?CRETRY=1&SRETRY=0 ). Den sidste er godt nok gratis men også uhyre 'beskidt' og har ikke de samme søgefaciliteter, som de to andre. Datalogi og mit eget fag Informationsvidenskab kan i nogen grad gøre brug af Google Scholar, på grund af fagenes brug af konferencebidrag som central publikationskanal, men kun med stor varsomhed. Ved den tilstundende europæiske konference vedr. Science & Technology Indicators i Vien ( http://systemsresearch.ac.at/sti-conference/ ), vil en større analyse blive offentliggjort, udført af forskere fra CWTS, Leiden (Henk Moed).

Som Heine Andersen rigtigt udtrykker det, gør det nye danske (norske) forskningsanalysesystem til brug for ressourcefordeling mellem forskningsinstitutioner ikke gør brug af Thomsson, da systemet ikke observerer forskningskvalitet. Derimod tildeles, hvad jeg kalder 'publikationssuccess-point', til hver enkelt dansk akademisk publikation, som er fagfællebedømt. Men naturlivis påvirkes de udvalgte fagspecialister i deres årlige bedømmelse af deres fags tidsskrifters Journal Impact Factor, når tidsskrifterne skal rubriceres ind blandt de 20 % centrale internationale tidsskrifter og kategorien 'andre', med lavere pointtildeling. Så uhyre indirekte vil Thomson Scientific have en vis indflydelse.
I det nævnte kvalitetsbedømmelsessystem for forskningen i Australien vil man både anvende (international) fagfællebedømmelse og centrale bibliometriske indikatorer. Selve analyserne foretages i Australien af kompetente bibliometrikere i samarbejde med fagspecialister. Rådata vil komme fra Thomson og SCOPUS og andre kilder, fx. ArXiv for fysik. Den næste RAE-analyse i Storbritanien (Research Evaluation Excercise) er planlagt til på samme måde at kombinere fagfællebedømmelse og brug af indikatorer som i Australien. Dette er den optimale bedømmelsesmetode udfra en videnskabelig synsvinkel.
Sluttelig kan man sige, at uanset om man anvender PubMed, Inspec, NASA databasen (som også har citationsregistre), Web of science, Science Citation og Social Science Citation index online via Dialog (også Thomson-ejet), de tilsvarende CD-ROM versioner eller Scopus, kommer man ikke uden om at anvendelsen bør være professionel og bibliometrisk videnskabeligt funderet, ikke udført af amatøranalytikere. Det sidste udgør en langt større fare for at miskreditere citationsanalyser og forskningsevaluering generelt, end en ikke bevist lobby-indflydelse på sådanne bedømmelser fra Thomson Scientific eller andre dataproducenter.
Med venlig hilsen - Peter Ingwersen"

Luk op for autoritetslisteudvalgene

En af formændene for de 68 faglige udvalg for den bibliometriske forskningsindikator, Peter Woetmann Christoffersen, har i denne kommentar gjort opmærksom på, at han har valgt at lade hele processen foregå offentligt. Han har således på sin egen hjemmeside på det humanistiske fakultet, KU, oprettet en særlig sektion til udvalgsarbejdet med at indsamle og diskutere forslag til autoritetslisterne m.v. Dette initiativ til øget åbenhed om processen kan kun støttes herfra. Jeg ser frem til at det følges op af de øvrige udvalgsformænd og helst samles (evt. blot med henvisninger til lokale udvalgs websites) på en central side, fx hos Rektorkollegiet, for det samlede arbejde. Her på bloggen kan vi kun påtage os kritisk at informere om arbejdet så godt som det nu lader sig gøre at følge.
(Se også opsamlingssiden i arkivet og dettes notatliste; indlæg ved Heine Andersen, Claus Emmeche, Inge Henningsen, kommentarerne til disse, og Rektorkollegiets lister over udvalgene her).

Er Facebook nu en så god idé?

En del af diskussionen her på bloggen er flyttet over på Facebook. Er det nu en god idé? Jeg har læst forretningsbetingelserne og det er ikke nogen opmuntrende læsning.

Man behøver ikke være særligt paranoid for i Facebook at se kimet til en digital Big Brother, der overtrumfer til og med Google. Og man behøver heller ikke være særligt socialistisk indstillet for at se den neoliberale ånd bag Zuckermans smarte businesskoncept.

Hvad har det med den her blog at gøre? Jo, jeg må indrømme, at jeg føler mig en anelse schizofren ved, på den ene side, at være kritisk overfor den nuværende forskningsevalueringspolitik -- som erstatter kvalitetsvurdering med målelige kvantitative indikatorer -- og på den anden side lukke øjnene for Facebooks netværksidé, der erstatter rigtige venner, kollegaer og bekendte med såkaldte 'friends'.

I begge tilfælde er det tale om en 'varegørelse' ('commodification') af mit liv. Videnskabsministeriet reducerer de kvalitative nuancer i min intellektuelle produktion til antallet af publicerede artikler i autoriserede tidsskrifter og erstatter dermed reell peer-review med kvantitativ vurdering. På tilsvarande måde reducerer Facebook mine mangfoldige levende kvalitative sociale netværkskontakter (også dem jeg har via blog og email) til 'venner' og konsumenter.

Så nu har jeg deaktiveret min profil. Ja, det hedder faktisk 'deaktiveret' i Facebook-speak, for man kan ikke slette profilen helt. Facebook forbeholder sig nemmelig retten til at beholde min e-mail og mine personlige oplysninger i deres register for ubestemt tid fremover ("we usually keep a backup copy of the prior version for a reasonable period of time"). Jeg var dum nok at fortælle Facebook's arkiv at min favoritbog er Ian McEwan's Saturday -- så jeg må nok indstille mig på at få en email en gang når filmen kommer!

Sune, du som er så vildt glad for Facebook -- kan du ikke forklare for mig, hvorfor den neo-liberale varegørelse af menneskeligt arbejde og relationer er så forkastelig i det ene tilfælde og så herlig i det andet? Jeg kan som sagt ikke se den helt store forskel.

”Autoritetslister” – ikke noget for kvinder

af Inge Henningsen

Nu er arbejdet med at lave ”autoritetslister” gået i gang. Og det er tydeligt, at Forsknings- og innovationsstyrelsen ikke mener at det er noget kvinder skal bryde deres hjerner med.
Ifølge ligestillingsloven skal alle planer og vedtag vurderes for deres kønskonsekvenser. Principielt skal det altså også vurderes hvilke konsekvenser indførelsen af ”den danske forskningskvalitetsindikator” og de dertil knyttede bevillingssystemer får for henholdsvis mænd og kvinder. Det skal f.eks. undersøges i hvilken grad mænds hhv. kvinders publikationer kommer til at falde uden for ”autoritetslisterne” og – endnu vigtigere – hvordan de tidsskrifter, hvor hhv. mænd og kvinder publicerer, er blevet vægtet. Endnu er listerne og vægtningerne ikke lavet, men man kan få et fingerpeg om, hvordan det kommer til at gå, ved at se på sammensætningen af de udvalg, der skal udarbejde ”autoritetslisterne”.

Kønsskævhed
Man kan sikkert diskutere om disse udvalg er dækket af lovgivningen om ligestilling mellem kvinder og mænd (nr. 157 af 1985), således at der skulle være mindst 40% af hvert køn i udvalgene. Men det er ikke til diskussion, at hele arbejdet med at opstille ”autoritetslister-ne” er præget af en meget høj grad af kønsskævhed.
I den overordnede styregruppe sidder 1 kvinde og 4 mænd (oplysning pr. 1. september 2007) , altså en kvinderepræsentation på 20%. Noget tilsvarende gælder i det overordnede faglige udvalg. Her sidder der 1 kvinde og 5 mænd. I de bibliometriske faggrupper sidder i alt 96 kvinder og 273 mænd, altså en kvinderepræsentation på 26%.
Men selv om kun 1/4 af faggruppemedlemmerne er kvinder er der ikke gjort noget forsøg på sprede dem. De er tværtimod koncentreret i nogle bestemte områder, mens der er store og betydningsfulde områder, hvor kvinder slet ikke er repræsenteret.
På naturvidenskab er der ingen kvinder i faggrupperne for Fysik, Matematik, Kemi og Biologi, hvor der sidder i alt 30 mænd. I de klassiske naturvidenskabelige fag er autoritetslisterne således udelukkende udarbejdet af mænd, en interessant konstruktion i en tid, hvor man prøver at rekruttere kvinder til netop disse fag.
På samfundsvidenskab er der i alt to kvinder i faggrupperne for Statskundskab, Samfundsøkonomi, Erhvervsøkonomi og Retsvidenskab (mod 27 mænd). På humaniora er der 3 kvinder mod 22 mænd i faggrupperne for Historie, Filosofi, Vesteuropæiske sprog, og Litteratuvidenskab. På sundhedsområdet er der 1 kvinde og 25 mænd i faggrupperne for Medicinske basalfag, Kirurgiske fag, Medicin (Endokrinologi, Gastr. og hepatol., Geriatri, Hjerte, Kar, Luftveje, Hæmatologi, Immunologi, Infektioner, Reumatologi, Nefrologi), Anæstesi, intensiv, akut, Farmakologi og toksikologi og, Dermatologi og Venerologi.

Inden for alle hovedområder, at der er således en meget stærk tendens til, at mændene sidder på de ”gamle”, ”tunge” fag, mens de relativt få kvinder er placeret i de ”nye” fag, der ofte i det videnskabsinterne hierarki anses for at være mere perifere – uanset deres samfundsmæssige betydning..

Kønsfordelingen i de enkelte bibliometriske faggrupper kan læses på følgende link
http://koensforskning.wordpress.com/files/2008/02/bilag-bibliometriske-faggrupper.doc

Faggrupper til bibliometrisk forskningsindikator

Arbejdet med at udvikle performance-mål, som skal bruges til at rangordne universiteterne, når nogle af basismidlerne skal fordeles – videnskabsministeriets projekt, som i newspeak hedder "konkurrenceudsættelse af basismidler", reelt en fordelingsnøgle baseret såkaldte "kvalitetsindikatorer" for forskning, undervisning og formidling – har tidligere været omtalt her på bloggen (bl.a. Heine Andersens indlæg d. 14/10-07 - se også Forskningspolitisk Arkivs opsamlingsside her).
Udover at stille spørgsmålstegn ved selve projektet har vi efterlyst mere åbenhed om processen, da hverken selve Videnskabsministeriet, FI (Forsknings- og Innovationsstyrelsen, der står for udviklingen af den bibliometriske indikator som skal måle forskningsproduktion), eller UBST (Universitets- og Bygningsstyrelsen, som bl.a. skal finde en vægt mellem de enkelte indikatorer) har kunnet finde ud af at lave en side, hvor alle dokumenter bliver lagt ud, som tilfældet var i Norge. Til gengæld har Rektorkollegiet (nu kaldet Danske Universiteter) bragt en nyhedsside (her) hvorfra man kan downloade lister over de 68 faggrupper og deres medlemmer. Og som Heine siger, når godt 500 forskere involveres i at opstille "autoritetslister" (over de tidskrifter, hvor publicering tæller, og tæller mere eller mindre), slipper der vel nok lidt mere information ud om hele projektet. Her er linket til de norske lister (dbh.nsd.uib.no/kanaler/), som de danske faggrupper bruger som udgangspunkt.
Vi vil i den kommende tid forsøge at følge op på processen, bl.a. er bloggens statistiker Inge Henningsen nu ved at se nærmere på de kønspolitiske aspekter af udvalgsarbejdet.

Universitetsforlag og autorisationslister

af Palle Rasmussen,
professor ved Institut for Uddannelse, Læring og Filosofi, Aalborg Universitet.

Som mange andre på universiteterne er jeg for tiden involveret i udarbejdelse af autoritetslister over publiceringskanaler. Det er Rektorkollegiet og Videnskabsministeriet, som i fællesskab gennemfører dette arbejde, og formålet er som bekendt at fastlægge, hvilke publikationer, der kan få lov til at tælle med, når Videnskabsministeriet fremover skal til at fordele forskningsmidler på baggrund af produktivitet. Der er mange problemer i det norske system for autorisering, som man kopierer i Danmark, men her vil jeg pege på et bestemt spørgsmål, nemlig konsekvenserne for universitetsforlagene.

Publikationskanalerne skal opfylde nogle generelle krav: (1) de skal anvende fagfællebedømmelse (peer review) i en eller anden form og et eller andet omfang, og (2) de må ikke være lokale, hvilket de opfattes som, hvis mere end 2/3 af forfatterne kommer fra samme institution. Begge krav er overtaget fra det norske regelsæt, og er så vidt jeg ved ikke blevet diskuteret i bredere kredse. Det kan måske være et rimeligt krav til tidsskrifter, at de ikke skal være ”lokale”; men i forhold til forlag er det svært at se logikken. Så vidt jeg kan se vil konsekvensen være, at mange af de eksisterende danske universitetsforlag udelukkes. Det vil være absurd; disse forlags formål netop er at publicere forskning, og de bedømmer i højere grad manuskripter efter videnskabelige kriterier end de kommercielle forlag.

Når dette ikke er blevet set som et problem i Norge hænger det muligvis sammen med, at de tilsyneladende stort set ikke har universitetsforlag knyttet til enkeltinstitutioner. Men det har vi altså i Danmark, af forskellige historiske grunde, og de står for en væsentlig del af den forlagsbaserede videnskabelige publicering. Der er mange, bl.a. Aarhus Universitetsforlag, Syddansk Universitetsforlag, Akademisk Forlag, Roskilde Universitetsforlag; Aalborg Universitetsforlag (hvor jeg sidder i bestyrelsen); Samfundslitteratur og CBS press (begge er knyttet til Handelshøjskolen i København) og Danmarks Pædagogiske Universitetsforlag (DPU). Universitetsforlagene er omtalt i ”Fra universitet til samfund”. Der er måske nogle af disse forlag, som ville kunne klare 2/3-kravet, men mange ville formodentlig ikke.

Interessant nok står fleste af de danske universitetsforlag faktisk på den norske autoritetsliste. Jeg tvivler på, at de har checket forfatterkredsen; det er nok snarere udtryk for, at de finder det indlysende, at den slags forlag skal med.

Jeg har svært ved at få øje på nogen som helst saglige grunde til, at forlag, som primært publicerer forskning, som er tæt knyttet til anerkendte forskningsinstitutioner, og som bruger fagfællevurdering af manuskripter, ikke skulle være på autoritetslisterne. Efter min opfattelse bør 2/3-kravet fjernes for forlag, eller man bør indføre en særlig regel for universitetsforlag. Når man et universitetsforlag, så er det for at publicere forskning, og så er det afgørende, at det også anerkendes i den nationale autorisering af puliceringskanaler, ellers vil en stor del af dets berettigelse falde bort. Derfor vil det være helt ved siden af, hvis universitetsforlagene ikke kan være autoriserede udgivelseskanaler, og det vil formodentlig gøre det betydelig vanskeligere at få udgivet forskning i Danmark.

venlig hilsen
Palle Rasmussen
Professor, Institut for Uddannelse, Læring og Filosofi
Aalborg Universitet

Forvirring om kvalitet og kvantitet i Sanders modeller

I seneste nr. af KU's Universitetsavisen forklarer Helge Sander meningen med den nye "kvalitetsmodel" til fordeling af basismidler. Heri indgår som bekendt optælling af publikationer i medier, der står på en statsautoriseret liste, og Sander beroliger med, at de 65 faggrupper, der skal lave listerne, vil tage hensyn til fagenes særpræg og tradtioner, og at det er bedre end "alternativet", citationstal (som om der virkelig kun er de to muligheder?).

Dette er der ikke noget nyt i. Derimod er det bemærkelsesværdigt, at der tilsyneladende er uenighed mellem Helge Sander og Forskningsstyrelsen, i hvert fald dennes direktør, Inge Mærkedahl, om hvad publikationstallet udtrykker. Hun sagde nemlig - klogeligt - på et offentligt møde d. 30. okt.: publikationstal er "ikke en kvalitetsindikator men et mål for forskningsproduktion". Nu omtaler Sander publikationstal "som et fælles kvalitetsmål for alle fagområder".

Sagen er jo, at ingen af de to tal, hverken citationstal eller publikationstal, udtrykker kvalitet, og især ikke sammenligneligt på tværs af fagområder. Hvad skal man nu tro om myndighedernes autoritative udlægning, som arbejdet med tidsskriftslisterne skal bygge på?

Kvalitetsindikatorer

Kvalitetsindikatorer

Det har vist sig, at mange har svært ved at holde sig ajour med hensyn til, hvor langt processen med at indføre kvalitetsindikatorer er kommet. Det er ikke underligt, eftersom der slipper meget få informationer ud fra Forsknings- og innovationsstyrelsen (FI), som hører under Helge Sander, og som er den ansvarlige myndighed. En del er sikkert tilgået universiteterne, men under det nye regime er det meget begrænset og tilfældigt, hvad der kommer videre ned til gulvet, hvor vi andre bevæger os. Heller ikke forskningsrådene, i hvert fald ikke det, jeg selv er medlem af, har fået informationer.

Her på bloggen vil vi gerne give Sander en håndsrækning ved at give læserne af bloggen et kort resume over, hvor de er kommet til, og hvad der forestår. Det har jeg påtaget mig at gøre. Informationerne stammer i hovedsagen fra forskellige dokumenter, som venligst er tilsendt til bloggen fra FI på anmodning, samt samtaler med imødekommende personer i FI og Rektorkollegiet.

Videnskabsministeriet har besluttet, at en del af universiteternes basismidler fra år 2010 skal fordeles på basis af ”kvalitetsindikatorer”. Indikator på kvalitet er ifølge ministeriet et tal, nemlig antallet af publikationer i bestemte videnskabelige tidsskrifter eller i bøger på bestemte forlag, som er opført på nogle lister, såkaldte ”autoritetslister”. Princippet er, at institutionerne så får point – og dermed penge – efter hvor mange publikationer, de har i de oplistede tidsskrifter mv. Arbejdet med at lave disse lister er netop gået i gang.

Den overordnede styring har en gruppe med Inge Mærkedahl, direktør i FI, som formand og som desuden tæller rektorkollegiets forretningsudvalg: Jens Oddershede, Ralf Hemmingsen og Lauritz B. Holm-Nielsen, samt Jacob Fuchs fra Universitets- og Bygningsstyrelsen. Til at styre det fagligt krævende arbejde med at opstille autoritetslisterne har de – efter samråd med Koordinationsudvalget for Forskning (hvor bla. Danfossdirektør Mads Clausen er medlem) – nedsat et ”fagligt udvalg” på fem personer: Jørgen Søndergaard, SFI (formand), Kirsten Gomard, HUM, AU, Poul Erik Mouritzen, SAM, SDU, Søren Molin, NAT, DTU, Søren-Peter Olesen, SUND, KU og Frede Blaaberg, TEK, AAU. De fem skal sørge for de overordnede rammer, bla. at udpege, hvilke fag og områder, hele forskningsfeltet skal opdeles i, og hvor mange tidsskrifter og forlag, hvert fag skal have mv. Liste over fag er lavet, og foreløbig er de kommet til, at forskningen i Danmark består af 54 fag og områder (her).

For hver af disse skal der så nedsættes faggrupper, altså 54, hver på 3-6 forskere. Det er lige sat i gang og grupperne skal være klar 26.10.2007. Dernæst skal disse grupper for hver deres fag opstille autoritetslisterne, afsluttet senest 7.12.2007, altså i løbet af godt en måned. I løbet af 2008 foregår så godkendelse og finjustering af listerne. Dernæst kommer et meget centralt element, nemlig at publikationsmedierne skal niveaudeles ud fra kvalitet, og det skal besluttes, hvordan de skal vægtes.

Et spørgsmål, som ingen i verden med indsigt hidtil har ment gav mening, men som Fagligt Udvalg og Styregruppen så vidt jeg forstår nu vil give en løsning på, er følgende: hvordan kan man vægte kvalitet på tværs af fag (fx om en artikel i New England Journal of Medicine har højere kvalitet end en artikel i American Economic Review. Mit forslag er her at bruge den relativt billige og simple metode, som de romerske kejsere anvendte: at spørge indvoldstyderne). FI har afsat sommer og efterår 2008 til at løse denne opgave. Desuden er der en række spørgsmål vedr. pointdeling ved samforfatterskaber mv., der skal afklares.

Sideløbende foregår et teknisk arbejde med, hvorledes kontrollerbare data for publikationstal indsamles og håndteres mv. Hele arbejdet skal være afsluttet primo 2009, således at datainput kan gå i gang og være klar til brug for finanslov 2010.

Som sagt er denne oversigt i hovedsagen stykket sammen ud fra dokumenter, der allerede har været bragt her på bloggen. Da vi må konstatere, at FI ikke kan overkomme at orientere forskeroffentligheden ved selv at lægge dokumenterne på deres egen hjemmeside, er vi fortsat gerne behjælpelig – så send endelig mere, gerne uden at vi først behøver at spørge.

Kritik af den norske model

Der er nu ovenfra igangsat forberedelser til at implementere "den norske model" for lister over fagfællebedømte tidskrifter (uden at modellen mig bekendt er officielt vedtaget, den har stadig karakter af et udvalgsarbejde, og man involverer nu alle universitetsforskere i et arbejde med at indsamle date til dette!). Forskere har fået henvendelser fra deres respektive ledere om at ryste op med forslag til hvilke tidskrifter, det i fremtiden vil "tælle" at publicere i. En læser skriver:

"Henvendelsen kommer fra min forskningsgruppeleder, som i sin mail inkluderer mails fra 1) institutleder, 2) mit universitets ledelse og 3) Rektorkollegiet. (...) De nævnte mails fra forskningsgruppeleder og institutleder er stort set en formidling af Rektorkollegiets udmelding. Der gøres opmærksom på, at det er vigtigt at få vigtige tidsskrifter på listen, for ellers kan det betyde, at ens forskning ikke tæller."

Det er tankevækkende, når man tænker på den næsten fraværende debat om systemet. Læs derfor sociologen Annick Prieurs indlæg "Hvordan måles forskningskvalitet bedst?" i Information i går, som stiller spørgsmålstegn ved det fornuftige i at lægge sig fast på den norske model, som er konservativ og innovationshæmmende, og har "en slående lighed med Sovjetunionens produktivitetsmål: Når målet for alle virksomheder er vægt, bliver alle ting tunge."

PS: her relateret materiale, nu tilgængeligt i dette arkiv:

• Notat af 11. sept. 2007, "Medlem af Faggruppe" fra ministeriets FI (Forsknings- og Innovationsstyrelse) v. Lotte Faurbæk.
• Notat af 11. sept. 2007, "Organisering og tidsplan for Fagligt Udvalg, faggrupper og Styregruppen fra FI (v. Lotte Faurbæk) til universiteterne.
• Notat af 5. okt. 2007, "Liste over faggrupper" fra FI v. Lotte Faurbæk.
• Brev af 8. okt. 2007 fra Rektorkollegiet til universiteterne. Emne: Indstilling af medlemmer af faggrupper for bibliometriske forskningsindikatorer.

Møde om kvalitetsindikatorer

Forskningsrådet for Samfund og Erhverv (der tidligere hed Statens Samfundsvidenskabelige Forskningsråd) inviterer til et vigtigt møde, som man kan se her på hjemmesiden for Videnskabsministeriets Forsknings- og Innovationsstyrelse (FI, tidligere forkortet FIST). Invitationen gengives nedenfor.
Det var da også på tide, at nogen i det forskningspolitiske system tog initiativ til et møde om emnet. Lad os håbe, at alle involverede bidrager til, at processen og udvalgsarbejdet lukkes langt mere op - det kan kun være til gavn for alle parter. Aha, det ser af programmet ud til at Anette Dørge Jessen, som bl.a. har arbejdet på Danmarks Evalueringsinstitut, blev den de hyrede til chef for FI's kvalitets- og forskningsevalueringsenhed (stadig ikke-eksisterende på FI's hjemmeside).


Invitation til Forskningsrådet for Samfund og Erhvervs konference om ”Forskningskvalitet og kvalitetsindikatorer”, tirsdag den 30. oktober 2007, FUHU Konferencecenter, Fiolstræde 44, 1171 København K

”Der skal gennemføres en gennemgribende reform af hele den offentlige forskning”, hedder det i regeringens globaliseringsstrategi. Kvaliteten af den offentlige forskning skal være på internationalt topniveau, og flere forskningsmidler skal uddeles i åben konkurrence, så pengene går til de bedste forskere og de bedste forskningsmiljøer. Hvordan måler vi så forskningskvaliteten? Publikationsaktivitet, peer review, citationsfrekvens og impact factor er nogle af de redskaber, som har været bragt i anvendelse i de seneste årtier, når man vil sammenligne kvaliteten af store mængder forskning. Men disse redskaber er ikke uproblematiske. Måler de rent faktisk kvalitet? Eller er det andre aspekter, der måles med sådanne metoder? Inden for samfundsvidenskab er de ikke generelt accepterede som objektive instrumenter til måling af forskningskvalitet. Derfor diskuteres det netop nu flittigt – og ind i mellem heftigt – i forskningsinstitutioner og forskningsbevilgende organer, hvor man håndterer opgaven med at sikre, at vi får mest mulig forskningskvalitet for forskningspengene. Forskningsrådet for Samfund og Erhverv vil gerne bidrage til at kvalificere denne debat og inviterer til en konference, hvor de udfordringer, der ligger i at måle samfundsvidenskabelig forskningskvalitet, vil blive diskuteret. Der vil samtidig være mulighed for at høre nogle af de erfaringer, man har gjort sig i nærtbeslægtede lande som Norge og England.

Alle der er beskæftigede med forskning og forskningskvalitet er velkomne. Arrangementet er gratis.

Elektronisk tilmelding senest mandag den 22. oktober 2007 kan ske ved at klikke på linket i "læs også"-boksen til højre på denne side.

Program
11.30 Registrering + velkomst med sandwich

11.55 Professor Christian Lund, Formand for Forskningsrådet for Samfund og Erhverv: Velkomst

12.00 Direktør Inge Mærkedahl og Centerchef Anette Dørge Jessen, Forsknings- og Innovationsstyrelsen: Den danske forskningskvalitetsindikator – formål, udfordringer og forventede resultater

12.30 Specialrådgiver Gunnar Sivertsen, Norsk Institutt for Studier av Forskning og Utdanning, Oslo: Bibliometrics for (or against) the Social Sciences

13.00 Professor Susan Wright, Danmarks Pædagogiske Universitet, Aarhus Universitet: Det engelske system og kvalitet i samfundsvidenskaberne

13.30 Pause

13.45 Professor Peter Blume, Københavns Universitet: Hvad er kvalitet og relevans?- Kriterier og målingsinstrumenter

14.15 Chefkonsulent Leif Hansen, Copenhagen Business School: Bestræbelserne på at måle forskning og dennes kvalitet på Copenhagen Business School

14.45 Pause

15.00 Paneldiskussion

16.00 Afrunding

ps: Se omtale af mødet her på bloggen