Endnu engang viser den styrelse, som er ansvarlig for Den Bibliometriske Forskningsindikator, og som ledes af Inge Mærkedahl, sin tilbøjelighed til lukket kommunikation. Det er ellers blevet bedre efter at Forsknings- og Innovationsstyrelsen (den enhed, der har ansvaret for indikatoren, hedder nu: Styrelsen for Videregående Uddannelser og Uddannelsesstøtte, Koncerncenter for Analyse og Statistik, lad os kalde den SVUUKAS) fik taget sig sammen til at informere om projektet på styrelsens hjemmesider.
Men nu ligger der altså en evaluering, og hvad sker der så? De videnskabelige rådgivere i de oprindeligt 68 faggrupper, som har været med til at forsøge at gøre indikatoren "så lidt ringe" som muligt, når den nu var politisk besluttet, negligeres. Høringen sendes direkte til universitetsledelserne, men hvem i toppen af de enkelte universitetsledelser forestiller man sig skal skrive høringssvar? Tror SVUUKAS og Inge Mærkedahl, at topledelserne sender rapporten og høringen videre "nedad" til de faglige rådgivere?
I al fald har undertegnede faggruppemedlem ad helt tilfældig vej - nemlig i en kommentar til et andet indlæg på denne blog! - fået nys om såvel evalueringsrapporten som høringen. Høringsperioden er 25. maj til 15. juni 2012.
Det er utilfredsstillende. Protest og materiale, inkl. evalueringsrapport, er nu gjort tilgængelig for alle interesserede her.
ps:
det er symptomatisk, at i dag betyder ord som "Københavns Universitet" i ministeriets ordbog "universitetets topledelse", og man glemmer at topledelsen for fx KU ikke er synonym med KU.
Abonner på:
Kommentarer til indlægget (Atom)
9 kommentarer:
Styrelserne behandler generelt forskere som uvedkommende personer, man ikke tager højtideligt. Kun de øverste embedsmænd i hierarkierne vil man kommunikere med. Forskningspolitik er blevet centralistisk topstyring.
Til et forskningsprojekt om danske forskeres publiceringsmønster bad jeg om at få adgang til materialet bag den Bibliometriske Forskningsindikator.
Inge Mærkedahl nægtede adgang - i øvrigt uden begrundelse.
Altså. En styrelse for forskning forhindrer forskere i at få adgang til offentlige data, som kunne benyttes som forskningsmateriale.
Man skulle tro, at styrelsen var bange for, at nogen skulle opdage, at grundmaterialet bag BFI er ufuldstændigt til et billede af dansk forskning (hvad min undersøgelse baseret på materiale opbygget af andre kilder faktisk også viste).
På websitet der er linket til i indlægget vil man nu kunne se, at fristen er blevet udsat pga. denne protest. Kontakten fra Styrelsen skriver til mig:
-- citat:
"Mange tak for din henvendelse. Vi har forståelse for, at faggrupperne ønsker at få mulighed for at kunne tilkendegive deres synspunkter om evalueringen af den bibliometriske forskningsindikator.
På baggrund af din indstilling vil evalueringen derfor blive sendt ud i en bredere høring hos faggrupperne. Du kan derfor forvente at få høringsmaterialet tilsendt en af de nærmeste dage. Samtidig med dette vil høringsfristen blive udvidet til den 1. juli 2012.
Vi håber dermed at have imødekommet din opfordring."
-- citat slut.
Jeg er selv glad for denne forlængelse af høringsfristen.
Det er da altid noget, at rapporten nu sendes bredere ud.
Men høringsproceduren er dog et mindre problem, sammenlignet med selve evalueringen - dens rammer, præmisser og metoder.
For det første er det et problem, at rammerne, herunder metoderne er så snævert defineret af opdragsgiver, som tilfældet er her. Jeg forstår ikke, at NIFU og CFA har accepteret en så indsnævrende spændetrøje, især med hensyn til, hvem der skal spørges (stort set kun dekaner), men også hvad der skal spørges om. Det havde dog været naturligt at spørge ikke blot faggrupperne, men også forskerne. (Jeg ser fx at min dekan er refereret for synspunkter på institutterne, som jeg ikke alle kan genkende. Hvor har han det mon fra?).
At "konsulenten" (som det hedder i opdraget) accepterer det, kan undre. (Man støder ellers somme tider på et begreb, kaldet "evalueringsetik").
Men det hænger måske sammen med et andet punkt, nemlig af "konsulenten", Sivertsen fra NIFU, er den samme, som var en af arkitekterne bag systemets indførelse i Norge, og som i forberedelsen i Danmark optrådte adskillige gange på møder som glødende (og af og til underholdende) anpriser af den norske model, som BFI er kopieret fra. Sivertsen er uomtvisteligt meget dygtig, men at lade arkitekten og sælgeren stå for evalueringen er en noget tvivlsom metode (det ville svare til at lade en sælger fra EnsaldoBreda evaluere om IC4-tog i Danmark er et vellykket projekt).
Sagen er vel nok, at resultatet af evaluering har været besluttet på forhånd, så det er en rent rituel øvelse, der gennemføres, fordi Folketinget besluttede det ved indførelsen. Jeg kan få øje på adskillige tendentiøse udlægninger og konklusioner.
Iøvrigt er det også alt for tidligt at vurdere effekterne (som det dog også siges i rapporten).
Til eksamen hos sig selv
Evalueringens ophavsmand er skam dygtig. Men han er ikke alene ophavsmand til den norske model, han er også fast konsulent for det danske Faglige Udvalg.
Han er altså til eksamen hos sig selv – og mon ikke han består?
Heine har ret. Resultatet af evalueringen var besluttet på forhånd. Det er efterhånden blevet en fast rutine i Uddannelsesministeriet, at man laver skinundersøgelser ved håndplukkede eksperter, udelukker grupper med andre synspunkter og markedsfører sin politik over for politikerne.
Det ligger meget langt fra den åbne debat, vi er vant til i den videnskabelige verden. Og som fandtes tidligere i ministeriet – blandt andet i begyndelsen af 1990’erne om Danmarks digitale videnskabelige kommunikation i DANDOK. Der var visioner og samarbejde på kryds og tværs. Men da pengene kom, tog de magtfulde embedsmænd over.
Det må være et spor i debatten, hvordan vi kan åbne og demokratisere debatten fremover.
Vi skal vel også benytte lejligheden til at sætte BFI til eksamen. Ganske rigtigt kan vi ikke se effekter på nuværende tidspunkt, men vi kan da diskutere:
Hvordan får vi en oversigt over al dansk forskning (altså ikke kun universiteternes, men også den på hospitaler, museer, arkiver, biblioteker og af institutionsløse forskere)
Kunne oversigten skabes på nye og billigere måder (f.eks. ved at forlagene leverer materialet)
Hvordan får vi et fornuftigt økonomisk styringsinstrument (det er oplagt det, som ministeriet stræber efter, og der må vi finde en løsning, så vi ikke får BFI med dens mange negative bivirkninger)
Hvordan får vi danske forskere til at publicere i højere kvalitet (man kunne tænke sig andre tiltag end lige en autorisationsliste)
Hvordan kan vi løfte danske udgivere op på internationalt niveau (det vil også være en fordel for danske forskere at blive verdensledende redaktører)
I Norge var de forskningsetiske komiteer kritiske over for Fagerbergudvalgets indstilling:
Tvilsom måling av samfunnsnytte
Et sentralt moment i Fagerberg-utvalgets mandat var å foreslå tiltak som kunne bedre forholdet mellom innsats og samfunnsmessig nytte i forskningen. Dette kan neppe måles ved å telle akademiske publikasjoner og antall siteringer, mener De nasjonale forskningsetiske komiteer og skriver ”Det er lite trolig at disse indikatorene alene fanger opp forskningens samfunnsmessige gjennomslag, siden de per definisjon angår interne faktorer i forskermiljøene og ikke kontaktflaten mellom forskning og samfunnet for øvrig”.
Høringssvarene fra 20.10.2011 kan findes her:
http://www.etikkom.no/no/Aktuelt/Aktuelt/Nyheter/2011/Forskningsetiske-komiteer-kritiske-til-Fagerbergutvalgets-innstilling/
Der er klart tale om et brud på almindelige habilitetsregler, når Sivertsen står for evealueringen, og det undergraver helt evalueringens troværdighed.
Faktisk burde det relevante udvalg i Folketinget gøres opmærksom på det (da det åbenbart er Folketinget der har ønsket evalueringen).
(Etiske koder for evalueringer, indeholder pligt til at undgå conflict of interest. Hvis der foreligger relationer, der kan så tvivl om uafhængighed skal det oplyses og fremgå af rapporten. Der er klart tale om brud på habilitetsprincipper.
Foreningen af Danske Videnskabsredaktører vil klage til Folketingets Udvalget for Forskning, Innovation og Videregående Uddannelser.
Den bibliometriske forskningsindikator har en række negative konsekvenser for publicering af videnskab. Blandt andet rammes danske tidsskrifter. Bemærk i øvrigt, at Sivertsen lige præcis ikke undersøger danske tidsskriftudgivere, men kun udgivere af bøger, hvor niveaudeling endnu ikke er gennemført.
Klagen vil i øvrigt være en generel klage over Uddannelsesministeriet, som er ophørt med neutrale undersøgelser inden drastiske indgreb i den akademiske frihed jfr. tilsvarende tendentiøs sagsbehandling omtalt i artiklen ”Nedskæringer uden åben diskussion” http://professorvaelde.blogspot.dk/2012/06/nedskringer-uden-aben-diskussion.html
Mon ikke Jørgen og Heine skulle læse op på habilitetsreglerne, det er NIFU der har ansvaret for rapporten og Sivertsen er i den sammenhæng evaluator med en omfattende viden og med ganske snævre opgavebeskrivelser - alt for snævre er det min vurdering.
Men lad os bruge kræfterne på en konkret kritik af BFI evalueringen fremfor at skyde på budbringeren.
Det første og vel vigtigste hovedspørgsmål, som Styrelsen for Videregående Uddannelser og Uddannelsesstøtte VUS, tidl. FI har formuleret til evalueringen er om BFI har indfriet positive hhv. negative incitament forventninger.
Her har rapportens forfattere følt sig alt for bundet af opgavens formulering og kun få steder antydet, at BFI modellen og dens norske forbillede har nogle alvorlige indbyggede begrænsninger. Det drejer sig om at BFI modellen alene måler forskningsperformance og kvalitet i ud fra en snæver og ganske traditionel opfattelse af moderne videnskab . Rapporten nævner et enkelt sted den nye model for performancemåling som er undervejs i England som et resultat af mange utilsigtede bieffekter af som man i England erfarede i årene fra 1986, hvor den første RAE blev gennemført. Rapporten kunne med fordel have tematiseret denne begrænsning langt tydeligere end tilfældet er, således at forskningsaktiviteter som rapporter og andre formidlende publikationer, ofte i lokalt sprog, samarbejde med organisationer og virksomheder, netværksarbejde og meget mere synliggøres og ikke som det er tilfældet er defineret ude. Over tid kan begrænsningen i BFI få alvorlige konsekvenser ved at styre forskernes incitamenter væk fra en række aktiviteter, som alle der kender forskningsverdenen ved er uundværlige - og som for at gøre ironien helt tydelig - er aktiviteter som der forskningspolitisk har været fokus på de seneste år.
En anden negativ incitament funktion som kun berøres kort i rapporten er erfaringerne fra RAE med forskeres yderst "kreative" håndtering af performancemåling, ’game playing’ og ’salami slicing’ hørte til sidste til dagens orden i England. At den danske BFI model helt skulle kunne undgå sådanne utilsigtede effekter er usandsynligt, og at spørgsmål om utilsigtede incitamentstrukturer i modellen overhovedet ikke inddrages i evalueringen er problematisk.
Man kan undre sig over at en evaluering af et sådant redskab som BFI helt går uden om at inddrage holdninger fra de direkte berørte brugere, dvs. forskerne på institutionerne. Dette bliver sat i relief, når der på s. 37 er et helt afsnit, som hedder Mottagelse af indikatoren. Her refereres til forskernes holdninger til BFI, men grundlaget for dette er udelukkende interviews med dekaner og institutledere – ikke med et udvalg af forskere. Eller når der på side 34 står, at forskerne på CBS er mere interesserede i internationale lister over toptidsskrifter. Det var der for få år siden en heftig debat om og der var langt fra enighed blandt forskerne på CBS om sådanne listers betydning. Det fortsætter på de følgende sider, hvor rapporten evaluerer virkninger af indikatoren i de faglige miljøer – alene på baggrund af udsagn fra dekaner og andre ledere. Det svarer til at man eksempelvis i en evaluering af MUS samtalesystemet alene havde interviewet ledere for at evaluere virkningen!
Men det et problem, som rapportens forfattere ikke har ansvar for, ansvaret ligger entydigt i Bredgade hos VUS/FI, som besluttede at evalueringen udelukkende skulle bygge på udsagn fra ledelsen på universiteterne. Det er måske i bedste overensstemmelse med VUS’ opfattelsen af enstrenget ledelse, at forestille sig at de altvidende dekaner og institutledere kan give dækkende svar for hvordan deres forskere ser på BFI, men det er en udeladelse der ikke imponerer professionelle evaluatorer. Ved helt at udelade udsagn om BFI fra de faglige udvalg og fra menige forskere er der på forhånd lagt en skævhed ind i resultatet, og den gennemgående positive holdning til BFI modellen som evalueringen refererer har af disse grunde ingen høj gyldighed i den virkelige verden.
Finn Hansson, lektor CBS
Send en kommentar