lørdag den 31. oktober 2009

Fri forskning og forskningsfrihed på alle universiteter

Folketinget modtog d. 26/10-2009 en henvendelse (her) fra Det Frie Forskningsråd (DFF), vedrørende kommentarer til den kommende lovrevision. Som bekendt er DFF bekymrede over forslaget om blive de skal sammenlægges med Det Strategiske Forskningsråd (se bl.a. FORSKERforum). Jeg synes kun man kan være enig med DFF i, at det er vigtigt, at fri og strategisk forskning har uafhængige stemmer i den forskningspolitiske debat og i forbindelse med rådgivning og uddeling af midler. DFF foreslår, at to uafhængige bestyrelser for DFF og DSF fastholdes. I brevet kan man bla. læse fgl. begrundelse:
"Fri forskning og forskningsfrihed forveksles ofte.
Forskningsfrihed er metode- og publiceringsfrihed og er gældende uafhængigt af, om der er tale om fri eller strategisk forskning.
Fri forskning er metode-, publicerings- og tematisk frihed. Ved fri forskning forstås, at den enkelte forsker ud fra sin faglige ekspertise har mulighed for at igangsætte et projekt inden for et hvilket som helst emne og uafhængigt af strategier på institut-, fakultets- eller institutionsniveau. Den frie forskning er således fundamental, når der skal findes helt nye veje i samfundet – og den danner grundlag for fremtidige strategiske satsningsområder og en vellykket afvikling heraf. Fri forskning er med andre ord første led i forskningens fødekæde og fornyelsens
fundament."
Støtte herfra til DFF! Begrundelsen ser umiddelbart fin ud som et forslag til en argumentation for vigtigheden af at bevare forskerinitieret forskning, og at denne omfatter emnefrihed. Det er også godt at understrege, at den strategiske forskning også er omfattet af metode- og publiceringsfrihed. Mit eneste problem med den citerede formulering -- i en helt almen sammenhæng vedrørende universitetsforskningen og ikke mindst i forbindelse med vores krav om revision af universitetsloven af 2003 -- er, at loven som bekendt (og diskuteret mange gange her på bloggen, og understreget i underskriftindsamlingen sidste år) indskrænker begrebet forskningsfrihed til kun at gælde på institutionsniveau hvad angår netop emnefrihed. Det er fint og vigtigt, at DFF fortsat kan bevilge støtte til enkeltprojekter som reelt er til fri forskning, og emnemæssigt er definerede af forskerne selv. Men lovens reduktion af et fuldt begreb om forskningsfrihed er uforeneligt med internationale og klassiske standarder for akademisk frihed. Og et generelt problem for de danske universiteter.

torsdag den 29. oktober 2009

Besættelser af universiteter i Wien og protester imod 'impact'-mål i UK

Citat fra Reclaim your university! :
"On Tuesday (20.10.2009) the academy of fine arts was squatted by students and lecturers. Their protest was triggered by a recently signed contract between the dean and the ministry of education. The students and lecturers of the academy of fine arts are speaking out against the Bachelor-/ and Master system which is about to be implemented. The main concern of the students of all universities is an amendment of university law 2009 (UG Novell 2009) that allows universities to constrain the number of enrollments henceforth. This development can be interpreted as part of the Bologna process which has the aim of harmonizing the european university structures."
Jeg har ikke set mange omtaler i de danske medier af de aktuelle universitetsbesættelser i Wien, men de er værd at lægge mærke til, for protesten gælder de samme ting, som vi oplever på de danske universiteter, og som vi samlede underskrifter imod sidste år. Man kan fx online høre Alex Callinicos fra UK, som i Wien taler om sine erfaringer med det engelske universitetssystem ved en af ugens store universitetsbesættelser i Wien, i søndags (d. 25. okt. 2009), som jeg fandt et link til hos ISU. I forelæsningen "Universiteter i en nyliberalistisk verden" (her), som bl.a. kritiserer "the harnessing knowledge to wealth creation (i.e., profit)" (og iøvrigt nogle de samme mekanismer omtalt ved Isabella Bruno i sidste indlæg), herunder planerne i UK om at lade 25% veje efter "økonomisk og social impact" af forskningen. Hans lille bog, Universities in a Neoliberal World (November 2006, Bookmarks Publications) findes på nettet (her). Han opfordrer de studerende til modstand, for de universitetsansatte forskere har næsten opgivet at yde modstand i deres forsøg på at tilpasse sig. Han ser krisen på de østrigske universiteter som en del af en større systemkrise for neoliberalismen. Der kører i Østrig en underskriftindsamling (her oversat til engelsk) med disse krav:
1. We oppose ourselves to university-based organisational structures that are determined by economic ends, as well as to the privatisation of teaching, research and knowledge production more broadly. We demand the full public funding and re-democratization of all educational institutions as well as the unconditional abolition of university fees!

2. We oppose ourselves to the pseudo-autonomy of universities. We demand the immediate withdrawal of §8* of the UG 2002!
§8.: ’Upon the proposal of the minister of education, the government may impose the installation of a branch of study on a university or several universities, given this is necessary on the basis of political decisions in the fields of education or science, and given there is no related former agreement as in a contract regarding university performance.’
We demand the freedom to define what teaching and research, as well as science and art, mean in the context of our universities.

3. We oppose ourselves to quality assessments concerning science and art when these operate by economic criteria. We are against the forced imposition of self-marketing strategies on universities, and against the conflation of education with competitiveness and elitism.
We demand the abolition of knowledge surveys and agreements on productivity!

4. We oppose ourselves to the degrading transformation of universities and schools into training facilities oriented by the labour market.
We want education as space for thinking, not training as the mere reproduction of workforce!

5. We insist that the government refrain from taking teaching and art, science and research to be seperable as objects of thought and administration. We demand that the corresponding ministeries be merged immediately.
Fra nyhedslisten edu-factory:
"after a manifestation of students today against the bologna-process and in solidarity withe the squating of the academy of fine arts two days ago, parts of the university of vienna have been occupied spontanously. Right now there are 2000 students taking part in the occupation. About
three hour ago the police has left the university. Right now [22/10/2009] the students are discussing how to act during the next days (...)" "last not least, the academy of fine arts in vienna is still squated."
website of an autonomous students group http://freiebildung.at/wordpress/
video of the occupation http://qik.com/video/3290414
live-tickers on twitter and facebook http://twitter.com/Unibrennt
http://twitter.com/gewure
http://www.facebook.com/pages/Audimax-Besetzung-in-der-Uni-Wien-Die-Uni-brennt/
further media-coverage:
http://derstandard.at/fs/1254312155865/Studenten-besetzen-Audimax-der-Uni-Wien

På bl.a. Steve Fullers blog kan man her finde indlæg om den britiske ide med at lade "relevans" bestemme tildeling af forskningsmidler.

onsdag den 28. oktober 2009

Den diskrete styring af dansk forskningspolitik

Fra en læser har jeg som respons på indlægget i går modtaget nogle oplysninger til viderebringelse i forbindelse med Isabelle Brunos forskning. I hendes bog, À vos marques, prêts... cherchez ! La stratégie européenne de Lisbonne, vers un marché de la recherhce, Éditions du croquant, 2008. [Klar, parat... forsk! Den europæiske Lissabon-strategi mod et forskningens marked] analyseres tekster og aktører i Lissabon-strategien og dens strategiske forløbere og analysen understreger, at Sander & Co ikke har opfundet særlig meget selv, men blot er ved at applicere (dog med sjælden energi) et program udtænkt af det tunge europæiske erhvervsliv og OECD og endeligt udformet i EU-Kommissionen.
Bogens analyse fremhæver, at en af de mere originale aspekter ved Lissabon-processen er, at den ikke lovgiver på området, men sætter regeringerne i konkurrence mod hinanden ud fra princippet om Méthode ouverte de coordination, der fungerer ud fra principperne: incitament, konkurrence mellem ligestillede og gensidig overvågning, bl.a. ved bestandig at se, hvor langt man selv og konkurrenterne er nået på vejen mod de tre procent, jf. diverse pressemeddelelser fra Videnskabsministeriet, som fokuserer på at nå målet, men ikke på hvad målet egentligt er. Som Karen Siune kommenterede (i Information 3/9-2008), "om man når den ene eller anden procentdel bliver hurtigt til et spørgsmål om det enkelte lands placering i den europæiske konkurrence landene imellem, hvilket ikke er en konkurrence om at være et funktionsdygtigt videnssamfund."
Her kommer så et link (fra Akkrediteringsrådets hjemmeside) til et "Bologna-seminar" i London: En konference arrangeret af European Association for Quality Assurance in Higher Education (ENQA) – der "[...] will discuss, among others, the current trends in TNE [Transnational Education] landscapes, the influence of the OECD/UNESCO Guidelines on the development of regulatory frameworks at institutional, national and international levels, the impact of the Guidelines on quality provision of TNE, and their implementation in the regional networks”. (link) Det er svært at sige om det kan bruges til noget i den aktuelle diskussion af kvalitetssikring af forskning, andet end til at lodde stemningen. Det er ikke ligefrem græsrødderne, der er inviteret...
Dette sporede så læseren ind på Susan Wrights interview med Ole Henckel fra 2008, “The Bologna process: a voluntaty method of coordination and marketisation?” (Teaching and Learning vol. 1(2): 1-24; kan hentes i her), hvor man bl.a. kunne læse, at der i ENQA har været en kamp mellem evaluerings- og akkrediteringstilhængere. Artiklen er "rigtig god at få forstand af, og interviewformen sætter en livlig ramme om den. Særligt i afsnittet, hvor SW udbryder ”What! The Rome Treaty didn’t give the EU a judicial basis for setting up Erasmus”!"
Min informant har dog denne kommentar:
"abstractet spørger: "which interests were involved and which were excluded”, og dér mangler måske noget. Aktørerne i artiklen er – ud over Kommissionen – særligt rektorsammenslutninger og andre fra den forsknings- og uddannelsespolitiske sfære (og det er også dem, der interesserer Ole Henckel, så det skal han ikke lastes for), men alligevel: Hvor får Kommissionen sine visioner fra? Og hvad sker der egentlig i tiden mellem rektorernes Magna Charta og Bologna-->Lissabon-deklarationen? Isabelle Bruno identificerer i Klar, parat, forsk her en række nøgletekster og –aktører:
- Blandt de første (teksterne) bl.a. en rapport [link til flyer] fra 1997 udarbejdet af to af Kommissionens økonomer, P. Caracostas & U. Muldur med titlen: Society, the endless frontier (med reference til bogen Science, the endless frontier af Roosevelts videnskabelige rådgiver V. Bush). Men, pointeres det, med den signifikante forskel, at i visionen for det 21. årh., “research, innovation and skills are no longer ends in themselves but have to meet individual and social needs and develop in close interaction with various socio-economic activities” ! (Muligvis er det 'bare' en drejebog for indførelsen af det her modus-2-begreb, som vist ligger forud. Det ved jeg ikke).
- Blandt de sidste (aktørerne): OECD selvfølgelig men iflg. I. Bruno i høj grad også indflydelsesrige lobbyorganisationer ikke mindst European Round Table of Industrialists (link), som nedsætter arbejdsgrupper (om f.eks. competitiveness), der sender deres anbefalinger (kan også ses på hjemmesiden) til Rådet og Kommissionen! Det må være alle industri-organisationers moder... og model..."
Måske er DI, organisationen Dansk Industri, et lokalt oversættelsesbureau?
Iøvrigt findes endnu en artikel om emnet på engelsk med Bruno som medforfatter: Isabelle Bruno, Sophie Jacquot and Lou Mandin (2006): "Europeanization through its instrumentation: benchmarking, mainstreaming and the open method of co-ordination . . . toolbox or Pandora’s box?", Journal of European Public Policy 13:4 (June): 519–536.

tirsdag den 27. oktober 2009

Framing og kvalitetssikring af historien

For nyligt skrev videnskabshistorikeren Kristian Hvidtfelt Nielsen (KHN) i Politiken (her), at "Baggrunden for den voldsomt stigende interesse for forskningsindikatorer er, at mange landes forskningssystemer oplever et øget behov for at kunne allokere midler til de mest succesfulde forskningsmiljøer på en mere neutral og billig måde."
Ud over det pudsige i at et forskningssystem kan have oplevelser, er udsagnet rent historisk set ikke videre informativt. Hvorfor 'oplever' systemet' dette påståede behov? Hvem har skabt behovet? Fordyrede fordelingsprocesser? Hvad er historien?
Indlægget i Politiken og KHNs tilsvarende indlæg om samme emne på Videnskab.dk (her) er framet ret problematisk som et valg mellem to ligestillede former for 'kvalitetssikring', men for det første er dette jo ikke tilfældet, og for det andet forholder KHN sig slet ikke specifikt til videnskabsministeriets nationale forskningsindikator, selvom konteksten henviser hertil, og begge artikler for den uindviede læser vil kunne opfattes som konkluderende (som der står i manchetten hos Videnskab.dk): "Forskningsindikatorer er en mere objektiv måde at vurdere kvaliteten af forskning på end peer review." selvom det tilføjes, at "den er ikke fejlfri". Og taler vi om Videnskabsministeriets bibliometriske forskningsindikator er det med det objektive jo mildest talt omstridt.
Bortset fra det, viderebringer KHN i sidstnævnte indlæg 10 såkaldte 'bud' eller regler for fornuftig anvendelse af forskningsindikatorer, formuleret af en ansat ved Thompson Reuters - i stil med "Overvej om de tilgængelige data er tilstrækkelige til at analysere forskningen med hensyn til de ønskede kvalitetsparametre"; "Sammenlign kun sammenlignelige størrelser (ikke æbler og pærer)", etc. og hvis det endelig skal være, er den slags regler selvfølgelig udmærkede. Men når nu KHN ikke selv vil sige det, så må jeg understrege, at videnskabsministeriets forskningsindikator befinder sig helt hinsides denne bibliometriske snusfornufts pædagogiske rækkevidde.
Tilbage til spørgsmålet - hvor kommer dog det hele fra? Måske er det korte svar, at bibliometrien (der har sin egen komplicerede videnskabshistorie som jeg ikke er ekspert i) på et tidspunkt opdages som et muligt redskab i en hel værktøjskasse af nye politisk-administrative måder at tænke-og-styre på helt generelt (bl.a. kendt som New Public Management); måder, som netop anvender indikatorer, efterligning af konkurrence mellem virksomheder, og nationale sammenligninger, som de kendes fra utallige OECD-anbefalinger. I et nyt særnummer af Minerva (vol. 47, issue 3, 2009) kredser flere af artiklerne om spørgsmålet, ikke mindst Isabelle Bruno med artiklen "The ‘‘Indefinite Discipline’’ of Competitiveness Benchmarking as a Neoliberal Technology of Government". Heri peges på, at "benchmarking subjects policy-makers to a disciplinary technology that operates without law enforcement but with peer pressure and reputational incentives", en ny form for blød magtudøvelse, en 'governmentalitet', som virker gennem hvad der iscenesættes som en rationel proces af samarbejde og konkurrence om at nå - eksempelvis - Barcelona-målsætningen (om at hvert land skal anvende 3% af BNP på forskning).
Og hvem har så ansvaret for, at vi også har fået denne højere form for djøfisme i Danmark? Det er vel ingen overraskelse, at den neoliberale rygende pistol er regeringens. Læser man regeringens udspil til reformer af uddannelse og forskning og iværksætteri i Danmark, alias Globaliseringsrådets publikation "Fremgang, Fornyelse og Tryghed. Strategi for Danmark i den globale økonomi – de vigtigste initiativer" (Regeringen, april 2006 [her]) er det jo næsten som en drejebog for det hele. Jf. afsnit 7.1: "Universiteter med en høj kvalitet i forskning, uddannelse og videnspredning skal have en forholdsmæssig større andel af de samlede basismidler. Samtidig skal en del af de konkurrenceudsatte forskningsmidler uddeles i konkurrence mellem universiteterne." Etc. etc.
På s. 11 læser man at "[Globaliserings]Rådet blev nedsat i april 2005 til at rådgive regeringen om en strategi for Danmark i den globale økonomi. Rådet har været bredt sammensat med medlemmer fra bl.a. fagforeninger, erhvervslivets organisationer, virksomheder, uddannelser og forskning."
Okay. Hvem repræsenterede den frie forskning i rådet? AC's repræsentant? Næppe. Professor Niels Egelund fra DPU? Han var vel mest med pga. af sin ekspertise i Folkeskolen. Jeg kan ikke på listen over de 26 rådsmedlemmer finde nogen oplagte kandidater til den rolle.
Nåeh jo. Der var jo hele fem ministre med som rådsmedlemmer, og en af dem var Minister for videnskab, teknologi og udvikling...

mandag den 26. oktober 2009

Forskning som gave, rigdom og overskud

Jeg talte for nyligt med en nybagt kandidat, som mente, at det med forskningsfrihed var lidt hippieagtigt. Hun vedkendte sig dog sin hippiearv og bakkede op om begrebet. Det inspirerede mig til denne stærkt hippieagtige epistel.

Den grundlæggende maxime i videnskabens kontrakt med samfundet, som den ses af den borgerlige regering, er "noget for noget". Viden for penge, eller kompetencer, uddannelse og erkendelse for frihed og autonomi. Men i videnskabens egen intellektuelle 'økonomi' dominerer gaveprincippet. Viden er gaver (eller forslag til gaver - videnspåstande) til fællesskabet. Ny erkendelse udveksles mod anerkendelse. Konkurrence handler om anerkendelseskampen mellem forskere eller forskergrupper om at opnå ny erkendelse.
Forskningens produkt er dens indhold, en værdi der ikke som penge kan udveksles med alt andet.
Hverken i samfundskontrakten eller i den lokale gaveøkonomi er der tale om et nulsumspil: Viden bliver ikke mindre af at blive delt, og samfundet bliver ikke mindre af at betale til forskning, tværtimod, det kan kun udvikles til en rig mangfoldighed af muligheder på basis af ny viden.
En ide om udveksling og "noget for noget", er måske ikke i sig selv et problem, hvis blot der også levnes plads til overskuddets gavelogik.
Problemet opstår, hvis gaven - ny viden - kun måles på sin pris, ikke sit indhold. Det er tanken, der tæller, siger man om gaver. Fra tanke til faktura, siger Sander om forskning.
Med hvilken logik skal samfundets kontrakt med forskningen skrives? Gavens eller fakturaens?
Som det står skrevet om lån og mål: "hvis I kun låner ud til dem, som I håber at få lånet tilbage fra, hvad tak fortjener I for det?" (Luk.6, v34) - "Giv, så skal der gives jer. Et godt, presset, rystet, topfyldt mål skal man give jer i favnen. For det mål, I måler med, skal I selv få tilmålt med." (v38).
Hvis samfundet alene måler videnskab med pantelånerens fokus på forrentning, vil gavens logik og den store undren langsomt svinde ud af forskningen. Så vil samfundet ikke mere få et helt så topfyldt mål i favnen. (Som nationaløkonomen Nina Smith siger i sidste FORSKERforum (nr. 228, s. 18): "hvis man detailregulerer os og tager frihedsgraderne, så mister vi motivationen og begynder at arbejde 37 timer - som er samfundets 'normalarbejdstid'. Og så kommer universitetet virkelig på den...").
Og til det med hippierne: Forskningsfrihed og academic freedom går selvfølgelig længere tilbage end 1968. Det var 68'erne, som gjorde op med forskningsfriheden i elfenbenstårn-udgaven, og krævede forskning for folket, ikke for profitten. Senere krævede de borgerlige forskning for erhvervslivet, og socialdemokraterne drejede det til forskning for velfærd. Det kan godt være, at forskningspolitikken skal give såvel folket, velfærden og profitten hver sit, men der skal også være plads til mere end det. Hvis forskning endelig skal være "for" noget, må det være for udviklingen af en menneskelig civilisation, der er så rig, at den har råd til såvel nyttig som tilsyneladende ganske unyttig forskning.

tirsdag den 20. oktober 2009

Galilei og den store nordiske bibliometristrid

Videnskabens klassiske normer, som universalitet og upartiskhed, betyder bl.a. at et udsagns sandhedsværdi skal bedømmes på dets indhold og ikke på hvem der har ytret det. Alligevel låner mange udsagn autoritet fra de videnskabens helte, hvis visdomsord er uddestilleret gennem videnskabshistoriens interesse for det unikke og excellente.
Tag nu Galilei. Han skal have sagt noget i stil med "mål alt, hvad der kan måles, og gør det måleligt, som endnu ikke kan måles!" Er dette diktum nu selv videnskabeligt? Hvis vi antager, at udsagnet er udtryk for den højeste videnskab, kan vi så finde metoder til at måle dets sandhedsværdi? Eller måske måle den forskningskvalitet, som ligger bag?

Vi vender tilbage til Galilei efter en lille bibliometrisk omvej. I forlængelse af mit indlæg om den svenske bibliometri-debat, har jeg modtaget flere viderebringelsesværdige oplysninger fra bloggens netværk (tusind tak!). Det handler om det 21. århundredes store nordiske bibliometristrid. Sverige synes i forhold til Danmark befolket med bibliometrikere, og man kunne derfor undre sig over hvorfor man ikke allerede i Sverige har indført modeller a la den norske. Måske fortæller striden hvorfor.
Jeg må lige indskyde, at bibliometri betragtet som grundforskning på grænsen af videnskabssociologi, informationsvidenskab og lignende discipliner, har min store respekt. Men der går formodentlig ingen lige linier fra bibliometrisk forskning til dens anvendelse eller misbrug som quasi-politisk administrativt redskab. (Man kan jo også være en habil demograf uden at gå ind for malthusianisme om politisk ideologi).
Det forlyder, at debatten i Sverige har været betændt og personlig. På et tidspunkt overvejede man den "norske model", men politisk vendte man på en tallerken, og gik nu i stedet ind for en model udarbejdet af Ulf Sandström, som jeg nævnte i mit sidste indlæg. Sandströms model var ellers blevet voldsomt kritiseret af eksperter som bidrog til i en svensk udredning ("Resurser för kvalitet" - Staten Offentliga Utredningar (SOU 2007:81) [her]), men ikke desto mindre fandt den sine tilhængere politisk, og udredningen endte med at indeholde en så kraftig kritik af den norske model, at det førte til løftede øjenbryn fra det norske Universitets- og Høgskolerådet, som bad om en mere saglig omgang med den norke model i den videre behandling af udredningen.
Sandström er meget kritisk overfor den "norske model", men ikke i forhold til dens formål. Han er tilhænger af ressourcetildeling på baggrund af bibliometriske indikatorer, og har endda talt varmt for bibliometrisk evaluering af forskere på individuelt niveau - noget de fleste bibliometrikere klart afviser. I forhold til den norske model, vil Sandström ikke acceptere at fuldstændige publikationstællinger kan anvendes (alene) i en fordelingsindikator. For ham er citationsanalyser altafgørende. For mange er citationsanalyser den eneste bibliometriske metode, der kan sige noget om 'kvalitet'. Det er velkendt, at citationsanalyser nødvendigvis er mere retrospektive end publikationsanalyser; kendere på feltet siger, at for at undersøge citationer til artikler publiceret i 2008, skal man minimum vente 3 og gerne 5 år, før man kan foretage en seriøs undersøgelse. Og det er også velkendt, at datagrundlaget for citationsanalyser begrænser disse til de "våde" områder. Rationalet for den "norske model" er netop de problemstillinger (og andre) der knytter sig til citationsanalyser. Det fremgår bl.a. af en artikel om den "norske model" af Jesper W. Schneider fra Danmarks Biblioteksskole (Schneider, J.W. 2009: "An outline of the bibliometric indicator used for performance-based funding of research institutions in Norway", European Political Science 8(3): 364-378). Artiklen diskuterer den norske models rationale i forhold til citationsanalyser. Schneider synes at mene, at den norske model, hvis man altså absolut ønsker at ressourcer tildeles efter output eller performance, er det mindste onde, men at man ud fra et rent fagligt perspektiv må sige, at ”performance-based funding” er temmelig problematisk – spørgsmålene er flere end svarene.

Sandström har udviklet en model, der efter sigende tager højde for det problem i den norske model, at denne fokuserer på volumen snarere end indhold, indikerer aktivitet snarere end kvalitet: Det sker ved at inkludere citationsanalyser i fordelingsnøglen. Her må man spørge, hvordan dette løser de fundamentale problemer ved citationsanalyser, at de er retrospektive og kun egnede til 'våde' områder? Sandströms svar er estimering og forudsigelse. Han tager udgangspunkt i en sandsynlighedsfordeling kaldet Waring, og ud fra denne forsøger han at estimere performance for de enkelte institutioner. Sandströms model er sammensat af to indikatorer, dels en velkendt og afprøvet relativ citationsindikator (ofte kaldet ”Crown-indikatoren”), som måler citationer per publikation set i forhold til gennemsnittet indenfor emneområdet, og dels en produktionsindikator. Produktionsindikatoren forsøger at estimere størrelsen af en institutions videnskabelige produktion. Denne metode er til gengæld uprøvet i forhold til institutioner, og den baserer sig på ufuldstændige data. Produktionsindikatoren bygger på antal publikationer per forsker. Da man ikke har fuldstændige data, anvender man Waringfordelingen til at estimere dette antal. I sidste ende bliver produktionstallet ”kvalitetsjusteret” gennem en multiplikation med citationsindikatoren. Dermed kommer modellen ifølge Sandström til i højere grad at afspejle videnskabelig kvalitet frem for ”bare” aktivitet.
Warringfordeling er tidligere brugt indenfor bibliometrien til at forudsige landes videnskabelige produktion. Sandström bryder fordelingen ned i mindre enheder (emneområder og institutioner) og her har han mødt en hel del kritik, fordi det er kendt at Waring-fordelingens estimationskraft bryder sammen ved mindre enheder. Waring-fordelingen forsøger at estimere produktion per forsker, altså hvor mange publicerer 0, 1, 2 publikationer osv. indenfor et område. Da Sandström udelukkende baserer sig på data fra citationsindekser (Thompson Reuters) er han nødt til at gætte på produktiviteten for fx humanistiske forskere, som så sættes til en konstant der gælder for alle! Det korte af det lange er, at Sandströms model ikke måler konkrete resultater fra fx det foregående år, men forsøger at estimere og forudsige performance for alle emneområder, skønt grundlaget er baseret på et begrænset datasæt fra Thompson Reuters (dvs. data er af ældre dato). Grunden til at Sandström mener, at modellen er legitim, er at han har modelleret den i forhold til de komplette norske data (fra den norske model) og har fundet en stor sammenhæng. Sandströms pointe synes derfor at være, at man kan gøre det hele meget lettere - skønt aldeles ugennemsigtigt for enkelte forskere og institutioner - ved hjælp af modellen. Og derudover indeholder modellen citationer! Problemet er bare, at vi ikke ved, hvordan modellen fungerer på mindre valide data end de norske (de norske data er jo komplette på grund af modellen), og at man ved, at Waring-fordelingen flader sammen ved mindre enheder. Dette er unægtelig et usikkert grundlag for en fordelingsindikator.
(For de teknisk interesserede: Her er en kritik af Waring-modellen ved Tore Lund fra Chalmers Bibliotek. Det forlyder, at det svenske videnskabsråd i næste uge offentliggør en grundig redegørelse og kritik af Waring-modellen. Den danske universitetsstyrelse (UBST) under Videnskabsministeriet lavede allerede d. 12/11-2007 et notat til fordel for en norsk fremfor en svensk model med impact-mål: her). Som et kuriosum skal siges, at man i Belgien, hvor Waring-fordelingens ophavsmand Wolfgang Glänzel (indenfor bibliometrien) holder til, ikke anvender den, tværtimod er man ved at gå over til et system der ligner det norske for Hum-Samf-området.
Så meget i denne omgang for den store nordiske bibliometristrid (fortsættelse følger sikkert). Hvordan, vil nogle måske spørge, kan 'almindelige' forskere overhovedet tage bibliometri seriøst? Det ville være rart, hvis vi kunne betragte bibliometri blot som et forskningsredskab og som et fagområde blandt andre. A la bibliografi. Som redskab til finde mønstre, ikke til at måle det umålelige.

Og nu tilbage til Galilei. Nu påstod han jo ifølge legenden ikke, at man skulle gøre det måleligt, som de facto ikke kan måles. Men sjovt nok er indledende citat er muligvis falsk, selvom det er tilskrevet Galilei millioner af gange. En historiker siger om spørgsmålet: "Although Galileo is quoted with these words in a large number of publications, the authenticity of the sentence is highly dubious because no one has ever provided a precise bibliographical reference for where to find it in Galileo’s works." (...) "Notwithstanding its increasing popularity, referring to this expression as a quotation from Galileo is a striking example of academic sloppiness." (Andreas Kleinert 2009: "Der messende Luchs", NTM Zeitschrift für Geschichte der Wissenschaften, Technik und Medizin 17(2): 199-206). Bibliografisk arbejde som korrektion af scientometrisme og lemfældig bibliometri?

mandag den 19. oktober 2009

Den norske model katastrofal for Danmark

Hvad vil indførelsen af "den norske model" - en dansk bibliometrisk forskningsindikator som redskab i tildeling af forskningsmidler - betyde for humniora og samfundsfag?

En af vores svenske forbindelser er Ulf Sandström, som er docent ved Linköpings Universitet og den Kungl. Tekniska Högskolan, specialist i forskningspolitiske studier, finansierings- og publiceringsanalyser samt strukturspørgsmål indenfor universitetsverdenen, og iøvrigt fortaler for anvendelse af indikatorer til fordeling af forskningsmidler, blot det er de 'rigtige' (mere herom senere). Han udgav den rapport, Nationella särdrag i nordisk publiceringsutveckling 1998–2006, jeg henviste til i indlægget om organisationen "Danske Universiteter". Rapporten analyserer den nordiske publiseringsudvikling ud fra forskellige indikatorer og metoder. (Norge afviger markant fra det generelle mønster i positiv retning, og rapporten søger at forklare de bemærkelsesværdige ændringer og diskuterer resultatet i lyset af den model, som for nyligt indførtes af den svenske regering. Rapporten ingår i serien "Forskning om Forskning", se forskningspolitik.se). Jeg blev især nysgerrig omkring det spørgsmål, den rejser om Danmarks særstilling - jævnfør dette citat fra konklusionen,
"Klart är att vi ytterligare kan belysa säregenheter i den norska utvecklingen, men att förklara varför Danmark ligger avsevärt högre än övriga nordiska länder tarvar andra och mer djupgående undersökningar",
så jeg spurgte Ulf Sandström for at høre hans mening om hvorvidt det vil betyde en styrkelse af den danske position, at Danmark nu vil indfører den samme incitamentstruktur på universitetsområdet, som man har indbygget i "den norske model" med tildeling af midler på basis af en kvantitativ bibliometrisk forskningsindikator med tidskrifter delt i to niveauer? Hans svar er, at
"Det blir en katastrof för Danmark. Humaniora och samhällsvetenskap låses fast vid sina nationella publiceringskanaler och intjänar alltmer lättförtjänta poäng på lokal publicering. Incitamenten är helt fel i en norsk-danska modellen. Sannolikt påverkar detta inte naturvetenskap och medicin."
Danske skeptikere fra humaniora ogs samfundsvidenskab er nok enig med Sandström hvad angår det katastrofale, omend ud fra helt andre argumenter. Spørgsmålet om "lokal publicering" er indviklet og endnu uafklaret for så vidt angår hvad fx monografier som udkommer på danske universitetsforlag skal tælle, men det er klart en risiko at såvel autoritetslister over tidskrifter som fastlåste retningslinier for publiceringskanaler kan virke konserverende i forhold til mulighederne for nye innovative tilgange og vinkler på humaniora og samfundsvidenskab.

torsdag den 15. oktober 2009

Svensk strid om forskningsindikator

Fra et velinformeret medlem af denne blogs netværk har jeg modtaget informationer fra den svenske bibliometridebat:
"Jeg nævnte forleden noget om den svenske debat om bibliometri. Nu har jeg fået et par links. Muligvis er I i de danske faggrupper opdaterede mht. denne debat, for den er egentlig meget relevant.
Det kronologiske forløb er opsummeret af Rektor for Stockholms Universitet på hans blog: blogs.su.se/kbrem/20090810.
Det ser ud til, at Vetenskapsrådet har slået sig i tøjret og først afleveret en kritisk og forbeholden rapport: www.vr.se/download/18.72e6b52e1211cd0bba8800010145/bibliometrisk_indikator.pdf
Rapporten er kritisk overfor bibliometri i almindelighed og for bibliometri i Humaniora og Samfundsvidenskab i særdeleshed. Det fremhæves i appendiks B, at
”I kritiken av bibliometriska utvärderingar av forskning är det två argument som är särskilt relevanta inom humaniora och samhällsvetenskap:
1. Sambandet mellan å ena sidan vetenskapliga publikationer och citeringar och å andra sidan forskningsvolym och -kvalitet är svagt.
2. ISI-databasen (Web of Science) mäter inte de vetenskapliga publikationerna och
citeringarna på ett tillfredsställande sätt.
[…] Något förenklat kan Thomson Reuters kriterier för vilka publikationer som ska inkluderas i ISI-databasen beskrivas med fyra ord: de bästa, internationella, vetenskapliga tidskrifterna. Alla dessa fyra kriterier är problematiska när det gäller humaniora och samhällsvetenskap. Att begränsa sig till tidskrifter innebär att andra former för spridning av forskningsresultat, som monografier, antologier, vetenskapliga utgåvor, artiklar i dagspress, populärvetenskapliga artiklar, läromedel och rapporter exkluderas."
Det ikke sådan et resultat, regeringen havde bedt om, hvorfor rådet fik genformuleret opdraget om at tilvejebringe et beregningsgrundlag! Som Rektoren skriver, så er det svært at tolke det på anden måde, end at regeringen har underkendt rapporten fra Vetenskapsrådets analyseafdelning og ikke agter at følge anbefalingen fra rådets styrelse om at afvente med bibliometribaseret ressourcefordeling!!! Så åbenbart bliver det sådan hinsidan fra 2010.
Så får vi se, se, hvordan det bliver her. Og hvornår."

Jeg kan tilføje, at Ulf Sandström (som bl.a. er konsulent på bibliometriske analyser og bestemt ikke afviser disse som fordelingsredskab) på sin svenske blok om forskningspolitik har supplerende, og ofte ret tekniske kommentarer til striden.

onsdag den 14. oktober 2009

Gøres indikatorer automatisk til incitamenter?

Jeg vil tage tråden op om den bibliometriske forskningsindikator, som Leif Hansens inlæg satte spørgsmålstegn ved. Efter at have sammenfattet faggruppernes forbehold i et notat (som kan læses her), har jeg modtaget en række interessante kommentarer som fortjener at blive viderebragt. Jeg vil tage lidt ad gangen. Lars Geer Hammershøj som er lektor på Institut for Pædagogik på DPU, skriver til en liste på Humanistisk Forum:

"Jeg mener at hovedindvendingen mod at anvende den bibliometriske forskningsindikator til fordeling af forskningsmidler er klar og simpel. Problemet er, at man herved gør en forskningsindikator til en incitamentstruktur for forskere og forskningsinstitutioner. Det er en alvorlig kortslutning, for herved gøres det der egentlig er en afledt effekt af forskningen - nemlig publiceringen - til målet i sig selv frem for bestræbelsen på at forske. Bibliometrien kan i flere eller bestemte tilfælde formentlig være en udmærket indikator for forskningen, men kun så længe forskingen er målet. Så snart der der oprettes incitamentstrukturer, der belønner publicering, forskydes målet væk fra bestræbelsen på at forske til bestræbelsen på at publicere. Herved transformeres bibliometrien paradoksalt nok fra at være en indikator på forskning til at blive en inddikator på viljen til at publicere.
Problemet er kort sagt, at når bibliometrien bruges til fordelingen af midler, så øger man incitamentet til at publicere på bekostning af incitamentet til at forske. Man hører allerede fra nogle af vor kolleger ved sektorforskingsinstitutioner, hvor man allerede opererer med lignende principper for forskningsindikatorer som incitamentstrukturer, at de i høj grad bliver opmærksomme på at 'koge så meget suppe' som muligt på deres forskingsresultater i form af at tænke så mange publicerede artikler som muligt, fremfor at offentliggøre resultaterne mere koncentrert og så måske bruge resten af tiden til at forske videre. Endvidere vil tendensen antagelig være, at man i højere grad forsker i eller opfordres til at forske i det, der med stor sandsynlighed vil kunne publiceres i de mest 'givende' tidsskrifter osv.. Godt nok er det stadig en begrænset del af forskingsmidlerne der fordeles efter forskingsindikator-princippet, men det er de midler der kan skrues op og ned for, hvorfor de uundgåeligt vil være i fokus, om ikke andet så for ens ledelse.
For mig at se er incitamentstrukturer som denne derfor på sigt dybt skadelig for forskingen. At det oven i købet er rektorforeningen der selv har været med til at foreslå at en øget del forskingsmidlerne skulle fordeles efter dette princip er mig uforståeligt."

Og så har Jesper Eckhardt Larsen, som er adjunkt i uddannelseshistorie på DPU, har gjort mig opmærksom på den brandaktuelle artikel "Evidence-based science policy and the systematic miscounting of performance in the humanities" af Aant Elzinga, som kan ses på denne interessante blog her.

mandag den 12. oktober 2009

Hvorfor er en humanistisk artikel mere værd end en sundhedsvidenskabelig?

af Leif Hansen

I den kommende model til fordeling af de nye basisforskningsmidler, er en af intentionerne, som det har været udtrykt af ministeriet, at modellen skal stimulere og tilgodese forskningskvalitet og effektivitet.
Man har derfor udvidet den såkaldte 50-40-10-model med en ny indikator, den bibliometriske, der skal udløse point og dermed penge i fordelingsmodellen ud fra universiteternes forskningsaktivitet. Når modellen er indført endeligt i 2012 indeholder den altså 4 indikatorer, hvor universiteternes andel af uddannelsesmidler på basis af STÅ-produktion udløser 45%, deres evne til at tiltrække eksterne forskningsmidler udløser 20%, andelen af producerede ph.d. kandidater 10 % og endelig udløser den bibliometriske indikator 25%.
For at stimulere forskningskvaliteten besluttede man at opdele de pointudløsende publiceringskanaler – tidsskrifter og forlag – i en 80-20 fordeling, hvor de 20% omfatter de mest prestigefyldte publiceringskanaler, der derfor også udløser flere point end publicering indenfor de 80%.
Arbejdet med denne opdeling har ikke været problemløs, og man har da også i første omgang opgivet en opdeling af forlagene efter 80-20 mønstret. Og for tidsskrifternes vedkommende har det for mange af de faggrupper, der har arbejdet med opdelingen skabt en del vanskeligheder at gennemføre arbejdet.
Alt dette har været diskuteret meget på denne blog og i mindre grad i offentligheden. Hvad der er gået mere upåagtet hen er en beslutning om at de midler den bibliometriske indikator skal udløse først skal fordeles mellem de 4 store hovedområder, HUM, SAM, TEK/NAT og SUND, inden indikatoren bruges til at fordele midlerne mellem universiteterne indenfor det enkelte hovedområde.
Hvorledes dette er kommet i stand er ikke klart, men i et notat fra Danske Universiteter fra 28.8 i år ('Hvad skal tælle når forskningsresultater skal måles') kan man læse: "Danske Universiteter har ønsket en model, hvor bibliometrien ikke må leder til en refordeling af forskningsmidler mellem hovedområderne/fakulteterne og det ønske, har politikerne imødekommet." Det ser således ud som om det er universiteterne selv eller deres rektorer, der rejst og fået gennemført dette ønske.
Det er umiddelbart svært at forstå, hvorledes det kan være vigtigt at tage dette hensyn i forbindelse med denne enkelte indikator, når det samme ikke gælder for de øvrige indikatorer. Alene det forhold, at man med introduktionen af den bibliometriske indikator i den tidligere 50-40-10-model har ændret på de forskellige indikatorers vægt, har i sig selv sådanne konsekvenser, altså en omfordeling mellem hovedområderne.
Problemet er blot at rektorernes ønske invaliderer intentionen med modellen. Den bliver nu konserverende og udynamisk, idet intentionen er, at tidligere tiders fordeling af basisforskningsmidlerne skal være grundlaget for fordelingen mellem hovedområderne af de 25% af midlerne som den bibliometriske indikator skal udløse. Nu kunne man sige, at det vel ikke er et problem at en budgetmodel er konserverende og udynamisk, selvom det forekommer ejendommeligt, at indføre en ny budgetteringsmodel, hvis man ikke ønsker, at det skal medføre nogle ændringer.
Imidlertid har en sådan opdeling nogle højst bizarre effekter, som formodentlig er utilsigtede. Det er uklart hvorledes fordelingen af basisforskningsmidlerne på hovedområder skal opgøres præcist, da det næppe er muligt alene at opgøre universiteternes anvendelse af basisforskningsmidler på en ensartet måde, men hvis vi lige ser bort fra den teknikalitet, så er konsekvensen ganske interessant. Da man ikke kan forvente at fordelingen af basisforskningsmidlerne mellem de fire hovedområder er den samme som fordelingen af publiceringspointene, får man den effekt, at den budgetmæssige værdi af et publikationspoint er forskellig fra hovedområde til hovedområde.
Dette betyder at hovedområder, der har en større andel af publikationspoint end af basisforskningsmidler får en mindre bevilling pr. publikationspoint end hovedområder, der har en mindre andel af publikationspoint end af basisforskningsmidler. Dette kan illustreres som gjort i tabellen nedenfor.

Tabellen angiver et eksempel, der næppe ligger langt fra virkeligheden. Tallene baserer sig på Universitets- og Byggestyrelsens oplysninger om fordelingen af forskningsmidler og på fordelingen af publiceringspoint for 2008, således som billedet tegnede sig ved første opgørelse i marts 2009. Der er netop foretaget en ny opgørelse af publikationspoint, hvor jeg forventer at billedet generelt er det samme, men måske lidt værre for SUND, da især KU manglede at indrapportere væsentlige dele af deres SUND forskning ved opgørelsen i marts.
Konsekvensen er klar: en hovedområdeopdeling på basis af tidligere andel af basisforskningsmidler fører til en forskellig værdi af det enkelte publikationspoint mellem hovedområderne.
Man kan også udtrykke konsekvensen således: de mest publikationseffektive eller omkostningseffektive pr. publikation får mindst gavn af modellen og omvendt.
Dette kan næppe være hensigten med en model, der skal tilgodese og stimulere forskningskvalitet og effektivitet.
Og hvad værre er, så mister modellen nemt sin legitimitet, når det går op for forskerverdenen, at det er mere profitabelt at publicere i et humanistisk eller teknisk/naturvidenskabelig tidsskrift end i et samfunds- eller sundhedsvidenskabeligt tidsskrift. Efter lange og vanskelige diskussioner om ranking af tidsskrifter og om hvor mange point en artikel skal udløse, hvor pointen jo var at en artikel i et niveau 2 (eller 1) tidsskrift skulle udløse det samme antal point uanset fagområde, får man så nu det modsatte resultat.
Som sagt kan dette ikke have været tilsigtet, for man kan jo ikke forestille sig at Danske Universiteter og rektorerne i styregruppen for hele bibliometriprojektet (KU, AU og SDU) har været klar over at dette var konsekvensen. Derfor må man også gå ud fra at dette bliver ændret inden modellen sættes i værk, men man kan jo godt tvivle. Det er 1½ måned siden ministeriet og DU blev gjort opmærksom på problemet uden at det har medført nogen reaktion. Måske kan lidt offentlig debat hjælpe?

Leif Hansen er chefkonsulent på Copenhagen Business School