søndag den 19. juni 2011

Satse på kvalitet eller satse på rangliste-position?

I artiklen "Review of University Rankings Offers a Comprehensive Critique of the Process" af Aisha Labi (The Chronicle of Higher Education, 17. juni, 2011) omtales en ny rapport om den stigende betydning af anvendelsen de årlige hitlister over universiteter, Global University Rankings and Their Impact (kan hentes her).

Rapporten, som er bestilt af organisationen European University Association (EUA) der omfatter 850 universiteter i 47 lande, er EUAs første nålestiksoperation ind i et meget kontroversielt felt. EUAs medlemsuniversiteter udtrykte behov for en guide til at finde ud af hvad der er op og ned i de mange forskellige rankings, der efterhånden er på markedet, og en af de ting, rapporten peger på, er at der kommer flere, og mere specialiserede ranglister de kommende år. Den danske formand for det tidligere rektorkollegium (nu "Danske Universiteter", rettelig: Danske Universitetsledere) Jens Oddershede er med i EUA-redaktionsgruppen for rapporten.

Rapporten ser på de mest kendte rankings - det er: Shanghai Academic Ranking of World Universities (ARWU); Times Higher Education World University Ranking (Times Higher Education, nu i samarbejde med Thomson Reuters); World’s Best Universities Ranking – US News & World Report i samarbejde med Quacquarelli Symonds, US; den russiske Global Universities Ranking, Reitor; Europakommissionens EU University-Based Research Assessment, AUBR Working Group; den hollandske Leiden Ranking, Leiden University; den taiwanesiske Performance Rankings of Scientific Papers for World Universities, Higher Education Accreditation and Evaluation Council; og seks yderligere mindre kendte ranking-virksomheders lister. Hensigten i rapporten er ikke at ranke disse!

Rapporten finder, at rankings især er dårlige til at sige noget om uddannelsernes kvalitet når universiteterne skal sammenlignes, fx af kommende studerende, bl.a. fordi der er så stort et fokus på forskningssiden:
"The report confirms that most international rankings focus predominantly on indicators related to the research function of universities. Attempts to measure the quality of teaching and learning generally involve the use of proxies, often with a very indirect link to the teaching process, and are rarely effective. The importance of links to external stakeholders and environments are largely ignored. Where existing data is used, it is often not used consistently, and reputational factors have in many cases disproportional importance. Taken together, this leads to an oversimplified picture of institutional mission, quality and performance, and one that lacks relevance for the large majority of institutions, especially at a time when diversification and individual institutional profiling are high on agendas across Europe." (p. 7).
Om de begrænsede fordele hedder det,
"the arrival of global rankings over the last few years has focused considerable attention on higher education, and put the spotlight on universities that are increasingly being compared nationally and internationally. Rankings have certainly helped to foster greater accountability and increased pressure to improve management practices. They have encouraged the collection of more reliable data and in some countries have been used to argue for further investment in higher education. Although it is said they can be used to guide consumer choice, there is little convincing evidence that they do so (except in Asia or via the CHE Ranking in Germany)." (p. 8)
Selvom rankings ifølge rapporten både har fordele og ulemper, kan ulemperne ikke opvejes af fordelene:
"at present it would be difficult to argue that the benefits offered by the information they provide, given the lack of transparency that we have observed, are greater than the ‘unwanted consequences of rankings’. For there is a danger that time invested by universities in collecting and using data and statistics in order to improve their performance in the rankings may detract from efforts to progress in other areas such as teaching and learning or community involvement."
Rapporten peger også på, at værdierne for de tal, der indgår i de enkelte listers indikatorer kan manipuleres (og giver en række eksempler, alene af den grund vil den sikkert læses med stor grundighed af de enkelte universitetssekretariater), og endelig peges på det helt generelle problem ved udefra påførte indikatorer optrædende som incitamenter, at indikatorerne ikke forbliver eksterne i forhold til det, de måler, men selv bliver en del af og ændrer systemet (som vi før har omtalt her). Med rapportens ord:
"In an attempt to improve their positions in the rankings, universities are strongly tempted to improve their performance specifically in those areas which are measured by ranking indicators." (p. 15)
Endelig peges på det absurde i fænomener som "top-500" lister over verdensklasse-universiteter: Der er måske omkring 16.000 universiteter i verden med meget forskellige opgaver og profiler, men der vil altid være plads til kun 500 på en sådan 'global league'-tabel. Den vil intet kunne sige om generelle kvalitetsløft over en længere periode, eller hvor godt et lokalt universitet er i forhold til lokale og nationale formål. Kun et fåtal af universiteter er anlagt med den hensigt at kunne det samme, som de tunge forskningsuniversiteter som Stanford, Oxford og Cambridge kan.

Bortset fra de nævnte overordnede pointer rummer rapporten et væld af interessant information om den besynderlige sport det er at reducere kvalitet og mangfoldighed til numre på en lineær skala (ufortalt, at der selvfølgeligt også gennemgås mere sofistikerede forsøg på at repræsentere mangfoldigheden, såsom The European Multidimensional University Ranking System, "U-Multirank"). Det er altsammen noget, de store ranking-firmaer med mere eller mindre held spinder guld på. Verden vil bedrages, og politikere vil stadig efterspørge tal, flere tal og flere tal om tal. Hvis tale er sølv, er tal blevet guld, og meta-tal åbenbart Gud.

Ingen kommentarer: