En bibliometrisk jämförelse mellan LTU och vissa andra svenska ...

En bibliometrisk jämförelse mellan LTU och vissa andra svenska och
europeiska universitet.
Terje Höiseth, överbibliotekarie, LTU.
Bibliometri har de senaste åren fått en allt större uppmärksamhet inom den nordisk
universitets- och högskolevärlden. Detta nyvakna intresse för en disciplin som tidigare enbart
intresserade biblioteksvärlden och enstaka forskara inom informationsvetenskaperna (i
Sverige exempelvis Olle Persson (http://www8.umu.se/soc/personal/persson_olle.htm) i
Umeå) skyldes i stor grad att statsmakterna den senare tiden har letat kvantitativa mått för att
automatfördela vissa delar av forskningsanslagen. I Norge och Danmark har man valt samma
modell där man premierar publicering direkt med olik vikt på vissa tidskrifter, konferenser
och böcker, medan man i Sverige även tar in citeringar i en ganska komplicerat algoritmisk
analys.
Effekten av fördelningsbeslutet kommer självklart att bli ett ökat intresse för publicering och
även ett behov för att veta hur det egna universitetet står sig i förhållande till jämförbara
institutioner. Som ett litet bidrag till detta har jag gjort en mycket begränsat studie där jag
jämför tillgängliga siffror för 6 olika universitet i Sverige och Europa. Källan för
undersökningen är Scopus (http://www.scopus.com/scopus/home.url ) som förutom själva
publiceringsinformationen även innehåller möjligheter för citeringsanalyser.
Det finns i princip två kommersiella källor för citeringsanalyser på marknaden idag, förutom
Scopus finns även Web of Science (http://isiknowledge.com/wos) med anor tillbaka till 1961.
Ett gratis alternativ är Google Scholar, men det finns fortfarande en del brister och
frågetecken om sökmöjligheter och urval som gör att det för tillfället känns tryggare att
använda någon av de kommersiella databaserna.
Ingen av de två källorna ger någon som helst fullständighet i publiceringen på universitetet
eller högskolan. De tester vi har gjort visar att Scopus är ”bättre” för LTU än Web of Science,
det är en större andel av LTUs totala publicering som återfinns i Scopus än i WoS. Den totala
bilden finns enbart i universitetets lokala repository (för LTU PURE), och det är här grunden
för fördelning av forskningsmedel skiljer sig markant mellan Norge-Danmark och Sverige. I
våra grannländer bygger fördelningen på analyser av inrapporteringar från de lokala
repositories, medan man i Sverige litar på en kommersiell aktör (WoS). Här gynnas främst
medicin och till viss del naturvetenskap, medan nästan alla andra områden missgynnas. För
LTUs del innebär fokuseringen på WoS självklart en nackdel.
Tittar man på LTU-publikationer i Scopus, WoS och jämför med vad som är lagt in i PURE
begränsat till Peer-rewied artikel och peer-rewied konferensbidrag får vi följande intressanta
tabell:

Scopus WoS PURE
2000 242 208 507
2001 232 225 469
2002 226 229 498
2003 300 242 576
2004 288 228 573
2005 308 231 694
2006 357 238 711
2007 380 299 730
2008 379 274 741
Tabell 1. Jämförelse Scopus WoS.
En förklaring till den stora skillnaden mellan källorna de senaste åren kan vara att WoS inte
tar med konferensbidrag, något som för vissa områden är ytterst central vetenskaplig
kommunikation. Vad vi kan observera och som är värre, är att drygt hälften av de
kvalitetsgranskade publikationerna från LTU varje år inte kommer med i de två ända
citeringsdatabaser som finns kommersiellt tillgängliga och som till dels kommer att läggas till
grund för fördelning av forskningsmedel. I nuläget har jag inte tillgång till siffror för KTH
och Chalmers när det gäller motsvarande förhållanden, men en naturlig fortsättning av denna
undersökning är självklart att titta närmare på detta.
Antal publikationer.
Antal publikationer som publiceras på ett lärosäte är självklart i stor grad beroende av antal
forskare som är aktive på platsen, men även mixen av ämnen har stor betydelse. Det finns
olika publiceringstraditioner mellan vetenskapsområden, och även inom ämnen kan det
existera stora skillnader grundat på ämnets karaktär. Jag har valt att förutom LTU, Chalmers
och KTH ta med Hamburg-Harburg, Delft och L’Aquila i denna studie. När det gäller antal
publikationer per år från varje lärosäte ser utfallet ut på detta sätt:
LTU CTH KTH Delft Hamburg L'Aquila
2000 242 1219 1259 1428 144 508
2001 232 1059 1233 1422 215 500
2002 226 1123 1161 1539 165 515
2003 300 1318 1389 1741 213 673
2004 288 1434 1602 2229 215 726
2005 308 1480 1731 2493 330 673
2006 357 1447 1942 2496 301 701
2007 380 1326 1969 2721 324 718
2008 379 1189 1724 2512 291 719
Tabell 2. Antal publikationer.

De mest anmärkningsvärde med denna tabell är egentligen att Chalmers inte har ökat sitt
publicerande alls under tidsperioden, medan för LTU noterar vi en ökning på väl 50% och
Hamburg på 100, men båda från ganska låga nivåer. Delft har en mycket stor ökning (75%)
och verkar vara ett universitet i växt.
Det vore självklart intressant att titta på antal publikationer producerat på lärosätet i
förhållande till antal anställda forskare/lärare, men det finns en del svårigheter med detta om
man vill göra rättvisa jämförelser. För det första måste man rensa båda bland anställda och
bland publikationerna för att få något så när samma sammansättning av ämnen på alla ställen.
Exempelvis har LTU en del humaniora och samhällsvetenskap som inte finns på Chalmers
och KTH, dessutom är det ett ganska stort arbete att ta fram uppgifter om detta, speciellt för
de utländska universiteten.
För att ge en liten fingervisning hur det kan se ut har jag tagit fram siffror på anställda i SCBs
statistik för 2007 når det gäller forskande och undervisande personal vid LTU, CTH och
KTH. Här kan man se att LTU har en betydande större andel adjunkter än övriga, något som
ger utslag på produktionen av vetenskapliga artiklar. Jämförelsen ser i alla fall för 2007 ut så
här:
2007
Antal anställda Publ/anställd
LTU 603 0,63
CTH 749 1,59
KTH 1200 1,64
Tabell 3 Publikationer per anställd.
Om vi räknar bort adjunkterna i dessa siffror kommer LTU ut med 1,07 publikationer per
anställd, CTH med 1,77, medan KTH har 2,05. Något bättre men inte alls bra jämfört med
våra konkurrenter.
Citeringar.
Citeringsanalyser är sedan 1960-talet en metod som används för att försöka kvantifiera
kvalitet på forskningsartiklar. Dess fler citeringar en artikel får, dess högre kvalitet var teorin.
Mannen bak tillkomsten av citeringsindexen var Eugene Garfield
(http://www.garfield.library.upenn.edu/) som grundade ISI, Institute for Scientific
Information som började ge ut Web of Science, och som är en av de stora namnen inom denna
bransch.

Indexen har använts olika genom åren, bland annat vid anställningsförfaranden vid speciellt
amerikanska universitet. Nu är det alltså aktuellt igen, denna gången för att fördela
forskningsanslag till svenska universitet och högskolor. Mängden citeringar har självklart ett
samband med antal publikationer, och för våra universitet ser det ut så här:
LTU CTH KTH Delft Hamburg L'Aquila
2000 2175 16806 15810 21291 1370 7545
2001 2538 12153 16608 19773 1595 5696
2002 2644 12255 13133 15277 1490 4804
2003 2348 13163 13828 19890 1565 7624
2004 1310 9199 11123 15631 1595 5636
2005 1235 6728 7374 12286 1579 3776
2006 739 4777 5884 7994 816 2939
2007 493 2073 3254 4405 323 1455
2008 84 478 542 854 65 303
Tabell 4. Totalt antal citeringar per 900301
Tabellen ger alltså antal citeringar totalt fram till nu av artiklar som är publicerade rubricerade
år. Det mest anmärkningsvärda med denna tabell är inte att de stora universiteten med många
publicerade artiklar har många citeringar, men att det tar 7-8 år för en artikel når sin
”citeringspeak”. Lägg därtill att många artiklar kan vara nästan 3 år gamla för de publiceras,
så förstår man att för många vetenskapsområden fungerar inte den traditionella
publiceringsformen särskilt väl som kommunikationsverktyg.
Tabell 4 ger absoluta siffror på antal citeringar, men om vi nu tittar på antal citeringar per
artikel, hur ser det då ut? Alltså finns det någon signifikant skillnad mellan att citera ett paper
från Delft kontra ett motsvarande från LTU?
Detta ser ut så här:
LTU CTH KTH Delft Hamburg L'Aquila
2000 8,99 13,79 12,56 14,91 9,51 14,85
2001 10,94 11,48 13,47 13,91 7,42 11,39
2002 11,70 10,91 11,31 9,93 9,03 9,33
2003 7,83 9,99 9,96 11,42 7,35 11,33
2004 4,55 6,41 6,94 7,01 7,42 7,76
2005 4,01 4,55 4,26 4,93 4,78 5,61
2006 2,07 3,30 3,03 3,20 2,71 4,19
2007 1,30 1,56 1,65 1,62 1,00 2,03
2008 0,22 0,40 0,31 0,34 0,22 0,42
Tabell5. Citeringar per artikel.

16,00
14,00
12,00
10,00
8,00
6,00
4,00
2,00
0,00
Citeringar per artikel
2000 2001 2002 2003 2004 2005 2006 2007 2008
LTU
CTH
KTH
Delft
Hamburg
L'Aquila
Det man kan observera här, bort sätt från den vanliga tidsmässiga eftersläpningen, är att det
inte finns något klart mönster i att ”störst är bäst”. Det finns till och med år där LTU ligger på
första platsen i denna högst speciella rankning.
Konklusionen är att när det först kommer en publikation från ett mindre universitet är chansen
för att bli citerat nästan lika stor för denna som för en artikel från ett stort universitet.
Jag gör uppmärksam på att antal citeringar i undersökningen inte är korrigerat för
självciteringar. Detta är möjligt att göra, men i och med att Scopus har begränsningar på hur
många requests av denna typ man får göra per dag skulle det ta flera veckor att genomföra
detta. I en ny version av undersökningen kan man eventuellt korrigera för detta.
H-index.
H-index har blivit ett allmänt accepterat mått på hur bra en forskare är på sin publicering.
Definitionen av H-index är ganska enkel: En forskare har en H-index h om h av hans N
publikationer är citerat minst h gånger och resterande N-h publikationer är citerat mindre än h
gånger var. En forskare med index h har alltså publicerat h antal papers som var och en har
citerats minst h gånger.
Det man kan säga om H-indexen som mått är att den båda avspeglar kvantitet (fler
publiceringar ökar chansen för högre H-index) och om antal citeringar avspeglar kvalitet
också kan sägas bli ett mått på detta. En översikt över H-index för våra jämförbara universitet
ger följande tabell:

LTU CTH KTH Delft Hamburg L'Aquila
2000 21 59 49 58 19 41
2001 23 47 49 58 20 34
2002 23 44 47 51 19 32
2003 23 47 43 58 19 39
2004 17 38 39 45 20 31
2005 15 31 28 41 18 24
2006 10 24 22 28 12 24
2007 8 15 17 22 8 14
2008 4 7 6 8 3 6
Tabell 6. H-index.
Tabellen innehåller inga stora överraskningar. I och med att det ligger i H-indexens definition
att ”big is beautiful” har självklart de största institutionerna högst H-index, och vi ser också
här tydlig tidsfaktorns betydelse. Publikationer efter 2004 har en snabbt sjunkande H-index.
H-index är alltså inget bra mått att använda när man ska undersöka universitet och högskolors
totala produktion över tid, då ett lite universitet aldrig kan uppnå en så hög H-index som ett
stort. För de enskilda forskarna går det självklart att jämföra H-index, speciellt om de är
verksamma inom samma forskningsområde och har ungefär samma längd på sin
forskarkarriär. Men som med alla försök på att hitta objektiva mått på att mäta kvalitet i
forskning måste detta användas på ett ganska kritiskt sätt.
Som konklusion kan man utifrån de siffror som är tillgängliga se att LTU har en lägre
publiceringsgrad än i alla fall KTH och CTH. För övriga europeiska universitet är det svårt att
dra den konklusionen, då jag i denna omgång inte har relaterat deras siffror till antal
forskare/lärare. Benegenheten att citera artiklar från LTU är inte signifikant lägre än övriga,
vissa år är den faktisk högre. Ett sätt att öka antal citeringar är att göra sin publikation
tillgänglig i full text på nätet. Flera undersökningar som exempelvis Norris (2008)(
https://dspace.lboro.ac.uk/dspace-jspui/handle/2134/4089) avhandling från Loughborough
University visar en tydlig tendens att artiklar fritt tillgängliga i full text tenderar att citeras
oftare än artiklar som enbart är tillgängliga via bibliotekens licensavtal. De flesta förlag
tillåter nu parallell publicering av tidskriftsartiklar på universitetets domän, och regler för
detta finns tillgängliga här (http://www.sherpa.ac.uk/romeo/ ).
Bibliometri är ingen exakt vetenskap. Ibland är det som att jämföra äpplen och päron,
speciellt när man lyfter upp jämförelser på universitetsnivå. Resultaten får därför hanteras
med försiktighet. Det finns nu uppenbara risker för att vi kommer att få se en större grad av
taktisk publicerande, det gäller att öka antal publiceringar (skriva fler artiklar utifrån samma
projekt) och vara mer uppmärksam på att publicera sig i tidskrifter som förtecknas i de store
index-publikationerna. Som jag tidigare har påpekat ökar citeringsgraden om vi ser till att
fulltexten är fritt tillgänglig på webben!