oVer de grensBenchmarking in bibliothekenhoger onderwijs in NederlandHenk Voorbij, Koninklijke Bibliotheeek NederlandNederland telt dertien universiteitsbibliotheken. Samen met de Koninklijke Bibliotheek zijn zijverenigd in het samenwerkingsverband UKB. Sinds het jaar 2000 participeren deze dertienbibliotheken in een benchmarkingproject.Jaarlijks worden gegevens verzameld engeanalyseerd en de bevindingen gerapporteerd.De hogeschoolbibliotheken zijnin 2005 gestart met een vergelijkbaarproject, waaraan op dit moment achttienvan de 33 instellingen, die tezamenhet Samenwerkingsverband HogeschoolBibliotheken vormen, deelnemen.Beide typen bibliotheken beschikkenover een op maat gesneden vragenlijst.Deze bestrijkt gegevens over de moederinstelling(zoals het aantal studenten),middelen (zoals uitgaven aan collecties),aanbod (zoals het aantal e-journals, openingsuren),processen (zoals snelheid vande boekverwerking) en gebruik (zoalshet aantal geraadpleegde artikelen inScience Direct). Hoewel tegenwoordigaspecten als waarde, impact en outcomesveel aandacht krijgen, zijn hier noggeen geschikte maten voor ontwikkeld.Aanvankelijk maakten ook twee korte vragenlijsten,gericht op het gedrag en deervaringen van leden van de doelgroep,deel uit van het instrument. Helaas zijndeze nooit toegepast en al weer snel vanhet toneel verdwenen. De universiteitsbibliothekenvullen de gegevens in op eenExcelformulier, de hogeschoolbibliothekengebruiken daarvoor een wiki.Om de uitkomsten onderling te vergelijken,worden de ruwe gegevens omgezetin indicatoren. Voorbeelden zijn het percentagecollectie-uitgaven op de totaleuitgaven van de bibliotheek (bijvoorbeeld30,5 procent) of het aantal uitleningenper capita (bijvoorbeeld 6,14 procent).Zo worden voor elke bibliotheek 14waarden berekend. Door de eigen scoreste vergelijken met die van anderen krijgteen bibliotheek inzicht in haar sterke enzwakke punten. Deze komen grafisch fraaitot uiting wanneer alle waarden omgezetworden in relatieve scores: de positie tenopzichte van de mediaan. Wanneer bijvoorbeeldbij de gemiddelde bibliotheek3,77 uitleningen per capita voorkomen,heeft de bibliotheek uit het voorbeeld eenrelatieve score van (6,14 / 3,77) x 100 =163. De interpretatie is eenvoudig: eenscore boven 100 is bovengemiddeld, eenscore onder 100 benedengemiddeld.Vergelijking van resultaten is pas zinvol alsde gegevens betrouwbaar zijn. Daarom iseen uitgebreide handleiding vervaardigddie ingaat op definities en meetmethodenvan alle gevraagde gegevens. Hoemeet je de doorlooptijd van de boekverwerking?Hoe bepaal je de hoogte vanoverheadkosten, zoals schoonmaak enbeveiliging, indien die verborgen zijn inde jaarrekening van de moederinstelling?Reken je, bij de telling van het aantalelektronische tijdschriften, links naargratis e-journals mee? Is het aantal uitleningeninclusief of exclusief verlengingen,reserveringen of IBL-honoreringen? Ookvindt, voorafgaand aan de analyse vande aangeleverde cijfers, altijd eerst eenbetrouwbaarheidscontrole plaats. Wijkthet opgegeven cijfer sterk af van dat vanhet vorige jaar of dat van vergelijkbarebibliotheken? Deze controle leidt vaaktot een aantal correcties of toelichtingen.Vergelijking van resultaten staat opgespannen voet met de eigen aard vanelke instelling. Zo heeft Nederland viergrote klassieke universiteitsbibliotheken,maar ook vier op bètawetenschappengerichte bibliotheken; bibliothekenwaarbij bijzondere collecties een groot ofklein aandeel hebben; universiteiten meten zonder academisch ziekenhuis. Ookbij de hogeschoolbibliotheken zijn groteverschillen. De omvang, afgemeten aanhet aantal studenten, varieert van 1300tot 42.000. Bij per capita indicatoren zijnkleinere instellingen altijd in het voordeel:voor een kleine doelgroep zijn al aanzienlijkebasisvoorzieningen vereist, naarmatede doelgroep groter wordt, speelt hetprincipe van economy of scale een steedsgrotere rol. Bibliotheken zullen daaromgeneigd zijn hun resultaten met name tevergelijken met die van hun ‘peers’.Een verschijnsel van de laatste jaren isdat bibliotheken steeds meer onderdeelworden van een groter geheel. Zois de bibliotheek van de Universiteitvan Tilburg in 2007 samengegaan methet Rekencentrum en het AudiovisueelCentrum. Het is daarom niet langer mogelijkom de kosten van de bibliotheekafzonderlijk te berekenen.In de benchmarkingfilosofie is het verzamelenen vergelijken van gegevensslechts een eerste stap. Het uiteindelijkedoel is het eigen functioneren teverbeteren door gebruik te maken vande inzichten van bibliotheken die opeen bepaald onderdeel een beter resultaatboeken. Een tweede stap is daaromhet achterhalen van de wijze waarop zijdit resultaat bereikt hebben. Sommigeonderdelen lenen zich daartoe gemakkelijkerdan andere. Zo kan het gebruik vanelektronische bronnen sterk beïnvloedworden door de manier waarop de websiteis ingericht en wordt gepresenteerd.Wellicht komt een bibliotheek, na bestuderingvan de website van bibliothekenmet hoge gebruikscijfers, tot de conclusiedat de eigen website tekort schiet. Ookeen aspect als doorlooptijd van de boekverwerkingleent zich sterk voor verbeteringdoor vergelijking met, in dit opzicht,vooraanstaande bibliotheken.32 | <strong>META</strong> <strong>2012</strong> | 6
oVer de grensJaarlijks vindt overleg plaats met de coördinatorenvan alle bibliotheken. Dit leidttot aanscherping van de handleiding enaanpassing van het instrument om in depas te blijven lopen met recente ontwikkelingen.Sinds enkele jaren worden erbijvoorbeeld gegevens verzameld overrepositories. De aanlevering verlooptsoms nog moeizaam, maar het uiteindelijkedoel is per instelling een dekkingspercentagete berekenen: hoeveel van dedoor de facultaire medewerkers vervaardigdepublicaties is full text toegankelijkvia de repository?Hoewel het instrument jaarlijks enkeleaanpassingen ondergaat, blijft het merendeelongewijzigd. Daarom is ook een vergelijkingvan jaar tot jaar mogelijk, zowelvoor bibliotheken afzonderlijk als voor hetsamenwerkingsverband als geheel. Uiteen meerjarenvergelijking kan naar vorenkomen dat een bibliotheek haar prestatiesop een bepaald onderdeel verbeterdheeft, maar tevens een relatieve achteruitgangvertoont omdat andere bibliothekenzich nog sterker verbeterd hebben.Uit de analyse van de UKB-bibliothekenals geheel tussen de jaren 2007 en 2010kwam onder meer naar voren dat het aantalraadplegingen van artikelen in ScienceDirect met 51 procent gestegen is, terwijlhet aantal boekuitleningen gedaald is met17 procent.“ELK ZICHZELF RESPECTEREND LAND ZOU OVERBETROUWBARE BASALE BIBLIOTHEEKGEGEVENSMOETEN BESCHIKKEN.”indiCator 10. aantal uitleningen / oMVang doelgroepBibl 9.1. Uitleningen 1.4. OmvangdoelgroepAantal uitleningen / omvang doelgroepUitleningen /omvang doelgroepScoretov mediaanA 280.478 36.347 7,72 205B 244.512 30.919 7,91 210C 233.036 22.518 10,35 274D 242.795 35.110 6,92 183E 109.256 28.962 3,77 100F 55.735 16.834 3,31 88G 142.666 23.246 6,14 163H 74.193 24.521 3,03 80I 46.332 14.413 3,21 85J 67.395 20.274 3,32 88K 39.412 9.726 4,05 107L 28.797 11.421 2,52 67M 26.143 8.245 3,17 84Minimum 2,52Maximum 10,35Gemiddelde 5,03Mediaan 3,77Strikt genomen zijn dit statistische gegevensdie los staan van de benchmarkinggedachte.Zij zijn echter niet minder waardevol.Elk zichzelf respecterend land zouover betrouwbare basale bibliotheekgegevensmoeten beschikken. Alleen aldaarom is het van belang door te gaanmet het verzamelen en analyseren vanstatistische gegevens.> Meer informatie:http://www.ukb.nl/activiteiten/benchmarking.htmlhttp://www.shb-online.nl/index.php?option=com_content&task=view&id=44&itemid=63Figuur 1. Ruwe gegevens, indicator en relatieve scores.BenChMarKing<strong>META</strong> <strong>2012</strong> | 6 | 33