7. De keuze van een elektronische leeromgeving

ICT in het hoger onderwijs 997. De keuze van een elektronische leeromgevingMarja Verstelle, Bas de la Parra en Peter SloepBegin 2002 hebben verreweg de meeste instellingen voor hoger onderwijs één ofmeerdere leermanagementsystemen in gebruik (Droste e.a., 2001). Toch is er voldoendereden om nog in te gaan op de keuzeproblematiek. Een instellingsbredeimplementatie is er op 28% van de instellingen. De overige instellingen verkerenin de pilotfase of hebben op één faculteit een bepaalde ELO faculteitsbreed ingevoerd.Vroeg of laat staat men in deze onderwijsinstellingen voor de keuze of menéén systeem voor de hele instelling verkiest of niet en zo ja voor welk systeemmen kiest. Op basis van welke informatie en argumenten, en via welk proces komtmen dan tot een beslissing? Dit hoofdstuk biedt een handreiking bij het opstartenvan een keuzetraject. Tegelijkertijd geeft het hoofdstuk u een beeld van mogelijkekwaliteitscriteria voor ELO’s. Ook al heeft uw instelling al gekozen voor een ELOkrijgt u te maken met de vraag of een nieuwe versie van de ELO met nieuwe mogelijkhedenmoet worden aangeschaft. En tenslotte kan er een moment komen datu een andere, meer effectieve ELO wilt gaan gebruiken.De lezer vindt in dit hoofdstuk geen productvergelijkingen. Daarvoor zijn bronnente raadplegen van onderzoekers die regelmatig ELO’s en hun nieuwe versies gedetailleerdtesten en vergelijken. Bij een bekend Amerikaans onderzoeksteam (Hall,2000) zijn vier medewerkers meer dan 5 maanden fulltime bezig met het verzamelenvan gegevens en het maken van de productbeschrijvingen. Voor het in het Nederlandsehoger onderwijs doet het CINOP onderzoek in opdracht van SURF(Droste, 2000). Met de voorbereiding, uitvoering en beschrijving van de testresultatenzijn per ELO twee medewerkers ieder circa een week fulltime bezig. Wepretenderen in dit hoofdstuk dus niet om dit te evenaren. Zinvoller is het om in tegaan op de vraag wat de lezer aan de verschillende productvergelijkingen kanhebben; paragraaf 7.1 gaat hier op in. Hoewel onderwijskundige criteria bij deselectie van een ELO de belangrijkste zouden moeten zijn, blijkt in de praktijkvaak dat bij het kiezen uit de zogenaamde shortlist andere criteria doorslaggevendzijn: gebruiksvriendelijkheid, bedrijfszekerheid en technische criteria. Dergelijkecriteria passeren in de paragraaf 7.2 de revue: in het pioniersstadium van de ELO’sstonden keuzeprocessen in een ander perspectief dan vandaag; toen beoordeeldeeen enthousiaste docent of projectgroep welke ELO voor bijvoorbeeld een vakgroepgeschikt was. Tegenwoordig valt er veel te zeggen voor één instellingsbrede,of minimaal faculteitsbrede ELO, wat uiteraard andere eisen stelt aan het systeemen aan het keuzeproces. We zullen in paragraaf 7.2 ook kort ingaan op deargumenten vóór en tegen instellingsbrede standaardisatie.We besluiten het hoofdstuk met aandacht voor het inrichten van het keuzeproces.Eén recept valt niet te geven, maar wel suggesties voor een gestructureerde aanpaken voor wie er een rol in zouden kunnen spelen.

100 7. De keuze van een elektronische leeromgeving7.1 Beschrijvingen van ELO’s en hoe deze te gebruikenVoor selectiedoeleinden zijn vooral beschrijvingen die uitgaan van een vaste verzamelingcriteria geschikt. Door het gebruiken van dezelfde verzameling criteriaworden vergelijkingen tussen ELO’s mogelijk. Bekende vergelijkende onderzoekenzijn die van Hall, Landon en Droste, van respectievelijk Amerikaanse, Canadeseen Nederlandse herkomst. In dit hoofdstuk baseren we ons op het onderzoekdat het CINOP in opdracht van SURF voor het hoger onderwijs uitvoert en waarvande beschrijvingen behalve in de uitgave uit 2000 ook via beschikbaar zijn en aangevuld en geactualiseerd worden. Onderleiding van Joke Droste voert het CINOP ook onderzoek uit voor BVE sector(voorheen gepubliceerd via www.teleleerplatforms.nl), het VO, PO of voor bedrijven.Verschillen tussen vergelijkende ELO-onderzoekenDe vergelijkende onderzoeken verschillen op een aantal punten van elkaar:a) Naar het type product dat beschreven wordtHall biedt vergelijkende onderzoeken op het gebied van ELO’s, auteurssystemenen Learning Content Management Systems (LCMS´en). Voor elk van de drie productenwordt een aparte set van beoordelingscriteria gehanteerd. Landon vergelijkt´online education delivery applications´ (ELO´s, auteurssystemen, communicatietools)aan de hand van éénzelfde set criteria. Droste vergelijkt uitsluitend geïntegreerdepakketten (ELO’s) die commercieel verkrijgbaar zijn.b) Naar de voorselectie, de keuze van de in het onderzoek betrokken ELO’sIn het vergelijkend onderzoek van Hall worden 60 ELO’s beschreven. In de overigeonderzoeken ligt dat aantal veel lager (Droste 14, Landon circa 15). Slechtsdrie ELO’s komen bij alle drie voor. Wereldwijd zijn er meer dan 100 ELO’s. Erheeft dus een voorselectie plaatsgevonden. De voorselectie vindt plaats op basisvan de volgende overwegingen:Landelijk gebruik. Ieder onderzoek beschrijft alleen ELO’s die in de desbetreffendelanden gebruikt worden. Het veel grotere aantal beschreven AmerikaanseELO’s weerspiegelt de veel grotere markt voor e-learning in dit land.Soort instellingen. Het onderzoek van Droste beschrijft ELO’s die gebruikt wordenin het hoger onderwijs. Het Amerikaanse onderzoek is meer gericht op organisatiesen het bedrijfsleven, ook al worden onderwijsinstellingen als doelgroepwel genoemd.Efficiëntie. Gegeven het grote aantal ELO’s en het werk om deze te beoordelenbeschrijft men niet alle ELO’s, maar een selectie. Brandon Hall beoordeelt bijvoorbeeldalleen de meest representatieve ELO’s per categorie (als ‘Enterpriselevel’, ‘Classroom Management System’ e.a.). Vergelijkend onderzoek impliceertdus niet volledigheid.

ICT in het hoger onderwijs 101Jaar van beoordeling. De snelheid waarmee ELO’s zich ontwikkelen en nieuweELO’s op de markt komen is groot. Een ELO kan bij een onderzoek op een bepaaldtijdstip een heel andere beoordeling krijgen dan een half jaar later.c) Naar de verzameling van beoordelingscriteriaDe onderzoekers gebruiken verschillende verzamelingen van criteria. Hall hanteertbovendien een veel groter aantal dan de andere onderzoekers. In figuur 1 zettenwe de categorieën van criteria naast elkaar.Nut en beperkingen van vergelijkend onderzoekDe belangrijkste beperking van het vergelijkend onderzoek is de actualiteit van degegevens. ELO’s verouderen snel, het is dus belangrijk te checken op welke versievan de ELO een beschrijving betrekking heeft. Droste vangt dit enigszins op doornieuwe onderzoeksgegevens via de website te publiceren zodra ze beschikbaarkomen. Bij Hall geeft de publicatiedatum van het rapport een indicatie van de actualiteit.Bij Landon is de datum waarop een pagina voor het laatst bewerkt is nieteen goede indicatie voor de actualiteit van het productonderzoek. De gebruikerkan zich het beste oriënteren door naar de productversie te kijken.Het raadplegen van een vergelijkend onderzoek is om diverse redenen zinvol. Hetgeeft allereerst een goed beeld van variabelen die een rol kunnen spelen bij dekeuze van een ELO. Het instrument op zich, de criteria die de onderzoekers gebruiken,zijn bruikbaar om een eigen selectie samen te stellen met prioritering ofmet wegingsfactoren. Dit kan dienen om snel tot een shortlist te komen van bijvoorbeeldvijf nader te onderzoeken ELO’s.Ook biedt het vergelijken van scores van ELO’s op een bepaald criterium een ideevan de mogelijke waarden die zo´n criterium kan aannemen. ´Prijsstelling´ bijvoorbeeldvertoont grote verschillen tussen de diverse ELO’s, zowel qua grondslagvan de tarieven als de tarieven zelf. Grondslag kan bijvoorbeeld zijn het aantalgebruikers maar ook het aantal gelijktijdige gebruikers. Verschillen in prijzenbestaan vervolgens in de staffels van aantallen gebruikers en de prijs per afzonderlijkestudent. Een goed beeld van deze prijsstellingsvarianten helpt enerzijds omeigen wensen aan te scherpen, anderzijds om bij onderhandelingen over de aanschafbetere uitkomsten te krijgen. Hall en Droste bieden ter ondersteuning uitgewerktekostencases.Tot slot geven de criteria die voor de selectie van belang zijn, ook een helder beeldvan de expertise die de organisatie moet inzetten om het keuzeproces zorgvuldigte doen verlopen. Hier komen we in de laatste paragraaf op terug.Voor organisaties die al over een ELO beschikken kan het nuttig blijven met regelmaatdergelijk vergelijkend onderzoek te raadplegen: het geeft zicht op mogelijkhedendie andere ELO’s bieden. Met behulp van deze informatie kan beterdruk op de producent van de eigen ELO uitgeoefend worden om het systeem te‘upgraden’.

102 7. De keuze van een elektronische leeromgevingFiguur7. 1 De vergelijkers vergelekenOnderzoeker Hall Droste LandonHerkomst VS Nederland CanadaBeschrevenproductenAantal beschrevensystemenDoelgroepBeoordlingscriteria:aantalBeoordelingscriteria:categorieënAdviezen voorinrichtingkeuzeprocesWebsitesafzonderlijk onderzoek voor ELO',auteurssystemen enLearning Content Management Systems(LCMS´en)geïntegreerde ELO’s diecommercieel verkrijgbaarzijn60 11 (14 op website) circa 15ELO’s, auteurssystemen,en communicatie-tools inéén onderzoekorganisaties, bedrijfsleven (incl. hoger onderwijs hoger onderwijsonderwijs)229 63 71• user interface• general functionality• customized functionality• security• systems integration• registration• content and course management• student tracking• evaluation and testing tracking• reporting• training• current data standards• organisatie• communicatie• leerstof/toets• kosten• De tests worden gedaanvanuit de verschillendetypen gebruikers:studenten,docent-begeleiders,ontwikkelaars, administrateurs,beheerders.ja ja neeDe website van deze commerciëleorganisatie biedt online bestelproceduresvoor vele actuele rapportenwaaronder ook klanttevredenheidsonderzoek;voorts links,een lijst met veelgestelde vragen,persberichten, en enkele gratis teraadplegen bronnen.De website die gefinancierdwordt door SURFEducatie biedt aanvullingenvan vergelijkendELO-onderzoekzodra beschikbaar.Daarbij ook actueleinformatie over ELO’s,achtergronden, gebruikerservaringen,overzichtenvan wie welkplatform gebruikt inNederland, onderzoek(implementatie en onderwijskundig),discussies,onderwijskundigetips.• learner tools• support tools• technical informationVersies van onderzochteproducten worden nietduidelijk vermeld (kijk bijOther Limitations).Er zijn vier opties om degegevens te raadplegen:vergelijking van 2 productenop eigenschappenbekijken per criterium perproductvergelijken van 2 productenop geselecteerde criteriavergelijking met zelf ingegevengewicht en prioriteitvan criteriaVerder biedt deze nietcommerciëlewebsitepersberichten van leveranciersover b.v. belangrijke

ICT in het hoger onderwijs 103PraktischegegevensOnderzoek is te downloaden tegenvergoeding van $795overnames.Beschrijvingen zijn Online te raadplegen.online te raadplegen. Onder de knop ReviewsUitgebreide publicatie is regelmatig nieuw onlinekosteloos onder hoger vergelijkend onderzoekonderwijsinstellingen van derden.verspreid; nabestellingenvoor € 14,32 (ex.BTW) bij CINOP.Verdere ondersteuning die vergelijkend onderzoekers biedenDe genoemde onderzoeken bieden meer dan alleen beoordelingen. Hall en Drostebieden ook nuttige adviezen voor het uitvoeren van het keuzeproces. Droste gaatin op gebruikssituaties, implementatiefases en opleidingsscenario's, de verschillenderollen en eisen van gebruikers, en mogelijke overwegingen vanuit de problematiekvan onderwijsinstellingen. Hall biedt diverse shortlists van ELO’s op basisvan specifieke vraagstellingen. Ook voor een lijst van vragen die men de producentmoet stellen of voor richtlijnen, suggesties en een voorbeeld voor een´request for proposal´ kan men bij Hall terecht. Een request for proposal, een gebruikelijkeprocedure bij de aanschaf van softwaresystemen, is van belang in delaatste fase van het selectieproces. De shortlist is dan verder gereduceerd tot bijvoorbeeldtwee of drie. Men wil de twee of drie producenten een voorstel latenmaken op basis waarvan de finale beslissing wordt genomen.Op de site van Landon is het mogelijk om op diverse manieren on-line te vergelijken:zo kan men de beoordelingen van twee ELO’s naast elkaar op het schermlaten verschijnen.Het onderzoek van Droste wordt via een website aangevuld met keuze-informatiedie minder goed in cijfers te vatten valt maar evenzeer van belang is. Zoals overzichtenvan alle instellingen in Nederland die het ELO in kwestie gebruiken, informatie-uitwisselingvan gebruikersgroepen, uitkomsten van evaluaties van gebruikersen de relatie tussen ELO’s en onderwijsvisies in het hoger onderwijs.7.2 CriteriaOnderwijsvisies en de keuze van een ELOVan verschillende kanten wordt benadrukt dat de keuze voor een ELO primairbepaald moet worden door de onderwijsvisie. Dit roept echter een aantal vragenop. Binnen onderwijsinstellingen bestaan verschillende opleidingen met vaak eeneigen onderwijsvisie. Betekent dit dat per opleiding een specifieke ELO gekozenmoet worden? Wat gebeurt er als een student bij meerdere vakgroepen studeert ofals een docent bij meerdere opleidingen doceert? Is het dan wenselijk dat hij of zijmet verschillende ELO’s moet werken? Is het onderhouden van meerdere ELO’swel financieel en organisatorisch op te brengen? Hoe vast zijn onderwijsvisiesoverigens en wat gebeurt er als de instelling of onderdelen daarvan een nieuwevisie wil introduceren? Wanneer een ELO eenmaal geïmplementeerd is, zijn deinvesteringen voor migratie naar een nieuwe ELO aanzienlijk. Het lijkt dus aan te

104 7. De keuze van een elektronische leeromgevingbevelen om bij het kiezen van een ELO met zoveel mogelijk bestaande en toekomstigeonderwijsvisies rekening te houden.Ieder onderwijsleerproces kan gezien worden als een serie leeractiviteiten van destudent en onderwijsactiviteiten van de docent. Dit kan vertaald worden in generiekeeisen ten aanzien van de digitale ondersteuning van deze activiteiten. Welkefaciliteiten zijn nodig voor communicatie, voor het inrichten van eigen groepsactiviteiten,voor het raadplegen van voortgangsinformatie en/of voor het publicerenvan onderwijsmateriaal. Op deze manier kan er los van onderwijsvisies toch eenserie eisen geformuleerd worden. Deze gedachtegang laat zien dat ELO’s te zienzijn als hulpmiddel, vergelijkbaar met boeken, telefoon, tekstverwerker. Voor geheelverschillende onderwijsactiviteiten kan hetzelfde hulpmiddel gebruikt worden.Andere criteriaIs de shortlist van ELO’s vanuit onderwijskundige overwegingen eenmaal bepaald,dan blijken criteria met betrekking tot technische infrastructuur en bedrijfszekerheidkenmerkenin de praktijk een belangrijke rol te spelen. Dit zal techniciniet verbazen. Voor de lezer van dit boek, die naar ELO’s kijkt vanuit de gedachtevan de mogelijke betekenis voor het onderwijs, is dit vaak minder vanzelfsprekend.Bij het beoordelen van deze criteria komt de afdeling in beeld die verantwoordelijkzal zijn voor het onderhoud van het systeem. Een voorkeur op technischegronden kan uiteindelijk de doorslag geven boven de voorkeur op onderwijskundigegronden, zoals het keuzeproces bij de Vrije Universiteit in 2000 lietzien. Uit de twee geprefereerde systemen was TeleTOP hier eerste keus van hetICT Onderwijscentrum, Blackboard was de eerste keus van de automatiseringsafdeling.Een ander criterium dat in de praktijk vaak tot de meest doorslaggevende behoort,is de gebruiksvriendelijkheid voor docenten. Dit houdt verband met de relatieveonbekendheid van docenten met het werken met ELO’s en met Internet. Uit onderzoekblijkt dat tijdgebrek bij docenten één van de belangrijkste knelpunten isvoor de toepassing van ICT in het hoger onderwijs (Van Geloven e.a., 2000).Items als gebruiksvriendelijkheid en -gemak zijn met andere woorden belangrijkesuccesfactoren voor het invoeren van elektronische leeromgevingen.In het kort belichten we de genoemde criteriaTechnische infrastructurele criteriaDeze criteria hebben te maken met het operationeel krijgen en houden van deELO. Belangen die hieraan ten grondslag liggen zijn het bedrijfskritischer wordenvan ELO’s; zwaardere eisen aan de beschikbaarheid (24 uur per dag, 7 dagen perweek), de inbedding van ELO’s in bestaande infrastructuur, en beveiliging.Aspecten waarop producten beoordeeld worden zijn: de integratie (informatieuitwisseling)en eventueel overlap in functionaliteiten met andere systemen binnende organisatie, schaalbaarheid, aansluiting bij externe standaards (compatibiliteitmet de IMS-standaard is een veel gehanteerd argument in keuzetrajecten, zoalsbijvoorbeeld blijkt uit het rapport van de Erasmus Universiteit (1999) Keuze teleleerplatformEUR), kwaliteit van de koppeling met softwarepakketten van andere

ICT in het hoger onderwijs 105leveranciers, de tijd nodig om te leren omgaan met het systeem, de kosten van hetinvoeren van het systeem en last but not least de veiligheidsaspecten. Het inbeddenvan een ELO in bestaande infrastructuur en het leggen van koppelingen metandere systemen in andere afdelingen is doorgaans een ingewikkelde en tijdrovendezaak en vraagt veel technische en organisatorische expertise. In pilotprojectenis dit overigens vaak minder het geval: de ELO staat nog op zichzelf zonderkoppelingen en de afhankelijkheid van het systeem is nog niet kritisch.Continuïteit en bedrijfszekerheidcriteriaBedrijfszekerheidcriteria hebben te maken met het operationeel houden van deELO, maar de focus ligt nu op de continuïteit van de ondersteuning die de producentlevert en de mate waarin de functionaliteiten van de ELO mee-evolueren metontwikkelingen op ICT-gebied en met de ontwikkelingen in het onderwijs. In essentiegaat het om het vaststellen van de continuïteit van de leverancier als bedrijf,de continuïteit van haar ondersteuning en van de continuïteit in de upgrading vande ELO. Direct in verband hiermee staat de openheid van het systeem in verbandmet mogelijke aanpassingen als gevolg van wensen van onderwijsinstellingen ofbedrijven.Hoe kan vooraf zekerheid gekregen worden dat de elektronische leeromgevingoperationeel blijft? Belangrijke aanknopingspunten voor potentiële klanten zijn devisie van de leverancier op de continuïteit en bedrijfszekerheid. De omvang,marktpositie en trackrecord van een bedrijf zijn minstens zo belangrijk. Welkecontinuïteitsgaranties biedt de leverancier? Hoe is diens financiële situatie; ook inrelatie tot voorgaande jaren? Hoe is zijn marktaandeel; groeit dit of neemt dit af?Wat is zijn klantenportefeuille en welke veranderingen doen zich hierbij voor?Met welke strategische partners werkt de leverancier samen (grote multinationals,uitgevers)?Sommige leveranciers garanderen volgens gangbare normen de beschikbaarheidvan hun broncode voor het geval zij zelf ooit zouden ophouden te bestaan.Belangrijke vragen zijn vervolgens: welke ondersteuning wordt geboden aan klanten,is de organisatie adequaat ingericht op service en support van derden, hoegroot is de supportafdeling en hoe goed is deze bereikbaar? Bijvoorbeeld bellenmet een supportafdeling in de VS kan pas aan het eind van de middag, tenzij deze24 uurs bezetting heeft. Hoe snel en effectief reageert men bij problemen (klanttevredenheidsonderzoekkan hier inzicht in geven)? Hoe komt de prioritering totstand van productverbeteringen, met andere woorden is er inspraak van gebruikersen zo ja hoe is deze georganiseerd? Gebruikersgroepen kunnen een belangrijke rolspelen bij het behoud van de functionaliteit van een product.Gebruiksvriendelijkheid en -gemakGebruiksvriendelijkheid en -gemak kunnen beoordeeld worden vanuit de perspectievenvan de verschillende gebruikersgroepen mede in relatie tot hun rollen en tothun ELO-ervaring.Studenten moeten bijvoorbeeld snel en zonder veel instructie hun weg kunnenvinden in de ELO. Docenten zonder ervaring met ELO’s hebben behoefte aan eeneenvoudige bediening, laagdrempelige interface, transparante structuur, een altijdbereikbare helpdesk, 100% uptime van het systeem en dergelijke. Tegemoet komingaan deze wensen bewerkstelligt dat docenten eerder bereid zijn om gebruikte maken van de ELO.

106 7. De keuze van een elektronische leeromgevingGebruiksvriendelijke ELO’s zijn van doorslaggevend belang voor het succes ervan,en kunnen de spontane vraag naar vakmodules en docenttraining fors doentoenemen.Instellingsbreed invoeren?Bovenstaande drie criteria roepen vragen op naar de wenselijkheid van het instellingsbreedinvoeren van één specifieke ELO. Bij ongeveer een kwart van de onderwijsinstellingenis een ELO instellingsbreed ingevoerd. Daarnaast werken diverseinstellingen thans nog met meerdere ELO’s.Er bestaan in essentie geen onderwijsleerpsychologische redenen tegen het invoerenvan eenzelfde ELO voor de gehele organisatie. Vanuit infrastructurele, efficientie-en kostenoverwegingen pleit veel voor een instellingsbrede invoering. Erzijn meer redenen. Door de invoering van het BaMa stelsel zullen meer studentenbuiten de eigen opleiding of faculteit studieonderdelen gaan volgen. Vanuit hetperspectief van deze studenten is het gebruiksvriendelijker om ook daar met dezelfdeELO te werken. Uniformering kan bovendien als positief bijeffect hebbendat er vaker ervaring uitgewisseld wordt tussen opleidingen.Een instellingsbreed systeem heeft ook negatieve kanten. Het vergt meer coördinatie,meer overleg. De ondersteuning voor de docenten en studenten wordt minderflexibel. Wat voorheen ‘eventjes’ geregeld kon worden, moet nu via de juisteprocedures bij de verantwoordelijke aangekaart worden. Vaak is dat een afdelingdie ver weg zit. De eventuele kostenvoordelen van schaalgrootte die bijvoorbeeldbij administratieve en ondersteunende taken bereikt kunnen worden, worden somsweer te niet gedaan door hogere licentiekosten van koppelbare campussystemen(bij het bekende Blackboard is dit anno 2002 een prijsverschil van een factor 3 ofmeer).Veel instellingen werken momenteel met meerdere ELO’s. Het radicaal afschaffenvan op één na alle ELO’s kan veel weerstand oproepen. Ter oplossing wordt somsgekozen voor een overgangsregeling waarbij de conversie naar de nieuwe ELOverzorgd wordt door een projectteam.Box 1 De criteria uit het keuzeonderzoek van de VU (ICT Onderwijscentrum VU,2000). Zij spreken van een Digitale Leeromgeving (DLO).Onderwijskundige criteria:• Er zijn goed ontwikkelde middelen voor samenwerkend leren (samenwerking tussenstudenten).• Er zijn voldoende hulpmiddelen om zelfwerkzaamheid van studenten goed te organiserenen te begeleiden.• Het aanbieden van leerstof kan in diverse vormen (tekst, visueel materiaal, interactiefstudiemateriaal, e.d.) gebeuren.

ICT in het hoger onderwijs 107• Er zijn voldoende mogelijkheden beschikbaar om de DLO aan de eigen situatie aan tepassen (de docent moet kunnen kiezen voor wel/niet gebruiken van functionaliteit,mogelijkheid om functionaliteit uit te breiden).• Cursusoverstijgende tools voor de student zijn gewenst (zoals: portfolio, overzichttaken in diverse vakken e.d.).• Er is goede sturing mogelijk voor de opzet van overzichtelijke onderwijsinformatie,ter ondersteuning van efficiënt studeergedrag.Technische criteria:Werking:• De DLO moet kunnen draaien zonder grote extra inspanningen van de instelling.• Op de te gebruiken server moet het systeem ook bij grote belasting een goede performancehebben.• Koppelingsmogelijkheden van het systeem aan andere databases (studentenadministratie,tentamenregistratie) zijn een pré.• Het uiterlijk moet aangepast kunnen worden op instellings- en eventueel facultairniveau.Beheer:• Systeem moet zo min mogelijk onderhoud nodig hebben; beheer moet centraal maareventueel ook decentraal kunnen plaatsvinden.• Systeem moet goed beveiligd zijn tegen overbelasting en ongeautoriseerd gebruik.• Het moet goed mogelijk zijn verschillende versies te beheren.Ondersteuning:• Over ondersteuning door de leverancier (helpdesk, consultancy) dienen goede afsprakengemaakt te kunnen worden.• Er dient goede gebruikersinformatie beschikbaar te zijn.• Bij voorkeur dient de broncode beschikbaar te zijn, zodat aanpassingen in het systeemop instellingsniveau mogelijk zijn.• Er moet voldoende zicht zijn op de te verwachten verdere technische ontwikkelingvan het pakket, de aansluiting bij standaards, de integratie van nieuwe functies en decontinuïteit van de leverancier.Flexibiliteit• De instelling moet een redelijke invloed hebben op de layout van de DLO. Op instellingsniveaumoet de DLO een specifiek uiterlijk kunnen krijgen, ten behoeve van deherkenbaarheid.• Op het niveau van de docent moet gemakkelijk gekozen kunnen worden uit beschikbarefuncties. Daarnaast moet (enige) invloed mogelijk zijn op de presentatie van deDLO (bijv. kiezen voor taal op knoppen, knoppen met eigen labels toevoegen, VUlogogebruiken).• Als er specifieke wensen komen van faculteiten moet het mogelijk zijn om de functionaliteitvan de DLO uit te breiden, bijvoorbeeld door deze te combineren met andereprogramma’s.Beheer• Het inzetten van een Digitale Leeromgeving vraagt dat er afspraken worden gemaaktover beheer van cursussen en studenten. Het beheer omvat vragen als:• Wie zorgt er voor het aanmaken van (lege) cursussen en cursuscodes?• Wie zorgt er voor het maken van back-ups van cursussen aan het eind van een trimester?• Welke gebruikers krijgen toegang tot welke cursussen?

108 7. De keuze van een elektronische leeromgeving• Wie mag gebruikers eventueel weer uit een cursus verwijderen?• Welke docenten mogen inhoud toevoegen aan welke cursussen?• Op welke manier kunnen studenten zich aanmelden voor de cursussen?• Op welke wijze kunnen gastgebruikers toegang krijgen tot de cursussen?• Dergelijke organisatorische beheerstaken moeten op verschillende manieren georganiseerdkunnen worden, afhankelijk van de vraag of iets centraal kan of mag gebeuren,op een faculteit of door individuele docenten.GebruiksgemakDocenten:• Docenten hoeven niet te beschikken over uitgebreide technische kennis en hebben bijvoorkeur geen cliënt-software nodig.Toelichting: het mag een docent niet meer dan een paar uur kosten om met de applicatiete leren werken. Hoewel het werken met een cliëntsoftware niet per se gebruiksonvriendelijkhoeft te zijn, is het voor een applicatie die centraal ondersteundmoet worden zeer lastig te realiseren, omdat dit verregaande medewerking en ondersteuningvergt van het facultaire systeembeheer.• De interface voor de docent moet ergonomisch goed ontworpen zijn: het werken metde DLO dient inzichtelijk te zijn. De docent moet snel studiemateriaal, opdrachtene.d., kunnen toevoegen en wijzigen. Bij voorkeur kan de docent snel wisselen tussendocent-interface en ‘student-interface’ om het effect te zien van aangebrachte wijzigingen.• Er zijn goede handleidingen en helpfiles voor docenten beschikbaar.• Het moet voor een docent eenvoudig zijn om gerichte keuzes te maken uit de verschillendemogelijkheden van de DLO.• De docent moet eenvoudig zicht kunnen houden op de studievoortgang van studenten.Studenten:• Studenten moeten met zeer weinig inspanning de structuur en werking van de DLOkunnen doorgronden. Dit mag niet meer vereisen dan een korte mondelinge instructieof een korte schriftelijke handleiding.• Voor studenten dient de informatie in een duidelijke structuur te worden gepresenteerd.• Studenten dienen geen extra ondersteunende (cliënt)software te installeren om met deleeromgeving te werken; de leeromgeving dient voor studenten volledig browsergeoriënteerdte zijn, zodat studenten vanaf iedere werkplek toegang kunnen krijgen.• Bij voorkeur krijgen studenten exact die informatie gepresenteerd die voor hen vanbelang is. Die informatie dient niet alleen op cursusniveau, maar ook op opleidingsniveaugeorganiseerd te zijn, dat wil zeggen dat de DLO de student moet helpen om eenoverzicht te krijgen over verschillende vakken.• De toegang tot de DLO en eventuele aanvullende applicaties dient zoveel mogelijkvia één wachtwoord te verlopen.Kosten en betrouwbaarheid van de producentDe kosten van de applicatie en de betrouwbaarheid en service van de producent van desoftware spelen uiteraard ook een rol bij de keuze. Het is van belang dat de kostenstructuurhelder is, zodat bij voorbaat inzichtelijk is over welke producten en diensten beschikt kanworden tegen welk jaarlijks tarief. Hoewel het per definitie riskant is om een voorschot tenemen op toekomstige ontwikkelingen, is informatie over de toekomstplannen van de productenzeker van belang.

ICT in het hoger onderwijs 1097.3 Inrichting van het keuzeprocesBetrekken van belanghebbenden en gebruikersgroepenBij het gebruiken van een ELO zijn verschillende gebruikersgroepen te onderscheiden.Het is aan te bevelen om een eventueel aan te schaffen ELO vanuit degezichtsvelden van de verschillende gebruikersgroepen te bekijken. Inventariseringvan hun wensen en/of weerstanden verkleint de kans dat onverhoopt zakenover het hoofd worden gezien en levert doorgaans informatie op die een soepeleinvoering helpt bevorderen.In het algemeen onderscheidt men de volgende gebruikersgroepen:onderwijskundige ontwikkelaars, ontwerpers van onderwijs: elektronisch onderwijsvraagt andere kwaliteiten van onderwijsontwerpers en leidt tot andere onderwijssituaties;ontwerpers hebben bovendien wensen ten aanzien van ontwerpondersteuning(authoring tools, (her-)gebruik van materiaal e.d.).docenten: deskundigen, experts; zij krijgen te maken met andere manieren en tijdenvan communicatie, feedback geven, etc. Vaak hebben ze specifieke infrastructurelewensen. Bovendien moet men zich realiseren dat er veranderingen gaanoptreden in taken en rollen, hetgeen kan leiden tot nieuwe ondersteuningswensen.studenten zijn de primaire gebruikers.voltijd of deeltijdstudent, dag- versus avondstudie, systeemkenmerken van hunPC, communicatieverbindingen etc. kunnen de keuze voor een ELO beïnvloeden.IT/ICT´ers: in verband met integratie met andere systemen en/of processen, alternatieveen/of aanvullende IT/ICT-mogelijkheden, maken van aanvullende programmatuur,additionele onderhoudswerkzaamheden, aanleercurve, relatie metleverancier van ELO, helpdesk.managers: in verband met de continuïteit, kosten, managementinformatie, relatiemet (toekomstig) organisatie- en/of overheidsbeleid, afbreukrisico.administratief personeel: in verband met invoeren van gegevens, controleren vangegevens, eventueel doorvoeren van gegevens en/of helpdeskfunctie.Werkgroep en werkwijzeHet is aan te raden om bij het kiezen van een ELO een werkgroep met de benodigdeexpertise te formeren. Onderwijskundige kennis in brede zin, IT/ICT-kennisen bedrijfseconomische en bestuurlijke kennis zijn wenselijk. Zo vroeg mogelijkin het keuzeproces dient ook de inbreng van de verschillende overige gebruikersgroepengeorganiseerd te worden (middels raadpleging of deelname in de werkgroep).In navolging van Hall wordt geadviseerd eerst een algemene beschrijving te makenvan de aanleidingen voor het invoeren van een ELO en de beoogde effectenervan. Deze analyse wordt aangevuld met een beschrijving van relevante aspectenuit de gebruikerssituatie, waaronder IT/ICT-situatie en -ontwikkelingen binnen deorganisatie.Mede op basis van de sets van kenmerken die in de eerder beschreven vergelijkendeonderzoeken gehanteerd zijn, kunnen vervolgens gewenste kenmerken vaneen ELO gespecificeerd worden. Deze worden vervolgens gewogen in de daarvoorgangbare termen van ‘must have’, ‘nice to have’ etc.Op basis van de bestaande beschrijvingen van ELO’s die aangevuld worden vanuitinformatie uit recente artikelen en websites over ontwikkelingen op het gebied van

110 7. De keuze van een elektronische leeromgevinge-learning kan een shortlist van in aanmerking komende ELO’s opgesteld worden.Gebruikelijke vervolgstap is het opstellen van een ‘request for proposal’: aan degeselecteerde bedrijven wordt een aantal specifieke nadere vragen gesteld. Opbasis van de reacties op de ‘request for proposals’ komt men tot een voorlopigekeuze. De selectieprocedure wordt afgerond na het bezoeken van een organisatiedie al werkt met de ELO en/of een demonstratie, aanvullende onderhandelingen enmogelijk een pilotexperiment.De output is een beargumenteerd voorstel dat moet leiden tot het geven van groenlicht voor de aanschaf en implementatie van de gekozen ELO.7.4 Tot slotHet kiezen van een ELO is geen eenvoudig proces, vanwege de snelle ontwikkelingenin de beschikbare functionaliteit, wensen van verschillende groepen gebruikersen marktposities van leveranciers.Er zijn vele hulpmiddelen om het keuzeproces te vergemakkelijken, variërend vanuitgebreide, vergelijkende warenonderzoeken, adviezen om te komen tot eenshortlist, richtlijnen voor en voorbeelden van request for proposal´s en diverseonline-mogelijkheden om ELO’s te vergelijken. Daarnaast bestaan er diverse websiteswaar aandacht wordt besteed aan ontwikkelingen op het gebied van elektronischeondersteuning van onderwijsleerprocessen. Door voor de lezer de vergelijkerste vergelijken hopen we het effectief gebruik van deze bronnen te bevorderen.Op één onderwijsinstelling zal niet altijd één gedeelde onderwijsvisie zijn. Tegelijkneemt het belang van campusbrede standaardisatie van ELO’s toe. Men kanzich afvragen in hoeverre een onderwijsvisie bepalend kan zijn voor de keuze vaneen ELO. De auteurs betogen dat onderwijsvisies als het ware vertaald kunnenworden in generieke eisen ten aanzien van de ELO. Een goede keus is een ELOdie een grote variëteit van leeractiviteiten ondersteunt.Criteria die in de praktijk bij het selecteren van een ELO doorslaggevend blijkente zijn, liggen op het vlak van de technologische infrastructuur, de bedrijfszekerheidvan de producent en gebruikersvriendelijkheid en -gemak. Wanneer op onderwijskundigegronden een shortlist van ELO’s is opgesteld, blijken deze criteriain de praktijk vaak doorslaggevend.Het selectieproces kan het best uitgevoerd worden door een werkgroep, waarin inieder geval onderwijskundige, ICT, bedrijfseconomische en bestuurlijke expertiseaanwezig is. Het is van belang wensen en behoeften van diverse gebruikersgroepente inventariseren. Een selectieprocedure kan stappen omvatten als het makenvan een business case, specificeren van gewenste kenmerken, komen tot een shortlist,doen uitgaan van een request for proposal, bekijken van de ELO in de praktijk(bij andere gebruikers, via een demonstratie), een pilotexperiment met de ELO eneen voorstel voor besluitvorming.

ICT in het hoger onderwijs 1117.5 ReferentiesDroste, J. (2000). Advies Keuze Teleleerplatform 2000. Utrecht, StichtingSURF/CINOP.Droste, J., J. Bunjes, J. de Ronde en M. van Wijngaarden. (2001). Teleleerplatformsin Nederland Quickscan keuze, implementatie en gebruik in het hogeronderwijs. Utrecht, Stichting SURF.Geloven, M.P. van. (2000). ICT in het hoger onderwijs: gebruik, trends en knelpunten,Hall, B. (2000). Learning Management Systems: How to choose the Right Systemfor your organization, Sunnyvale USA, ICT Onderwijscentrum VU. (2000). Het kiezen van een centraal ondersteundeDigitale Leeromgeving (DLO) voor de Vrije Universiteit, Rapport ten behoevevan de Adviesgroep ICT en Onderwijs, Amsterdam.Kruizinga. E. en Kouwenhoven, T. (1998). Groupware. Group ‘aware’ maken vanorganisaties; Kenniscentrum CIBIT.Werkgroep Teleleerplatform (1999). Keuze teleleerplatform EUR, Erasmus Universiteit,http://www.eur.nl/oo/teleleerplatform.7.6 Websites met (vergelijkende) informatie over ELO’shttp://www.brandon-hall.com/Brandon Hall publiceert t.b.v. een brede doelgroep onder andere vergelijkend productonderzoekvanELO’s, Authoring Tools en Learning Content Management Systems (LCMS).http://www.c2t2.ca/landonlineCanadese site gemaakt en bijgehouden door Bruce Landon e.a. Productinformatiet.b.v. beoordeling en selectie van veel in Canada gebruikte ´online educationaldelivery applications´. Gedetailleerde analyse van groot aantal e-learning platforms,toetsprogramma´s, communicatieprogramma´s e.a. Tevens links naar diverseandere (soms verouderde) vergelijkende onderzoeken. De site bevat eennieuwsrubriek over ontwikkelingen rond ELO’s en een woordenlijst en kan verouderdeversies van ELO’s bevatten.http://e-learning.surf.nlThema-site van SURF Educatie over e-learning, voor het hoger onderwijs,onderhouden door ICLON. Wat betreft ELO’s informatie t.b.v. oriëntatie op enkeuze; productinformatie en vergelijkend onderzoek door CINOP; gebruikers;gebruikerservaringen; leveranciers- en distributeursinfo.http://www.elearning.nl/Bevat overzicht en beschrijving van leveranciers van ELO’s content en diensten.Focus ligt op organisaties en bedrijven. Bevat tevens nieuws over ontwikkelingenrond e-learning en leveranciers.http://www.chest.ac.uk/datasets/vle/checklist.htmlEen in februari 2002 geïntroduceerde vergelijking van ELO’s door CHEST, deinkooporgansiatie voor de Britse onderwijssector. Zij vergelijkt enkele populaireVirtual Learning Environments (VLEs).

112 7. De keuze van een elektronische leeromgevingCriteria: Product description, Type of licence, Users/Location and use permissions,Rights issues, Hosted services Requirements, Product support, Standardsand specification, Cost of product, Cost of training IT staff, Other staff, Cost ofmaintenance and support (on site hosting), Cost of maintenance and support (offsite hosting), Other support services.http://www.cetis.ac.uk/directoryOver claims van leveranciers in hoeverre ze leertechnologiestandaarden ondersteunen,op de site van de Britse Centre for Educational Technology InteroperabilityStandards.

H. Frencken, J. Nedermeijer, A. Pilot en I. ten Dam (redactie)ICT in het hoger onderwijs: stand van zakenUitgever: Universiteit Utrecht (IVLOS), Postbus 80127, 3508 TC Utrecht, enUniversiteit Leiden (ICLON)ISBN-nummer: 90-393-3134-0Ontwerp omslag: Rob HouwenDruk: Drukkerij Zuidam & Uithof© 2002 Universiteit Utrecht, IVLOS en Universiteit Leiden, ICLONAlle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd,opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt, in enigevorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamenof op enig andere manier, zonder voorafgaande schriftelijke toestemmingvan de redactie.