COMMCollection 15 Communicatie-acties evalueren (PDF ... - Fedweb

Communicatie-actiesevaluerenGids voor de federale communicatorenCOMM Collection - Nr 15

“COMM Collection” is een reeks praktische gidsen bestemd voor allefederale communicatoren. Ze zijn het resultaat van de samenwerking vanfederale ambtenaren die actief zijn op het terrein van de communicatie.De COMMnetKern, samengesteld uit de communicatieverantwoordelijkenvan de federale overheidsdiensten en voorgezeten door de FOD Personeelen Organisatie en de FOD Kanselarij van de Eerste Minister, heeft deinhoud gevalideerd en is verantwoordelijk voor de toepassing ervan.Reeds verschenen:Nr 1 Efficiënt gebruik van e-mailNr 2 Residence COMMtrainings (uitgeput)Nr 3 Visie en missie van interne communicatieNr 4 Huisstijl van de Belgische federale overheidNr 5 Hoe en waarom een jaarverslag opmakenNr 6 De contactpunten van de federale overheidNr 7 Crisiscommunicatie - Voorzien en beherenNr 8 Visie en opdrachten externe communicatieNr 9 Een elektronische nieuwsbrief maken en verspreidenNr 10 Deontologische code van de federale communicatorenNr 11 Hoe en waarom een huisstijl ontwikkelenNr 12 Het communicatieplan van een project opstellenNr 13 Spreken voor een publiekNr 14 Duurzaam communicerenGoed om wetenDe elektronische versie van deze brochure is beschikbaar op• http://www.p-o.be > Algemene informatie > Publicaties (pdf)• http://webguide.fgov.be/nlBijkomende informatie en bronnen kun je bezorgen aanwebmaster@belgium.fgov.be

InhoudstafelInleiding .............................................................................. 31. Wat wil je evalueren? ........................................................ 52. Evaluatiemethodes ............................................................ 72.1. Enquêtes ............................................................................ 82.2. Face-to-face ....................................................................... 142.3. Websites ............................................................................ 222.4. Desk research ..................................................................... 283. Evaluatiescenario’s ........................................................... 343.1. Voor een schriftelijke communicatie-actie .............................. 353.2. Voor een communicatie-actie via een website.......................... 363.3. Voor een communicatie-actie via een evenement .................... 373.4. Voor een communicatie-actie via audiovisuele kanalen ............ 383.5. Voor een communicatie-actie via de pers ............................... 393.6. Welke evaluatiemethode bij welke communicatie-actie?Overzichtstablel .................................................................. 404. Algemene tips .................................................................. 424.1. Een steekproef samenstellen ................................................ 424.2. Een goede vragenlijst opstellen ............................................. 494.3. De deelname aan een enquête stimuleren ............................. 524.4. De anonimiteit garanderen ................................................... 551

InleidingWie communiceert wil weten of hij wel goed bezig is. En dat is voorcommunicatie-acties vaak niet vanzelfsprekend: er lijkt niet altijd eenobjectieve indicator voor het succes van een actie te zijn.Dus nemen we er vrede mee dat “ze” tevreden waren of dat “ze” het welgoed vonden? Nee, dat doen we niet. Daarom is een werkgroep, metleden uit heel wat departementen, aan de slag gegaan.Met deze brochure willen we een overzicht bieden van wat er bij eenevaluatie komt kijken. In het bijzonder willen we erop wijzen:• dat er voor elke interne of externe communicatie-actie heel watbruikbare evaluatiemethodes zijn (hoofdstuk 2), en dat elke actiegeëvalueerd moet worden, minimaal met een interne analyse waarvoorgeen speciale budgetten of competenties nodig zijn• dat het vaak aangewezen is om methodes te combineren (hoofdstuk 3)• dat een evaluatie niet beperkt hoeft te blijven tot één moment na deactie, maar dat sommige evaluaties de eigenlijke actie voorafgaan(pretest) of ermee gelijklopen zodat bijgestuurd kan worden(monitoring/continue evaluatie)• dat een evaluatie dus tijdig gepland moet worden• en dat de doelstellingen van de actie vooraf duidelijk moeten zijn.Het onderwerp is echter zo omvattend dat we ons tot een aantal grotelijnen hebben moeten beperken. We geven dus in eerste instantiebasisinformatie, en proberen je verder op weg te helpen door te verwijzennaar interessante bronnen.Hoe gebruik je deze brochure?Wie de brochure van begin tot eind wil lezen, kan dat natuurlijk doen. Wehebben er echter op gelet dat je ook selectiever te werk kan gaan.Als je meer wil weten over een bepaalde evaluatiemethode, of wil kiezentussen verschillende methodes, dan krijg je in hoofdstuk 2 een bondigoverzicht van wat de belangrijkste methodes inhouden, en enkelebronnen.3

Als je op zoek gaat naar een gepaste methode voor een specifiekecommunicatie-actie, dan ga je het best eerst naar hoofdstuk 3 waar je deevaluatiescenario’s vindt die meerdere methodes combineren en eensamenvattende tabel die voor elke actie de gepaste methodes aangeeft.Enkele concrete tips vind je in hoofdstuk 4 (representativiteit, redactie vaneen vragenlijst, stimuli,…) en we herinneren je in hoofdstuk 1 aan hetbelang van goed geformuleerde doelstellingen.Werkten actief mee aan deze brochure:Yvan BaetenMady BlancquaertSamuel BuryCaroline IngelbrechtKarolien LeymanPascale MégalLudo MeulebrouckPatrick TheysBart Van HerrewegheAlessandra VicenziFinanciënKanselarij van de Eerste MinisterFinanciënBinnenlandse ZakenJustitieVolksgezondheidDefensiePersoneel en OrganisatieKanselarij van de Eerste MinisterDefensie4

1. Wat wil je evalueren?Alvorens een communicatie-actie op het getouw te zetten is het belangrijkgoed na te denken over wat je met de actie wil bereiken (zie ‘Hetcommunicatieplan van een project opstellen’, COMM Collection - Nr 12,2005).Op voorhand doelgroepen en doelstellingen vastleggen in eencommunicatieplan is noodzakelijk om voor, tijdens of na decommunicatie-actie een goede evaluatie te kunnen uitvoeren. Zo kan jedoelstellingen en resultaten met elkaar vergelijken en kan de actiebijgestuurd worden of kunnen lessen getrokken worden voor een volgendeactie.Veel voorkomende doelstellingen in een communicatieplan zijn:• vergroten van de kennis over een bepaald onderwerp• peilen naar de aanwezigheid van een attitude• onderzoeken van de intentie om gedrag te veranderen• nagaan welke strategieën het best kunnen worden gebruikt om eencampagne in te vullen• een welbepaald communicatiekanaal zo efficiënt mogelijk gebruiken• de impact van een gekozen communicatiekanaal optimaliseren.Doelstellingen formuleer je bij voorkeur op een SMART-wijze (Specifiek,Meetbaar, Aanvaardbaar, Realistisch en Tijdgebonden). Dit heeft als grotevoordeel dat evalueren, m.a.w. nagaan of je doelstellingen bereikt zijn,een stuk gemakkelijker wordt.Kan je je baseren op een vroeger uitgevoerde nulmeting, dan kan je jedoelstellingen hierop afstemmen. Bestaat er geen nulmeting, dan moet jenieuwe doelstellingen formuleren, en indicatoren bepalen die meetbaar zijn.In het volgende voorbeeld vind je doelstellingen en indicatoren uit eencampagne met verschillende acties, die een gezonde leefstijl wilpromoten.• Als je de kennis over de gezondheidsproblematiek wil vergroten, dan wilje dat na de actie x% van de mensen uit de doelgroep weet wat z’neigen Body Mass Index (BMI) is. Idealiter heb je vooraf een nulmetinggedaan, zodat je het effect van de campagne kunt meten.5

2. EvaluatiemethodesIn dit hoofdstuk worden de belangrijkste evaluatiemethodes beschreven.Ze zijn in vier groepen samengebracht:• enquêtes• face-to-face methodes, die persoonlijk contact veronderstellen• methodes die specifiek zijn voor websites• desk research methodes, die je in je bureau kan uitvoeren en waarbijgeen veldwerk nodig is.Je vindt telkens een korte definitie, een overzicht met de belangrijkstemogelijkheden en beperkingen, welke middelen – menselijk en materieel –nodig zijn, en enkele concrete tips. Ten slotte staan er enkele websites ofandere bronnen waar je verdere informatie vindt.De meeste evaluatiemethodes kunnen voor een hele reeks communicatieactiesgebruikt worden. De evaluatiescenario’s en de overzichtstabel inhoofdstuk 3 helpen je bij de keuze.Overzicht van de methodes2.1. Enquêtes2.1.1. Schriftelijke enquête2.1.2. Telefonische enquête2.1.3. Elektronische enquête2.2. Face-to-face2.2.1. Interview (vraaggesprek)2.2.2. Focusgroep2.2.3. Observatie2.2.4. Experiment2.3. Websites2.3.1. Checklist2.3.2. Analyse van de logfiles2.3.3. User test2.4. Desk research2.4.1. Interne analyse2.4.2. Inhoudsanalyse2.4.3. Persoonlijke opvolging7

2.1. Enquêtes2.1.1. Schriftelijke enquêteDefinitieDe schriftelijke enquête is een methode waarbij gebruik wordt gemaaktvan een schriftelijke vragenlijst die naar elke persoon van de steekproef ofdoelgroep wordt gestuurd. Iedereen antwoordt individueel en stuurt devragenlijst terug. De antwoorden worden nadien verwerkt.Mogelijkheden en beperkingen• Doelstelling: een groot aantal gegevens inwinnen bij een brededoelgroep.• Complexiteit: betrekkelijk eenvoudig (bij een beperkte steekproef).• Snelheid: in het algemeen gaat het over één van de traagsteevaluatiemethodes. De voorbereiding, de uitvoering en de analyse vande resultaten nemen veel tijd in beslag.• Bijstellen van de steekproef: deze methode is nogal statisch. Eenverbetering van de vragen, een uitdieping van de antwoorden of hetbijstellen van de steekproef is in de loop van de enquête niet mogelijk.Een grondige voorbereiding is dus uitermate belangrijk.• Antwoordpercentage: ongeveer 50% bij een gepersonaliseerdeindividuele brief, maar slechts 10% indien de vragenlijst samen met dete onderzoeken actie wordt verspreid.• Nadelen:- door de trage verwerking en de moeilijkheid om antwoorden opverschillende vragen te combineren, kan deze methode vrij duurzijn in verhouding tot de resultaten die ze oplevert.- hoe talrijker de doelstellingen van de enquête, hoe meer ze inomvang zal toenemen.- hoe groter de steekproef, hoe trager de enquête zal verlopen.- aan grote enquêtes zijn vaak hoge kosten verbonden (druk, layout,verzending, verwerking,…)8

Middelen2.1. EnquêtesMenselijke middelen• Voor een schriftelijke enquête zijn een hele reeks vaardighedennoodzakelijk: voor de aanpak, de redactie van de vragenlijst, depraktische realisatie, de verwerking van de antwoorden en deinterpretatie.• Voor één of meerdere onderdelen kan je een beroep doen opgespecialiseerde diensten (bv. universiteiten, enquêtebureaus,onderzoekscentra).Technische en logistieke middelen• Ondersteunende diensten (lay-out, drukwerk, verzending, verwerking,…)• Voor de verwerking van de resultaten is het interessant om over eenstatistisch werkinstrument te beschikken.Tips• Leg bij voorkeur een limietdatum vast voor de antwoorden. Gezien demeeste antwoorden snel binnenkomen, is het niet nodig om een langeantwoordtermijn vast te leggen.• Een stagiair, student in de sociologie, marketing of socialewetenschappen, kan gemakkelijk aan een dergelijke enquêtemeewerken. Hij zal wel drie tot zes maanden nodig hebben(afhankelijk van de omvang van de steekproef) om een dergelijkeenquête te concipiëren, te verwerken en te analyseren. Bij de analysevan de resultaten zal hij begeleid moeten worden, vanuit het oogpuntvan wat je werkelijk te weten wil komen. Zo kunnen bepaalderesultaten gecombineerd worden zodat de invloed van een bepaaldevariabele op een andere tot uiting kan komen.Meer informatie• http://www.surveystore.info/NSarticle/enquete-par-questionnaire.asp9

2.1.2. Telefonische enquêteDefinitieDe telefonische enquête is een methode waarbij personen van dedoelgroep individueel per telefoon worden bevraagd.Mogelijkheden en beperkingen• Doelstelling: van een vooraf bepaalde steekproef snel eenvoudige gegevensinwinnen (bv. profiel van de respondenten, algemene tevredenheid).• Complexiteit: betrekkelijk eenvoudig (bij een beperkte steekproef).• Snelheid: betrekkelijk snel, onmiddellijke inzameling van gegevens.• Bijstellen van de steekproef: betrekkelijk eenvoudig, zijn er bv. teveelvrouwelijke respondenten, dan belt men er mannelijke op om hetevenwicht te herstellen.• Antwoordpercentage: betrekkelijk hoog• Nadelen:- beperkt aantal vragen, hoeveelheid informatie is gering en degespreksduur is kort- de steekproef omvat alleen personen met een opspoorbaartelefoonnummer- de methode is niet geschikt om een groot aantal personen tebereiken (max. 500 personen = ongeveer 10 dagen met 2enquêteurs, zonder voorbereiding).MiddelenMenselijke middelen• De enquête moet worden uitgevoerd door iemand met goede sociale enmondelinge vaardigheden (aangename stem, dynamisch, geduldig,vriendelijk, …).• De enquêteur moet zich neutraal opstellen.Technische en logistieke middelen• Een gepast lokaal waar de enquête kan worden uitgevoerd (geenstorende geluiden, …).• Afhankelijk van de doelstelling van de enquête, een nauwkeurigtijdschema voor de respondenten en voor de enquêteurs.• Bij voorkeur beschikken over een systeem voor het beheer van deoproepen en geïnformatiseerde gegevens met een vragenlijst inelektronische vorm die de enquêteur onmiddellijk kan invullen (CATIsysteem- Computer Assisted Telephone Interview).10

2.1. EnquêtesTips• Kondig de enquête bij de doelgroep of de steekproef aan: een brief ofmail versturen kan het deelnemingspercentage sterk verhogen.• De enquêteur mag niet de indruk wekken dat het om een commerciëleof een marketingactie gaat. Daarom moet hij het doel van zijn oproepverduidelijken. Om te verhinderen dat de respondenten het gesprekverbreken, is het belangrijk dat ze van bij het begin weten van wie devragen uitgaan, wat de doelstellingen van de enquête zijn en hoelanghet gesprek zal duren.Meer informatie• Jaak Billiet, Hans Waegl: Een samenleving onderzocht, De Boeck,Antwerpen 2003• http://www.omroep.nl/schooltv (archive.org)11

2.1.3. Elektronische enquêteDefinitieDe elektronische enquête is een methode waarbij iemand individueel eenvragenlijst op het internet of intranet invult. Daarna worden de gegevensopgeslagen in een database en automatisch verwerkt.Mogelijkheden en beperkingen• Doelstelling: op een snelle en precieze manier gerichte informatieverkrijgen.• Complexiteit: gemakkelijke methode wanneer er geen technischeobstakels zijn. Uitvoering en verwerking kunnen zeer snel gebeuren.• Snelheid: zeer snel• Kostefficiënt: een elektronische enquête wordt relatief goedkopernaargelang de omvang toeneemt.• Antwoordratio: relatief hoog; wie een internetverbinding heeft, vult lievereen online-enquête in dan een telefonische enquête te beantwoorden.• Nadelen: deze methode kan enkel gebruikt worden bij mensen die overeen internetaansluiting beschikken.MiddelenMenselijke middelenJe hebt mensen nodig die een vragenlijst kunnen opstellen, en de toolskunnen hanteren om de lijst in te brengen en de antwoorden teinterpreteren. Eenvoudige enquêtes, bv. de één-vraag-enquêtes (polls),kun je gemakkelijk zelf organiseren. Gespecialiseerde bureaus zijn vaak opde hoogte van de meest recente technieken.Technische en logistieke middelen• Je hebt verschillende software en websites nodig om een elektronischeenquête af te nemen en te verwerken. Voor occasioneel gebruik is ergratis software beschikbaar op internet.• Organiseer je regelmatig elektronische enquêtes, dan kan de aankoopvan een tool of de hulp van een extern bureau interessant zijn.12

2.1. EnquêtesTips• Gebruik de mogelijkheden van elektronische enquêtes optimaal.Correleer eventueel meerdere antwoorden en vragen, bv. deantwoorden per leeftijdscategorie.• De enquête kan zo opgesteld worden dat niet-relevante vragenverborgen blijven voor de invuller.• Indien je de anonimiteit van de enquête garandeert, vermeld dit danexpliciet bij het begin en einde.Meer informatie• http://emarketing.typepad.com/emarketing/tutorial_collecte_de_donnes/index.html• http://www.euronet.nl/users/warnar13

2.2.1. Interview (vraaggesprek)DefinitieEen interview is een individuele en face-to-face bevraging van personenuit de doelgroep. Het is gebaseerd op een vragenlijst of het bestaat uiteen open gesprek, of het is een combinatie van beide.Mogelijkheden en beperkingen• Doelstelling: deze evaluatiemethode maakt het mogelijk dieper in tegaan op bepaalde antwoorden en te peilen naar bijkomende meningen.• Complexiteit: interviews op basis van vragenlijsten zijn relatiefgemakkelijk uit te voeren; open gesprekken zijn vakwerk, omdat mendoelgericht te werk moet gaan en tegelijk over het nodigepsychologische inzicht moet beschikken.• Snelheid: een interview kan vrij lang duren per geïnterviewde persoon;een reeks interviews kan echter vrij snel afgenomen worden.• Nadelen:- de interviews moeten in vergelijkbare omstandigheden wordenafgenomen- er kan slechts een beperkt aantal personen worden bevraagd. Demethode is daarom minder geschikt om representatieve resultatente verkrijgen.Middelen2.2. Face-to-faceMenselijke middelenDe interviewer kan de antwoorden sterk beïnvloeden. Hij moet zich danook neutraal opstellen, aangenaam in de omgang zijn, gemotiveerd omhet interview af te nemen en interviewtechnieken beheersen.14

Technische en logistieke middelenOpnamemateriaal: neem het gesprek eventueel op (klank en beeld), als dedeelnemers akkoord gaan.Tips• Stel enkel vragen die meteen beantwoord kunnen worden.• Vermeld bij het begin van het interview bij voorkeur hoe lang het zalduren.• Stel de vragen zo op dat ze achteraf op een eenduidige, relatiefgemakkelijke manier verwerkt en geanalyseerd kunnen worden.• Je kan een interview ook binnen de context van een pretest gebruiken.• Het interview wordt vaak gebruikt als aanvulling of voorbereiding bijandere methodes, bv. een focusgroep of een enquête.Meer informatie2.2. Face-to-faceJaak Billiet, Hans Waegl, Een samenleving onderzocht, De Boeck,Antwerpen, 200315

2.2.2. FocusgroepDefinitieIn een focusgroep worden 6 tot 12 personen uit de doelgroepsamengebracht om onder leiding van een moderator op eengestructureerde manier de meningen, gedragingen en motieven van dedeelnemers te onderzoeken.Mogelijkheden en beperkingen• Doelstelling: op een vrij grondige manier te weten komen wat jedoelgroep denkt over een bepaald onderwerp, zonder representativiteitna te streven.• Complexiteit: hoog.- De voorbereiding is essentieel zodat de moderator het gesprekbinnen een bepaald kader kan houden, en de verwerking achterafgerichter kan gebeuren.- De samenstelling van de groep(en), homogeen of heterogeen, isvaak complex, omdat die afhangt van de doelstelling van defocusgroep.• Snelheid:- Een focusgroep kan relatief snel georganiseerd worden, zeker alsje een interne actie moet evalueren waarbij eigen personeel in defocusgroep plaatsneemt.- Een focusgroep vraagt meer voorbereiding en expertise dan eeninterview.• Kostefficiënt: tenzij de competenties intern beschikbaar zijn, is dezemethode relatief duur.• Nadelen:- beperkte representativiteit- de leden van de groep kunnen elkaar beïnvloeden, het gesprekmag daarom niet te lang duren (maximum 2 uur).MiddelenMenselijke middelen• Eigen mensen kunnen het gesprek eventueel leiden, maar voor deobjectiviteit en als er een budget voor is, is het beter om eengespreksleider van buitenaf te nemen.• Het is gemakkelijker om het gesprek met z’n tweeën te doen: eenmoderator en een andere persoon om notities te nemen.16

Technische en logistieke middelenVolgende middelen dragen bij tot een goed verloop van een focusgroep:• een goed uitgeruste zaal• presentatiemateriaal• opnamemateriaal: neem het gesprek bij voorkeur op (klank en beeld),als de deelnemers akkoord gaan.Tips• Zorg voor een goede inleiding: leg de manier van werken uit, zeg water met de resultaten gebeurt, …• Bereid je vragen goed voor.• Vat de antwoorden regelmatig samen, bv. door ze te herformuleren.• Let ook goed op de lichaamstaal van de deelnemers.• Gebruik een focusgroep eventueel in combinatie met andere methodesof als pretest.• Bedank de deelnemers eventueel met een cadeautje.Meer informatie2.2. Face-to-face• http://www.viwta.be/files/MethFocusgroep.pdf• http://www.kbs-frb.be/files/db/fr/PUB_1600_MethodesParticipatives.pdf17

2.2.3. ObservatieDefinitieEen observatie is een evaluatiemethode die bestaat uit het waarnemen vanreacties en/of gedrag van de deelnemers aan een communicatie-actie, zoalseen evenement. De observator kan ook zelf deelnemen aan de actie als‘mystery guest’, waarbij hij reacties van anderen observeert of zelfs uitlokt.Mogelijkheden en beperkingen• Doelstellingen:- de observator kan peilen naar een hele reeks van gedragingen, bv.het aantal bezoekers van een specifieke stand, of mensen tijdiggeholpen worden, ...- de mystery guest kan proefondervindelijk werken door bv. zelf opzoek te gaan naar informatie en/of reacties, en commentaren bijandere deelnemers uit te lokken, bv. vond u de koffie ook niet tedrinken?- de observatie kan het lopende evenement helpen bijsturen.• Complexiteit: Deze methode is relatief eenvoudig, als vooraf duidelijk isvastgelegd wat geobserveerd moet worden.• Snelheid: Deze methode wordt tijdens het evenement zelf uitgevoerd.• Kostefficiënt: enkel als je iemand van buitenaf inhuurt, hangt er eenprijskaartje vast aan deze methode.• Nadelen: de conclusies van de observaties zijn niet noodzakelijkrepresentatief. In combinatie met andere evaluatiemethodes kunnen zijwel een beter inzicht geven.MiddelenMenselijke middelenDe observator/mystery guest moet zijn rol kunnen spelen en zijnwaarnemingen en ervaringen op een gestructureerde manier kunnenweergeven.18

2.2. Face-to-faceTips• Als de observator/mystery guest een onbekende is, dan beïnvloedt hijhet gedrag van de medewerkers en de deelnemers niet.• Wie het gedrag van de bezoekers wil observeren en interpreteren,moet over de nodige deskundigheid beschikken.Meer informatieDe Laet M., Offermans P, Toye P., Marktonderzoek, De Boeck, Antwerpen,200419

2.2.4. ExperimentDefinitieIn een experiment wordt vooraf proefondervindelijk uitgetest of decommunicatie-actie haar doel werkelijk zal bereiken. Is dit niet het geval,dan moet de actie aangepast worden of zelfs tegengehouden, waardoordeze methode bijzonder confronterend kan zijn.Mogelijkheden en beperkingen• Doelstelling: deze methode wordt vooral gebruikt om vooraf (als pretest)nieuw communicatiemateriaal (bv. tv- of radiospot, affiche,…) te testenen uit meerdere alternatieven de definitieve versie te selecteren.• Complexiteit: het is een eenvoudige kwalitatieve methode die je zelf kanuitvoeren. Het volstaat nieuw communicatiemateriaal voor te leggen aaneen beperkt, maar representatief staal van de doelgroep.• Snelheid: relatief snel, tenzij voor dit experiment groepen mensenmoeten worden samengebracht (bv. voor een bioscoopspot).• Kostefficiënt: afhankelijk van de geteste actie. Het is vaak mogelijk énwenselijk om een dergelijke pretest in de opdracht van de creatieve fasete integreren.• Nadelen: het kan nodig zijn om het experiment aan te vullen met eenandere evaluatiemethode, bv. een enquête of een interview.MiddelenTechnische en logistieke middelenAfhankelijk van de geteste actie kan het zijn dat er helemaal geenbenodigdheden zijn, bv. om een straataffiche te testen. Om tv- ofradiospots te testen is een geschikt lokaal nodig.TipsIndien er weinig of geen budget beschikbaar is, kun je de testgroepsamenstellen uit collega’s, familie, kennissen, … Vermijd in dat gevalwel alle vooringenomenheid bij de deelnemers.20

Meer informatie2.2. Face-to-face• http://www.answers.com/topic/experimental-techniques21

2.3.1. ChecklistDefinitieMet een checklist wordt nagegaan wat de belangrijkste punten voor detechnische verbetering van in het bijzonder een website zijn. Deze puntenkrijgen een prioriteit mee. Daarna wordt beschreven wat de juiste stappenzijn om tot de optimalisatie van de website te komen.Mogelijkheden en beperkingen• Doelstelling: op een snelle manier de belangrijkste punten voor detechnische verbetering van je website te weten komen om je teconformeren aan bepaalde standaarden, bv. W3C, AnySurfer (voorheenBlindSurfer).• Complexiteit: een zeer eenvoudige methode die de meeste webmasterszelf kunnen toepassen.• Snelheid: kan zeer snel gebeuren.• Kostefficiënt: een checklist kan gratis van internet gedownload worden• Nadelen: een checklist beperkt zich meestal tot de technischeconformiteit van de site en laat geen appreciatie toe. Hij houdt bv. nietnoodzakelijk rekening met de criteria van het AnySurfer-label voorslechtzienden en vervangt de controle van dit label dus niet.Middelen2.3. WebsitesMenselijke middelenDe webmaster kan deze methode in principe zelf toepassen.22

2.3. WebsitesTips• Het is een interessante methode om het werk van externe leverancierste evalueren.• Verwittig uw externe leverancier dat je de site zal onderwerpen aaneen specifieke checklist. Dit vermijdt discussies achteraf envereenvoudigt de oplevering van je website.• Je kan de checklist bv. om de 3 of 6 maanden toepassen en bepaaldeevoluties vaststellen.• Je kan de checklist om het even wanneer gebruiken.Meer informatieJe vindt checklists gemakkelijk op internet terug.• Kwaliteitslabel voor toegankelijke websites:http://www.AnySurfer.be• Checklists bij het handboek voor usability:http://www.handboekusability.nl/checklists/• Marta Eleniak: Essential Navigation Checklists for Web Design:http://www.sitepoint.com/article/checklists-web-design• Review Assistant (programma):http://www.infodesign.com.au/usabilityresources/reviewassistant/• Template Files for Web Projects:http://www.e-consultancy.com/publications/web-project-template-files/• Liste de contrôle pour standards web:http://w3qc.org/docs/webstandards_checklist.html23

2.3.2. Analyse van de logfilesDefinitieLogfiles zijn tekstbestanden die alle informatie over de bezoeken aan jewebsite bijhouden. Van elke webpagina en elk bestand wordt een aantalgegevens geregistreerd, bv. de tijd, het IP-nummer of de domeinnaam, deherkomst, de referrer (de URL van de vorige site die werd bezocht). Viadeze statistieken kun je het gebruik van je website evalueren.Er bestaan twee methodes:• informatie verkrijgen via de logfiles van de webserver• Informatie verkrijgen via de specifieke code die in elke webpaginaafzonderlijk wordt ingebouwd.Mogelijkheden en beperkingen• Doelstelling: kwantitatief analyseren van de bezoeken van de website.Vooral het aantal paginabezoeken, het aantal (unieke) bezoekers en hetaantal bezochte pagina’s per bezoeker zijn interessant. Hieruit kun jeeen goed beeld verkrijgen van het surfgedrag van je bezoekers.• Complexiteit: eenmaal operationeel werkt dit onmiddellijk. De methodemet een specifieke code per pagina is complexer, maar je verkrijgt erdan wel actuelere informatie mee.• Snelheid: de bezoekersgegevens kunnen heel snel, en in bepaaldegevallen zelfs ogenblikkelijk, geraadpleegd en geïnterpreteerd worden.• Kostefficiënt: enkel voor de aankoop van de nodige software moet jeeventueel betalen, maar vele programma’s zijn gratis ter beschikking opinternet.• Nadelen: verkeerde interpretatie van de cijfers is mogelijk.MiddelenTechnische en logistieke middelen• Een logprogramma om de logfiles aan te maken, bv. Apache, InternetInformation Server.• Een logfile analyzer om de gegevens in een leesbare vorm te gieten.Gratis op het internet verkrijgbare logfile analyzers zijn awStats (bv.gebruikt op stats.presscenter.org), analog, reportmagic, webalizer,weblog expert lite, awmill, funnel web analyzer.24

2.3. WebsitesTipsJe kunt de logfiles gebruiken om• te weten te komen wat je bezoekers zoeken op je website door tekijken naar de meest bezochte pagina’s en naar de zoektermen die degebruikers intypen• fouten te detecteren, bv. broken links• te weten te komen vanaf welke sites de bezoekers naar je websitekomen.Meer informatie• http://webguide.fgov.be/nl/services/metrics/• http://www.nettracker.be/nl/web-analyse-oplossingen/soortenanalyses/bezoekersanalyse.html• http://www.agconsult.be/nl/usability/analyse.asp• http://www.webanalyticsassociation.org/• http://de.wikipedia.org/wiki/Logfile-Analyse25

2.3.3. User testDefinitieDe user test (gebruikerstest) is een methode waarbij gebruikers individueeleen website testen. Hierbij voeren zij een aantal taken uit, bv. specifiekeinformatie opzoeken of de navigatiestructuur gericht gebruiken.Mogelijkheden en beperkingen• Doelstelling: een user test is een van de betere manieren om degebruiksvriendelijkheid van een website te testen. De test kan opverschillende tijdstippen plaatsvinden, bv. bij de testversie of reeds oppapier.• Complexiteit: het opstellen van scenario’s, de selectie van detestgebruikers, de test zelf, eventueel interviews en het analyseren vande resultaten vergt specifieke deskundigheid.• Snelheid: deze evaluatiemethode vraagt nogal wat tijd. Voor een usertest heb je 8 à 10 testgebruikers nodig, en per persoon mag je al gauw1,5 tot 2 uur rekenen, zodat je alleen hiervoor al enkele dagen moetuittrekken. Als je je eigen intranetsite gaat evalueren, heb je hetvoordeel dat de testgebruikers steeds aanwezig zijn. Een one-day usertest (met slechts 3 gebruikers) is compacter en gaat sneller.• Kostefficiëntie: met een testgroep van 8 à 10 personen wordt ongeveer90 percent van de problemen ontdekt.• Nadelen: door het beperkt aantal testpersonen is deze methode nietecht geschikt om de inhoud van een website te beoordelen. Hiervoormaak je beter gebruik van bv. een elektronische enquête.MiddelenMenselijke middelenJe hebt mensen nodig die de scenario’s opstellen, die de selectie van detestgebruikers doen, die de test zelf op een objectieve wijze begeleiden,die eventueel achteraf nog interviews afnemen en die de resultaten gaananalyseren. In de meeste gevallen doe je hiervoor het best een beroep opexterne specialisten.26

Technische en logistieke middelen• Je hebt een lokaal nodig waar de testgebruikers je website kunnenevalueren. Het kan interessant zijn dat je als opdrachtgever de test opeen andere locatie kan volgen, bv. achter glas.• Er bestaat hard- en software om de oogbewegingen van de gebruikerste volgen.TipsEvalueer je website liefst zo vroeg mogelijk. Hoe vroeger tekortkomingenworden opgespoord, hoe goedkoper het is om ze te verbeteren. Zelfswanneer er nog maar een prototype op papier staat, kan overleg met deverantwoordelijken, of met experten al veel interessante informatieopleveren.Meer informatie2.3. Websites• Voorbeelden: de one-day user tests die voor de websites premier.be,webguide.be, belgium.be, monarchie.be gerealiseerd werden kan jeterugvinden op http://webguide.fgov.be• http://www.usability.startpagina.nl• http://www.agconsult.be/nl/usability/onedayusertest.asp• http://usableweb.com/topics/000878-0-0.html• http://www.axance.com/02prestati/level2/02prestat_02method_01_testu.htm27

2.4.1. Interne analyseDefinitieDeze evaluatiemethode analyseert de informatie over de bewustecommunicatie-actie die reeds in de organisatie aanwezig is. Vaak is dieinformatie wel ergens in de organisatie opgeslagen, maar wordt er nietsmee gedaan. Zij kan vanzelfsprekend heel uiteenlopend van aard zijn.Door de verkregen bronnen te combineren, verbanden te leggen en op eenandere manier te bekijken kan nieuwe, interessante én bruikbareinformatie ontstaan.Mogelijkheden en beperkingen• Doelstelling: afhankelijk van de actie die je wil evalueren.• Complexiteit: eenvoudig, je gaat gewoon op zoek naar wat alvoorhanden is.• Snelheid: het verzamelen van interne gegevens kan heel snel gaan.• Kostefficiënt: de informatie is per definitie gratis voorhanden.• Nadelen: in bepaalde gevallen kan je geconfronteerd worden metweerstanden om de beschikbare info vrij te geven.Middelen2.4. Desk researchAlle mogelijke bronnen kunnen informatie opleveren: collega’s, reedsvroeger uitgevoerde evaluaties, binnengekomen klachten, ideeënbus,artikels in de media, gastenboek, adressenlijsten, werkdocumenten,verslagen van vergaderingen, …28

2.4. Desk researchTipsLeg enige diplomatie aan de dag tijdens je zoektocht naar bestaandeinformatie.29

2.4.2. InhoudsanalyseDefinitieDe inhoudsanalyse is een techniek om de inhoud van de communicatie opeen systematische manier te bestuderen (analyse van geschreven ofgesproken boodschappen). In de meeste definities wordt hetsystematische, objectieve en kwantitatieve karakter van deinhoudsanalyse benadrukt. De inhoudsanalyse kan echter ook kwalitatiefzijn en is dan eerder gericht op het zoeken naar kernwoorden of beeldenmet een bepaalde connotatie (positieve, negatieve en neutraleformuleringen) en verborgen of impliciete betekenissen.Mogelijkheden en beperkingen• Doelstelling: via de inhoudsanalyse kan men informatie halen uit deinhoud van de bestudeerde communicatie. Daartoe wordt een bepaaldemethodologie gehanteerd. Over het algemeen worden de elementen vande inhoud eerst per thema of categorie gerangschikt, vervolgens wordtde inhoud in eenheden verdeeld, waarna men de resultaten kaninterpreteren.• Complexiteit: de kwantitatieve methode is vrij eenvoudig; voor dekwalitatieve methode zijn specifiekere competenties vereist (semiologie,sociologie, …).• Snelheid: niet zo snel.MiddelenMenselijke middelenEén persoon kan zich bezighouden met een inhoudsanalyse. Hij dientdaartoe wel over voldoende kennis van de bestudeerde materie en van deaan te wenden methodologie te beschikken.Technische en logistieke middelenEr bestaan elektronische systemen voor de inhoudsanalyse. Het SACAO(Système d’Analyse de Contenu Assistée par Ordinateur) bijvoorbeeldbiedt de gebruikers modules voor het beschrijven, onderzoeken enanalyseren van tekstuele gegevens.30

2.4. Desk researchTipsWat kan je analyseren?• kwantitatief: krantenknipsels analyseren wat betreft de omvang(oppervlakte of aantal woorden), op welke pagina, in welke krant, metof zonder foto’s, omvang van de titel/ondertitels, …• kwalitatief: welk soort woorden komen in de tekst voor, analyse van detitels/ondertitels, welke beelden worden gebruikt, worden er namen ofwebsites vermeld, …Meer informatie• Tekstanalyse:http://jeunet.univ-lille3.fr/livresic/parcours/p_analyse/chapitre1.htm#an1• Système d’Analyse de Contenu Assistée par Ordinateur (SACAO):http://www.ling.uqam.ca/sato/publications/bibliographie/Jul15.htm• Fred Wester, Inhoudsanalyse: theorie en praktijk, Kluwer, 200631

2.4.3. Persoonlijke opvolgingDefinitieDe persoonlijke opvolging (van de pers of een evenement) is een actie dieerin bestaat opnieuw contact op te nemen met journalisten/personen nahet verzenden van een persbericht of een perscampagne, of na eenevenement. Een persoonlijke opvolging moet dus beschouwd worden alseen actie ter ondersteuning van een bredere actie.Mogelijkheden en beperkingen• Doelstelling: de persoonlijke opvolging is bedoeld om na te gaan of dejournalisten gebruik maken van de informatie die hen werd bezorgd(persbericht of -dossier) en ervoor te zorgen dat de doorgegeveninformatie (over een evenement, een nieuwe dienst, enz.) wel degelijkin de pers verschijnt, waardoor een vrij ruime secundaire doelgroepbereikt wordt (de primaire doelgroep bestaat in dit geval uit dejournalisten). In andere gevallen kan de persoonlijke opvolging bedoeldzijn om de deelname aan een activiteit te stimuleren.• Complexiteit: zeer eenvoudig.• Snelheid: naargelang de actie kan de persoonlijke opvolging gebeuren ineen halve dag of een dag.MiddelenMenselijke middelenDe persoonlijke opvolging gebeurt bij voorkeur door de persoon die hetpersbericht heeft opgesteld, die verantwoordelijk is voor de perscampagneof die de activiteit organiseert. De duur van de opvolging hangt uiteraardaf van het aantal personen waarmee contact moet worden opgenomen.Technische en logistieke middelenEen telefoontoestel en een lijst met contactpersonen, waarop de datumvan de oproep en hun commentaar worden vermeld (geïnteresseerd, nietgeïnteresseerd, vermoedelijke datum van het artikel in kwestie, ...).32

2.4. Desk researchTips• Bij de opvolging van de journalisten ga je te werk als bij eencommerciële mailing: hou steeds voor ogen dat je van jegesprekspartner te weten wil komen wat hij met de informatie vanplan is.• Dring niet te veel aan op een verschijning in de pers. Journalistenkrijgen meestal niet graag het gevoel dat ze onder druk gezet worden.• Bied de contactpersonen je hulp aan, zodat er een vertrouwensrelatieontstaat.• Ervaring heeft aangetoond dat het “opfrissen van het geheugen” zeerdoeltreffend is indien men contact opneemt met de journalisten in deweek die volgt op het versturen van het persdossier of persbericht, inhet ideale geval binnen de 72 uur.33

3. Evaluatiescenario’sAls je een geschikte evaluatiemethode zoekt voor je communicatie-actie,dan helpt de overzichtstabel (punt 3.6.) je daarbij.In veel gevallen is het echter nuttig om evaluatiemethodes te combineren.Zo combineer je hun sterke en ontwijk je hun zwakke punten. In allegevallen is een interne analyse waarbij je gebruik maakt van de informatiedie in de organisatie en bij de medewerkers beschikbaar is, aangewezen.Er zijn drie scenario’s uitgewerkt: ze gaan van relatief eenvoudig engoedkoop, maar veeleer kwantitatief en oppervlakkig, naar complex, duuren kwalitatief.Voor gelijkaardige communicatie-acties zijn meestal dezelfde methodesgeschikt. De scenario’s werden daarom telkens uitgewerkt voor groepenvan gelijkaardige communicatie-acties.Overzicht van de scenario’s3.1. Scenario’s voor een schriftelijke communicatie-actie (bv. internmagazine, brochure)3.2. Scenario’s voor een communicatie-actie via een website3.3. Scenario’s voor een communicatie-actie via een evenement(bv. beurs, tentoonstelling)3.4. Scenario’s voor een communicatie-actie via audiovisuele kanalen(bv. tv-spot, radio-spot, podcast)3.5. Scenario’s voor een communicatie-actie via de pers (bv. persbericht,persconferentie)34

3.1. Scenario's voor een schriftelijke communicatie-actie(personeelsblad/intern magazine, bedrijfsblad/extern magazine, informatiebrochure/folder, jaarverslag, affiche, flyer)EvaluatiescenarioType actieKenmerkenCommentaarSCENARIO 1:interne analyse+ schriftelijke of elektronischeenquête• personeelsblad (intern)• bedrijfsblad (extern)• brochure• jaarverslag• eenvoudig• goedkoop• snel• vooral kwantitatieve respons• vooraf geen steekproef nodig• Je kan iedereen die met de teevalueren actie te maken heeft,onmiddellijk bereiken; je kan bv. deschriftelijke enquête samen met hetbedrijfsblad opsturen.SCENARIO 2:interne analyse+ interview of schriftelijke oftelefonische enquête met eensteekproef• personeelsblad (intern)• bedrijfsblad (extern)• brochure• jaarverslag• affiche• flyer• relatief complex• snel• uitgebreidere informatie• duurder met externe interviewer(s)• toegang tot informatie om eensteekproef samen te stellen isnoodzakelijk• Je kan er een goed idee van krijgenof de actie al dan niet gekend is, dedoorsnee-indrukken komen beter totuiting.• Je kan de groep respondenten directbepalen of verfijnen.SCENARIO 3:interne analyse+ focusgroep+ experiment• personeelsblad (intern)• bedrijfsblad (extern)• brochure• jaarverslag• affiche• flyer• complex• vraagt tijd• duurder met externe moderator• kwalitatieve respons• mogelijkheid om de mening tevragen van personen die de actieniet kennen• mogelijkheid om uitgebreideremeningen te verkrijgen• Je moet de deelnemers aan defocusgroep uitnodigen en ze op éénplaats samenbrengen.• Bij voorkeur voer je vooraf één vande vorige scenario's uit.• Een experiment is uitermate geschiktals pretest.35

EvaluatiescenarioSCENARIO 1:interne analyse+ checklist+ logfilesSCENARIO 2:interne analyse+ elektronische enquête +interviewSCENARIO 3:interne analyse+ user test+ focusgroep3.2. Scenario's voor een communicatie-actie via een website(internetsite, intranetsite, extranetsite, campagnesite, themasite,...)Type actieKenmerkenCommentaar• website• eenvoudig• goedkoop• resultaten onmiddellijk beschikbaar• kwantitatieve respons• snel• Logfiles (gebruikersstatistieken)geven je een goed inzicht in hetgebruik van de website. Zij kunneneen aanzet geven om je websitecontinu te evalueren.• Praktische checklists die naar degebruiksvriendelijkheid entoegankelijkheid van de websitepeilen, zijn gratis beschikbaar op hetinternet• website• website• complexer• duurder indien met externeleveranciers• resultaten minder snel beschikbaar• kwantitatieve én kwalitatieverespons• uitgebreidere informatie• complex: expertise vereist• duurder• vraagt tijd• kwalitatieve respons• uitgebreide informatie• De verwachtingen worden gepolstzodat je de inhoud van de site kuntbijsturen.* De user test is een evaluatiemethodewaarbij je externe gebruikersinschakelt om ongedwongen feedbackte geven over je website. Hen wordtgevraagd om enkele realistische takenuit te voeren. Deze methode is, indiencorrect uitgevoerd, het beste middelom het gros van de problemen teontdekken.36

3.3. Scenario's voor een communicatie-actie via een evenement(beurs, congres, tentoonstelling, opendeurdag, presentatie, infosessie)EvaluatiescenarioType actieKenmerkenCommentaarSCENARIO 1:interne analyse+ schriftelijke enquête en/ofobservatie• beurs• congres• tentoonstelling• opendeurdag• presentatie• infosessie• eenvoudig• goedkoop• snel• oppervlakkige informatie• Een korte schriftelijke vragenlijst bij het binnen- ofbuitengaan kan helpen om:-> een idee te krijgen over het profiel van debezoeker-> een idee te krijgen over de manier waarop debezoekers info over het evenement verkregen-> organisatorische aanpassingen te doen(monitoring)-> informatie te vergaren over het nut en dedoeltreffendheid van het evenement-> de verwachtingen bij het binnengaan ofachteraf, bij het buitengaan, te toetsen.SCENARIO 2:interne analyse+ interview+ observatie• beurs• congres• tentoonstelling• opendeurdag• presentatie• infosessie• eenvoudig• duurder met externeinterviewers• relatief snel• uitgebreidere informatie• Tijdens het evenement of wanneer de bezoekersvertrekken, kan een (kort) interview wordenafgenomen. Deze methode levert meer en betereinformatie op dan een schriftelijke enquête (ziehierboven).• Interviews worden bij voorkeur door 'buitenstaanders'(met een zekere deskundigheid) verricht, wat hetvrijuit antwoorden in de hand werkt.SCENARIO 3:interne analyse+ schriftelijke enquête en/ofobservatie+ focusgroep• beurs• congres• tentoonstelling• opendeurdag• presentatie• relatief complex• duurder• vraagt tijd• uitgebreide informatie• Wanneer de bezoekers vertrekken, kan je hen eenkorte vragenlijst laten invullen waarin hen o.m.gevraagd wordt of ze bereid zijn later deel te nemenaan een groepsdiscussie.• Bij een congres heeft men doorgaans de gegevensvan de deelnemers zodat zij gemakkelijk tecontacteren zijn voor een focusgroep.37

3.4. Scenario's voor een communicatie-actie via audiovisuele kanalen(tv-spot, bioscoopspot, radiospot, vodcast, podcast)EvaluatiescenarioType actieKenmerkenCommentaarSCENARIO 1:interne analyse+ elektronische enquête nabekijken/beluisteren op pc• tv-spot / bioscoopspot• radiospot• podcast• vodcast• redelijk eenvoudig• goedkoop• snel• kwantitatief• Voor de interne analyse doe je een beroep op dereacties van collega's en medewerkers.• De aard van de actie vereist dat de spot, podcast ofvodcast vooraf bekeken of beluisterd kan worden opeen pc. Daarna kan de enquête ingevuld worden.• Dit scenario geeft een idee van hetpenetratiepercentage van de spot.SCENARIO 2:interne analyse+ interview en/of experimentna individueelbekijken/beluisteren• tv-spot /bioscoopspot• radiospot• podcast• vodcast• bekwame en objectieveinterviewer noodzakelijk• prijs afhankelijk vanaantal interviews/dageninterviews• redelijk snel• redelijk kwalitatief• Het interview maakt het mogelijk dieper te graven.• Onverwachte reacties (interview) mogelijk.• Som van individuele standpunten.• Doe de test altijd in identieke of vergelijkbareomstandigheden.SCENARIO 3:interne analyse+ observatie (spots)+ focusgroep en/of experiment(spots)na collectiefbekijken/beluisteren• tv-spot / bioscoopspot• radiospot• podcast• vodcast(geen observatie ofexperiment)• ingewikkeld engespecialiseerd• redelijk duur (nood aanobjectieve moderatoren enobservatie-experten)• tijdrovend• kwalitatief• Een focusgroep is wat moeilijker te organiseren,zowel om mensen bij elkaar te krijgen, de juistelocatie te vinden, als om de discussie in goedebanen te leiden. De groepsdynamiek kan echter heelwat punten naar boven brengen die in de anderescenario's verborgen blijven.• Collectief standpunt• Onverwachte reacties.• Doe de test altijd in identieke of vergelijkbareomstandigheden.Opmerkingen:• Het experiment (scenario's 2 en 3) is een uitstekende methode om, in het kader van een pretest, audio- en video-acties te evalueren.• Zorg ervoor dat de evaluatie deel uitmaakt van het totale bestek.• Hou er rekening mee dat bij een experiment confronterende situaties kunnen ontstaan, die -in het slechtste geval- kunnen leiden tot het volledig verwerpen vanhet voorgestelde ontwerp.38

3.6. Overzichtstabel: Welke evaluatiemethode bij welke communicatie-EVALUATIEMETHODEEnquêtesFace-to-faceschriftelijketelefonischeelektronischeinterviewfocusgroepobservatieexperimentGeschrevenpersoneelsbladbedrijfsbladbrochurejaarverslagafficheflyerCOMMUNICATIE-ACTIEPers Audio et video Evenement Websiteinternetsiteintranetsiteextranetsitecampagnesitethemasitebeurscongrestentoonstellingopendeurdagpresentatieinfosessietv-spotradio-spotbioscoopspotpodcastvodcastpersberichtpersdossierpersconferentie40

actie?checklistWebsitesanalyse van de logfilesuser testDesk researchinterne analyseinhoudsanalysepersoonlijke opvolging41

4. Algemene tips4.1. Een steekproef samenstellenAls je een communicatie-actie wil evalueren, is het meestal niet mogelijkom de mening van alle mensen van je doelgroep (= populatie) te vragen.In plaats daarvan trek je een steekproef (sample, échantillon), d.w.z. jebeperkt je tot een kleinere groep uit een groter geheel. Vanuit dezedeelwaarneming kan je nadien de resultaten extrapoleren of schattingenmaken over de volledige populatie. Zekerheid dat de steekproefrepresentatief is voor de totale doelgroep heb je pas als je rekening houdtmet een aantal factoren.4.1.1. Welke populatie is relevant voor je onderzoeksvraag?Vooraleer je begint aan een steekproef, zal je eerst duidelijk moetenvastleggen wie er deel uitmaakt van de te onderzoeken groep. Dezepopulatie kan gedefinieerd worden door socio-demografische kenmerken(geslacht, beroep, woonplaats…) en/of door gedragsmatige kenmerken(gebruiker, bezoeker, aankoper… ). Je moet eerst duidelijk bepalen wat jewil meten en (op welk niveau) bij wie.Voorbeeld:Je wil weten of de bezoekers van een opendeurdag tevreden zijn over dehorecadiensten. Stel dat er 1.500 bezoekers waren en 700 ervan hebbengebruikgemaakt van de horecadiensten, dan is de populatie 700.Als je wil weten of de bezoekers in het algemeen tevreden waren, dan isje populatie 1.500.Daarna moet je berekenen hoe groot je steekproef moet zijn om relevantebesluiten te kunnen trekken.4.1.2. Heb je voldoende tijd en budget?Het is niet evident dat het communicatieplan van een actie voldoende tijden budget voorziet voor een evaluatie. Vaak wordt deze fase nog testiefmoederlijk behandeld. Hoe meer en hoe beter je de respondenten kantesten, hoe nauwkeuriger je onderzoek zal zijn, maar hoe duurder enlanger het ook zal duren.42

Gestratificeerde steekproefSoms verschilt de populatie die je wil bestuderen, sterk op een aantalbelangrijke kenmerken. Dan kun je een gestratificeerde steekproef trekken.De populatie wordt dan in een aantal elkaar niet-overlappende enhomogene subpopulaties of strata ingedeeld (bv. niveau A, niveau B,niveau C, niveau D). Vervolgens wordt uit elke subpopulatie op aselectewijze een steekproef getrokken.Voorwaarde voor het indelen in subpopulaties is dat elke subpopulatie eenvermoedelijke invloed heeft op het resultaat. Het opdelen in verschillendestrata heeft dan als voordeel dat je de verschillende subpopulaties metelkaar kan vergelijken.Een ander voordeel van de gestratificeerde aselecte steekproef is dat hetde kans verkleint dat een bepaalde subpopulatie in de steekproef onderofoververtegenwoordigd wordt, indien je de steekproeven proportioneeltrekt. Afhankelijk van de proportie van de subpopulatie in de totalepopulatie bepaal je de steekproefgrootte van elke subpopulatie. Hierdooris de kans kleiner dat een statistiek van de steekproef significant afwijktvan de werkelijke parameter van de populatie.ClustersteekproefEen enkelvoudige aselecte steekproef of een gestratificeerde steekproefkan hoge kosten met zich meebrengen. Daarom wordt er vaak een beroepgedaan op clustersampling. Dan ga je als volgt te werk:• de populatie wordt opgedeeld in een aantal groepen of clusters• enkele clusters uit de populatie worden aselect geselecteerd• iedereen uit de geselecteerde clusters wordt ondervraagd.Clustersampling wordt vooral gebruikt wanneer men een grotegeografische regio bestudeert. Men noemt dit ook wel ‘area sampling’.Systematische steekproefHet aselect trekken van een steekproef ‘n’ uit een populatie ‘N’, neemtsoms veel tijd in beslag. Daarom wordt vaak een systematische steekproefmet aselect begin getrokken. Je moet dan wel een lijst hebben met alleleden van de populatie, die in een willekeurige volgorde achter elkaarstaan. In plaats van willekeurig te kiezen (at random) neem je eentoevallig geselecteerd punt a en neem je daarna de elementen met eenvast interval b.44

Stel dat je uit een populatie van 1.000 personen een steekproef van 100wil trekken, dan laat je bijvoorbeeld de computer een willekeurig getaltrekken tussen 1 en 1.000. Het interval is hier 1.000/100 = 10. Danneem je, te beginnen van het willekeurig gekozen getal in de steekproef,elke tiende persoon in de steekproef op.Niet-aselecte steekproevenBij niet-toevalssteekproeven maak je geen gebruik van het statistischetoeval, maar kies je de respondenten op basis van gezond verstand ofhaalbaarheid. Je zal bijvoorbeeld bij een telefonische enquête derespondenten interviewen die thuis zijn en de telefoon opnemen in plaatsvan met genummerde lijsten en toevalsmethodes te werken.Bij een quotasteekproef stel je op voorhand een bepaalde samenstellingvan de te ondervragen respondenten voorop, bijvoorbeeld een bepaaldaantal mannen en vrouwen, leeftijdscategorieën, zoveel ambtenaren vanniveau A en zoveel van niveau B, … Deze methode is zeer populairaangezien ze snel is, makkelijk en goedkoop.Zij komt overeen met de gestratificeerde steekproef waarbij de populatieook in subpopulaties wordt opgedeeld, maar verschilt ervan doordat bijeen quotasteekproef de leden niet zuiver toevallig in de steekproefterechtkomen.4.1.4. Hoe groot moet je steekproef zijn?Op de vraag hoe groot je steekproef moet zijn, kan geen eenvoudigantwoord gegeven worden. De nauwkeurigheid van je onderzoek en debetrouwbaarheid zal de grootte van de steekproef bepalen. En je moetnatuurlijk rekening houden met de aanwezige middelen en metbeperkingen inzake de duur van het onderzoek.Je kunt dit heel eenvoudig uitdrukken. Je populatie is bijvoorbeeld 3.000personen. Als je 100 % nauwkeurigheid en betrouwbaarheid wenst voordeze 3.000, dan moet je steekproef gelijk zijn aan 3.000. Dit is natuurlijkvrijwel onmogelijk. Je zal dus moeten berekenen hoe groot je steekproefmoet zijn om geldige besluiten te trekken.De kunst van marktonderzoek is om op basis van steekproeven uitsprakente doen die een zo goed mogelijk beeld geven van de werkelijkheid.Iedereen ondervragen of alles meten is nu eenmaal praktisch onmogelijk.45

De uitkomsten van een steekproefonderzoek moeten dus zo nauwkeurigen betrouwbaar mogelijk zijn. Dat dit niet hetzelfde is, blijkt uit devolgende voorbeelden:• van een betrouwbare uitspraak, die onnauwkeurig is: "Morgen rijden ertussen de 10.000 en 40.000 voertuigen naar Brussel.”• van een nauwkeurige uitspraak, die niet erg betrouwbaar is: "Morgenrijden er 20.000 voertuigen naar Brussel.”De nauwkeurigheidElke steekproef geeft afwijkingen ten opzichte van de werkelijkheid. Alsbijvoorbeeld uit een onderzoek bij 800 gezinnen blijkt dat 75% van dehuishoudens een gsm bezit (P=75), dan zou het percentage inwerkelijkheid (als iedereen ondervraagd zou worden) wellicht op 73% of78% kunnen uitkomen. Dit betekent dat er een foutenmarge is. Meestalwordt een foutenmarge van 5% ingesteld.De betrouwbaarheidHet betrouwbaarheidsniveau is de mate van onzekerheid die je wiltoelaten. In het marktonderzoek worden de marges over het algemeenberekend op een 95% betrouwbaarheidsniveau. Dit houdt in dat eenonderzoeksuitkomst in 19 van de 20 gevallen conform de realiteit is. Datzegt dus niet iets over de nauwkeurigheid op zich, alleen over de matevan betrouwbaarheid.Bij 95% dien je 1,96 keer de standaardfout op te tellen en af te trekkenwaardoor je ongeveer 95% van alle mogelijke resultaten omvat die bij eenherhaalde steekproeftrekking zouden zijn voorgekomen. Een hogerbetrouwbaarheidsniveau vereist een grotere steekproef.46

De formule om de steekproefgrootte te berekenenMet de volgende formule kan je nu de minimale steekproefgroottevaststellen, uitgaande van een voor jou acceptabele foutenmarge en eenacceptabel betrouwbaarheidsniveau.n = (Z) 2 • ( P • (100 - P) / S 2 )Waarin• n = de werkelijke steekproefgrootte• Z = de factor voor de berekening van het betrouwbaarheidsniveau(1,96 voor 95% betrouwbaarheidsniveau)• P = het gevonden percentage• S = de steekproefmarge (foutenmarge)VoorbeeldStel dat je de steekproefgrootte wil berekenen voor een populatie van30.000 mensen. Je kiest een betrouwbaarheidsniveau van 95% (factor =1.96) en een foutenmarge van 5% (= S). Ten slotte moet je P bepalen,namelijk welk resultaat je verwacht voor elke vraag. Wanneer je dit nietweet, gebruik dan 50%. Zo verkrijg je de maximale steekproefgrootte.Dan is volgens de formule de steekproefgrootte :n = (1,96) 2 • (50 • (100-50)/5 2 ) = 384De grootte van de populatie wordt niet in deze formule opgenomen,omdat de steekproefgrootte nauwelijks wijzigt voor populaties die groterzijn dan 20.000.Bij kleine populaties wordt de steekproef relatief veel groter, zodat je vaaknet zo goed de volledige populatie kunt bevragen. Bij een populatie van500, moet je steekproef nog altijd 218 zijn; voor een populatie van 100,is de steekproef 80.Wie de steekproefgrootte voor kleinere populaties wil berekenen, kanterecht op de volgende site: http://www.journalinks.be/steekproef47

4.1.5. Meer informatie• De Laet M., Offermans P., Toye P.: Marktonderzoek, De Boeck,Antwerpen, 2004• Billiet J., Waege H., Een samenleving onderzocht, De Boeck,Antwerpen, 2003• http://www.tns-nipo.com/• http://www.journalinks.be/steekproef48

4.2. Een goede vragenlijst opstellen4.2.1. Het opstellen van een vragenlijstVooraleer je een vragenlijst opstelt, moet je goed weten wat je wilonderzoeken en moet je één of meerdere hypotheses formuleren. Hetonderwerp dat je in overweging neemt, moet vanuit diversegezichtspunten worden bestudeerd en de personen die je wil ondervragenmoeten worden geselecteerd. Het heeft bijvoorbeeld weinig zin iemandover een affiche te ondervragen als je niet weet of hij ze al gezien heeft.Je moet de vragenlijst zorgvuldig opstellen, zelfs als hij kort is. Een goedevragenlijst verkrijg je door de vragen nauwgezet te formuleren. Aangezieneen vraag tot doel heeft een inlichting te verkrijgen, moet ze zo wordengesteld dat deze inlichting en niet een andere wordt verkregen.De opstelling van de vragenlijst hangt ook af van de manier waarop hij zalworden gebruikt (schriftelijk, mondeling, elektronisch, …).4.2.2. Soorten vragen• Gesloten vragen geven een opsomming van de antwoordmogelijkhedenwaaruit de ondervraagde persoon moet kiezen. In een vragenlijst is hetgebruikelijk om vooral dit soort vragen te stellen.• Open vragen zijn vragen waarop de ondervraagde persoon vrij magantwoorden. Dit soort vragen blijft de uitzondering op de regel.Bij gesloten vragen moet je bepaalde regels respecteren. Zo moet je eenlijst met antwoorden opstellen die alle mogelijkheden dekken en diemekaar onderling uitsluiten.Bovendien moeten de vragen per thema worden gegroepeerd en in devolgorde ervan moet een zekere logica aanwezig zijn die wijst op eenvoortgang in de vragenlijst. Maar opgelet, gesloten en repetitieve vragenkunnen ook sleur met zich meebrengen.Je let er best ook op dat je geen antwoorden voorkauwt, d.w.z. dat je eenantwoord beïnvloedt door de formulering van de vraag. Om dit tevermijden, gebruik je beter een formulering die de ondervraagde ertoeaanzet zijn mening te geven (wat denkt u van …, vindt u dat…, enz.).Door de formulering moet je ook vermijden dat de respondenten bang zijnom slecht beoordeeld te worden, dat ze zich naar de norm wensen tegedragen en dat ze geremd zijn om zich persoonlijk uit te spreken.49

Gebruik eenvoudige taal en streef ernaar om de vragen kort te houden.Vermijd inhoudelijk meerzinnige vragen te stellen: de respondent wil zichin een dergelijk geval misschien vóór de ene en tegen de andere stellinguitspreken, maar kan dat in zijn antwoord niet tot uiting laten komen. Alsbijvoorbeeld gevraagd wordt in welke mate men akkoord gaat met destelling “ik ben goed geïnformeerd en voer mijn werk goed uit”, dan kanmen akkoord gaan met het ene deel, maar niet met het andere. Deantwoorden zijn dan onbruikbaar.4.2.3. De pretestfaseWanneer de vragenlijst klaar is, ga je bij een kleine steekproef na of devragen worden begrepen zoals je het wil. Hier is het doel niet omantwoorden op de vragen te krijgen, maar wel om na te gaan of de vragengoed werden geformuleerd.Tijdens een pretest van de vragenlijst bij een beperkte groep, controleer jeof:• de vragen door iedereen op dezelfde manier worden begrepen• de vragen niet te moeilijk zijn• alle mogelijkheden in de antwoorden zijn opgenomen• de vragen niet aanstootgevend zijn voor de respondenten• de vragen in een samenhangende volgorde werden opgesteld.Deze stap, de validatie van de vragenlijst, is essentieel voor het goedeverloop van de enquête. Daarna kan je met de eindredactie van devragenlijst beginnen.Het is ongetwijfeld een groot voordeel om te kunnen samenwerken meteen dienst die het gewoon is om dergelijke enquêtes uit te voeren(universiteit, onderzoekscentrum). Een dergelijke dienst kan je zekerhelpen om de vragenlijst op te stellen en om bepaalde fouten tevoorkomen, bijvoorbeeld twee vragen stellen in één, een antwoordsuggereren,… Maar opgelet, volg hun werk nauwgezet op! Vooral omdater voor deze diensten meestal moet worden betaald.50

4.2.4. Meer informatieFormulierenleidraad van de kenniscel wetsmatiging van de Vlaamseoverheid. Deze leidraad geeft heel wat tips om een vragenlijst op testellen.http://www.wetsmatiging.be/general/publicaties.cfm?agendaItem_id=2451

4.3. De deelname aan een enquête stimulerenOmdat er zoveel factoren een rol kunnen spelen, zoals het nieuws vande dag, het verspreidingskanaal of de wijze van inzameling, zijn er weinigwetenschappelijke studies over de doeltreffendheid van het ene ofhet andere recept om het antwoordpercentage van een enquête teverhogen.Er zijn wel een aantal stimuli, eigen aan de enquête of extern, die hetantwoordpercentage wat kunnen opdrijven.4.3.1. Interne stimuliVermeld duidelijk van wie de enquête uitgaatEen potentiële deelnemer zal meer geneigd zijn om aan een enquête deelte nemen als hij onmiddellijk kan zien van wie ze uitgaat. Dit zouvanzelfsprekend moeten zijn, maar het wordt soms vergeten, vooralwanneer de enquête per e-mail wordt verstuurd (duidelijke identificatievan de organisatie en een duidelijk onderwerp).Verzorg de bladschikkingHet is niet absoluut noodzakelijk om een beroep te doen op een graficusof een centrum voor grafische vormgeving. Het is wel belangrijk om hetonderwerp op een aantrekkelijke manier voor te stellen en om de huisstijlte gebruiken zodat de ondervraagde personen meteen weten van wie deenquête uitgaat.Stel een goede vragenlijst op met een beknopte en eenvoudige stijlHoewel er een risico op ‘beïnvloeding’ is, kan de hulp van een begeleiderdie bv. wat uitleg geeft over de context of die de vragen verduidelijkt, eenpositieve weerslag hebben op de bereidheid tot deelname.Tip: door het aantal vragen dat je stelt door drie te delen, krijg je er vlugeen idee van hoeveel minuten nodig zijn om je enquête in te vullen, bv.15 vragen = 5 minuten.52

Test en valideer de vragenlijst voorafDoor de vragenlijst vooraf te testen, kom je te weten of de vragenlijst welvoldoende is afgestemd op de doelgroep, wat deelname aan de enquêtebevordert.Garandeer de anonimiteitVoor enquêtes via het inter- of het intranet bestaan er technischeoplossingen om de anonimiteit te garanderen.Als je vragen stelt over het profiel van de respondent, dan plaats je diehet best aan het einde van de vragenlijst. Zo ontmoedig je de meestwantrouwigen niet.Communiceer over de enquêteVoeg bijvoorbeeld een begeleidende brief bij een schriftelijke enquête.Beschrijf kort de doelstellingen, de keuze van de doelgroep, de manierwaarop de resultaten verwerkt worden.Leg vooraf een timing vast, bv. de antwoorden moeten uiterlijk op …ingediend zijnNeem in de timing ook een herinnering op via de verschillendecommunicatiekanalen (website, intranet, e-mail, brief, …) enkele dagenvóór de einddatum. Als je een herinnering op naam verstuurt, hou danrekening met de personen die al geantwoord hebben.4.3.2. Externe stimuliGeef een geschenkjeAfhankelijk van het beschikbare budget kan je een geschenk geven aanalle deelnemers of aan een bepaalde doelgroep, bv. voor de eerste 20antwoorden.Kies bij voorkeur een geschenk dat verband houdt met het behandeldethema, zo versterk je de boodschap.53

Schat de gegeven meningen naar waardeStel de resultaten voor via de beschikbare communicatiekanalen, bv. hetpersoneelsblad of het activiteitenverslag.Gebruik de resultaten van de enquêteEen enquête waarmee achteraf niets wordt gedaan is een ramp voor allevolgende enquêtes.Deel daarom duidelijk mee waar de resultaten kunnen wordengeraadpleegd (bv. website, contactpersoon) en welke verbeteringen erkwamen dankzij de enquête.Let opHet is in ieder geval belangrijk dat de enquête als een instrument voorverbetering wordt ervaren en niet als een controle-instrument!Het is ook van belang om er rekening mee te houden dat de stimuli omte antwoorden niet voor iedereen even belangrijk zijn, en dat ze somszelfs een averechts effect kunnen hebben.54

4.4. De anonimiteit garanderenBij de meeste schriftelijke en elektronische enquêtes garandeer jeanonimiteit. Dikwijls bevordert dit de deelname aan de enquête.Deelnemers aan een enquête stellen zich vaak de vraag hoe hunantwoorden worden verwerkt. Het is daarom belangrijk om uit te leggenhoe de anonimiteit wordt gegarandeerd. In alle gevallen komt het eropneer dat de antwoorden worden losgekoppeld van de identificatie.Tips• Voeg aan de enquête of het document waarin ze wordt voorgesteld,een vertrouwensclausule toe die uitdrukkelijk vermeldt hoe deanonimiteit zal worden gerespecteerd bij de verwerking van deenquête. Als een extern bedrijf de antwoorden verwerkt, kan dit hetvertrouwen van de respondenten vergroten.Voorbeeld“Deze enquête gebeurt volledig anoniem. De anonimiteit wordtgewaarborgd door het versturen van de vragenlijsten naar postbus X.Na ontvangst wordt de vragenlijst onmiddellijk doorgestuurd naarbedrijf X dat de resultaten verwerkt.”• Bij schriftelijke enquêtes, thuis of in de organisatie, kan de deelnemerde anonimiteit onmiddellijk zelf controleren.• Bij elektronische enquêtes kan het informaticasysteem technischeoplossingen bieden, bv. een speciale filter, een automatischepersoonlijke code, een unieke sleutel voor elke deelnemer. Dieoplossingen moeten de teams die de gegevens verwerken wel nog instaat stellen om het verband te leggen tussen de resultaten en hetprofiel van de respondenten.55

FOD Kanselarij van de Eerste MinisterAlgemene directie Externe CommunicatieWetstraat 161000 BrusselTel.: 02/501.02.11E-mail: externecommunicatie@belgium.fgov.bewww.belgium.beFOD Personeel en OrganisatieDirectoraat-generaal Interne CommunicatieWetstraat 511040 BrusselTel.: 02/790.58.00E-mail: info@p-o.bewww.p-o.beVerantwoordelijke uitgever: Georges Monard • Wetstraat 51• 1040 BrusselWettelijk Depot: D/2006/7737/57Oktober 2006