l9clshg

Bijlage 3. Inter-rater Reliability (IRR)
De intra-class correlatie coëfficiënt voor de gehele set van risicofactoren was 0.74 bij de Top 600 (de
Boefjes 0.82), wat als een zeer sterke samenhang kan worden beschouwd. In totaal werd bij de Top
600 door de beoordelaars op 76% van alle risicofactoren exact dezelfde score toegekend (de
Boefjes 85%). Op in totaal ongeveer een vijfde van alle risicofactoren van de 26 verschillende
dossiers (21%) werden door één of meerdere beoordelaars verschillende scores toegekend (de
Boefjes 15%). Hierbij moet worden opgemerkt dat dit verschil met name duidde op een verschil in
ernst (score 0 vs. 1 en/of 1 vs. 2) en minder op het voorkomen van de risicofactoren an sich. Slechts
bij 4% (de Boefjes 1%) van alle toegekende scores heeft één beoordelaar een bepaalde risicofactor
als ‘afwezig’ aangemerkt (score 0) terwijl één (of meerdere) beoordelaar het voorkomen van deze
risicofactor juist als ernstig (score 2) heeft beschouwd (of vice versa).
In tabel 4.2 staan ook de maten voor de IRR voor de afzonderlijke domeinen weergegeven. Hieruit
blijkt dat tussen de domeinen onderling verschillen waren in de mate van overeenstemming, waarbij
een zelfde patroon in beide onderzoeksgroepen terugkomt. Met name op de domeinen ‘Opvoeding
en milieu’ en ‘Psychiatrie en stoornissen’ was de overeenstemming zeer sterk (ICC van 0.73 en 0.77
respectievelijk bij de Top 600; bij de Boefjes 0.86 en 0.92). Vooral bij het domein ‘Psychiatrie en
stoornissen’ is een aannemelijke verklaring voor deze sterke samenhang dat veel van zowel de Top
600 als de Boefjes dossiers een PO bevatten, waardoor scoring op deze risicofactoren meer een
kwestie was van informatie overnemen dan van interpreteren en afwegen.
De mate van overeenstemming op de domeinen ‘Psychologie en functies’ en ‘Sociaal en relationeel’
was relatief laag bij de Top 600 (een ICC van 0.41 en 0.43 respectievelijk, die een matige samenhang
impliceert; bij de Boefjes 0.74 en 0.69, een sterke samenhang). De percentages afwijking op deze
domeinen laten zien dat ook hier deze lagere samenhang hoofdzakelijk kan worden verklaard door
een verschillende interpretatie van de ernst van de risicofactor (afwijking 0-1 / 1-2) en niet zozeer op
een verschil in interpretatie van de aan- dan wel afwezigheid hiervan (afwijking 0-2). Slechts in
ongeveer 4 tot 5% van de scores op de risicofactoren van deze twee domeinen werd bij de Top 600
een risicofactor door een beoordelaar als niet aanwezig beschouwd en door een (of meerdere)
andere beoordelaar als ernstig risico aangemerkt. Bij de Boefjes lag dit percentage lager, rond de
1% (zie tabel 4.3).
87