20110804_Bewertung Personalbemessung - GKV-Spitzenverband
20110804_Bewertung Personalbemessung - GKV-Spitzenverband
20110804_Bewertung Personalbemessung - GKV-Spitzenverband
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
8.1 Testung der Urteilerübereinstimmung<br />
Im Rahmen der Erprobung der Bedarfsklassifikation wurde auch die Interraterreliabilität bei<br />
der Nutzung des NBA geprüft. Dieser Prüfung lagen mehrere Überlegungen zugrunde. Erstens<br />
liegen bislang recht wenige Erfahrungen zur Nutzung des NBA vor. Abgesehen von der<br />
ersten bundesweiten Praxiserprobung (Windeler et al. 2008) gibt es noch keine weiteren<br />
Studien zur methodischen Güte des Instruments. Zweitens wurde das NBA bei der Durchführung<br />
des Projekts Grundlagen der <strong>Personalbemessung</strong> unter ganz anderen Rahmenbedingungen<br />
eingesetzt, was eine Prüfung der Reliabilität grundsätzlich angezeigt erschienen<br />
ließ. Drittens sollte sichergestellt werden, dass die zur Fallgruppenbildung verwendeten Daten<br />
nicht im größeren Ausmaß Fehler aufwiesen. Und schließlich ist es im Falle eines Erhebungsinstruments<br />
zur Bedarfseinschätzung besonders wichtig, dass die Anwendung durch<br />
unterschiedliche Personen mit gleichem Wissenstand bei demselben Bewohner zu annähernd<br />
gleichen Ergebnissen führt. Ist dieses Kriterium erfüllt, kann davon ausgegangen werden,<br />
dass der Spielraum für subjektive Interpretationen gering ist. Unter diesen Voraussetzungen<br />
spricht man von hoher Urteilerübereinstimmung oder Interraterreliabilität. Sie bildet<br />
die Stabilität und Konsistenz eines Merkmals ab, das von unterschiedlichen Personen eingeschätzt<br />
wird. Sie gibt also an, wie groß oder wie gering die Unterschiede zwischen den Urteilen<br />
verschiedener Rater sind.<br />
Die Testung der Urteilerübereinstimmung fand gegen Ende der Erhebungen in drei der projektbeteiligten<br />
Einrichtungen statt. Es mag diesem Umstand geschuldet sein, dass bei der<br />
Durchführung der Erhebungen zwei Probleme auftraten. In einer der drei Einrichtungen wurde,<br />
wie die Einrichtung direkt zum Abschluss der Datenerfassungen einräumte, die Erhebung<br />
nicht nach den methodischen Vorgaben durchgeführt. Auch anhand der Erhebungsbögen<br />
aus dieser Einrichtung ist dies erkennbar. Vor diesem Hintergrund wurden die betreffenden<br />
Fälle (n=40) aus der Auswertung ausgeschlossen. In einer anderen Einrichtung kam es zu<br />
einer organisatorischen Panne, weil irrtümlich Bewohner aus einem Sonderwohnbereich<br />
einbezogen wurden, dessen Beteiligung weder geplant noch durch entsprechende Einführungen<br />
in das Instrument vorbereitet war. Somit verblieben statt der rund 120 Bewohner, bei<br />
denen eine Prüfung der Urteilerübereinstimmung vorgesehen war, letztlich nur 59 Bewohner,<br />
bei denen die Erhebungen so durchgeführt werden konnten wie von der Projektplanung vorgesehen.<br />
Eine weit verbreitete Maßzahl für die Bestimmung der Interraterreliabilität ist Cohen s Kappa<br />
28 . Der Kappa-Koeffizient wurde auch im vorliegenden Projekt herangezogen. Er bewegt<br />
sich zwischen dem Wert 0 fehlende Übereinstimmung und dem Wert 1 perfekte Übereinstimmung<br />
. Für die Interpretation der Kappawerte gelten folgende Faustregeln:<br />
Ein Wert über 0.75 gilt als Nachweis für eine sehr gute Übereinstimmung.<br />
Werte zwischen 0.6 und 0.75 werden als gute Übereinstimmung interpretiert.<br />
Bei einem Wert zwischen 0.4 und 0.6 wird noch von einer akzeptablen Übereinstimmung<br />
gesprochen.<br />
28 Die einfachste Methode für die Prüfung der Interraterreliabilität ist die Berechnung der prozentualen<br />
Übereinstimmung. Hierbei ist allerdings nicht ausgeschlossen, dass die Übereinstimmung bis zu einem<br />
bestimmten Grad zufällig zustande kommt. Daher ist es im Rahmen wissenschaftlicher Studien<br />
üblich, bestimmte statistische Maßzahlen zu verwenden.<br />
94