20110804_Bewertung Personalbemessung - GKV-Spitzenverband

8.1 Testung der Urteilerübereinstimmung
Im Rahmen der Erprobung der Bedarfsklassifikation wurde auch die Interraterreliabilität bei
der Nutzung des NBA geprüft. Dieser Prüfung lagen mehrere Überlegungen zugrunde. Erstens
liegen bislang recht wenige Erfahrungen zur Nutzung des NBA vor. Abgesehen von der
ersten bundesweiten Praxiserprobung (Windeler et al. 2008) gibt es noch keine weiteren
Studien zur methodischen Güte des Instruments. Zweitens wurde das NBA bei der Durchführung
des Projekts Grundlagen der Personalbemessung unter ganz anderen Rahmenbedingungen
eingesetzt, was eine Prüfung der Reliabilität grundsätzlich angezeigt erschienen
ließ. Drittens sollte sichergestellt werden, dass die zur Fallgruppenbildung verwendeten Daten
nicht im größeren Ausmaß Fehler aufwiesen. Und schließlich ist es im Falle eines Erhebungsinstruments
zur Bedarfseinschätzung besonders wichtig, dass die Anwendung durch
unterschiedliche Personen mit gleichem Wissenstand bei demselben Bewohner zu annähernd
gleichen Ergebnissen führt. Ist dieses Kriterium erfüllt, kann davon ausgegangen werden,
dass der Spielraum für subjektive Interpretationen gering ist. Unter diesen Voraussetzungen
spricht man von hoher Urteilerübereinstimmung oder Interraterreliabilität. Sie bildet
die Stabilität und Konsistenz eines Merkmals ab, das von unterschiedlichen Personen eingeschätzt
wird. Sie gibt also an, wie groß oder wie gering die Unterschiede zwischen den Urteilen
verschiedener Rater sind.
Die Testung der Urteilerübereinstimmung fand gegen Ende der Erhebungen in drei der projektbeteiligten
Einrichtungen statt. Es mag diesem Umstand geschuldet sein, dass bei der
Durchführung der Erhebungen zwei Probleme auftraten. In einer der drei Einrichtungen wurde,
wie die Einrichtung direkt zum Abschluss der Datenerfassungen einräumte, die Erhebung
nicht nach den methodischen Vorgaben durchgeführt. Auch anhand der Erhebungsbögen
aus dieser Einrichtung ist dies erkennbar. Vor diesem Hintergrund wurden die betreffenden
Fälle (n=40) aus der Auswertung ausgeschlossen. In einer anderen Einrichtung kam es zu
einer organisatorischen Panne, weil irrtümlich Bewohner aus einem Sonderwohnbereich
einbezogen wurden, dessen Beteiligung weder geplant noch durch entsprechende Einführungen
in das Instrument vorbereitet war. Somit verblieben statt der rund 120 Bewohner, bei
denen eine Prüfung der Urteilerübereinstimmung vorgesehen war, letztlich nur 59 Bewohner,
bei denen die Erhebungen so durchgeführt werden konnten wie von der Projektplanung vorgesehen.
Eine weit verbreitete Maßzahl für die Bestimmung der Interraterreliabilität ist Cohen s Kappa
28 . Der Kappa-Koeffizient wurde auch im vorliegenden Projekt herangezogen. Er bewegt
sich zwischen dem Wert 0 fehlende Übereinstimmung und dem Wert 1 perfekte Übereinstimmung
. Für die Interpretation der Kappawerte gelten folgende Faustregeln:
Ein Wert über 0.75 gilt als Nachweis für eine sehr gute Übereinstimmung.
Werte zwischen 0.6 und 0.75 werden als gute Übereinstimmung interpretiert.
Bei einem Wert zwischen 0.4 und 0.6 wird noch von einer akzeptablen Übereinstimmung
gesprochen.
28 Die einfachste Methode für die Prüfung der Interraterreliabilität ist die Berechnung der prozentualen
Übereinstimmung. Hierbei ist allerdings nicht ausgeschlossen, dass die Übereinstimmung bis zu einem
bestimmten Grad zufällig zustande kommt. Daher ist es im Rahmen wissenschaftlicher Studien
üblich, bestimmte statistische Maßzahlen zu verwenden.
94