V - Christian-Albrechts-Universität zu Kiel

Evaluation: Klausurvorbesprechung 

Klausurvorbesprechung 

25.Juni 2013 

Veranstaltung: Evaluation 

SS 2013 

Institut für Psychologie 

der Christian-Albrechts-Universität zu Kiel 

Arbeitseinheit Sozialpsychologie und 

Politische Psychologie


Zu den inhaltlichen Fragen 


SS 2013 





Frage: Inwiefern sind Intensität vs. Extensität Antworten auf die 

Frage, ob ein Programm seine Ziele erreicht? 


Praktische Wünsche, die durch Beachtung von Effektivitätskriterien 

bei der Evaluation zu erfüllen sind 

a) Erreicht ein in Frage kommendes Programm seine Ziele? 

=> Intensität vs. Extensität 


SS 2013 





Frage: Unterschiede Wirkung, Wirksamkeit, Wirkmodell 

Fragen in Wirkungsforschung 


• ob ein Programm Wirkung hat oder nicht (Wirksamkeit) 

• ob festgestellt werden soll, warum es Wirkung zeigt (Wirkmodell) 

Wirksamkeitsprüfung (ob?) 

Ist ein Programm im Hinblick auf seine Ziele wirksam? 

- Beobachtung von Veränderungen in abhängigen Variablen? 

- Sind diese auf die unabhängigen Variablen (Programm) zurückführbar? 

Theorie zum Programm nicht nötig, wohl aber Theorie über das erfasste 

Verhalten 

Wirkmodellprüfung (warum?) 

Warum wirkt ein Programm, wenn es wirkt? 

⇒ Prüfung der zu Grunde liegenden Theorien 

⇒ 

zwei Bereiche: Programmbereich vs. Personenbereich 


SS 2013 





Fragestellungen in Evaluationsuntersuchungen 

Wirkung 


Hat IM Wirkung? Wie groß? 

Wirksamkeit 

Kompetenz/ 

Disposition 

Programm 

Wirkungskomponenten 

und Wirkungsweisen 

Warum hat IM Wirkung? 

Wirkmodell 

Wodurch? 

Personen 

Wirkmechanismen 

und Wirkprozesse 

Performanz 

(Verhalten) 

keine programmbezogene 

Theorie 


SS 2013 

programmbezogene Theorie 






Fragen: Abgrenzung Theorien/Aussagen 

technologische Theorie – technologische Aussage 

nomopragmatische Aussage 

Fundierung technologischer Aussagen 


SS 2013 






Begriffe: 

nomologisch = theoretisch (durch Verknüpfung von Aussagen herleitbar) 

Synonym = Logisch 

Gegenwörter: technisch, praktisch 

nomothetisch = allgemein; gesetzgebend, auf die Aufstellung von 

Gesetzen bzw. auf die Auffindung von Gesetzmäßigkeiten 

zielend (wissenschaftstheoretisch) 

nomos (griechisch) = vom Menschen gesetzte Ordnung 


SS 2013 





Theorie 


= Aussagensystem, wobei es sich um Allaussagen handelt 

(Universalitätsbedingung), die empirisch bewährt sind 

• Aussagen (Gesetze) müssen implikative Form haben (wenn – dann) 

• Gesetze sind in Aussagensysteme (Theorien) eingebettet, wobei ein 

hierarchischer Zusammenhang zwischen den verschiedenen 

Elementen (Basissätzen, d.h. Aussagen, die sich auf ein 

bestimmtes Ereignis beziehen; Gesetze oder Gesetzeshyothesen; 

Theorien) besteht. 

• Die Gesetze erklären die Ereignisse (= E-Erklärung), die Theorien 

die Gesetze (= G-Erklärung), wobei es auch Theorien zweiter 

Ordnung geben kann. 


SS 2013 





Zum Zusammenhang nomo- und technologische Theorien, 

Aussagen, Basissätzen… 


Nomologische Theorie 

G-Erklärung 

Nomologische Aussage 

E-Erklärung 

A 

B-A 

Technologische Theorie 

Fundierung 

Technologische Aussage 

(Regel) 

Evaluation 

Praktische 

Umsetzung 

(„Übersetzung) 

Basissatz 

Basissatz 

praktische 

Handlung 


SS 2013 







Beispiel: 


Nomologische Theorie: 

Nomologische Aussage: 

Basissätze: 

behavioristische Lerntheorie 

„Wenn ein Verhalten einen als aversiv 

antizipierten/erlebten Zustand (z.B. Angst, 

Zwang) verhindert, dann tritt das Verhalten in 

Zukunft häufiger auf.“ 

eine Person überquert keine Brücken; meidet 

enge, große, leere,… Räume/Plätze, … etc. 

eine Person verlässt ihr Haus nie; berührt nie 

etwas, … etc. 


SS 2013 





Nomologische und technologische Theorien (II) 


Technologische Aussagen: Der Ansatz von Bunge 

Vermittlung zwischen Grundlagenwissen und technologischem Wissen: 

1. Nomologische Aussagen „wenn x, dann y“ enthalten Hinweise auf Mittel (x) 

und Wirkung (y). Die Mittel (x) müssen zwei Bedingungen erfüllen: 

- Bezug auf konkrete Aktionen des Akteurs (Operationalisierungen von x = x*) 

- Die Mittel müssen vor der Wirkung (y) auftreten. 

Wirkung (y) muss mit dem Ziel der Intervention übereinstimmen und ebenfalls 

operationalisiert (von y zu y*) werden. 

Aussagen „wenn man x* tut, dann y*“ = nomopragmatische Aussagen 

2. Nomopragmatische Regeln müssen in Handlungsregeln („technologische 

Regeln“) umformuliert werden. Zwei Arten technologischer Regeln: 

Regel 1: „y* durch x*“ oder „um y* zu erreichen, tue x*“ 

Regel 2: „Um y* zu vermeiden, tue nicht x*“ 

Aber: noch keine Garantie, dass es keine andere Wenn-Komponente xº gibt, welche zu 

y* führt. Deshalb folgen aus “wenn x*, dann y*” nur die Regeln “für y* ist x* eine 

Möglichkeit” (modifizierte Regel 1) und “um y* zu vermeiden, vermeide x* und vielleicht 

noch mehr” (modifizierte Regel 2) 


SS 2013 







Beispiel: 


Technologische Theorie: 

instrumentelles Konditionieren 

Technologische Aussage: „Durch schrittweise Annäherung 

(systematische Desensibilisierung) an den 

angstauslösenden Reiz wird das 

Vermeidungsverhalten reduziert.“ 

modifizierte Regel 2: 

„…oder vielleicht auch durch direkte 

Konfrontation (Flooding bzw. Reizüberflutung) 

mit dem angstauslösenden Reiz“ 

Praktischen Handlungen: 

mit niedrigen Brücken anfangen bzw. die 

höchsten sofort hernehmen 

sich für ein paar Minuten von 

Kaffeemaschine/Bügeleisen/Haus entfernen 

bzw. für lange Zeit weit weg fahren 


SS 2013 








Nomologische Theorie 

G-Erklärung 

Nomologische Aussage 

E-Erklärung 

A 

B-A 

Technologische Theorie 

Technologische Aussage 

(Regel) 

Fundierung (praktische Erklärung) 

Evaluation 

Praktische 

Umsetzung 

(„Übersetzung) 

Basissätze 

Basissätze 

praktische 

Handlung 


SS 2013 





Nomologische und technologische Theorien (V) 



Technologische Theorie: Anwendung wissenschaftlicher Theorien auf beinah 

reale Situationen 

Evaluation technologischer Regeln auf Effektivität hin ist nicht ausreichend, 

sie müssen auch theoretisch fundiert werden. Dies ist allein schon für die 

„Übersetzung“ der Regel (Operationalisierung) in die Anwendungssituation 

nötig. 

Fundierung durch nomologische Theorien (G-Erklärung für technologischen 

Aussagen) 

Fundierung durch technologische Theorien (praktische Erklärung der 

technologischen Aussage) 

Unterschied zwischen nomologischen und technologischen Theorien: 

Berücksichtigung der Komplexität (Abstraktion und „Reinheit“ vs. Konkretheit 

und Kombination) 


SS 2013 





Nomologische und technologische Theorien (VI) 



Erklärung des modus operandi der in der technologischen Regel 

empfohlenen Interventionsmaßnahmen setzt Prozessuntersuchungen und 

hypothesenbezogene Programmvariationen voraus, in denen nachgewiesen 

wird, dass die durch das Programm ausgelösten Prozesse, die zum 

angestrebten Ziel führen, tatsächlich stattfinden. 

In Praxis: theoretische Begründung eines Programms nicht notwendig 

⇒ 

⇒ 

Forderung nach theoretischer Fundierung wird ersetzt durch Forderung, 

ein Programm dürfe nicht inkompatibel mit dem aktuellen Stand der 

Wissenschaft sein 

das bedeutet: Gewisse theoretische Vorstellungen über die 

Wirkungsweise eines Programms sollten vorhanden sein! 


SS 2013 





Wirkung 


Hat IM Wirkung? Wie groß? 

Wirksamkeit 

Kompetenz/ 

Disposition 

Performanz 

(Verhalten) 

Programm 

Warum hat IM Wirkung? 

Wirkmodell 

Wodurch? 

Personen 

Wirkungskomponenten 

Wirkmechanismen 

und Wirkungsweisen und Wirkprozesse 

keine programmbezogene 

Theorie 

programmbezogene Theorie 


SS 2013 





Frage: Empfehlungen für die Praxis: Warum ist es wichtig, dass 

Maße klassifiziert und getrennt betrachtet werden? 


Kategorien von Erfolgsmaßen 

1. theoriespezifische (oder schulspezifische) Erfolgsmaße 

2. störungs- oder defizitspezifische Erfolgsmaße 

3. externe oder fakultative Erfolgsmaße (allgemein, schul- und 

störungsübergreifend) 


SS 2013 






Theoriespezifische (oder schulspezifische) Erfolgsmaße 

=> Maße, die in der das Programm fundierenden Theorie verankert sind 

(bzw. auf denen die ersten erfolgreichen Anwendungen der 

Interventionsmaßnahme beruhen) 

- müssen die Systemebene der IM (intra- oder interpersonell) 

berücksichtigen 

- Maße, die in Bezug auf verschiedene Theorien oder Schulen spezifisch 

sind, sind nicht miteinander vergleichbar 


SS 2013 






Störungs- oder defizitspezifische Erfolgsmaße 

=> Maße, die sich nicht auf spezifische Interventionsmaßnahmen beziehen, 

sondern auf die Störungen oder Defizite, zu deren Beseitigung oder 

Reduktion das entsprechende Programm eingesetzt wird 

(häufig abgeleitet aus den Diagnoseschlüsseln wie z.B. dem ICD-10 

oder dem DSM-IV) 

- Maße sind nicht theoriefrei, beziehen sich aber auf eine Störungs- oder 

Defizittheorie und nicht auf eine Therapietheorie 

- Maße daher eher bzw. besser miteinander vergleichbar 


SS 2013 






Externe oder fakultative Erfolgsmaße 

⇒ allgemeine, schul- und störungsübergreifende Maße, die sich meist auf 

fakultative Ziele beziehen, aber weder auf eine Interventionstheorie noch 

auf eine Störungstheorie zurück gehen 

(Beispiele: Häufigkeit des Arztbesuches, Dauer und Umfang der 

Medikamenteneinnahme, Rückfallquote, Zufriedenheit, Akzeptanz, etc.) 

- Maße sind theoriefrei (hinsichtlich Interventions- und/oder 

Störungstheorie) 

- Maße sehr gut miteinander vergleichbar 


SS 2013 






Empfehlung für die Evaluationspraxis 

⇒ Die eingesetzten Maße sollten jeweils klassifiziert und dann getrennt 

nach dieser Klassifikation betrachtet werden, wobei sich im Zweifelsfall 

immer auf diejenigen diagnostischen Vorgehensweisen und Kriteriumsmaße 

beschränkt werden soll, die mit Blick auf die verschiedenen möglichen 

Interventionsziele und die zu erfassenden Wirkungen von vorrangiger 

Bedeutung sind. 


SS 2013 





Frage: Wirkungen/Wirksamkeit 

Programmwirksamkeit und Programmwirkung 


Zentrale Aufgabe der Evaluationsforschung 

⇒ empirischer Nachweis der Wirksamkeit von Programmen 

(≠ der Wirksamkeit liegen die postulierten Wirkungen zugrunde) 

Begriff der „Wirkung“ eher Oberbegriff oder übergeordnetes Konstrukt 

Evaluation der Programmwirkung => zwei Fragen: 

(1) Frage nach der Wirksamkeit eines Programmes: „Ist die angestrebte 

Wirkung aufgetreten? („Ob und in welchem Ausmaß?) 

= primäres Ziel der Evaluationsforschung 

(2) Frage nach dem zu Grunde liegenden Wirkmodell mit seinen 

angenommenen oder tatsächlichen Komponenten, Prinzipien, 

Mechanismen und Prozessen: „Warum ist die Wirkung eingetreten?“ 


SS 2013 





Frage: Evaluation der Programmkonzeption 

(antizipatorisch/prospektiv vs. formativ) 


A) Evaluation der Programmkonzeption 

- vor der Erprobung eines Programms 

=> Bewertung der Ausarbeitung und Gestaltung der geplanten 

Maßnahmen sowie der Konzeption des Programmes vor dem 

Hintergrund der technologischen Modellvorstellungen 

=> Abschätzung der Wahrscheinlichkeit seiner Wirksamkeit 

(antizipatorische oder prospektive Evaluation) 


SS 2013 





B) Formative Evaluation 


- Während der Erprobung eines Progammes 

- Erprobungs- und Testphase (fortlaufende Evaluation) 

=> Optimierung des Programms als Ganzes und/oder seiner 

Komponenten im Hinblick auf Zielsetzung, Anwendbarkeit und 

Wirksamkeit 

=> unter Umständen Einschluss von Modifikationen der 

ursprünglichen Programmkonzeption und deren erneuter 

Prüfung 


SS 2013 





Frage: Ergebnis- vs. Erfolgsevaluation 

5 Evaluationsarten (in verschiedenen zeitlichen Phasen) 


D) Evaluation der Programmwirksamkeit (zwei Aspekte) 

1) Veränderungen auf Seiten der Zielpersonen im Verlauf der 

Intervention, denen im Rahmen einer Prozessevaluation 

nachgegangen wird 

2) Veränderungen nach der Durchführung des Programms = 

Erfolgs- oder Ergebnisevaluationen 

=> Feststellung der Wirksamkeit eines Programms 

=> Feststellung der Art der Wirkungen hinsichtlich Intensität und 

Extensität, sowie möglicher Neben- und Folgewirkungen 

- oft rein summativ, können aber auch formativ durchgeführt 

werden 


SS 2013 





Frage: Ergebnis-/ Erfolgsevaluation vs. summativ/formativ 


keine Gleichsetzung von summativer Evaluation mit Ergebnisevaluation 

• Ergebnisevaluationen können summativ u/o formativ durchgeführt werden. 

• Summative Evaluationen können global oder analytisch angelegt werden. 

Globale Evaluationen bewerten ein Programm als Ganzes im Hinblick auf 

seine grundsätzliche Wirksamkeit oder Durchführbarkeit. 

Analytische Evaluationen unterziehen die einzelnen Komponenten oder 

Bestandteile eines Programms einer detaillierten Überprüfung 


SS 2013 





Frage: Wirkungen (programm-, interventionsgebunden, 

programm- und interventionsunabhängig) 



SS 2013 





Frage: Kriterium? Wirksamkeit von IM 

⇒ Frage: 


Welchen Kriterien sollten lokale (für Einzel- und Kleingruppenarbeit 

vorgesehene) Interventionsprogramme genügen, um als 

„effektiv“ bewertet werden zu können? 

Kriterium (für den Wirksamkeitsnachweis): 

Verknüpfung zwischen technologischer Regel, Programm oder 

„Produkt“ – die das allgemeine Ziel von Veränderungen auf einen als 

„besser bewerteten Zielzustand haben – und ihrer/seiner 

Wirksamkeit in Hinblick auf diesen Zielzustand 

⇒ Nachweis, dass ein Programm seine spezifischen Ziele 

(intern und extern) zu erreichen vermag 


SS 2013 





Frage: Einzelfallanalysen 

Frage: Performanz- vs. Kompetenzverbesserung 



SS 2013 






Gütekriterien für Kriteriumsmaße 

Programmziele und ihre Erfassung 

Ziele und Maße 

Vorgabe der internen Ziele psychologischer Interventionsmaßnahmen von 

den Autor_innen und/oder den Anwender_innen: 

⇒ Positive Veränderungen in einem bestimmten als besonders interventionsbedürftig 

angesehenem Bereich des Erlebens und/oder des 

Verhaltens (manchmal auch Spezifikation der Bereiche, in denen 

keine Wirkungen auftreten sollten) 

Veränderungen können Performanzen und Kompetenzen, Fertigkeiten, 

Fähigkeiten, Strategien usw. betreffen 

jeder beobachtbaren Performanz- oder Leistungsverbesserung liegt 

eine entsprechende Kompetenzverbesserung zugrunde 

Güte der Erfassung der Performanzverbesserung abhängig von der 

testtheoretischen Validität der Erhebungsinstrumente 

hier: grundsätzliche Forderung nach der Eignung der Maße, den 

Programmerfolg relativ zu den Programmzielen angemessen zu erfassen 22 


SS 2013 






Frage: Zweckmäßigkeit der Unterscheidung zwischen 

Wirkung und Wirksamkeit 

Gütekriterien für Kriteriumsmaße 

Programmziele und ihre Erfassung 

Weitere Probleme bei den Kriteriumsmaßen 

 

mögliche Konkurrenzhypothesen: z.B. Vorwissens- und 

Retesthypothesen 

Vorwissenshypothese: Interventionsteilnehmer verfügen bereits 

über Vorwissen, um die Kriteriumsaufgaben zu lösen 

Retesthypothese: Veränderungen resultieren allein aufgrund des 

Umstandes, dass vorgetestet wird. 

WICHTIG: Nachgewiesene Verbesserungen/Veränderungen sollten 

immer hinreichend eindeutig auf Programmwirkungen 

zurückführbar sein! 

 

Zweckmäßigkeit der Unterscheidung zwischen der Wirkung und der 

Wirksamkeit eines Programms 


SS 2013 





Frage: Einordnung der EG, die eigene VG darstellt 


2) Vergleichsgruppen mit expliziter Kontroll- bzw. Vergleichsbedingung 

 

 

Spezialfall: Versuchsgruppe, die ihre eigene Vergleichsgruppe 

darstellt 

- keine Kontrolle des Zeitfaktors (besonders problematisch bei 

Spontanremissionen) 

Wartelistengruppen (Vergleichsgruppen, in denen keine 

Intervention stattfindet) 

- nur für Feststellung der Bruttowirkungen im engeren 

Sinne, da interventionsgebundene Wirkungen nicht 

kontrolliert werden können 


SS 2013 





Frage: Programme zu AP nach Auferlegung gemeinsamer 

Ziele 


⇒ 

⇒ 

Konstanthaltung der Ziele der Interventionsmaßnahmen 

(mögliche Unterscheidung in Nah- und Fernziele, Forderung nach 

Gleichheit der Ziele kann Nahziele, Fernziele oder beide 

gleichzeitig betreffen) 

zwei Programme können zu Alternativprogrammen gemacht werden, 

indem ihnen gemeinsame Ziele von außen auferlegt werden, die sich 

nicht mit den programmspezifischen Zielen decken müssen 

Variation der Randbedingungen der Interventionsmaßnahmen 

(keine Angleichung der Randbedingungen des 

Vergleichsprogramms an das Experimentalprogramm) 

Festgestellte Wirksamkeitsunterschiede = empirische Grundlage für 

Konstruktion einer Effektivitätsrangfolge der Programme, die 

wiederum als Aspekt zur Konstruktion einer Effizienzrangfolge der 

Programme dienen kann 


SS 2013 





Allgemeines zur Klausur 

Wann: 08. Juli 2013 


Wo: Olshausenstraße 75, Hörsaal 2 

Beginn: 08:30 Uhr mit Erläuterungen zum Ablauf, etc., Einlesezeit 

Klausurstart: 09:00 Uhr 

Klausurende: 10:00 Uhr (es kann früher abgegeben werden) 

Bitte Studien- und Personalausweise mitbringen!! 


SS 2013 





Allgemeines 

• „Evaluation“ Klausur = 50% der Modulnote 


• zweiter Klausurtermin im Oktober 2013 

Anmerkungen: 

=> 7 offene Fragen (mit Teilfragen) 

=> zum Bestehen (4.0) müssen 45% erreicht werden 


SS 2013 





Allgemeines 

Auszüge aus der Prüfungsordnung (Juli 2006): 


§ 16 Leistungspunkte 

(2) Ein Leistungspunkt entspricht 30 Stunden Arbeitsaufwand inklusive 

Vor- und Nachbereitung des Lehrstoffes und zugeordneten Prüfungsleistungen... 

§ 20 Leistungsbewertung durch Noten 

(1) Für die Bewertung von Prüfungsleistungen sind folgende Noten zu 

verwenden: 

1 = sehr gut eine hervorragende Leistung; 

2 = gut eine Leistung, die erheblich über den durchschnittlichen 

Anforderungen liegt; 

3 = befriedigend eine Leistung, die den durchschnittlichen Anforderungen 

entspricht; 

4 = ausreichend eine Leistung, die trotz ihrer Mängel noch den 

Anforderungen genügt; 

5 = nicht ausreichend eine Leistung, die wegen erheblicher Mängel den 

Anforderungen nicht mehr genügt. 


SS 2013 





Hinweise zur Bearbeitung der Evaluationsklausur 

• allgemeine Anweisungen zu Beginn gründlich durchlesen 


• auf Formulierungen achten: z.B. nennen, erläutern, 

diskutieren, etc. 

• Anzahl an Zeilen hat keine Bedeutung 

• Gesamtpunktzahl für eine Aufgabe steht bei der Frage 

• Fragen sind chronologisch angeordnet (Reihenfolge entspricht 

dem Vorgehen in der Vorlesung) 

• darauf achten, dass keine Seite ausgelassen wird (sind 

durchnummeriert) 

• Fließtext nicht zwingend notwendig 

• eine Zeitstunde (60 min) 

• wenn fertig, an die Ecke des Tisches legen 

• Fragen sind vor allem während der Einlesezeit möglich 


SS 2013 





Evaluationsklausur 

- keine Angst haben 


- wenn Antwort nicht sofort einfällt, einen Augenblick innehalten, 

durchatmen und Frage noch mal anschauen; wenn nicht besser, 

erst mal zur nächsten Frage gehen 

- Speed-Komponente => Zeit gut einteilen, keine Romane 

schreiben 


SS 2013 






Viel Erfolg!!! 


SS 2013

V - Christian-Albrechts-Universität zu Kiel

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?