V - Christian-Albrechts-Universität zu Kiel
V - Christian-Albrechts-Universität zu Kiel
V - Christian-Albrechts-Universität zu Kiel
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Evaluation: Klausurvorbesprechung<br />
Klausurvorbesprechung<br />
25.Juni 2013<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Zu den inhaltlichen Fragen<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Inwiefern sind Intensität vs. Extensität Antworten auf die<br />
Frage, ob ein Programm seine Ziele erreicht?<br />
Evaluation: Klausurvorbesprechung<br />
Praktische Wünsche, die durch Beachtung von Effektivitätskriterien<br />
bei der Evaluation <strong>zu</strong> erfüllen sind<br />
a) Erreicht ein in Frage kommendes Programm seine Ziele?<br />
=> Intensität vs. Extensität<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Unterschiede Wirkung, Wirksamkeit, Wirkmodell<br />
Fragen in Wirkungsforschung<br />
Evaluation: Klausurvorbesprechung<br />
• ob ein Programm Wirkung hat oder nicht (Wirksamkeit)<br />
• ob festgestellt werden soll, warum es Wirkung zeigt (Wirkmodell)<br />
Wirksamkeitsprüfung (ob?)<br />
Ist ein Programm im Hinblick auf seine Ziele wirksam?<br />
- Beobachtung von Veränderungen in abhängigen Variablen?<br />
- Sind diese auf die unabhängigen Variablen (Programm) <strong>zu</strong>rückführbar?<br />
Theorie <strong>zu</strong>m Programm nicht nötig, wohl aber Theorie über das erfasste<br />
Verhalten<br />
Wirkmodellprüfung (warum?)<br />
Warum wirkt ein Programm, wenn es wirkt?<br />
⇒ Prüfung der <strong>zu</strong> Grunde liegenden Theorien<br />
⇒<br />
zwei Bereiche: Programmbereich vs. Personenbereich<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Fragestellungen in Evaluationsuntersuchungen<br />
Wirkung<br />
Evaluation: Klausurvorbesprechung<br />
Hat IM Wirkung? Wie groß?<br />
Wirksamkeit<br />
Kompetenz/<br />
Disposition<br />
Programm<br />
Wirkungskomponenten<br />
und Wirkungsweisen<br />
Warum hat IM Wirkung?<br />
Wirkmodell<br />
Wodurch?<br />
Personen<br />
Wirkmechanismen<br />
und Wirkprozesse<br />
Performanz<br />
(Verhalten)<br />
keine programmbezogene<br />
Theorie<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
programmbezogene Theorie<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Fragen: Abgren<strong>zu</strong>ng Theorien/Aussagen<br />
technologische Theorie – technologische Aussage<br />
nomopragmatische Aussage<br />
Fundierung technologischer Aussagen<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Begriffe:<br />
nomologisch = theoretisch (durch Verknüpfung von Aussagen herleitbar)<br />
Synonym = Logisch<br />
Gegenwörter: technisch, praktisch<br />
nomothetisch = allgemein; gesetzgebend, auf die Aufstellung von<br />
Gesetzen bzw. auf die Auffindung von Gesetzmäßigkeiten<br />
zielend (wissenschaftstheoretisch)<br />
nomos (griechisch) = vom Menschen gesetzte Ordnung<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Theorie<br />
Evaluation: Klausurvorbesprechung<br />
= Aussagensystem, wobei es sich um Allaussagen handelt<br />
(Universalitätsbedingung), die empirisch bewährt sind<br />
• Aussagen (Gesetze) müssen implikative Form haben (wenn – dann)<br />
• Gesetze sind in Aussagensysteme (Theorien) eingebettet, wobei ein<br />
hierarchischer Zusammenhang zwischen den verschiedenen<br />
Elementen (Basissätzen, d.h. Aussagen, die sich auf ein<br />
bestimmtes Ereignis beziehen; Gesetze oder Gesetzeshyothesen;<br />
Theorien) besteht.<br />
• Die Gesetze erklären die Ereignisse (= E-Erklärung), die Theorien<br />
die Gesetze (= G-Erklärung), wobei es auch Theorien zweiter<br />
Ordnung geben kann.<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Zum Zusammenhang nomo- und technologische Theorien,<br />
Aussagen, Basissätzen…<br />
Evaluation: Klausurvorbesprechung<br />
Nomologische Theorie<br />
G-Erklärung<br />
Nomologische Aussage<br />
E-Erklärung<br />
A<br />
B-A<br />
Technologische Theorie<br />
Fundierung<br />
Technologische Aussage<br />
(Regel)<br />
Evaluation<br />
Praktische<br />
Umset<strong>zu</strong>ng<br />
(„Überset<strong>zu</strong>ng)<br />
Basissatz<br />
Basissatz<br />
praktische<br />
Handlung<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Zum Zusammenhang nomo- und technologische Theorien,<br />
Aussagen, Basissätzen…<br />
Beispiel:<br />
Evaluation: Klausurvorbesprechung<br />
Nomologische Theorie:<br />
Nomologische Aussage:<br />
Basissätze:<br />
behavioristische Lerntheorie<br />
„Wenn ein Verhalten einen als aversiv<br />
antizipierten/erlebten Zustand (z.B. Angst,<br />
Zwang) verhindert, dann tritt das Verhalten in<br />
Zukunft häufiger auf.“<br />
eine Person überquert keine Brücken; meidet<br />
enge, große, leere,… Räume/Plätze, … etc.<br />
eine Person verlässt ihr Haus nie; berührt nie<br />
etwas, … etc.<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Nomologische und technologische Theorien (II)<br />
Evaluation: Klausurvorbesprechung<br />
Technologische Aussagen: Der Ansatz von Bunge<br />
Vermittlung zwischen Grundlagenwissen und technologischem Wissen:<br />
1. Nomologische Aussagen „wenn x, dann y“ enthalten Hinweise auf Mittel (x)<br />
und Wirkung (y). Die Mittel (x) müssen zwei Bedingungen erfüllen:<br />
- Be<strong>zu</strong>g auf konkrete Aktionen des Akteurs (Operationalisierungen von x = x*)<br />
- Die Mittel müssen vor der Wirkung (y) auftreten.<br />
Wirkung (y) muss mit dem Ziel der Intervention übereinstimmen und ebenfalls<br />
operationalisiert (von y <strong>zu</strong> y*) werden.<br />
Aussagen „wenn man x* tut, dann y*“ = nomopragmatische Aussagen<br />
2. Nomopragmatische Regeln müssen in Handlungsregeln („technologische<br />
Regeln“) umformuliert werden. Zwei Arten technologischer Regeln:<br />
Regel 1: „y* durch x*“ oder „um y* <strong>zu</strong> erreichen, tue x*“<br />
Regel 2: „Um y* <strong>zu</strong> vermeiden, tue nicht x*“<br />
Aber: noch keine Garantie, dass es keine andere Wenn-Komponente xº gibt, welche <strong>zu</strong><br />
y* führt. Deshalb folgen aus “wenn x*, dann y*” nur die Regeln “für y* ist x* eine<br />
Möglichkeit” (modifizierte Regel 1) und “um y* <strong>zu</strong> vermeiden, vermeide x* und vielleicht<br />
noch mehr” (modifizierte Regel 2)<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Zum Zusammenhang nomo- und technologische Theorien,<br />
Aussagen, Basissätzen…<br />
Beispiel:<br />
Evaluation: Klausurvorbesprechung<br />
Technologische Theorie:<br />
instrumentelles Konditionieren<br />
Technologische Aussage: „Durch schrittweise Annäherung<br />
(systematische Desensibilisierung) an den<br />
angstauslösenden Reiz wird das<br />
Vermeidungsverhalten reduziert.“<br />
modifizierte Regel 2:<br />
„…oder vielleicht auch durch direkte<br />
Konfrontation (Flooding bzw. Reizüberflutung)<br />
mit dem angstauslösenden Reiz“<br />
Praktischen Handlungen:<br />
mit niedrigen Brücken anfangen bzw. die<br />
höchsten sofort hernehmen<br />
sich für ein paar Minuten von<br />
Kaffeemaschine/Bügeleisen/Haus entfernen<br />
bzw. für lange Zeit weit weg fahren<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Zum Zusammenhang nomo- und technologische Theorien,<br />
Aussagen, Basissätzen…<br />
Evaluation: Klausurvorbesprechung<br />
Nomologische Theorie<br />
G-Erklärung<br />
Nomologische Aussage<br />
E-Erklärung<br />
A<br />
B-A<br />
Technologische Theorie<br />
Technologische Aussage<br />
(Regel)<br />
Fundierung (praktische Erklärung)<br />
Evaluation<br />
Praktische<br />
Umset<strong>zu</strong>ng<br />
(„Überset<strong>zu</strong>ng)<br />
Basissätze<br />
Basissätze<br />
praktische<br />
Handlung<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Nomologische und technologische Theorien (V)<br />
Evaluation: Klausurvorbesprechung<br />
Fundierung technologischer Aussagen<br />
Technologische Theorie: Anwendung wissenschaftlicher Theorien auf beinah<br />
reale Situationen<br />
Evaluation technologischer Regeln auf Effektivität hin ist nicht ausreichend,<br />
sie müssen auch theoretisch fundiert werden. Dies ist allein schon für die<br />
„Überset<strong>zu</strong>ng“ der Regel (Operationalisierung) in die Anwendungssituation<br />
nötig.<br />
Fundierung durch nomologische Theorien (G-Erklärung für technologischen<br />
Aussagen)<br />
Fundierung durch technologische Theorien (praktische Erklärung der<br />
technologischen Aussage)<br />
Unterschied zwischen nomologischen und technologischen Theorien:<br />
Berücksichtigung der Komplexität (Abstraktion und „Reinheit“ vs. Konkretheit<br />
und Kombination)<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Nomologische und technologische Theorien (VI)<br />
Evaluation: Klausurvorbesprechung<br />
Fundierung technologischer Aussagen<br />
Erklärung des modus operandi der in der technologischen Regel<br />
empfohlenen Interventionsmaßnahmen setzt Prozessuntersuchungen und<br />
hypothesenbezogene Programmvariationen voraus, in denen nachgewiesen<br />
wird, dass die durch das Programm ausgelösten Prozesse, die <strong>zu</strong>m<br />
angestrebten Ziel führen, tatsächlich stattfinden.<br />
In Praxis: theoretische Begründung eines Programms nicht notwendig<br />
⇒<br />
⇒<br />
Forderung nach theoretischer Fundierung wird ersetzt durch Forderung,<br />
ein Programm dürfe nicht inkompatibel mit dem aktuellen Stand der<br />
Wissenschaft sein<br />
das bedeutet: Gewisse theoretische Vorstellungen über die<br />
Wirkungsweise eines Programms sollten vorhanden sein!<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Wirkung<br />
Evaluation: Klausurvorbesprechung<br />
Hat IM Wirkung? Wie groß?<br />
Wirksamkeit<br />
Kompetenz/<br />
Disposition<br />
Performanz<br />
(Verhalten)<br />
Programm<br />
Warum hat IM Wirkung?<br />
Wirkmodell<br />
Wodurch?<br />
Personen<br />
Wirkungskomponenten<br />
Wirkmechanismen<br />
und Wirkungsweisen und Wirkprozesse<br />
keine programmbezogene<br />
Theorie<br />
programmbezogene Theorie<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Empfehlungen für die Praxis: Warum ist es wichtig, dass<br />
Maße klassifiziert und getrennt betrachtet werden?<br />
Evaluation: Klausurvorbesprechung<br />
Kategorien von Erfolgsmaßen<br />
1. theoriespezifische (oder schulspezifische) Erfolgsmaße<br />
2. störungs- oder defizitspezifische Erfolgsmaße<br />
3. externe oder fakultative Erfolgsmaße (allgemein, schul- und<br />
störungsübergreifend)<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Theoriespezifische (oder schulspezifische) Erfolgsmaße<br />
=> Maße, die in der das Programm fundierenden Theorie verankert sind<br />
(bzw. auf denen die ersten erfolgreichen Anwendungen der<br />
Interventionsmaßnahme beruhen)<br />
- müssen die Systemebene der IM (intra- oder interpersonell)<br />
berücksichtigen<br />
- Maße, die in Be<strong>zu</strong>g auf verschiedene Theorien oder Schulen spezifisch<br />
sind, sind nicht miteinander vergleichbar<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Störungs- oder defizitspezifische Erfolgsmaße<br />
=> Maße, die sich nicht auf spezifische Interventionsmaßnahmen beziehen,<br />
sondern auf die Störungen oder Defizite, <strong>zu</strong> deren Beseitigung oder<br />
Reduktion das entsprechende Programm eingesetzt wird<br />
(häufig abgeleitet aus den Diagnoseschlüsseln wie z.B. dem ICD-10<br />
oder dem DSM-IV)<br />
- Maße sind nicht theoriefrei, beziehen sich aber auf eine Störungs- oder<br />
Defizittheorie und nicht auf eine Therapietheorie<br />
- Maße daher eher bzw. besser miteinander vergleichbar<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Externe oder fakultative Erfolgsmaße<br />
⇒ allgemeine, schul- und störungsübergreifende Maße, die sich meist auf<br />
fakultative Ziele beziehen, aber weder auf eine Interventionstheorie noch<br />
auf eine Störungstheorie <strong>zu</strong>rück gehen<br />
(Beispiele: Häufigkeit des Arztbesuches, Dauer und Umfang der<br />
Medikamenteneinnahme, Rückfallquote, Zufriedenheit, Akzeptanz, etc.)<br />
- Maße sind theoriefrei (hinsichtlich Interventions- und/oder<br />
Störungstheorie)<br />
- Maße sehr gut miteinander vergleichbar<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Empfehlung für die Evaluationspraxis<br />
⇒ Die eingesetzten Maße sollten jeweils klassifiziert und dann getrennt<br />
nach dieser Klassifikation betrachtet werden, wobei sich im Zweifelsfall<br />
immer auf diejenigen diagnostischen Vorgehensweisen und Kriteriumsmaße<br />
beschränkt werden soll, die mit Blick auf die verschiedenen möglichen<br />
Interventionsziele und die <strong>zu</strong> erfassenden Wirkungen von vorrangiger<br />
Bedeutung sind.<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Wirkungen/Wirksamkeit<br />
Programmwirksamkeit und Programmwirkung<br />
Evaluation: Klausurvorbesprechung<br />
Zentrale Aufgabe der Evaluationsforschung<br />
⇒ empirischer Nachweis der Wirksamkeit von Programmen<br />
(≠ der Wirksamkeit liegen die postulierten Wirkungen <strong>zu</strong>grunde)<br />
Begriff der „Wirkung“ eher Oberbegriff oder übergeordnetes Konstrukt<br />
Evaluation der Programmwirkung => zwei Fragen:<br />
(1) Frage nach der Wirksamkeit eines Programmes: „Ist die angestrebte<br />
Wirkung aufgetreten? („Ob und in welchem Ausmaß?)<br />
= primäres Ziel der Evaluationsforschung<br />
(2) Frage nach dem <strong>zu</strong> Grunde liegenden Wirkmodell mit seinen<br />
angenommenen oder tatsächlichen Komponenten, Prinzipien,<br />
Mechanismen und Prozessen: „Warum ist die Wirkung eingetreten?“<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Evaluation der Programmkonzeption<br />
(antizipatorisch/prospektiv vs. formativ)<br />
Evaluation: Klausurvorbesprechung<br />
A) Evaluation der Programmkonzeption<br />
- vor der Erprobung eines Programms<br />
=> Bewertung der Ausarbeitung und Gestaltung der geplanten<br />
Maßnahmen sowie der Konzeption des Programmes vor dem<br />
Hintergrund der technologischen Modellvorstellungen<br />
=> Abschät<strong>zu</strong>ng der Wahrscheinlichkeit seiner Wirksamkeit<br />
(antizipatorische oder prospektive Evaluation)<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
B) Formative Evaluation<br />
Evaluation: Klausurvorbesprechung<br />
- Während der Erprobung eines Progammes<br />
- Erprobungs- und Testphase (fortlaufende Evaluation)<br />
=> Optimierung des Programms als Ganzes und/oder seiner<br />
Komponenten im Hinblick auf Zielset<strong>zu</strong>ng, Anwendbarkeit und<br />
Wirksamkeit<br />
=> unter Umständen Einschluss von Modifikationen der<br />
ursprünglichen Programmkonzeption und deren erneuter<br />
Prüfung<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Ergebnis- vs. Erfolgsevaluation<br />
5 Evaluationsarten (in verschiedenen zeitlichen Phasen)<br />
Evaluation: Klausurvorbesprechung<br />
D) Evaluation der Programmwirksamkeit (zwei Aspekte)<br />
1) Veränderungen auf Seiten der Zielpersonen im Verlauf der<br />
Intervention, denen im Rahmen einer Prozessevaluation<br />
nachgegangen wird<br />
2) Veränderungen nach der Durchführung des Programms =<br />
Erfolgs- oder Ergebnisevaluationen<br />
=> Feststellung der Wirksamkeit eines Programms<br />
=> Feststellung der Art der Wirkungen hinsichtlich Intensität und<br />
Extensität, sowie möglicher Neben- und Folgewirkungen<br />
- oft rein summativ, können aber auch formativ durchgeführt<br />
werden<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Ergebnis-/ Erfolgsevaluation vs. summativ/formativ<br />
Evaluation: Klausurvorbesprechung<br />
keine Gleichset<strong>zu</strong>ng von summativer Evaluation mit Ergebnisevaluation<br />
• Ergebnisevaluationen können summativ u/o formativ durchgeführt werden.<br />
• Summative Evaluationen können global oder analytisch angelegt werden.<br />
Globale Evaluationen bewerten ein Programm als Ganzes im Hinblick auf<br />
seine grundsätzliche Wirksamkeit oder Durchführbarkeit.<br />
Analytische Evaluationen unterziehen die einzelnen Komponenten oder<br />
Bestandteile eines Programms einer detaillierten Überprüfung<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Wirkungen (programm-, interventionsgebunden,<br />
programm- und interventionsunabhängig)<br />
Evaluation: Klausurvorbesprechung<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Kriterium? Wirksamkeit von IM<br />
⇒ Frage:<br />
Evaluation: Klausurvorbesprechung<br />
Welchen Kriterien sollten lokale (für Einzel- und Kleingruppenarbeit<br />
vorgesehene) Interventionsprogramme genügen, um als<br />
„effektiv“ bewertet werden <strong>zu</strong> können?<br />
Kriterium (für den Wirksamkeitsnachweis):<br />
Verknüpfung zwischen technologischer Regel, Programm oder<br />
„Produkt“ – die das allgemeine Ziel von Veränderungen auf einen als<br />
„besser bewerteten Ziel<strong>zu</strong>stand haben – und ihrer/seiner<br />
Wirksamkeit in Hinblick auf diesen Ziel<strong>zu</strong>stand<br />
⇒ Nachweis, dass ein Programm seine spezifischen Ziele<br />
(intern und extern) <strong>zu</strong> erreichen vermag<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Einzelfallanalysen<br />
Frage: Performanz- vs. Kompetenzverbesserung<br />
Evaluation: Klausurvorbesprechung<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Gütekriterien für Kriteriumsmaße<br />
Programmziele und ihre Erfassung<br />
Ziele und Maße<br />
Vorgabe der internen Ziele psychologischer Interventionsmaßnahmen von<br />
den Autor_innen und/oder den Anwender_innen:<br />
⇒ Positive Veränderungen in einem bestimmten als besonders interventionsbedürftig<br />
angesehenem Bereich des Erlebens und/oder des<br />
Verhaltens (manchmal auch Spezifikation der Bereiche, in denen<br />
keine Wirkungen auftreten sollten)<br />
Veränderungen können Performanzen und Kompetenzen, Fertigkeiten,<br />
Fähigkeiten, Strategien usw. betreffen<br />
jeder beobachtbaren Performanz- oder Leistungsverbesserung liegt<br />
eine entsprechende Kompetenzverbesserung <strong>zu</strong>grunde<br />
Güte der Erfassung der Performanzverbesserung abhängig von der<br />
testtheoretischen Validität der Erhebungsinstrumente<br />
hier: grundsätzliche Forderung nach der Eignung der Maße, den<br />
Programmerfolg relativ <strong>zu</strong> den Programmzielen angemessen <strong>zu</strong> erfassen 22<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Frage: Zweckmäßigkeit der Unterscheidung zwischen<br />
Wirkung und Wirksamkeit<br />
Gütekriterien für Kriteriumsmaße<br />
Programmziele und ihre Erfassung<br />
Weitere Probleme bei den Kriteriumsmaßen<br />
<br />
mögliche Konkurrenzhypothesen: z.B. Vorwissens- und<br />
Retesthypothesen<br />
Vorwissenshypothese: Interventionsteilnehmer verfügen bereits<br />
über Vorwissen, um die Kriteriumsaufgaben <strong>zu</strong> lösen<br />
Retesthypothese: Veränderungen resultieren allein aufgrund des<br />
Umstandes, dass vorgetestet wird.<br />
WICHTIG: Nachgewiesene Verbesserungen/Veränderungen sollten<br />
immer hinreichend eindeutig auf Programmwirkungen<br />
<strong>zu</strong>rückführbar sein!<br />
<br />
Zweckmäßigkeit der Unterscheidung zwischen der Wirkung und der<br />
Wirksamkeit eines Programms<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Einordnung der EG, die eigene VG darstellt<br />
Evaluation: Klausurvorbesprechung<br />
2) Vergleichsgruppen mit expliziter Kontroll- bzw. Vergleichsbedingung<br />
<br />
<br />
Spezialfall: Versuchsgruppe, die ihre eigene Vergleichsgruppe<br />
darstellt<br />
- keine Kontrolle des Zeitfaktors (besonders problematisch bei<br />
Spontanremissionen)<br />
Wartelistengruppen (Vergleichsgruppen, in denen keine<br />
Intervention stattfindet)<br />
- nur für Feststellung der Bruttowirkungen im engeren<br />
Sinne, da interventionsgebundene Wirkungen nicht<br />
kontrolliert werden können<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Frage: Programme <strong>zu</strong> AP nach Auferlegung gemeinsamer<br />
Ziele<br />
Evaluation: Klausurvorbesprechung<br />
⇒<br />
⇒<br />
Konstanthaltung der Ziele der Interventionsmaßnahmen<br />
(mögliche Unterscheidung in Nah- und Fernziele, Forderung nach<br />
Gleichheit der Ziele kann Nahziele, Fernziele oder beide<br />
gleichzeitig betreffen)<br />
zwei Programme können <strong>zu</strong> Alternativprogrammen gemacht werden,<br />
indem ihnen gemeinsame Ziele von außen auferlegt werden, die sich<br />
nicht mit den programmspezifischen Zielen decken müssen<br />
Variation der Randbedingungen der Interventionsmaßnahmen<br />
(keine Angleichung der Randbedingungen des<br />
Vergleichsprogramms an das Experimentalprogramm)<br />
Festgestellte Wirksamkeitsunterschiede = empirische Grundlage für<br />
Konstruktion einer Effektivitätsrangfolge der Programme, die<br />
wiederum als Aspekt <strong>zu</strong>r Konstruktion einer Effizienzrangfolge der<br />
Programme dienen kann<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Allgemeines <strong>zu</strong>r Klausur<br />
Wann: 08. Juli 2013<br />
Evaluation: Klausurvorbesprechung<br />
Wo: Olshausenstraße 75, Hörsaal 2<br />
Beginn: 08:30 Uhr mit Erläuterungen <strong>zu</strong>m Ablauf, etc., Einlesezeit<br />
Klausurstart: 09:00 Uhr<br />
Klausurende: 10:00 Uhr (es kann früher abgegeben werden)<br />
Bitte Studien- und Personalausweise mitbringen!!<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Allgemeines<br />
• „Evaluation“ Klausur = 50% der Modulnote<br />
Evaluation: Klausurvorbesprechung<br />
• zweiter Klausurtermin im Oktober 2013<br />
Anmerkungen:<br />
=> 7 offene Fragen (mit Teilfragen)<br />
=> <strong>zu</strong>m Bestehen (4.0) müssen 45% erreicht werden<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Allgemeines<br />
Auszüge aus der Prüfungsordnung (Juli 2006):<br />
Evaluation: Klausurvorbesprechung<br />
§ 16 Leistungspunkte<br />
(2) Ein Leistungspunkt entspricht 30 Stunden Arbeitsaufwand inklusive<br />
Vor- und Nachbereitung des Lehrstoffes und <strong>zu</strong>geordneten Prüfungsleistungen...<br />
§ 20 Leistungsbewertung durch Noten<br />
(1) Für die Bewertung von Prüfungsleistungen sind folgende Noten <strong>zu</strong><br />
verwenden:<br />
1 = sehr gut eine hervorragende Leistung;<br />
2 = gut eine Leistung, die erheblich über den durchschnittlichen<br />
Anforderungen liegt;<br />
3 = befriedigend eine Leistung, die den durchschnittlichen Anforderungen<br />
entspricht;<br />
4 = ausreichend eine Leistung, die trotz ihrer Mängel noch den<br />
Anforderungen genügt;<br />
5 = nicht ausreichend eine Leistung, die wegen erheblicher Mängel den<br />
Anforderungen nicht mehr genügt.<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Hinweise <strong>zu</strong>r Bearbeitung der Evaluationsklausur<br />
• allgemeine Anweisungen <strong>zu</strong> Beginn gründlich durchlesen<br />
Evaluation: Klausurvorbesprechung<br />
• auf Formulierungen achten: z.B. nennen, erläutern,<br />
diskutieren, etc.<br />
• Anzahl an Zeilen hat keine Bedeutung<br />
• Gesamtpunktzahl für eine Aufgabe steht bei der Frage<br />
• Fragen sind chronologisch angeordnet (Reihenfolge entspricht<br />
dem Vorgehen in der Vorlesung)<br />
• darauf achten, dass keine Seite ausgelassen wird (sind<br />
durchnummeriert)<br />
• Fließtext nicht zwingend notwendig<br />
• eine Zeitstunde (60 min)<br />
• wenn fertig, an die Ecke des Tisches legen<br />
• Fragen sind vor allem während der Einlesezeit möglich<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluationsklausur<br />
- keine Angst haben<br />
Evaluation: Klausurvorbesprechung<br />
- wenn Antwort nicht sofort einfällt, einen Augenblick innehalten,<br />
durchatmen und Frage noch mal anschauen; wenn nicht besser,<br />
erst mal <strong>zu</strong>r nächsten Frage gehen<br />
- Speed-Komponente => Zeit gut einteilen, keine Romane<br />
schreiben<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie
Evaluation: Klausurvorbesprechung<br />
Viel Erfolg!!!<br />
Veranstaltung: Evaluation<br />
SS 2013<br />
Institut für Psychologie<br />
der <strong>Christian</strong>-<strong>Albrechts</strong>-<strong>Universität</strong> <strong>zu</strong> <strong>Kiel</strong><br />
Arbeitseinheit Sozialpsychologie und<br />
Politische Psychologie