geht's zur weiteren Information... - Universität Wien

Entwicklung einer EDV-unterstützten Multiple-Choice-Prüfung
für die Vorlesung „Psychologie als Wissenschaft“ (Ringvorlesung)
Projektleitung: Univ.-Ass. Mag. Dr. Margarete Litzenberger
Projektteam: Mag. Timo Gnambs, Mag. Joachim Fritz Punter
Weitere MitarbeiterInnen (Fragenkonstruktion): Mag. Michael Aysner, Gernot Gerger,
Mag. Petra Gradinger, Mag. Dorothea König, Mag. Stefan Kowar, Mag. Sylvia Rechberger, Mag.
Gudrun Schmitt, Martina Zandonella
Projektzeitraum: 15.07.2005 - 31.12.2005
HINTERGRUND:
Als eine zukunftsorientierte Maßnahme zur Handhabung der enormen Prüfungsbelastung an der
Fakultät für Psychologie einerseits, sowie andererseits als Sofortmaßnahme zur Bewältigung des
möglichen Ansturms ausländischer Studierender aus dem EU-Raum wurde das Projekt zur Umstellung
der Prüfung zur Vorlesung „Psychologie als Wissenschaft“ auf das Multiple-Choice-Format
ins Leben gerufen. Mit dem Hintergrund der Fachkompetenz aus dem Bereich der Fragebogenentwicklung
und Testkonstruktion war es der Fakultät für Psychologie ein primäres Anliegen, dass
unter Einbeziehung einschlägiger Fachliteratur allgemein gültige Grundlagen für die Entwicklung
eines Multiple-Choice-Fragenpools geschaffen werden und begleitend eine EDV-unterstützte Lösung
zur Auswertung für die universitätsweite Nutzung in Zusammenarbeit mit dem Zentralen
Informatikdienst der Universität Wien implementiert wird. Das Projekt sollte auf diese Weise ein
Modell-Projekt für künftige Umstellungen im Rahmen von Lehrveranstaltungen innerhalb der Psychologie
aber auch universitätsweit sein.
PROJEKTZIELE:
1. Die Erarbeitung von Grundlagen für die Erstellung von computerisiert auswertbaren Multiple-
Choice-Prüfungsfragen, die das reine „Wiedererkennen von Faktenwissen“ übersteigen (im
Sinne der Taxonomie der kognitiven Lehrziele von Bloom, 1956) durch Aufarbeiten und Dokumentieren
der einschlägigen Literatur bzw. entsprechend praktischer Erfahrungswerte.
2. Das Ermitteln der technischen und administrativen Notwendigkeiten für die Durchführung
derartiger Prüfungen.
3. Die Erstellung eines ausreichend umfangreichen Fragenpools für die Prüfung zur Ringvorlesung
„Psychologie als Wissenschaft“ in einer möglichst hohen Qualität. Mit diesem Fragenpool
sollte die Durchführung der Prüfung für zumindest ein Jahr garantiert sein.
4. Vorbereitung und Durchführung des ersten Prüfungstermins Mitte/Ende Oktober 2005.
5. Evaluation des 1. Prüfungstermins.
6. Vorbereitungen für die weiteren Prüfungstermine des Studienjahres.
1

Da die entsprechende Kompetenz in der Testkonstruktion im Besonderen an der Fakultät für Psychologie
vorhanden ist, sollte das Projekt zum einen als Vorbild für andere Fakultäten dienen. Zum
anderen sollten Grundlagen für die Umstellung weiterer stark frequentierter Prüfungen an der psychologischen
Fakultät geschaffen werden, was in Anbetracht der derzeitigen Belastung der Lehrenden
im Diplomstudium Psychologie durch etwa 25.000 Vorlesungsprüfungen pro Jahr (entspricht
etwa der Arbeitszeit von 5 vollen Stellen) dringend erforderlich schien.
DURCHFÜHRUNGSPLAN:
Entsprechend den Projektzielen besteht das Projekt aus einem 3stufigen Durchführungsplan: Vorbereitung,
Implementierung und Analyse.
Stufe 1: VORBEREITUNG
Im Zuge der Vorbereitungsarbeiten wurden im ersten Schritt relevante Studien zur Effektivität
verschiedener Gestaltungsweisen von Multiple-Choice-Aufgaben recherchiert. Basierend auf theoretischen
Grundlagen und organisatorischen Machbarkeitsüberlegungen wurden Richtlinien für
die Itemkonstruktion entwickelt, worin sowohl formale Gestaltungshinweise als auch inhaltliche
Reglementierungen, wie z.B. das Verhältnis reiner Wissensfragen zu Verständnis- und Anwendungsfragen,
festgehalten wurden. Parallel dazu wurden Informationen zur automatischen Verarbeitung
von Multiple-Choice-Antwortwortbelegen eingeholt und eine ökonomische, sowie zielführende
Alternative ausgearbeitet. In Zusammenarbeit mit dem Zentralen Informatikdienst der Universität
Wien wurde in der Folge die Anschaffung und Installation eines automatischen Beleglesers
als Basis für die gesamte Universität Wien umgesetzt.
Stufe 2: IMPLEMENTIERUNG
Die Erstellung der Multiple-Choice-Aufgaben orientiert sich inhaltlich an den Lehrzielen der Vortragenden
der Ringvorlesung „Psychologie als Wissenschaft“, wobei die Fragenkonstruktion von
den jeweiligen ExpertInnen (MitarbeiterInnen in den Arbeitsbereichen) nach eingehender Einschulung
in die Konstruktionsrichtlinien erfolgte. Diese erste Konstruktionsphase wurde von einer
Supervision durch das Projektteam begleitet. Eine eigens programmierte Datenbank dient der
Verwaltung des nunmehr etwa 800-1000 Fragen umfassenden Fragenpools und erlaubt die Auswahl
von Fragen nach diversen Kriterien (inhaltliches Lehrziel, Lernziel nach Bloom, Prüfungsfach)
und die automatisierte Erstellung von Prüfungen, wobei insbesondere ähnlich formulierte
Fragen, welche nicht gemeinsam in einem Test vorkommen dürfen, da eine Frage einen Hinweis
auf die Lösung einer anderen geben könnte, oder weil es sich um Aufgaben mit variierten Distraktoren
oder geringfügiger Variation zwischen Aufgabenstamm und Distraktoren handelt, Berücksichtigung
finden. In der zweiten Konstruktionsphase wurden alle Fragen einer Überarbeitung
durch das Projektteam hinsichtlich der Erfüllung formaler Gestaltungskriterien unterzogen. Im
nächsten Schritt wurden die Vortragenden der Ringvorlesung zur Sichtung und Korrektur der Fragen
bezüglich inhaltlicher und sprachlicher Eindeutigkeit in das Projekt mit einbezogen.
2

Für die Bewältigung der Prüfungseinsicht wird derzeit unter Gesichtspunkten der schnellen Umsetzbarkeit
und weitgehenden Transparenz der automatischen Auswertung eine Online-
Prüfungseinsicht in Zusammenhang mit der APIS-Schnittstelle (Anmelde-, Prüfungs- und Informationssystem;
siehe http://apis.psy.univie.ac.at/) umgesetzt. Dabei werden den Studierenden einerseits
die eigenen Antwortbelege nach dem Scan durch den Belegleser online zur Verfügung gestellt und
andererseits ein Überblick der automatisch eingelesenen Ankreuzungen so wie auch die Lösungen
rückgemeldet. Eine universitätsweite Lösung der Prüfungseinsicht über das Universitätsverwaltungsinformationssystem
UNIVIS (http://www.univie.ac.at/univis/) ist wiederum in Zusammenarbeit
mit dem Zentralen Informatikdienst der Universität Wien in Planung, bedarf aber einer längeren
Vorlaufzeit.
Stufe 3: ANALYSE
Die Evaluation des ersten Prüfungstermins wird aus einer eingehenden Analyse der bereits zum
Einsatz gekommenen Items bestehen. Darüber hinaus können Erprobungen neuer Fragen im kleineren
Rahmen Aufschluss über die Qualität und Eindeutigkeit der Fragen geben. Fragestellungen
der Analyse sind daher:
1. Sind die formulierten Distraktoren pro Frage mehr oder weniger gleichwertig, d.h. für Studierende
gleich "attraktiv"?
2. Durch welche formalen und inhaltlichen Kennzeichen unterscheiden sich nicht gewählte
Distraktoren von scheinbar "attraktiveren" Antwortalternativen?
3. Können aus der Analyse Richtlinien für die Überarbeitung des Fragenpools für künftige
Prüfungstermine abgeleitet werden?
4. Können Fragen identifiziert werden, die keinen Informationsgewinn (weil sie von allen
Studierenden gelöst bzw. nicht gelöst wurden) liefern?
5. Durch welche formalen und inhaltlichen Kennzeichen unterscheiden sich Fragen ohne zusätzlichen
Informationsgewinn?
6. Wie ist die Dimensionalität der Fragen beschaffen?
Als Produkt der empirischen Analyse sollen Regeln abgeleitet werden, die die ursprünglich ausgearbeiteten
Richtlinien ergänzen und der Verbesserung des Fragenpools dienen können. Zur Beurteilung
der Fairness der Prüfung werden Methoden der klassischen Testtheorie als auch der Probabilistischen
Testtheorie eingesetzt.
INNOVATION:
Wenn auch die Durchführung von Multiple-Choice-Prüfungen keine Innovation im eigentlichen
Sinne darstellt, so kann als innovativer Aspekt des Projekts dennoch hervorgehoben werden, dass
hier eine universitätsweite Lösung implementiert wurde. Neben den fachlichen Grundlagen zur
Erstellung von Multiple-Choice-Fragen wurden auch EDV-unterstützte Lösungen für die Auswertung
und Prüfungseinsicht bei Massenprüfungen geschaffen. Als Produkte, die anderen Lehrveran-
3

staltungsleiterInnen nach Projektabschluss per 31.12.2005 zur Verfügung stehen, sind besonders
hervorzuheben:
1. Manuskript "Richtlinien zur Erstellung von Multiple-Choice-Aufgaben" (Litzenberger,
Gnambs & Punter 2005)
2. Access-Datenbank zur Verwaltung von Multiple-Choice-Aufgaben und automatisierten Erstellung
von Prüfungsbögen
3. Automatischer Belegleser (FORMS , Eyes & Hands ® , 2000) zur Nutzung durch alle Fakultäten
der Universität Wien
4. Musterbeleg inkl. Belegdefinition für max. 60 Fragen mit 5stufigem Antwortformat
5. SPSS-Syntax zur elektronischen Weiterverarbeitung der eingelesenen Daten
6. Modell zur Online-Prüfungseinsicht (via APIS bzw. UNIVIS)
Insbesondere kann auch die Erstellung und Evaluation der Richtlinien zur Erstellung von Multiple-
Choice-Fragen als innovativer Ansatz betrachtet werden. Die vorausgehende Literaturrecherche
hat gezeigt, dass es sich hierbei um ein weitgehend empirisch unerforschtes Gebiet handelt. Jegliche
Hinweise in der Fachliteratur berufen sich auf eher qualitative Erfahrungswerte, so dass die
Ausarbeitung dieses Manuskripts auf Basis der empirischen Erkenntnisse einen wichtigen Beitrag
zur Gestaltung von Multiple-Choice-Aufgaben darstellt.
4