Testleiterinnen und Testleiter

Testleiterbefragung
Einleitung
"Ruhe bitte!" Vom Pausenhof schallt Geschrei in die Klasse, in der hinteren Reihe tauschen
sich mehrere Schülerinnen und Schüler über die Lösung der letzten Frage aus, ein Schüler
bemalt sein Testheft mit lustigen Mustern, Papierkügelchen fliegen durch die Luft – dies soll
eine PISA-Testsitzung sein?
Dass Testergebnisse, die unter solchen Bedingungen erbracht wurden, kaum die tatsächlichen
Leistungen der Schülerinnen und Schüler abbilden, liegt auf der Hand. Angemessene
Durchführungsbedingungen während der Testsitzungen sind ein Mindeststandard, der gewährleistet
sein muss, wenn man Schülerleistungen untersuchen möchte. Um sicherzustellen,
dass die Testsituationen an den beteiligten Schulen angemessen waren und um zu
bestimmen, welche Störungen möglicherweise auftraten, wurden Testleiter und Testleiterinnen
in einer zusätzlichen Erhebung zum Ablauf der Tests in den Schulen befragt.
Fragestellung
Ziel dieser zusätzlichen Befragung war es, eine detaillierte Beschreibung der Testsituation
und der eventuell aufgetretenen Probleme zu erhalten. Diese Beschreibung sollte zusätzlich
zu dem regulären Testleiterprotokoll, das alle Testleiterinnen und Testleiter ausfüllten, veranschaulichen,
unter welchen Bedingungen die Schülerinnen und Schüler die Testaufgaben
bearbeiteten. Wichtig war hierbei, anstelle von pauschalen Beurteilungen wie "es gab starke
Disziplinprobleme" Informationen darüber zu gewinnen, wie sich Schülerinnen und Schüler in
den Testsitzungen konkret verhielten. Anhand dieser Informationen lässt sich die Frage
klären, ob während der Testsituation Schwierigkeiten auftraten, welche die Interpretation der
Testergebnisse erschweren könnten. Weiterhin wird es damit möglich, die Ergebnisse von
Gruppen, in denen die Erhebung nicht ganz reibungslos verlaufen ist, systematisch zu
analysieren.
Methode
Für die Untersuchung wurden alle Testleiterinnen und Testleiter aus zwei Ländern, Hessen
und Brandenburg, befragt. Sie erhielten nach Abschluss der Testung Fragebögen, in denen
sie Aussagen zum Verhalten der Schülerinnen und Schüler und zum Auftreten externer
Störungen machen sollten. Es wurden konkrete Verhaltensweisen beschrieben und danach
gefragt, wie viele Personen das jeweilige Verhalten zeigten und wie häufig es auftrat. Wichtig
bei diesen Fragen war, bei den Beschreibungen und Antwortkategorien wenig Interpretationsspielraum
zu lassen, denn es sollten keine globalen Eindrücke erhoben, sondern die
Situation während der Testung möglichst anschaulich abgebildet werden. In Tabelle 1 sieht
man ein Beispiel für die gestellten Fragen.
Tabelle 1: Testleiterbefragung - Beispiel aus dem Fragebogen
Wie viele Schüler/innen zeigten das folgende Verhalten?
Schüler/innen blättern lustlos im Testheft
herum und füllen wenig aus.
Schüler/innen scheinen wahllos oder nach
grafischen Mustern Kästchen anzukreuzen.
Schüler/innen hören beim Verlesen der
Instruktion nicht zu.
keine
Person
eine
Person
zwei bis fünf
Personen
sechs Personen
bis etwa die Hälfte
der Klasse
mehr als die
Hälfte der
Klasse

Insgesamt wurden 25 solcher Verhaltensweisen aufgeführt. Diese wurden bei der Auswertung
zu den Skalen "Anstrengungsbereitschaft", "Unruhe", "Probleme mit der Lautstärke",
"externe Störungen" und "Schwierigkeiten bei der Gruppenaufgabe" zusammengefasst.
Ergebnisse
Von 180 versendeten Fragebögen wurden 147 zurückgeschickt (Rücklaufquote 81 %).
Insgesamt schildern die Testleiter und Testleiterinnen ein sehr positives Bild vom Ablauf der
Testdurchführung und berichten von nur sehr wenigen Störungen oder Schwierigkeiten.
Zunächst einmal wird deutlich, dass beide Testtage insgesamt so gut wie störungsfrei
abliefen. Wie in Abbildung 1 zu sehen ist, traten in fast 60 Prozent aller Schulen gar keine
äußeren Störungen (z. B. starker Lärm von außen; Schüler, die in die Klasse hereinplatzen)
auf, und in knapp 40 Prozent kamen solche Störungen maximal zweimal pro Testtag vor. Die
äußerlichen Bedingungen gewährleisteten demnach eine angemessene Testsituation.
100
Wie häufig traten externe Störungen auf?
90
80
70
60
50
59
40
30
38
Prozent
20
10
0
nie
ununterbrochen
alle 5 Min. einmal
alle 15 Min. einmal
alle 45 Min. einmal
1-2 mal je Testtag
Abbildung 1: Testleiterbefragung - Auftreten externer Störungen
Wie sieht es nun mit Störungen von Schülerseite aus? In Abbildung 2 sieht man die Ergebnisse
zum Bereich der Anstrengungsbereitschaft. Hier wurden Verhaltensweisen zusammengefasst,
die darauf hinweisen, dass sich die Schülerinnen und Schüler nur wenig angestrengt
haben, wie etwa wahlloses Ankreuzen oder lustloses Herumblättern im Testheft. Die
Abbildung verdeutlicht, dass nur sehr wenige Schülerinnen und Schüler in den Schulen
solche Verhaltensweisen zeigten. Wie man sieht, verhielt sich in 39 Prozent der Schulen
keiner der Jugendlichen in dieser Weise, und in 41 Prozent war es maximal eine Person, die
sich nur wenig anstrengte. Dass sich mehr als fünf Personen wenig anstrengten, wird so gut
wie gar nicht beschrieben.

100
90
80
70
60
50
Wie viele Schüler/innen strengen sich nur wenig an?
40
30
39
41
Prozent
20
10
0
17
keine Person
eine Person
2 -5 Personen
bis halbe Klasse
mehr als die Hälfte
Abbildung 2: Testleiterbefragung - Geringe Anstrengungsbereitschaft
Ein ähnlich erfreuliches Bild zeigt sich bei den Fragen, die sich auf Disziplinprobleme
beziehen. Unter dieser Kategorie wurden Verhaltensweisen zusammengefasst, die auf eine
starke Unruhe während der Testsituation schließen lassen, wie Herumlaufen in der Klasse,
Werfen von Gegenständen oder Ermahnungen durch die beaufsichtigende Lehrkraft.
Die Ergebnisse hierzu sind in Abbildung 3 und Abbildung 4 zu sehen. Es zeigt sich zunächst
in Abbildung 3, dass in mehr als der Hälfte aller Schulen ein solch unruhiges Verhalten überhaupt
nicht auftrat, und in den Schulen, in denen es zu beobachten war, betraf es nur sehr
wenige Schülerinnen und Schüler (in 40 Prozent der Fälle war es eine Person). Betrachtet
man dann weiterhin, wie häufig sich diese Schülerinnen und Schüler unruhig verhielten
(Abbildung 4), sieht man, dass dies in mehr als 90 Prozent der Schulen nur ein- bis zweimal
pro Testtag oder alle 45 Minuten einmal der Fall war.

100
90
80
70
60
Wie viele Schüler/innen zeigen unruhiges Verhalten?
50
40
30
52
40
Prozent
20
10
0 6
keine Person
eine Person
2 - 5 Personen
bis halbe Klasse
mehr als die Hälfte
Abbildung 3: Testleiterbefragung - Wie viele Schülerinnen und Schüler zeigten unruhiges
Verhalten?
100
Wie oft zeigen diese Schüler/innen unruhiges Verhalten?
90
80
70
60
50
57
40
Prozent
30
20
10
0
30
10
1-2 mal je Testtag
alle 45 Min. einmal
alle 5 Min. einmal
alle 15 Min. einmal
ununterbrochen
Abbildung 4: Testleiterbefragung - Wie oft wurde unruhiges Verhalten gezeigt?
Entsprechende Befunde ergeben sich auch für Fragen zur Lautstärke und für Fragen, die
sich speziell auf die in einem Teil der Schulen durchgeführte Gruppenaufgabe beziehen. Die
Daten zeigen somit, dass die Durchführungsbedingungen während der PISA-Testung einer
ganz normalen Klassensituation entsprachen - oder möglicherweise sogar noch besser war.

Wenn Störungen überhaupt auftraten (und dies war in den meisten Schulen der Stichprobe
nicht der Fall), gingen sie nur von einzelnen Schülerinnen und Schülern aus und kamen nicht
mehr als ein- oder zweimal während der Testsitzung vor.
Dieser generelle Eindruck bestätigt sich auch, wenn man die Ergebnisse nach Schulformen
getrennt abbildet, wie dies in Abbildung 5 zu sehen ist.
5,0
4,5
Mittelwert von mehreren Fragen (Skala 0 -5 )
4,0
3,5
3,0
2,5
2,0
1,5
1,0
,5
0,0
Hauptschule Gesamtschule
Realschule Gymnasium
Schulform
Geringe Anstrengung
Unruhiges Verhalten
Abbildung 5: Testleiterbefragung - Probleme in den einzelnen Schulformen
Deutlich wird zunächst, dass sich die einzelnen Schulformen darin unterscheiden, wie häufig
die genannten Verhaltensprobleme auftraten. Während beispielsweise in den Gymnasien so
gut wie gar keine Schwierigkeiten zu beobachten waren, kamen diese in den Hauptschulen,
wenn auch in einem sehr geringen Ausmaß, gelegentlich vor. Aufschlussreiche Erkenntnisse
liefert aber vor allem ein Blick auf die mögliche Breite der Skala und die beobachteten
Ausprägungen. Beachtet man, dass die Häufigkeitsskala theoretisch von null (keine Person
zeigt dieses Verhalten) bis maximal fünf (das Verhalten wird von mehr als der Hälfte der
Klasse gezeigt) reicht, wird sehr deutlich, dass die Probleme in Schulen aller Schulformen
als sehr gering einzustufen sind und die Schülerinnen und Schüler sich durchweg sehr
kooperativ verhalten haben.
Zusammenfassende Diskussion
Die Beobachtungen der Testleiterinnen und Testleiter zeigen, dass die PISA-Tests in den
erfassten Schulen ohne Schwierigkeiten ablaufen konnte. Es wurden weder bedeutende
externe Störungen berichtet, noch zeigten die Teilnehmerinnen und Teilnehmer problematisches
Verhalten. Durch die Befragung mithilfe von konkreten Verhaltensbeschreibungen ist
es gelungen, ein anschauliches Bild der Testsituation zu zeichnen, und es wird deutlich,
dass die Schülerinnen und Schüler konzentriert und motiviert an ihren Aufgaben arbeiteten.
Die eingangs geschilderte Schreckensvision einer chaotischen und unruhigen Testsitzung ist
also von der Realität weit entfernt.
Die in dieser Befragung erhobenen Daten sollen jedoch nicht nur zu deskriptiven Zwecken
verwendet werden, sondern sie werden auch in die Analysen der PISA-Ergebnisse

eingehen. So wird es mit Hilfe dieser Information zum Beispiel möglich, Effekte von
Störungen während der Testdurchführung auf die Leistungen zu schätzen und statistisch zu
kontrollieren.