Konzeption und Evaluation eines Kinematik/Dynamik-Lehrgangs zur ...

198 6 Evaluation des Unterrichtskonzeptes
diglich teilweise nach der Materialien-CD unterrichteten. Bei den sieben Klassen dieser Analyse
(sechs Lehrer) wurde jedoch nicht überprüft, ob sie tatsächlich entscheidende Prinzipien des Unterrichtskonzeptes
umsetzten (z.B. Nutzung von dynamisch ikonischen Repräsentationen und das Einfordern
von Vorhersagen).
Beschreibung der Gesamtergebnisse:
Alle 138 Schüler haben
Relative Häufigkeit richtiger Antworten
jeweils alle Items auch tat-
mit Vergleich Vortest - Nachtest
100%
sächlich beantwortet. Das
90%
Histogramm der Punktever- 80%
teilung beim Vor- und 70%
60%
Nachtest zeigt Abb. 6.9.
50%
Zugewinn
Beim Vortest ergab sich bei 40%
Vortest
den Schülern ein Mittelwert 30%
Verlust
20%
von 9,8 Punkten (= 34 %
10%
richtig gelöste Items) (Stan-
0%
dardabweichung: 3,8 Punk-
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
Item
te = 13 %), wobei die Ver- Abb. 6.9: Relative Häufigkeit richtiger Antworten bei den einzelnen Items
teilung von 2 bis 21 Punk- mit Vergleich von Vor- und Nachtest (138 Schüler der Treatmentgruppe)
ten (= 7 % bis 72 %) geht
(mehr als fünf Standardabweichungen). Damit sind diese Schüler im Mittel um 1,8 Punkte oder 6
Prozentpunkte besser als die Vergleichsgruppe, was auf dem Niveau von 0,01 signifikant ist (unabhängiger
t-Test). Beim Nachtest ergab sich ein Mittelwert von 15,5 Punkten (= 53 %) (mit großer
Standardabweichung: 5,3 Punkte = 18 %), wobei die Verteilung von 3 bis 29 Punkten (= 10 % bis
100 %) geht (fünf Standardabweichungen). Damit unterscheidet sich die Treatmentgruppe signifikant
auf dem strengen Niveau von 0,001 von der Vergleichsgruppe (Mann-Whitney-U-Test, da
nicht normalverteilt), die im Nachtest nur auf durchschnittlich 11,8 Punkte (= 41 %) kam. Die
Treatmentgruppe erreicht damit einen relativen Zugewinn nach HAKE von g = 29,7 %. Vergleicht
man die individuellen relativen Zugewinne der Schüler, stellt man fest, dass der Unterschied der
Mittelwerte zwischen der Treatmentgruppe (31,0 %) und der Vergleichsgruppe (17,8 %) ebenso
signifikant (0,001-Niveau, t-Test) ist.
Das Vortestergebnis der einzelnen Klassen geht in der Treatmentgruppe von 24 % bis 41 % und das
Nachtestergebnis von 41 % bis 57 %. Damit variiert der relative Zugewinn der Klassen zwischen
22% und 34 %. Dabei fällt wieder auf, dass wie in Kapitel 6.4.2.4 die beiden Klassen des einen
Lehrers sehr stark differieren. Während die eine Klasse auch im FCI-Test am schlechtesten von der
Treatmentgruppe abschließt, unterscheidet sich die andere bei ähnlichem Unterricht nur minimal
von der besten Klasse.
Hier ist nun die Effektstärke (Verhältnis von Differenz der Testergebnisse der beiden Gruppen zu
gewichteten Standardabweichungen) interessant (siehe Kapitel 6.4.1.2). Die Treatment-Effektstärke
bei dem Nachtestergebnis bei allen Aufgaben beträgt d = 0,77. Betrachtet man statt den Nachtestergebnissen
den relativen Zugewinn der einzelnen Schüler in beiden Gruppen, ergibt sich eine Treat-
relative Häufigkeit