Konzeption und Evaluation eines Kinematik/Dynamik-Lehrgangs zur ...

6 Evaluation eines Unterrichtskonzeptes 209
Bewegung den passenden Zeit-Kraft-Graphen zu finden. Ein Mann-Whitney-U-Test ergibt, dass der
Unterschied zwischen der Kontrollgruppe 1 (1994) und der Treatmentgruppe beim Nachtestergebnis
auf dem 1 %-Niveau signifikant ist.
Allerdings sagt die Tatsache, dass sich die Mittelwerte unterscheiden, noch nicht viel aus. Entscheidend
ist, ob der Unterschied auch so groß ist, dass er als relevant betrachtet wird. Bei sehr großem
Stichprobenumfang führen schon sehr kleinen Differenzen zu signifikanten Ergebnissen. Deshalb
werden hier (im Nachhinein) die Effektstärken berechnet. Bei den Krafttextaufgaben ergibt sich bei
den Nachtestwerten eine Effektstärke von d = 0,20 (siehe Tab. 6.29). Bei den Kraftgraphenaufgaben
liegt die Effektstärke dagegen bei d = 0,34. HÄUßLER ET AL. (1998, S. 158 f.) sprechen bei d zwischen
0,20 und 0,40 von bescheidener Effektivität gegenüber dem Normalunterricht.
Aufgabengruppe
Krafttextaufgabe
(Schlitten)
F(t)-Aufgaben
(ohne Ruhe)
Anzahl
berücksichtigter
Items
Kontrollgruppe 1,
nach trad. Unterricht, 1994,
WILHELM (N = 188, 10 Kl.)
Mittelwert
Standardabweichung
Treatmentgruppe,
nach dem Konzept,
WILHELM (N = 211, 10 Kl.)
Mittelwert
Standard-
abweichung
7 0,32 0,34 0,39 0,38
7 0,21 0,32 0,34 0,40
Effekt-
stärke
d
0,20
schwach
0,34
mittel
Tab. 6.29: Effektstärke der Treatmentgruppe im Vergleich zur Kontrollgruppe 1 von 1994 (Quelle: Eigene Erhebung)
Eine bessere Lösung wäre bereits vor der Untersuchung eine gewünschte Effektstärke festzulegen
(sowie die Fehler 1. und 2. Art α und β) und dazu die optimale Stichprobenlänge zu berechnen
(Beispiel: Mittlerer Effekt d = 0,5, Signifikanzniveau α = 0,05 und Teststärke 1-β = 0,8 ergibt optimale
Stichprobenlänge von N = 50) (Bortz, 1993, S. 135). Findet man dann in der Untersuchung
diese Effektstärke und (trotz der kleinen Probandenzahl) Signifikanz, geht man davon aus, dass der
gewünschte Effekt vorliegt, die Größe des Unterschieds ist auf dem 5 %-Niveau signifikant. Ideal
wäre, wenn sich Test- und Kontrollgruppe in Motivation, Vorwissen, dem unterrichtenden Lehrer
und weiterer Größen nicht unterscheiden würden, sondern nur im gewählten Unterrichtskonzept. Da
in dieser Feldstudie die Klassen und Lehrer jedoch recht verschieden sind, sind im Gegensatz zu
obigen Vorschlag eine gewisse Anzahl von Klassen und damit eine gewisse Schüleranzahl nötig.
Bei einer gewünschten schwachen Effektstärke von d = 0,2, einem Signifikanzniveau α = 0,05, und
der Teststärke 1-β = 0,8 gibt es eine optimale Stichprobenlänge von N = 310 (Bortz, 1993, S. 135).
Sowohl bei den Krafttextaufgaben als auch bei den Kraftgraphenaufgaben findet man mindestens
diese Effektstärke und trotz kleinerer Anzahl N Signifikanz. Damit wäre auf dem 5 %-Niveau gezeigt,
dass sich die beiden Gruppen mindestens um die Effektstärke d = 0,2 unterscheiden.
Ein Vergleich mit den Ergebnissen von BLASCHKE ergibt bei den Krafttextaufgaben eine Effektstärke
von d = 0,24 und bei den Kraftgraphenaufgaben von d = 0,25 (siehe Tab. 6.30).
Die Hypothese, dass die Treatmentgruppe besser ist als die Kontrollgruppen, kann also bestätigt
werden. Allerdings wurde ein größerer Effekt erwartet, als tatsächlich vorhanden ist.