Lehrstuhl für Mathematik und ihre Didaktik Walter Olbricht, Doris ...

Lehrstuhl für Mathematik und ihre Didaktik Walter Olbricht, Doris ... Lehrstuhl für Mathematik und ihre Didaktik Walter Olbricht, Doris ...

geonext.uni.bayreuth.de
von geonext.uni.bayreuth.de Mehr von diesem Publisher
14.12.2012 Aufrufe

10 Umskalierung der Items Die Antworten mit den dazugehörigen Werten der negativ gerichteten Items werden inhaltlich umskaliert, dass heißt die negativ gerichteten Items werden in positiv gerichtete verwandelt, indem man ihre Werte x für die numerischen Berechnungen umdreht und in (5 – x) transformiert. Aus einem Kreuz bei „stimmt vollständig“ wird somit ein „stimmt gar nicht“ hinsichtlich der ins Gegenteil transformierten Frage, aus einem bei „stimmt eher“ ein „stimmt eher nicht“ und anders herum. Der Wert 0 für „keine Angabe“ bleibt bestehen. Die umskalierten Items sind im Folgenden mit einer Markierung (∗) versehen. Zur Identifizierung der negativen Items wurde ein kleines Experiment durchgeführt: Acht verschiedene Personen wurden gebeten, sich die Aussagen durchzulesen und zu entscheiden, welche sie für negativ formuliert halten. Unter diesen acht Personen befanden sich drei Studentinnen, die an der GEONExT-Erhebung mitarbeiten und fünf außen stehende Personen, die die Items zum ersten Mal sehen. Von diesen fünf Befragten sind zwei Schüler einer Realschule, die gelegentlich schon mit GE- ONExT gearbeitet haben. Item 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Positiv gerichtet Negativ gerichtet 8 8 8 0 8 8 0 0 0 8 0 0 8 8 8 8 1 8 8 0 0 0 8 0 0 8 8 8 0 8 8 0 0 0 0 7 0 0 Item 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 Positiv gerichtet Negativ gerichtet 8 8 0 0 1 8 8 0 1 8 0 8 8 0 8 8 0 8 0 0 0 8 8 7 0 0 8 7 0 8 0 0 8 0 0 8 0 8 Tabelle 1 Ausrichtung der Items In diesen Tabellen kann man erkennen, dass die Befragten bei fast allen Items übereinstimmender Meinung waren. Zur Sicherheit werden die drei Items, bei denen Abweichungen vorliegen, nochmals genauer betrachtet. • Item 17: Ich fand den Computereinsatz überflüssig Stimmt man dieser Aussage zu, zielt die Antwort ins Negative. Die Aussage, dass man den Computereinsatz überflüssig fand spricht nicht für die Lernsoftware. Das bedeutet ein Kreuz bei „stimmt vollständig“ entspricht einer negativen Bewertung von GEONExT. Deshalb ist dieses Item eindeutig negativ gerichtet. • Item 24: Ich arbeite nicht gerne mit Lernsoftware Stimmt man dieser Aussage zu bedeutet das, dass man ungern mit Lernsoftware arbeitet. Das heißt die Antwortrichtung zielt ins Negative. Deshalb ist dieses Item eindeutig negativ gerichtet. • Item 28: Ich finde es nicht gut, im Unterricht selbständig zu arbeiten Bei Zustimmung zu dieser Aussage bestätigt man, dass man die Selbständigkeit im Unterricht nicht gut findet. Etwas nicht gut oder auch schlecht finden zielt in die negative Richtung. Deshalb ist dieses Item eindeutig negativ gerichtet. Die zunächst nicht eindeutig klassifizierten Items erweisen sich also als negativ formuliert. Als Grund für die Abweichungen bei diesen drei Items kommen Flüchtigkeitsfehler oder Überlesen von Wörtern seitens der Befragten in Betracht. Die Umskalierung der Items ist damit überprüft und man kann davon ausgehen, dass die Daten ohne Fehler umcodiert worden sind. Ausfüllen der Bogen Insgesamt liegen 365 Erhebungbogen vor, von denen 291 in EDV Form im Internet unter www.geonext.de/evaluation ausgefüllt wurden und 74 in Printform. Ursprünglich wurde der Erhebungsbogen in Printform verwendet. Dies wurde auf Wunsch der Befragten geändert, da mit GEO- NExT am Computer gearbeitet wird und das Ausfüllen am Computer damit eine Erleichterung für die Durchführung der Befragung darstellt. In der EDV-Form konnten die Schüler kein Item auslassen, da sie nur vollständig ausgefüllte Erhebungsbogen abschicken konnten. Bei der Printform war dies leider

schon möglich, deshalb gibt es unterschiedliche Bedeutungen der 0: Einerseits Kreuze bei „keine Angabe“ und andererseits Leerzellen (nur bei den Bögen in Printform), wobei die Schüler gar kein Kreuz gemacht haben. Quantitativ ergibt sich, dass 5,73 % fehlende Werte („keine Angabe“) bei der Printform auftreten gegenüber 4,50 % bei der EDV-Form. Dieser Unterschied wäre bei der vorliegenden Anzahl der Erhebungsbogen signifikant. Die nahe liegende Vermutung, dass bei der Printvorlage des Erhebungsbogens mehr Schüler Items ausgelassen haben als bei der EDV-Form, bei der sie gezwungen waren, zumindest „keine Angabe“ anzukreuzen, bestätigt sich also. Insofern stellt die Onlineversion auch in dieser Hinsicht eine Verbesserung in der Datenerhebung dar. Um im weiteren Verlauf der Untersuchung nicht mit zu komplizierten Aufschlüsselungen für die Printform arbeiten zu müssen, werden die beiden verschiedenen Werte „keine Angabe angekreuzt“ und „nichts angekreuzt“ zusammengefasst und als gleichwertig betrachtet. Angesichts der letztlich geringen Anteile fehlender Werte und der noch geringeren Differenz zwischen Print- und EDV-Form erscheint dies vertretbar. 2.2. Qualitätssicherung und Qualitätsbeurteilung Generelles Weit seltener als eine genaue Erläuterung findet sich in empirischen Untersuchungen eine detaillierte Diskussion der Datenqualität. Es wird zu unrecht stets unterstellt, dass die Daten „stimmen“. Hintergrund scheint die Überzeugung zu sein, dass bei normaler Sorgfalt Datenprobleme auszuschließen seien. Dies ist jedoch nicht richtig. Gerade durch das natürliche Wachsen nahezu jeder empirischen Untersuchung bei der sich fast immer Fragebogen, Antwortmöglichkeiten oder Erfassungstechniken ändern, ergibt sich ein weites Feld für Fehlerquellen. Dass darüber nahezu nie berichtet wird verstärkt noch den Eindruck, Datenqualität sei selbstverständlich und eigentlich kein Problem, was wiederum zur Unterschätzung der Thematik führen kann. Dem soll hier ausdrücklich und nachdrücklich entgegen getreten werden. Dazu ist zunächst festzuhalten, dass mangelnde Datenqualität viele Ursachen haben kann: Eingabefehler, Bedienungsfehler, Berechnungsfehler, Verständnisfehler und mangelnde Seriosität bei den Antworten können etwa alle zu problematischen Daten führen, die dann ebenso problematische Analysen nach sich ziehen. Analog zu den Qualitätssicherungsprogrammen der Industrie sollte man daher auch Qualitätssicherung niemals als ein statisches Unterfangen, sondern immer als einen dynamischen Prozess betrachten, der ein Projekt auf allen Stufen begleitet und laufend überwacht. Eingabe- und Bedienungsfehler Da die Klassensätze 2, 10 und 13 noch nicht direkt online erhoben wurden, mussten die Werte nachträglich im Computer erfasst werden. Im Einklang mit den obigen Prinzipien wurden deshalb im Rahmen dieser Untersuchung die bereits von Hilfskräften eingegebenen Daten nochmals mit den von den Schülern per Hand ausgefüllten Printbogen abgeglichen und auf Eingabefehler untersucht. Die Ergebnisse (vgl. Reuschlein 2006 für Details) waren überraschend und bemerkenswert: Es stellte sich nämlich heraus, dass die bisher als Computerdatei erfassten Daten in erheblichem Umfang von den Angaben in den Printbogen abwichen. Dabei ist natürlich zu berücksichtigen, dass die Reihenfolge bei den Printbogen und den Erfassungen permutiert sein konnte. Bemerkenswerterweise ließen sich aber auch markante Einzelbogen (z. B. der des einzigen 14-jährigen in den Printbogen und der EDV- Erfassung) in keiner Weise sinnvoll zuordnen. Somit blieb auch die Ursache für die fehlenden Übereinstimmungen unklar. Letztlich ließ sich das Problem nur durch eine (überprüfte) Neueingabe der Klassensätze 21, 22 und 20 lösen. Wir möchten nochmals davor warnen, dies als ungewöhnlichen Einzelfall anzusehen – es illustriert vielmehr die allgemein unterschätzte Notwendigkeit, Datenkontrolle ganz Ernst zu nehmen. Aus diesem Grund haben wir das Phänomen hier auch beschrieben, was sonst fast nie geschieht. Eine bemerkenswerte Ausnahme ist Breiman (1985). Abhilfe kann man wieder durch die direkte EDV-Erfassung schaffen, die schon in Hinblick auf fehlende Werte als sinnvoll erkannt wurde. Hierdurch werden Übertragungsfehler fast vollständig vermieden. Allerdings hat man nach wie vor keine Klarheit über etwaige Bedienungsfehler seitens des Teilnehmers. Wer Schwierigkeiten mit der Mausbedienung hat (Item 7), klickt vielleicht gerade deswegen eine unbeabsichtigte Kategorie an! Allerdings dürfte sich hier die von uns in anderer Hinsicht favorisierte Vorerhebung auch als nützliches Vortraining erweisen. Im vorliegenden Fall haben wir keine Anzeichen von Bedienungsfehlern (z. B. durch Rückmeldungen). 11

10<br />

Umskalierung der Items<br />

Die Antworten mit den dazugehörigen Werten der negativ gerichteten Items werden inhaltlich umskaliert,<br />

dass heißt die negativ gerichteten Items werden in positiv gerichtete verwandelt, indem man <strong>ihre</strong><br />

Werte x <strong>für</strong> die numerischen Berechnungen umdreht <strong>und</strong> in (5 – x) transformiert. Aus einem Kreuz bei<br />

„stimmt vollständig“ wird somit ein „stimmt gar nicht“ hinsichtlich der ins Gegenteil transformierten<br />

Frage, aus einem bei „stimmt eher“ ein „stimmt eher nicht“ <strong>und</strong> anders herum. Der Wert 0 <strong>für</strong> „keine<br />

Angabe“ bleibt bestehen. Die umskalierten Items sind im Folgenden mit einer Markierung (∗) versehen.<br />

Zur Identifizierung der negativen Items wurde ein kleines Experiment durchgeführt: Acht verschiedene<br />

Personen wurden gebeten, sich die Aussagen durchzulesen <strong>und</strong> zu entscheiden, welche sie <strong>für</strong><br />

negativ formuliert halten. Unter diesen acht Personen befanden sich drei Studentinnen, die an der<br />

GEONExT-Erhebung mitarbeiten <strong>und</strong> fünf außen stehende Personen, die die Items zum ersten Mal<br />

sehen. Von diesen fünf Befragten sind zwei Schüler einer Realschule, die gelegentlich schon mit GE-<br />

ONExT gearbeitet haben.<br />

Item 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19<br />

Positiv<br />

gerichtet<br />

Negativ<br />

gerichtet<br />

8 8 8 0 8 8 0 0 0 8 0 0 8 8 8 8 1 8 8<br />

0 0 0 8 0 0 8 8 8 0 8 8 0 0 0 0 7 0 0<br />

Item 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38<br />

Positiv<br />

gerichtet<br />

Negativ<br />

gerichtet<br />

8 8 0 0 1 8 8 0 1 8 0 8 8 0 8 8 0 8 0<br />

0 0 8 8 7 0 0 8 7 0 8 0 0 8 0 0 8 0 8<br />

Tabelle 1 Ausrichtung der Items<br />

In diesen Tabellen kann man erkennen, dass die Befragten bei fast allen Items übereinstimmender<br />

Meinung waren. Zur Sicherheit werden die drei Items, bei denen Abweichungen vorliegen, nochmals<br />

genauer betrachtet.<br />

• Item 17: Ich fand den Computereinsatz überflüssig<br />

Stimmt man dieser Aussage zu, zielt die Antwort ins Negative. Die Aussage, dass man den Computereinsatz<br />

überflüssig fand spricht nicht <strong>für</strong> die Lernsoftware. Das bedeutet ein Kreuz bei „stimmt vollständig“<br />

entspricht einer negativen Bewertung von GEONExT. Deshalb ist dieses Item eindeutig negativ<br />

gerichtet.<br />

• Item 24: Ich arbeite nicht gerne mit Lernsoftware<br />

Stimmt man dieser Aussage zu bedeutet das, dass man ungern mit Lernsoftware arbeitet. Das heißt<br />

die Antwortrichtung zielt ins Negative. Deshalb ist dieses Item eindeutig negativ gerichtet.<br />

• Item 28: Ich finde es nicht gut, im Unterricht selbständig zu arbeiten<br />

Bei Zustimmung zu dieser Aussage bestätigt man, dass man die Selbständigkeit im Unterricht nicht<br />

gut findet. Etwas nicht gut oder auch schlecht finden zielt in die negative Richtung. Deshalb ist dieses<br />

Item eindeutig negativ gerichtet.<br />

Die zunächst nicht eindeutig klassifizierten Items erweisen sich also als negativ formuliert. Als Gr<strong>und</strong><br />

<strong>für</strong> die Abweichungen bei diesen drei Items kommen Flüchtigkeitsfehler oder Überlesen von Wörtern<br />

seitens der Befragten in Betracht. Die Umskalierung der Items ist damit überprüft <strong>und</strong> man kann davon<br />

ausgehen, dass die Daten ohne Fehler umcodiert worden sind.<br />

Ausfüllen der Bogen<br />

Insgesamt liegen 365 Erhebungbogen vor, von denen 291 in EDV Form im Internet unter<br />

www.geonext.de/evaluation ausgefüllt wurden <strong>und</strong> 74 in Printform. Ursprünglich wurde der Erhebungsbogen<br />

in Printform verwendet. Dies wurde auf Wunsch der Befragten geändert, da mit GEO-<br />

NExT am Computer gearbeitet wird <strong>und</strong> das Ausfüllen am Computer damit eine Erleichterung <strong>für</strong> die<br />

Durchführung der Befragung darstellt. In der EDV-Form konnten die Schüler kein Item auslassen, da<br />

sie nur vollständig ausgefüllte Erhebungsbogen abschicken konnten. Bei der Printform war dies leider

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!