Zur Generalisierbarkeit bei Experimentiertests

Abstract

In diesem Beitrag wird die Generalisierbarkeit eines Instruments zur Messung experimenteller Kompetenzen von Schülerinnen (49%) und Schülern der 7. und 9. Jahrgangsstufe aus nicht-gymnasialen Anforderungsniveaus diskutiert (Gut, Hild, Tardent & Metzger, 2017). Das Instrument bestand aus 12 Aufgaben zu den 4 Problemtypen skalenbasiertes Messen, kategoriengeleitetes Beobachten, effektbasiertes Vergleichen und fragengeleitetes Untersuchen. 418 Probanden lösten an 2 Testtagen insgesamt 8 Aufgaben und protokollierten die Ergebnisse. Jede Aufgabe wurde von mindestens 2 Personen geratet und hohe Interrater-Reliabilitäten (.56 ≤ κ ≤ .97; .79 ≤ p0 ≤ .98) sichergestellt. Die unterschiedlichen G-Studien zeigen, dass die Aufgaben selbst über 70% der gesamten Fehlervarianz aufklären. Werden die Aufgaben den Problemtypen zugeordnet, steigt der G-Koeffizient auf 0.9. Wie beim CAP (Gao, Shavelson & Baxter, 1994) oder auch beim Experimentiertest von Webb, Schlackmann & Sugrue (2000) sind alle weiteren Facetten (Schule, Klasse, Lehrer, Jahrgang, Niveau, Reihenfolge) wenig bedeutsam.