Didaktik
Aus E-Assessment-Wiki
Version vom 14. Februar 2011, 12:13 Uhr von Schmees (Diskussion | Beiträge)
Inhaltsverzeichnis
Noch auszuarbeitende Themen
- Auswahl geeigeneter Aufgabenformate/Prüfungsitems
- Einsatzmöglichkeiten z.B. im Rahmen von "inquiry-based learning" (z.B. http://www.pi-project.ac.uk/)
- Frageerstellung nach didaktischen Gesichtspunkten
- Aufbau bzw. Einbeziehung fachlicher Fragepools
- Feststellen des Schwierigkeitsgrads der erstellten Aufgaben
- Festlegen des Prüfungsverlaufs (statisch, adaptiv, stufenförmig)
- Prüfungserstellung und Ablaufplanung
- Prüfungsvorbereitung, Durchführung Übungsklausuren
- Statistische Auswertung der Ergebnisse, Itemanalyse
Gütekriterien eines Tests
Lienert & Raatz[1] sowie Amelang & Schmidt-Atzert[2] identifizieren verschiedene Gütekriterien eines Tests. Stieler[3] untersucht diese Kriterien für den pädagogischen Bereich, insbesondere zur Gestaltung von Klausuren.
Hauptgütekriterien
Bauen aufeinander auf, wobei jede Stufe ist nur nach Erfüllung der vorhergehenden zu erreichen ist.
- Objektivität: Unabhängigkeit vom Untersucher; verschiedene Prüfer kommen bei gleichen Prüflingen zum gleichen Ergebnis.
- bei Durchführung der Prüfung (Durchführungsobjektivität)
- bei Auswertung der Antworten (Auswertungsobjektivität)
- bei Interpretation der Ergebnisse (Interpretationsobjektivität)
- Reliabilität: Grad der Messgenauigkeit; Wiederholungen erbringen bei gleichen Beteiligten gleiche Ergebnisse.
- durch Paralleltests: streng vergleichbare Tests wiederholen
- durch Retests: gleichen Test wiederholen
- innere Konsistenz: messbar z.B. als Cronbachs Alpha
- durch Testhalbierung: Test in gleichwertige Hälften teilen und als 2 eigene Tests auswerten (siehe Paralleltest)
- durch Konsistenzanalyse: Ermittlung der Reliabilität auf indirektem Weg über Aufgabenschwierigkeit und Trennschärfe
- Validität: Ergebnisse des Tests korrelieren mit den zu prüfenden Kompetenzen.
- Inhaltsvalidität: Test prüft Wissen/Kompetenzen/Leistung, die mit Lehrzielen übereinstimmen.
- Konstruktvalidität Test ist geeignet, inhaltliche Kompetenzen zu erfassen (und nicht z.B. die Fähigkeit des Prüflings, Gedanken in kurzer Zeit aufzuschreiben/einzugeben).
- Kriteriumsvalidität: Testergebnisse stimmen mit empirischem Kriterium überein, das bereits vorliegt (konkurrente Validität, z.B. Schulnoten) oder erst später erkennbar wird (prognostische Validität, z.B. Studienerfolg).
Nebengütekriterien
- Akzeptanz: Test ist für Prüflinge transparent; keine Normen werden verletzt.
- Ökonomie: Nutzen übersteigt Kosten.
- Chancengerechtigkeit/Fairness: Gleiche Voraussetzungen für alle.
Kriterien im Spannungsfeld
Die genannten Kriterien können sich gegenseitig beeinflussen. Ein Beispiel: setzt man genügend Mittel und Zeit ein (Ökonomie), ist es möglich, eine Prüfung sehr objektiv, reliabel und valide zu gestalten. Das erhöht ebenso die Akzeptanz unter den Prüflingen. Sind hingegen hohe Reliabilität und Akzeptanz nicht wichtig, ist eine auch mit geringerem Mitteleinsatz möglich. Diese Faktoren sind jeweils im Einzelfall abzuwägen.
Aufgabenformate/Prüfungsitems
Typen von Antwortwahlaufgaben
Beispiele für die verschiedenen Aufgabetypen sind u.a. in Appendix A von Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences (Download als PDF) zu finden.
| Typ | Name |
|---|---|
| A | Einfachauswahlaufgabe |
| B | Zuordnungsaufgabe |
| C | A/B/beide/keine-Aufgabe |
| D | komplexe Zuordnungsaufgabe |
| E | Verknüpfungsaufgabe |
| H | Vergleichsaufgabe |
| I | Abhängigkeitsaufgabe |
| K | komplexe Richtig/Falsch‐Aufgabe |
| K' | Kombinationsaufgabe |
| R | erweiterte Zuordnungsaufgabe |
| X | einfache Richtig/Falsch‐Aufgabe |
| Pick N | Mehrfachauswahlaufgabe |
Erstellen von Prüfungsfragen (insbesondere Multiple-Choice)
MC-Fragen dienen der Wissensüberprüfung. Hinweise für die Erstellung entsprechender Fragen liefern die folgenden Literaturempfehlungen:
- Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment, in: Applied Measurement in Education, 15(3), 2002, S. 309–334, Download als PDF
- Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
- Katrin Brauns, Sebastian Schubert: Qualitätssicherung von Multiple-Choice-Prüfungen, in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
- Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
- Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
- René Krebs: Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung, Bern, 2004, Download als PDF
- Michael C. Rodriguez: Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research, 2005, Download als PDF
Literaturnachweise
- ↑ Gustav A. Lienert, Ulrich Raatz: Testaufbau und Testanalyse, 6. Auflage, ISBN-13: 978-3621274241, BeltzPVU, 1998, bei Google Books
- ↑ Manfred Amelang, Lothar Schmidt-Atzert: Psychologische Diagnostik und Intervention, 4. Auflage, ISBN-13: 978-3540284628, Springer, Berlin, 2006, bei Google Books
- ↑ Jona Florian Stieler: Validität summativer Prüfungen - Überlegungen zur Gestaltung von Klausuren, ISBN: 3-938076-36-4, Janus Presse, Bielefeld, 2011, Download als PDF
