MC-Aufgaben erstellen

Themenfindung

Die folgende Anleitung soll Hinweise geben zur Erstellung von Aufgaben zu Antwortwahlverfahren.

Hilfreich, um Aufgaben abzuleiten, sind

• präzise Definition des relevanten Fachwissens, z.B. in Form eines Lernzielkatalogs
• gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint

Einzelthemen ergeben sich vor allem aus den Teilaspekten,

• mit denen man im Fachgebiet häufig konfrontiert ist
• wo Fehler gravierende Folgen haben können
• bei denen Fehlmeinungen verbreitet sind
• die für das Verständnis späterer Lerninhalte wichtig sind

Verschiedene Antwortwahlverfahren

Beispiele für die verschiedenen Typen von Antwortwahlverfahren sind u.a. in Appendix A von Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences (Download als PDF) zu finden.

Typ	Name
A	Einfachauswahlaufgabe
B	Zuordnungsaufgabe
C	A/B/beide/keine-Aufgabe
D	komplexe Zuordnungsaufgabe
E	Verknüpfungsaufgabe
H	Vergleichsaufgabe
I	Abhängigkeitsaufgabe
K	komplexe Richtig/Falsch‐Aufgabe
K'	Kombinationsaufgabe
R	erweiterte Zuordnungsaufgabe
X	einfache Richtig/Falsch‐Aufgabe
Pick N	Mehrfachauswahlaufgabe

Formulierungshinweise

Die Webseite der TH Wildau gibt spezielle Hinweise zur Erstellung von E-Assessments sowie Hinweise zur Erstellung elektronischer Aufgaben.

Allgemeine Hinweise

• Langen Itemstamm und kurze, übersichtliche Antworten verwenden!
• Einfache, klare Formulierungen in allgemein akzeptierter Sprache benutzen!
• Items nicht künstlich kompliziert machen, keine Fangfragen stellen!

Formulierung des Stammes

• Alle zur Beantwortung notwendigen Informationen müssen enthalten sein!
• Keine überflüssigen Informationen (es sei denn, es soll die Fähigkeit geprüft werden, diese auszufiltern)!
• Frage sollte beantwortbar sein, ohne die Antworten zu kennen!
• Bei Einfachwahl möglichst, bei Kprim-Typen immer positiv formulieren!

Formulierung der Antworten

• Auswahlantworten sollten inhaltlich homogen sein, d.h. in die gleiche Kategorie fallen!
• Für Distraktoren sollten klare Gründe bestehen (z.B. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten)!
• Distraktoren müssen nicht völlig falsch, die richtige Antwort aber die eindeutig Beste sein!
• Jede Antwort sollte möglichst kurz sein und nur eine Aussage enthalten!
• Sich überschneidende Antworten nur verwenden, wenn es das zugrunde liegende Problem erfordert!
• "Alle der obigen" oder "Sowohl B und C sind richtig" dürfen nicht verwendet werden!
• "Keine der obigen" nur in Ausnahmefällen verwenden!

Berücksichtigung des Aufgabentyps

• Typ Aneg (Negative Einfachwahl)

• Negation muss durch Fettdruck oder Unterstreichung hervorgehoben werden!
• Alle Antworten müssen positiv formuliert sein, um doppelte Negationen zu vermeiden (Daher ist auch "keine der genannten Anworten" hier unzulässig)!

• Typ B (Zuordnung)

• Keine heterogenen Fragekombinationen, die gewisse Antworten bei bestimmten Fragen ausschließen!
• Kann eine Antwort einer Frage zugeordnet werden, sollte sie auch für die weiteren Fragen als Lösung/Distraktor in Frage kommen!
• Nicht mehr als 3 Fragen kombinieren, um inhaltliche Übergewichtung zu vermeiden!

• Typ R (Erweiterte Zuordnung)

• Zuerst Antwortliste mit Themenbezug erstellen und erst dann Fälle/Fragen entwickeln!
• Antworten müssen inhaltlich homogen sein!
• Antworten möglichst logisch (alphabetisch oder numerisch aufsteigend) anordnen!

• Typ PickN (Wahl einer angegebenen Zahl bester Antworten)

• Gleiche Hinweise wie bei Typ R!

* Verwenden bei Graustufenabwägung (von bester bis zu schlechtester Wahl)!

• Typ K'/Kprim (Vierfache Entscheidung richtig/falsch)

• Formulierung des Stammes muss Anzahl richtiger Antworten offen lassen!
• Stamm muss positiv formuliert werden, Antworten ebenso!
• Jede Aussage muss eindeutig richtig oder falsch sein!
• Nie zwei Aussagen in einer Antwort unterbringen!
• Jede Antwort muss unabhängig von den anderen sein!
• Vage Begriffe (z.B. "gewöhnlich", "häufig", "oft" usw.) vermeiden!
• Anzahl richtiger und falscher Aussagen sollte ausgeglichen sein!

• Typ E (Kausale Verknüpfung)

• Beide Aussagen müssen in sich geschlossen und getrennt voneinander beurteilbar sein!
• Bei zwei richtigen Aussagen muss Kausalität eindeutig richtig oder falsch sein!
• Unabhängig von der Richtigkeit soll Kausalität immer plausibel erscheinen!
• Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!

Haladyna-Guidelines

Die oben aufgeführten Formulierungshinweise basieren insbesondere auf den General Item-Writing Guidelines nach Haladyna (2004), die hier der Vollständigkeit halber noch einmal aufgeführt werden. Siehe zur Erklärung der einzelnen Punkte auch die Richtlinien zur Erstellung geschlossener Aufgaben bei Stieler (S. 95-112).

Content Guidelines
1. Every item should reflect specific content and a single specific cognitive process, as called for in the test specifications (table of specifications, two-way grid, test blueprint). 2. Base each item on important content to learn; avoid trivial content. 3. Use novel material to measure understanding and the application of knowledge and skills. 4. Keep the content of an item independent from content of other items on the test. 5. Avoid overspecific or overgeneral content. 6. Avoid opinion-based items. 7. Avoid trick items.
Style and Format Concerns
8. Format items vertically instead of horizontally. 9. Edit items for clarity. 10. Edit items for correct grammar, punctuation, capitalization, and spelling. 11. Simplify vocabulary so that reading comprehension does not interfere with testing the content intended. 12. Minimize reading time. Avoid excessive verbiage. 13. Proofread each item.
Writing the Stem
14. Make directions as clear as possible. 15. Make the stem as brief as possible. 16. Place the main idea of the item in the stem, not in the choices. 17. Avoid irrelevant information (Window Dressing). 18. Avoid Negative Words in the Stem.
Writing Options
19. Develop as many effective options as you can, but two or three may be sufficient. 20. Vary the location of the right answer according to the number of options. Assign the position of the right answer randomly. 21. Place options in logical or numerical order. 22. Keep options independent; choices should not be overlapping. 23. Keep the options homogeneous in content and grammatical structure. 24. Keep the length of options about the same. 25. None of the above should be used sparingly. 26. Avoid using all of the above. 27. Avoid negative words such as not or except. 28. Avoid options that give clues to the right answer. 29. Make distractors plausible. 30. Use typical errors of students when you write distractors. 31. Use humor if it is compatible with the teacher; avoid humor in a highstakes test.

Hinweise zur Qualitätssicherung

Validität & Reliabilität

• Items tragen zur Validität einer Prüfung bei, wenn...
  • ihr Thema relevant für künftige Anforderungen ist
  • das Anspruchsniveau stimmt (Prüfen von Kennen, Verstehen oder Anwenden/Beurteilen)
  • sie auf ein einzelnes Thema/Problem fokussieren und mit ihren Antworten ein thematisch geschlossenes Ganzes bilden
  • es eine eindeutig beste Lösung gibt
• Items tragen zur Reliabilität einer Prüfung bei, wenn sie...
  • im Sinne der Prüfung differenzieren, d.h. Trennschärfe besitzen
  • angemessen schwer sind
  • sprachlich einfach und klar formuliert sind
  • keine ungewollten Lösungshinweise (Cues) beinhalten

Relevanz & Korrektheit

• Relevanz überprüfen: Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
• Lehrbücher zur Absicherung der Richtigkeit und zum Finden von Distraktoren verwenden!
• Anwendungsbezug herstellen: Stellt sich diese Frage überhaupt in der Praxis?
• Best-Antwort-Items (Typen A, B, R und Pick N) sollten in einer MC-Prüfung zahlenmäßig am stärksten vertreten sein.
• Antworten möglichst logisch (alphabetisch oder numerisch aufsteigend) anordnen!

Vorgehensweise

Autoren sollten nach dem Verfassen

• das Item noch einmal durchlesen
• Prüfen, ob alle Grundregeln eingehalten wurden
• mögliche Cues ausschließen
• zugehöriges Lernziel, Inhaltsgebiet und richtige Lösung dokumentieren
• Korrektheit der richtigen Lösung über Literaturreferenzen belegen
• Inhalt über Schlagworte festhalten
• zur Seite legen und später nochmals durchlesen
• weitere Experten einbeziehen
  • Inhaltsexperten sollten unabhängig von der Form fachliche Richtigkeit und Zugehörigkeit zum Ausbildungsprogramm sicherstellen.
  • MC-Prüfungsexperte sollte Form und Sprache begutachten.
  • Prüfungskommission (z.B. in medizinischen Fächern) entscheidet über Annahme, Rückweisung oder Modifikation von Items.

Lösungshinweise vermeiden

Stamm und Antworten sollten auf unbeabsichtigte Lösungshinweise (sog. Cues) überprüft werden.

• Antworten müssen grammatikalisch zum Stamm passen!
• Distraktoren sollten gleich lang und differenziert sein, wie die richtige Antwort!
• Hinweise vermeiden, welche die Aufmerksamkeit auf 2-3 Antworten einschränken!
• Konvergenz-Cues vermeiden!
• Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden!
• Absolute Begriffe (z.B. "nie", "immer" usw.) vermeiden!
• Gegenseitige Lösungshinweise vermeiden!
• Richtige Antwort nicht überwiegend unter C oder D platzieren!

Checkliste

Hinweise für die Konstruktion von MC-Aufgaben

• Gestalte jede Aufgabe so, daß ein wichtiges Lehrziel gemessen wird!
• Präsentiere im Aufgabenstamm ein einziges klar formuliertes Problem!
• Formuliere den Aufgabenstamm in einer einfachen und klaren Sprache!
• Packe so viele Wörter wie möglich in den Aufgabenstamm, wenn dadurch Wörter in den Antwortoptionen eingespart werden können!
• Formuliere den Aufgabenstamm positiv!
• Wenn eine negative Formulierung des Aufgabenstamms unvermeidlich ist, dann stelle die Negation unübersehbar heraus!
• Sorge dafür, dass die als korrekt bezeichnete Antwort auch tatsächlich die korrekte Antwort ist!

Vermieden werden sollten

• Ähnlichkeiten von Wörtern im Aufgabenstamm und der korrekten Lösung
• Formulierung der korrekten Antwort "aus dem Lehrbuch" oder in stereotyper Phraseologie
• Umfangreichere Ausformulierung der korrekten Antwort.
• Absolute Begriffe wie "immer, niemals, alle, kein, nur" in den Distraktoren
• Die Beziehung der Antwortoptionen untereinander

Ratschläge für Distraktoren

• Formuliere die Alternativen in der Sprache des Studenten
• Verwende gut klingende Worte (genau, wichtig, bedeutsam) in Distraktoren und korrekter Antwort.
• Distraktoren und korrekte Antwort sollten sich nicht in Komplexität und Satzlänge unterscheiden. Die Textlänge einer Alternative sollte keine Prognose auf ihre Richtigkeit zulassen.
• Verwende äußere Hinweise in den Distraktoren (z.B. ähnliche Worte wie im Aufgabenstamm, wissenschaftlich beeindruckende Aussagen, wohlklingende Passagen aus dem Lehrbuch usw.)

Literatur

Erstellung von MC-Aufgaben und -Tests

• Katrin Brauns, Sebastian Schubert: Qualitätssicherung von Multiple-Choice-Prüfungen, in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
• Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
• Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
• Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment, in: Applied Measurement in Education, 15(3), 2002, S. 309–334, Download als PDF
• Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
• Bernhard Jacobs: Richtlinien zur Erstellung von einfachen Multiple-Choice-Aufgaben nach Gronlund, Universität des Saarlandes, 2000, Volltext Online
• René Krebs: Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung, Bern, 2004, Download als PDF
• Michael C. Rodriguez: Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research, 2005, Download als PDF
• Jona Florian Stieler: Validität summativer Prüfungen - Überlegungen zur Gestaltung von Klausuren, ISBN: 3-938076-36-4, Janus Presse, Bielefeld, 2011, Download als PDF

MC allgemein

• A. M. Andres, J. D. del Castillo: Multiple-choice tests: Power, length and optimal number of choices per item, in: British Journal of Mathematical and Statistical Psychology, Vol. 45, S. 57-71, 1990
• Y. Attali, M. Bar-Hillel: Guess where: The position of correct answers in multiple-choice test items as a psychometric variable, in: Journal of Educational Measurement, Vol. 40, S. 109-128, 2003
• M. Bar-Hillel, Y. Attali: Seek whence: Answer sequences and their consequences in key-balanced multiple-choice tests, in: The American Statistician, Vol. 56, S. 299-303, 2002
• J. E. Bruno, A. Dirkzwager: Determining the optimal number of alternatives to a multiple-choice test item: An information theoretical perspective, in: Educational and Psychological Measurement, Vol. 55, S. 959-966, 1995
• Kevin Crehan, Thomas M. Haladyna: The Validity of Two Item-Writing Rules. in: Journal of Experimental Education, Vol. 59, No. 2, S. 183-192, 1991
• Steven M. Downing: Threats to the validity of locally developed multiple-choice tests in medical education: Construct-irrelevant variance and construct underrepresentation, in: Advances in Health Sciences Education, Vol. 7, S. 235-241, 2002
• Thomas M. Haladyna, Steven M. Downing: How many options is enough for a multiple-choice test item, in: Educational and Psychological Measurement, Vol. 53, S. 999-1010, 1993
• Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
• R. E. Landrum, J. R. Cashin, K. S. Theis: More evidence in favor of three option multiple-choice tests, in: Educational and Psychological Measurement, Vol. 53, S. 771-778, 1993
• F. M. Lord: Optimal number of choices per item - A comparison of four approaches, in: Journal of Educational Measurement, Vol. 14, S. 33-38, 1977
• M. E. Martinez: A comparison of multiple-choice and constructed figural response items, in: Journal of Educational Measurement, Vol. 28, S. 131-145, 1990
• D. L. Neely, F. J. Springston, S. J. H. McCann: Does item order affect performance on multiple-choice exams?, in: Teaching of Psychology, Vol. 21, S. 44-45, 1994
• A. H. Perlini, D. L. Lind, D. L., B. D. Zumbo: Context effects on examinations: The effect of time, item order and item difficulty, in: Canadian Psychology, Vol. 39, S. 299-307, 1998
• Michael C. Rodriguez: Construct equivalence of multiple-choice and constructed-response items: A random effects synthesis of correlations, in: Journal of Educational Measurement, Vol. 40, No. 2, S. 163-184, 2003
• P. Tamir: Positive and negative multiple-choice items: How different are they?, in: Studies in Educational Evaluation, Vol. 19, S. 311-325, 1993
• M. S. Trevisan, G. Sax, W. B. Michael: The effects of the number of options per item and student ability on test validity and reliability, in: Educational and Psychological Measurement, Vol. 51, S. 829-837, 1991