MC-Aufgaben erstellen

Themenfindung

Die folgende Anleitung soll Hinweise geben zur Erstellung von MC-Fragen.

Hilfreich, um Fragen abzuleiten, sind

• präzise Definition des relevanten Fachwissens, z.B. in Form eines Lernzielkatalogs
• gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint

Einzelthemen ergeben sich vor allem aus den Teilaspekten,

• mit denen man im Fachgebiet häufig konfrontiert ist
• wo Fehler gravierende Folgen haben können
• bei denen Fehlmeinungen verbreitet sind
• die für das Verständnis späterer Lerninhalte wichtig sind

Verschiedene MC-Fragetypen

Beispiele für die verschiedenen Typen von Antwortwahlaufgaben sind u.a. in Appendix A von Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences (Download als PDF) zu finden.

Typ	Name
A	Einfachauswahlaufgabe
B	Zuordnungsaufgabe
C	A/B/beide/keine-Aufgabe
D	komplexe Zuordnungsaufgabe
E	Verknüpfungsaufgabe
H	Vergleichsaufgabe
I	Abhängigkeitsaufgabe
K	komplexe Richtig/Falsch‐Aufgabe
K'	Kombinationsaufgabe
R	erweiterte Zuordnungsaufgabe
X	einfache Richtig/Falsch‐Aufgabe
Pick N	Mehrfachauswahlaufgabe

Formulierungshinweise

Allgemeine Hinweise

• Langen Itemstamm und kurze, übersichtliche Antworten verwenden!
• Einfache, klare Formulierungen in allgemein akzeptierter Sprache benutzen!
• Items nicht künstlich kompliziert machen, keine Fangfragen stellen!

Formulierung des Stammes

• Alle zur Beantwortung notwendigen Informationen müssen enthalten sein!
• Keine überflüssigen Informationen (es sei denn, es soll die Fähigkeit geprüft werden, diese auszufiltern)!
• Frage sollte beantwortbar sein, ohne die Antworten zu kennen!
• Bei Einfachwahl möglichst, bei Kprim-Typen immer positiv formulieren!

Formulierung der Antworten

• Auswahlantworten sollten inhaltlich homogen sein, d.h. in die gleiche Kategorie fallen!
• Für Distraktoren sollten klare Gründe bestehen (z.B. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten)!
• Distraktoren müssen nicht völlig falsch, die richtige Antwort aber die eindeutig Beste sein!
• Jede Antwort sollte möglichst kurz sein und nur eine Aussage enthalten!
• Sich überschneidende Antworten nur verwenden, wenn es das zugrunde liegende Problem erfordert!
• "Alle der obigen" oder "Sowohl B und C sind richtig" dürfen nicht verwendet werden!
• "Keine der obigen" nur in Ausnahmefällen verwenden!

Berücksichtigung des Aufgabentyps

• Typ Aneg (Negative Einfachwahl)

• Negation muss durch Fettdruck oder Unterstreichung hervorgehoben werden!
• Alle Antworten müssen positiv formuliert sein, um doppelte Negationen zu vermeiden (Daher ist auch "keine der genannten Anworten" hier unzulässig)!

• Typ B (Zuordnung)

• Keine heterogenen Fragekombinationen, die gewisse Antworten bei bestimmten Fragen ausschließen!
• Kann eine Antwort einer Frage zugeordnet werden, sollte sie auch für die weiteren Fragen als Lösung/Distraktor in Frage kommen!
• Nicht mehr als 3 Fragen kombinieren, um inhaltliche Übergewichtung zu vermeiden!

• Typ R (Erweiterte Zuordnung)

• Zuerst Antwortliste mit Themenbezug erstellen und erst dann Fälle/Fragen entwickeln!
• Antworten müssen inhaltlich homogen sein!
• Antworten möglichst logisch (alphabetisch oder numerisch aufsteigend) anordnen!

• Typ PickN (Wahl einer angegebenen Zahl bester Antworten)

• Gleiche Hinweise wie bei Typ R!

* Verwenden bei Graustufenabwägung (von bester bis zu schlechtester Wahl)!

• Typ K'/Kprim (Vierfache Entscheidung richtig/falsch)

• Formulierung des Stammes muss Anzahl richtiger Antworten offen lassen!
• Stamm muss positiv formuliert werden, Antworten ebenso!
• Jede Aussage muss eindeutig richtig oder falsch sein!
• Nie zwei Aussagen in einer Antwort unterbringen!
• Jede Antwort muss unabhängig von den anderen sein!
• Vage Begriffe (z.B. "gewöhnlich", "häufig", "oft" usw.) vermeiden!
• Anzahl richtiger und falscher Aussagen sollte ausgeglichen sein!

• Typ E (Kausale Verknüpfung)

• Beide Aussagen müssen in sich geschlossen und getrennt voneinander beurteilbar sein!
• Bei zwei richtigen Aussagen muss Kausalität eindeutig richtig oder falsch sein!
• Unabhängig von der Richtigkeit soll Kausalität immer plausibel erscheinen!
• Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!

Haladyna-Guidelines

Die oben aufgeführten Formulierungshinweise basieren insbesondere auf den General Item-Writing Guidelines nach Haladyna (2004), die hier der Vollständigkeit halber noch einmal aufgeführt werden. Siehe zur Erklärung der einzelnen Punkte auch die Richtlinien zur Erstellung geschlossener Aufgaben bei Stieler (S. 95-112).

Content Guidelines
1. Every item should reflect specific content and a single specific cognitive process, as called for in the test specifications (table of specifications, two-way grid, test blueprint). 2. Base each item on important content to learn; avoid trivial content. 3. Use novel material to measure understanding and the application of knowledge and skills. 4. Keep the content of an item independent from content of other items on the test. 5. Avoid overspecific or overgeneral content. 6. Avoid opinion-based items. 7. Avoid trick items.
Style and Format Concerns
8. Format items vertically instead of horizontally. 9. Edit items for clarity. 10. Edit items for correct grammar, punctuation, capitalization, and spelling. 11. Simplify vocabulary so that reading comprehension does not interfere with testing the content intended. 12. Minimize reading time. Avoid excessive verbiage. 13. Proofread each item.
Writing the Stem
14. Make directions as clear as possible. 15. Make the stem as brief as possible. 16. Place the main idea of the item in the stem, not in the choices. 17. Avoid irrelevant information (Window Dressing). 18. Avoid Negative Words in the Stem.
Writing Options
19. Develop as many effective options as you can, but two or three may be sufficient. 20. Vary the location of the right answer according to the number of options. Assign the position of the right answer randomly. 21. Place options in logical or numerical order. 22. Keep options independent; choices should not be overlapping. 23. Keep the options homogeneous in content and grammatical structure. 24. Keep the length of options about the same. 25. None of the above should be used sparingly. 26. Avoid using all of the above. 27. Avoid negative words such as not or except. 28. Avoid options that give clues to the right answer. 29. Make distractors plausible. 30. Use typical errors of students when you write distractors. 31. Use humor if it is compatible with the teacher; avoid humor in a highstakes test.

Hinweise zur Qualitätssicherung

Validität & Reliabilität

• Items tragen zur Validität einer Prüfung bei, wenn...
  • ihr Thema relevant für künftige Anforderungen ist
  • das Anspruchsniveau stimmt (Prüfen von Kennen, Verstehen oder Anwenden/Beurteilen)
  • sie auf ein einzelnes Thema/Problem fokussieren und mit ihren Antworten ein thematisch geschlossenes Ganzes bilden
  • es eine eindeutig beste Lösung gibt
• Items tragen zur Reliabilität einer Prüfung bei, wenn sie...
  • im Sinne der Prüfung differenzieren, d.h. Trennschärfe besitzen
  • angemessen schwer sind
  • sprachlich einfach und klar formuliert sind
  • keine ungewollten Lösungshinweise (Cues) beinhalten

Relevanz & Korrektheit

• Relevanz überprüfen: Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
• Lehrbücher zur Absicherung der Richtigkeit und zum Finden von Distraktoren verwenden!
• Anwendungsbezug herstellen: Stellt sich diese Frage überhaupt in der Praxis?
• Best-Antwort-Items (Typen A, B, R und Pick N) sollten in einer MC-Prüfung zahlenmäßig am stärksten vertreten sein.
• Antworten möglichst logisch (alphabetisch oder numerisch aufsteigend) anordnen!

Vorgehensweise

Autoren sollten nach dem Verfassen

• das Item noch einmal durchlesen
• Prüfen, ob alle Grundregeln eingehalten wurden
• mögliche Cues ausschließen
• zugehöriges Lernziel, Inhaltsgebiet und richtige Lösung dokumentieren
• Korrektheit der richtigen Lösung über Literaturreferenzen belegen
• Inhalt über Schlagworte festhalten
• zur Seite legen und später nochmals durchlesen
• weitere Experten einbeziehen
  • Inhaltsexperten sollten unabhängig von der Form fachliche Richtigkeit und Zugehörigkeit zum Ausbildungsprogramm sicherstellen.
  • MC-Prüfungsexperte sollte Form und Sprache begutachten.
  • Prüfungskommission (z.B. in medizinischen Fächern) entscheidet über Annahme, Rückweisung oder Modifikation von Items.

Lösungshinweise vermeiden

Stamm und Antworten sollten auf unbeabsichtigte Lösungshinweise (sog. Cues) überprüft werden.

• Antworten müssen grammatikalisch zum Stamm passen!
• Distraktoren sollten gleich lang und differenziert sein, wie die richtige Antwort!
• Hinweise vermeiden, welche die Aufmerksamkeit auf 2-3 Antworten einschränken!
• Konvergenz-Cues vermeiden!
• Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden!
• Absolute Begriffe (z.B. "nie", "immer" usw.) vermeiden!
• Gegenseitige Lösungshinweise vermeiden!
• Richtige Antwort nicht überwiegend unter C oder D platzieren!

Literatur

Folgende Literatur gibt Empfehlungen insbesondere für die Erstellung von MC-Prüfungsfragen.

• Katrin Brauns, Sebastian Schubert: Qualitätssicherung von Multiple-Choice-Prüfungen, in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
• Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
• Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment, in: Applied Measurement in Education, 15(3), 2002, S. 309–334, Download als PDF
• Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
• Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
• René Krebs: Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung, Bern, 2004, Download als PDF
• Michael C. Rodriguez: Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research, 2005, Download als PDF
• Jona Florian Stieler: Validität summativer Prüfungen - Überlegungen zur Gestaltung von Klausuren, ISBN: 3-938076-36-4, Janus Presse, Bielefeld, 2011, Download als PDF