MC-Aufgaben erstellen

Themenfindung

Die folgende Anleitung soll Hinweise geben zur Erstellung von MC-Fragen.

Hilfreich, um Fragen abzuleiten, sind

• präzise Definition des relevanten Fachwissens, z.B. in Form eines Lernzielkatalogs
• gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint

Einzelthemen ergeben sich vor allem aus den Teilaspekten,

• mit denen man im Fachgebiet häufig konfrontiert ist
• wo Fehler gravierende Folgen haben können
• bei denen Fehlmeinungen verbreitet sind
• die für das Verständnis späterer Lerninhalte wichtig sind

Verschiedene MC-Fragetypen

Beispiele für die verschiedenen Typen von Antwortwahlaufgaben sind u.a. in Appendix A von Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences (Download als PDF) zu finden.

Typ	Name
A	Einfachauswahlaufgabe
B	Zuordnungsaufgabe
C	A/B/beide/keine-Aufgabe
D	komplexe Zuordnungsaufgabe
E	Verknüpfungsaufgabe
H	Vergleichsaufgabe
I	Abhängigkeitsaufgabe
K	komplexe Richtig/Falsch‐Aufgabe
K'	Kombinationsaufgabe
R	erweiterte Zuordnungsaufgabe
X	einfache Richtig/Falsch‐Aufgabe
Pick N	Mehrfachauswahlaufgabe

Formulierungshinweise

Allgemein

• Langen Itemstamm und kurze, übersichtliche Antworten verwenden!
• Einfache, klare Formulierungen in allgemein akzeptierter Sprache benutzen!
• Items nicht künstlich kompliziert machen, keine Fangfragen stellen!

Formulierung des Stammes

• Alle zur Beantwortung notwendigen Informationen müssen enthalten sein!
• Keine überflüssigen Informationen (es sei denn, es soll die Fähigkeit geprüft werden, diese auszufiltern)!
• Frage sollte beantwortbar sein, ohne die Antworten zu kennen!
• Bei Einfachwahl möglichst, bei Kprim-Typen immer positiv formulieren!

Formulierung der Antworten

• Auswahlantworten sollten inhaltlich homogen sein, d.h. in die gleiche Kategorie fallen!
• Für Distraktoren sollten klare Gründe bestehen (z.B. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten)!
• Distraktoren müssen nicht völlig falsch, die richtige Antwort aber die eindeutig Beste sein!
• Jede Antwort sollte möglichst kurz sein und nur eine Aussage enthalten!
• Sich überschneidende Antworten nur verwenden, wenn es das zugrunde liegende Problem erfordert!
• "Alle der obigen" oder "Sowohl B und C sind richtig" dürfen nicht verwendet werden!
• "Keine der obigen" nur in Ausnahmefällen verwenden!

Besonderheiten spezieller Aufgabentypen

Typ Aneg (Negative Einfachwahl)

• Negation muss durch Fettdruck oder Unterstreichung hervorgehoben werden!
• Alle Antworten müssen positiv formuliert sein, um doppelte Negationen zu vermeiden (Daher ist auch "keine der genannten Anworten" hier unzulässig)!

Typ B (Zuordnung)

• Keine heterogenen Fragekombinationen, die gewisse Antworten bei bestimmten Fragen ausschließen!
• Kann eine Antwort einer Frage zugeordnet werden, sollte sie auch für die weiteren Fragen als Lösung/Distraktor in Frage kommen!
• Nicht mehr als 3 Fragen kombinieren, um inhaltliche Übergewichtung zu vermeiden!

Typ R (Erweiterte Zuordnung)

• Zuerst Antwortliste mit Themenbezug erstellen und erst dann Fälle/Fragen entwickeln!
• Antworten müssen inhaltlich homogen sein!
• Antworten möglichst logisch (alphabetisch oder numerisch aufsteigend) anordnen!

Typ PickN (Wahl einer angegebenen Zahl bester Antworten)

• Gleiche Hinweise wie bei Typ R!
• Verwenden bei Graustufenabwägung (von bester bis zu schlechtester Wahl)!

Typ K'/Kprim (Vierfache Entscheidung richtig/falsch)

• Formulierung des Stammes muss Anzahl richtiger Antworten offen lassen!
• Stamm muss positiv formuliert werden, Antworten ebenso!
• Jede Aussage muss eindeutig richtig oder falsch sein!
• Nie zwei Aussagen in einer Antwort unterbringen!
• Jede Antwort muss unabhängig von den anderen sein!
• Vage Begriffe (z.B. "gewöhnlich", "häufig", "oft" usw.) vermeiden!
• Anzahl richtiger und falscher Aussagen sollte ausgeglichen sein!

Typ E (Kausale Verknüpfung)

• Beide Aussagen müssen in sich geschlossen und getrennt voneinander beurteilbar sein!
• Bei zwei richtigen Aussagen muss Kausalität eindeutig richtig oder falsch sein!
• Unabhängig von der Richtigkeit soll Kausalität immer plausibel erscheinen!
• Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!

Qualitätssicherung

Validität & Reliabilität

• Items tragen zur Validität einer Prüfung bei, wenn...
  • ihr Thema relevant für künftige Anforderungen ist
  • das Anspruchsniveau stimmt (Prüfen von Kennen, Verstehen oder Anwenden/Beurteilen)
  • sie auf ein einzelnes Thema/Problem fokussieren und mit ihren Antworten ein thematisch geschlossenes Ganzes bilden
  • es eine eindeutig beste Lösung gibt
• Items tragen zur Reliabilität einer Prüfung bei, wenn sie...
  • im Sinne der Prüfung differenzieren, d.h. Trennschärfe besitzen
  • angemessen schwer sind
  • sprachlich einfach und klar formuliert sind
  • keine ungewollten Lösungshinweise (Cues) beinhalten

Relevanz & Korrektheit

• Relevanz überprüfen: Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
• Lehrbücher zur Absicherung der Richtigkeit und zum Finden von Distraktoren verwenden!
• Anwendungsbezug herstellen: Stellt sich diese Frage überhaupt in der Praxis?
• Best-Antwort-Items (Typen A, B, R und Pick N) sollten in einer MC-Prüfung zahlenmäßig am stärksten vertreten sein.
• Antworten möglichst logisch (alphabetisch oder numerisch aufsteigend) anordnen!

Vorgehensweise

Autoren sollten nach dem Verfassen

• das Item noch einmal durchlesen
• Prüfen, ob alle Grundregeln eingehalten wurden
• mögliche Cues ausschließen
• zugehöriges Lernziel, Inhaltsgebiet und richtige Lösung dokumentieren
• Korrektheit der richtigen Lösung über Literaturreferenzen belegen
• Inhalt über Schlagworte festhalten
• zur Seite legen und später nochmals durchlesen
• weitere Experten einbeziehen
  • Inhaltsexperten sollten unabhängig von der Form fachliche Richtigkeit und Zugehörigkeit zum Ausbildungsprogramm sicherstellen.
  • MC-Prüfungsexperte sollte Form und Sprache begutachten.
  • Prüfungskommission (z.B. in medizinischen Fächern) entscheidet über Annahme, Rückweisung oder Modifikation von Items.

Lösungshinweise vermeiden

Stamm und Antworten sollten auf unbeabsichtigte Lösungshinweise (sog. Cues) überprüft werden.

• Antworten müssen grammatikalisch zum Stamm passen!
• Distraktoren sollten gleich lang und differenziert sein, wie die richtige Antwort!
• Hinweise vermeiden, welche die Aufmerksamkeit auf 2-3 Antworten einschränken!
• Konvergenz-Cues vermeiden!
• Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden!
• Absolute Begriffe (z.B. "nie", "immer" usw.) vermeiden!
• Gegenseitige Lösungshinweise vermeiden!
• Richtige Antwort nicht überwiegend unter C oder D platzieren!

Literatur

Folgende Literatur gibt Empfehlungen insbesondere für die Erstellung von MC-Prüfungsfragen.

• Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment, in: Applied Measurement in Education, 15(3), 2002, S. 309–334, Download als PDF
• Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
• Katrin Brauns, Sebastian Schubert: Qualitätssicherung von Multiple-Choice-Prüfungen, in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
• Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
• Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
• René Krebs: Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung, Bern, 2004, Download als PDF
• Michael C. Rodriguez: Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research, 2005, Download als PDF