MC-Aufgaben erstellen

Aus E-Assessment-Wiki
Version vom 8. Dezember 2010, 08:41 Uhr von Schmees (Diskussion | Beiträge) (Vermeidung von Cues)
Wechseln zu:Navigation, Suche

Themenfindung

Die folgende Anleitung soll Hinweise geben zur Erstellung von MC-Fragen.

Hilfreich, um Fragen abzuleiten, sind

  • präzise Definition des relevanten Fachwissens, z.B. in Form eines Lernzielkatalogs
  • gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint

Einzelthemen ergeben sich vor allem aus den Teilaspekten,

  • mit denen man im Fachgebiet häufig konfrontiert ist
  • wo Fehler gravierende Folgen haben können
  • bei denen Fehlmeinungen verbreitet sind
  • die für das Verständnis späterer Lerninhalte wichtig sind

Verschiedene MC-Fragetypen

Beispiele für die verschiedenen Typen von Antwortwahlaufgaben sind u.a. in Appendix A von Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences (Download als PDF) zu finden.

Typ Name
A Einfachauswahlaufgabe
B Zuordnungsaufgabe
C A/B/beide/keine-Aufgabe
D komplexe Zuordnungsaufgabe
E Verknüpfungsaufgabe
H Vergleichsaufgabe
I Abhängigkeitsaufgabe
K komplexe Richtig/Falsch‐Aufgabe
K' Kombinationsaufgabe
R erweiterte Zuordnungsaufgabe
X einfache Richtig/Falsch‐Aufgabe
Pick N Mehrfachauswahlaufgabe

Formulierungshinweise

Allgemein

  • Langen Itemstamm und kurze, übersichtliche Antworten verwenden!
  • Einfache, klare Formulierungen in allgemein akzeptierter Sprache benutzen!
  • Items nicht künstlich kompliziert machen, keine Fangfragen stellen!

Formulierung des Stammes

  • Alle zur Beantwortung notwendigen Informationen müssen enthalten sein!
  • Keine überflüssigen Informationen (es sei denn, es soll die Fähigkeit geprüft werden, diese auszufiltern)!
  • Frage sollte beantwortbar sein, ohne die Antworten zu kennen!
  • Bei Einfachwahl möglichst, bei Kprim-Typen immer positiv formulieren!

Formulierung der Antworten

  • Auswahlantworten sollten inhaltlich homogen sein, d.h. in die gleiche Kategorie fallen!
  • Für Distraktoren sollten klare Gründe bestehen (z.B. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten)!
  • Distraktoren müssen nicht völlig falsch, die richtige Antwort aber die eindeutig Beste sein!
  • Jede Antwort sollte möglichst kurz sein und nur eine Aussage enthalten!
  • Sich überschneidende Antworten nur verwenden, wenn es das zugrunde liegende Problem erfordert!
  • "Alle der obigen" oder "Sowohl B und C sind richtig" dürfen nicht verwendet werden!
  • "Keine der obigen" nur in Ausnahmefällen verwenden!

Besonderheiten spezieller Aufgabentypen

Typ Aneg (Negative Einfachwahl)

  • Negation muss durch Fettdruck oder Unterstreichung hervorgehoben werden!
  • Alle Antworten müssen positiv formuliert sein, um doppelte Negationen zu vermeiden (Daher ist auch "keine der genannten Anworten" hier unzulässig)!

Typ B (Zuordnung)

  • Keine heterogenen Fragekombinationen, die gewisse Antworten bei bestimmten Fragen ausschließen!
  • Kann eine Antwort einer Frage zugeordnet werden, sollte sie auch für die weiteren Fragen als Lösung/Distraktor in Frage kommen!
  • Nicht mehr als 3 Fragen kombinieren, um inhaltliche Übergewichtung zu vermeiden!

Typ R (Erweiterte Zuordnung)

  • Zuerst Antwortliste mit Themenbezug erstellen und erst dann Fälle/Fragen entwickeln!
  • Antworten müssen inhaltlich homogen sein!
  • Antworten möglichst alphabetisch oder logisch anordnen!

Typ PickN (Wahl einer angegebenen Zahl bester Antworten)

  • Gleiche Hinweise wie bei Typ R!
  • Verwenden bei Graustufenabwägung (von bester bis zu schlechtester Wahl)!

Typ K'/Kprim (Vierfache Entscheidung richtig/falsch)

  • Formulierung des Stammes muss Anzahl richtiger Antworten offen lassen!
  • Stamm muss positiv formuliert werden, Antworten ebenso!
  • Jede Aussage muss eindeutig richtig oder falsch sein!
  • Nie zwei Aussagen in einer Antwort unterbringen!
  • Jede Antwort muss unabhängig von den anderen sein!
  • Vage Begriffe (z.B. "gewöhnlich", "häufig", "oft" usw.) vermeiden!
  • Anzahl richtiger und falscher Aussagen sollte ausgeglichen sein!

Typ E (Kausale Verknüpfung)

  • Beide Aussagen müssen in sich geschlossen und getrennt voneinander beurteilbar sein!
  • Bei zwei richtigen Aussagen muss Kausalität eindeutig richtig oder falsch sein!
  • Unabhängig von der Richtigkeit soll Kausalität immer plausibel erscheinen!
  • Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!

Qualitätssicherung

Validität & Reliabilität

  • Items tragen zur Validität einer Prüfung bei, wenn...
    • ihr Thema relevant für künftige Anforderungen ist
    • das Anspruchsniveau stimmt (Prüfen von Kennen, Verstehen oder Anwenden/Beurteilen)
    • sie auf ein einzelnes Thema/Problem fokussieren und mit ihren Antworten ein thematisch geschlossenes Ganzes bilden
    • es eine eindeutig beste Lösung gibt
  • Items tragen zur Reliabilität einer Prüfung bei, wenn sie...
    • im Sinne der Prüfung differenzieren, d.h. Trennschärfe besitzen
    • angemessen schwer sind
    • sprachlich einfach und klar formuliert sind
    • keine ungewollten Lösungshinweise (Cues) beinhalten

Relevanz & Korrektheit

  • Relevanz überprüfen: Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
  • Lehrbücher zur Absicherung der Richtigkeit und zum Finden von Distraktoren verwenden!
  • Anwendungsbezug herstellen: Stellt sich diese Frage überhaupt in der Praxis?
  • Best-Antwort-Items (Typen A, B, R und Pick N) sollten in einer MC-Prüfung zahlenmäßig am stärksten vertreten sein.
  • Antworten möglichst logisch anordnen!

Vorgehensweise

Autoren sollten nach dem Verfassen

  • das Item noch einmal durchlesen
  • Prüfen, ob alle Grundregeln eingehalten wurden
  • mögliche Cues ausschließen
  • zugehöriges Lernziel, Inhaltsgebiet und richtige Lösung dokumentieren
  • Korrektheit der richtigen Lösung über Literaturreferenzen belegen
  • Inhalt über Schlagworte festhalten
  • zur Seite legen und später nochmals durchlesen
  • weitere Experten einbeziehen
    • Inhaltsexperten sollten unabhängig von der Form fachliche Richtigkeit und Zugehörigkeit zum Ausbildungsprogramm sicherstellen.
    • MC-Prüfungsexperte sollte Form und Sprache begutachten.
    • Prüfungskommission (z.B. in medizinischen Fächern) entscheidet über Annahme, Rückweisung oder Modifikation von Items.

Lösungshinweise vermeiden

Stamm und Antworten sollten auf unbeabsichtigte Lösungshinweise (sog. Cues) überprüft werden.

  • Antworten müssen grammatikalisch zum Stamm passen!
  • Distraktoren sollten gleich lang und differenziert sein, wie die richtige Antwort!
  • Hinweise vermeiden, welche die Aufmerksamkeit auf 2-3 Antworten einschränken!
  • Konvergenz-Cues vermeiden!
  • Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden!
  • Absolute Begriffe (z.B. "nie", "immer" usw.) vermeiden!
  • Gegenseitige Lösungshinweise vermeiden!
  • Richtige Antwort nicht überwiegend unter C oder D platzieren!

Literatur

Folgende Literatur gibt Empfehlungen insbesondere für die Erstellung von MC-Prüfungsfragen.

  • Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment, in: Applied Measurement in Education, 15(3), 2002, S. 309–334, Download als PDF
  • Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
  • Katrin Brauns, Sebastian Schubert: Qualitätssicherung von Multiple-Choice-Prüfungen, in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
  • Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
  • Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
  • René Krebs: Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung, Bern, 2004, Download als PDF
  • Michael C. Rodriguez: Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research, 2005, Download als PDF