MC-Aufgaben erstellen: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
Zeile 5: Zeile 5:
 
* gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint
 
* gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint
  
== Prüfungsitems ==
+
==== Prüfungsitems ====
 
* tragen zur '''Validität''' der Prüfung bei, wenn...
 
* tragen zur '''Validität''' der Prüfung bei, wenn...
 
** ihr Thema relevant für künftige Anforderungen ist
 
** ihr Thema relevant für künftige Anforderungen ist
Zeile 17: Zeile 17:
 
** keine ungewollten Lösungshinweise (Cues) beinhalten
 
** keine ungewollten Lösungshinweise (Cues) beinhalten
  
== Itemthema ==
+
==== Itemthema ====
 
Themen ergeben sich vor allem aus Teilaspekten,
 
Themen ergeben sich vor allem aus Teilaspekten,
 
* mit denen man im Fachgebiet häufig konfrontiert ist
 
* mit denen man im Fachgebiet häufig konfrontiert ist
Zeile 23: Zeile 23:
 
* bei denen Fehlmeinungen verbreitet sind
 
* bei denen Fehlmeinungen verbreitet sind
 
* die für das Verständnis späterer Lerninhalte wichtig sind
 
* die für das Verständnis späterer Lerninhalte wichtig sind
 +
 +
==== Hinweise ====
 +
* Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
 +
* Lehrbücher zur Absicherung der fachlichen Richtigkeit und zum Finden guter Distraktoren verwenden.
 +
* Anwendungsbezug überprüfen: stellt sich so eine Frage dem Prüfling in der Praxis überhaupt?
 +
* Bei einer MV-Prüfung sollten Best-Antwort-Items zahlenmäßig am stärksten vertreten sein.
  
 
== Fragetypen ==
 
== Fragetypen ==
Zeile 110: Zeile 116:
 
* Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!
 
* Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!
  
== Qualitätssicherung ==
+
== Vermeidung von Cues ==
* Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
+
Stamm und Antworten sollten auf unbeabsichtigte Cues überprüft werden.
* Lehrbücher zur Absicherung der fachlichen Richtigkeit und zum Finden guter Distraktoren verwenden.
+
* Antworten müssen grammatikalisch zum Stamm passen!
* Anwendungsbezug überprüfen: stellt sich so eine Frage dem Prüfling in der Praxis überhaupt?
+
* Distraktoren sollten gleich lang und differenziert sein, wie die richtige Antwort!
* Bei einer MV-Prüfung sollten Best-Antwort-Items zahlenmäßig am stärksten vertreten sein.
+
* Hinweise vermeiden, welche die Aufmerksamkeit auf 2-3 Antworten einschränken!
 +
* Konvergenz-Cues vermeiden!
 +
* Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden!
 +
* Absolute Begriffe (z.B. "nie", "immer" usw.) vermeiden!
 +
* Gegenseitige Lösungshinweise vermeiden!
  
 
== Literatur ==
 
== Literatur ==

Version vom 6. Dezember 2010, 14:17 Uhr

Übersicht über das Vorgehen zur Erstellung von MC-Fragen.

Voraussetzungen

  • präzise Definition des relevanten Fachwissens, z.B. als Lernzielkatalog
  • gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint

Prüfungsitems

  • tragen zur Validität der Prüfung bei, wenn...
    • ihr Thema relevant für künftige Anforderungen ist
    • das Anspruchsniveau stimmt (Prüfen von Kennen, Verstehen oder Anwenden/Beurteilen)
    • sie auf ein einzelnes Thema/Problem fokussieren und mit ihren Antworten ein thematisch geschlossenes Ganzes bilden
    • es eine eindeutig beste Lösung gibt
  • tragen zur Reliabilität der Prüfung bei, wenn sie...
    • im Sinne der Prüfung differenzieren, d.h. Trennschärfe besitzen
    • angemessen schwer sind
    • sprachlich einfach und klar formuliert sind
    • keine ungewollten Lösungshinweise (Cues) beinhalten

Itemthema

Themen ergeben sich vor allem aus Teilaspekten,

  • mit denen man im Fachgebiet häufig konfrontiert ist
  • wo Fehler gravierende Folgen haben können
  • bei denen Fehlmeinungen verbreitet sind
  • die für das Verständnis späterer Lerninhalte wichtig sind

Hinweise

  • Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
  • Lehrbücher zur Absicherung der fachlichen Richtigkeit und zum Finden guter Distraktoren verwenden.
  • Anwendungsbezug überprüfen: stellt sich so eine Frage dem Prüfling in der Praxis überhaupt?
  • Bei einer MV-Prüfung sollten Best-Antwort-Items zahlenmäßig am stärksten vertreten sein.

Fragetypen

Beispiele für die verschiedenen Typen von Antwortwahlaufgaben sind u.a. in Appendix A von Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences (Download als PDF) zu finden.

Typ Name
A Einfachauswahlaufgabe
B Zuordnungsaufgabe
C A/B/beide/keine-Aufgabe
D komplexe Zuordnungsaufgabe
E Verknüpfungsaufgabe
H Vergleichsaufgabe
I Abhängigkeitsaufgabe
K komplexe Richtig/Falsch‐Aufgabe
K' Kombinationsaufgabe
R erweiterte Zuordnungsaufgabe
X einfache Richtig/Falsch‐Aufgabe
Pick N Mehrfachauswahlaufgabe

Formulierungshinweise

  • Langen Fragestamm und kurze Antworten verwenden!
  • Einfache, klare Formulierungen in allgemein akzeptierter Sprache!
  • Items nicht künstlich kompliziert machen, keine Fangfragen stellen!

Formulierung des Stammes

  • Alle zur Beantwortung notwendigen Informationen müssen enthalten sein!
  • Keine überflüssigen Informationen (es sei denn, es soll die Fähigkeit geprüft werden, diese auszufiltern)!
  • Frage sollte beantwortbar sein, ohne die Antworten zu kennen!
  • Bei Einfachwahl möglichst, bei Kprim-Typen immer positiv formulieren!

Formulierung der Antworten

  • Auswahlantworten sollten inhaltlich homogen sein, d.h. in die gleiche Kategorie fallen!
  • Für Distraktoren sollten klare Gründe bestehen (z.B. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten)!
  • Distraktoren müssen nicht völlig falsch, die richtige Antwort aber die eindeutig Beste sein!
  • Jede Antwort sollte möglichst kurz sein und nur eine Aussage enthalten!
  • Sich überschneidende Antworten nur verwenden, wenn es das zugrunde liegende Problem erfordert!
  • "Alle der obigen" oder "Sowohl B und C sind richtig" dürfen nicht verwendet werden!
  • "Keine der obigen" nur in Ausnahmefällen verwenden!

Hinweise für spezielle Aufgabentypen

Typ Aneg (Negative Einfachwahl)

  • Negation muss durch Fettdruck oder Unterstreichung hervorgehoben werden!
  • Alle Antworten müssen positiv formuliert sein, um doppelte Negationen zu vermeiden (Daher ist auch "keine der genannten Anworten" hier unzulässig)!

Typ B (Zuordnung)

  • Keine heterogenen Fragekombinationen, die gewisse Antworten bei bestimmten Fragen ausschließen!
  • Kann eine Antwort einer Frage zugeordnet werden, sollte sie auch für die weiteren Fragen als Lösung/Distraktor in Frage kommen!
  • Nicht mehr als 3 Fragen kombinieren, um inhaltliche Übergewichtung zu vermeiden!

Typ R (Erweiterte Zuordnung)

  • Zuerst Antwortliste mit Themenbezug erstellen und erst dann Fälle/Fragen entwickeln!
  • Antworten müssen inhaltlich homogen sein!
  • Antworten möglichst alphabetisch oder logisch anordnen!

Typ PickN (Wahl einer angegebenen Zahl bester Antworten)

  • Gleiche Hinweise wie bei Typ R!
  • Verwenden bei Graustufenabwägung (von bester bis zu schlechtester Wahl)!

Typ K'/Kprim (Vierfache Entscheidung richtig/falsch)

  • Formulierung des Stammes muss Anzahl richtiger Antworten offen lassen!
  • Stamm muss positiv formuliert werden, Antworten ebenso!
  • Jede Aussage muss eindeutig richtig oder falsch sein!
  • Nie zwei Aussagen in einer Antwort unterbringen!
  • Jede Antwort muss unabhängig von den anderen sein!
  • Vage Begriffe (z.B. "gewöhnlich", "häufig", "oft" usw.) vermeiden!
  • Anzahl richtiger und falscher Aussagen sollte ausgeglichen sein!

Typ E (Kausale Verknüpfung)

  • Beide Aussagen müssen in sich geschlossen und getrennt voneinander beurteilbar sein!
  • Bei zwei richtigen Aussagen muss Kausalität eindeutig richtig oder falsch sein!
  • Unabhängig von der Richtigkeit soll Kausalität immer plausibel erscheinen!
  • Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!

Vermeidung von Cues

Stamm und Antworten sollten auf unbeabsichtigte Cues überprüft werden.

  • Antworten müssen grammatikalisch zum Stamm passen!
  • Distraktoren sollten gleich lang und differenziert sein, wie die richtige Antwort!
  • Hinweise vermeiden, welche die Aufmerksamkeit auf 2-3 Antworten einschränken!
  • Konvergenz-Cues vermeiden!
  • Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden!
  • Absolute Begriffe (z.B. "nie", "immer" usw.) vermeiden!
  • Gegenseitige Lösungshinweise vermeiden!

Literatur

Folgende Literatur gibt Empfehlungen insbesondere für die Erstellung von MC-Prüfungsfragen.

  • Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment, in: Applied Measurement in Education, 15(3), 2002, S. 309–334, Download als PDF
  • Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
  • Katrin Brauns, Sebastian Schubert: Qualitätssicherung von Multiple-Choice-Prüfungen, in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
  • Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
  • Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
  • René Krebs: Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung, Bern, 2004, Download als PDF
  • Michael C. Rodriguez: Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research, 2005, Download als PDF