MC-Aufgaben erstellen: Unterschied zwischen den Versionen
Aus E-Assessment-Wiki
| Zeile 16: | Zeile 16: | ||
** sprachlich einfach und klar formuliert sind | ** sprachlich einfach und klar formuliert sind | ||
** keine ungewollten Lösungshinweise (Cues) beinhalten | ** keine ungewollten Lösungshinweise (Cues) beinhalten | ||
| + | |||
| + | == Itemthema == | ||
| + | Themen ergeben sich vor allem aus Teilaspekten, | ||
| + | * mit denen man im Fachgebiet häufig konfrontiert ist | ||
| + | * wo Fehler gravierende Folgen haben können | ||
| + | * bei denen Fehlmeinungen verbreitet sind | ||
| + | * die für das Verständnis späterer Lerninhalte wichtig sind | ||
| + | |||
| + | == Fragetypen == | ||
| + | Beispiele für die verschiedenen Typen von Antwortwahlaufgaben sind u.a. in Appendix A von Susan M. Case, David B. Swanson: ''Constructing Written Test Questions For the Basic and Clinical Sciences'' ([http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf Download als PDF]) zu finden. | ||
| + | |||
| + | {| class="wikitable" | ||
| + | |- | ||
| + | ! Typ !! Name | ||
| + | |- | ||
| + | | A || Einfachauswahlaufgabe | ||
| + | |- | ||
| + | | B || Zuordnungsaufgabe | ||
| + | |- | ||
| + | | C || A/B/beide/keine-Aufgabe | ||
| + | |- | ||
| + | | D || komplexe Zuordnungsaufgabe | ||
| + | |- | ||
| + | | E || Verknüpfungsaufgabe | ||
| + | |- | ||
| + | | H || Vergleichsaufgabe | ||
| + | |- | ||
| + | | I || Abhängigkeitsaufgabe | ||
| + | |- | ||
| + | | K || komplexe Richtig/Falsch‐Aufgabe | ||
| + | |- | ||
| + | | K' || Kombinationsaufgabe | ||
| + | |- | ||
| + | | R || erweiterte Zuordnungsaufgabe | ||
| + | |- | ||
| + | | X || einfache Richtig/Falsch‐Aufgabe | ||
| + | |- | ||
| + | | Pick N || Mehrfachauswahlaufgabe | ||
| + | |} | ||
| + | |||
| + | == Formulierungshinweise == | ||
| + | * Langen Fragestamm und kurze Antworten verwenden! | ||
| + | * Einfache, klare Formulierungen in allgemein akzeptierter Sprache! | ||
| + | * Items nicht künstlich kompliziert machen, keine Fangfragen stellen! | ||
| + | |||
| + | === Formulierung des Stammes === | ||
| + | * Alle zur Beantwortung notwendigen Informationen müssen enthalten sein! | ||
| + | * Keine überflüssigen Informationen (es sei denn, es soll die Fähigkeit geprüft werden, diese auszufiltern)! | ||
| + | * Frage sollte beantwortbar sein, ohne die Antworten zu kennen! | ||
| + | * Bei Einfachwahl möglichst, bei Kprim-Typen immer positiv formulieren! | ||
| + | |||
| + | === Formulierung der Antworten === | ||
| + | * Auswahlantworten sollten inhaltlich homogen sein, d.h. in die gleiche Kategorie fallen! | ||
| + | * Für Distraktoren sollten klare Gründe bestehen (z.B. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten)! | ||
| + | * Distraktoren müssen nicht völlig falsch, die richtige Antwort aber die eindeutig Beste sein! | ||
| + | * Jede Antwort sollte möglichst kurz sein und nur eine Aussage enthalten! | ||
| + | * Sich überschneidende Antworten nur verwenden, wenn es das zugrunde liegende Problem erfordert! | ||
| + | * "Alle der obigen" oder "Sowohl B und C sind richtig" dürfen nicht verwendet werden! | ||
| + | * "Keine der obigen" nur in Ausnahmefällen verwenden! | ||
| + | |||
| + | === Hinweise für spezielle Aufgabentypen === | ||
| + | ==== Typ Aneg (Negative Einfachwahl) ==== | ||
| + | * Negation muss durch Fettdruck oder Unterstreichung hervorgehoben werden! | ||
| + | * Alle Antworten müssen positiv formuliert sein, um doppelte Negationen zu vermeiden (Daher ist auch "keine der genannten Anworten" hier unzulässig)! | ||
| + | |||
| + | ==== Typ B (Zuordnung) ==== | ||
| + | * Keine heterogenen Fragekombinationen, die gewisse Antworten bei bestimmten Fragen ausschließen! | ||
| + | * Kann eine Antwort einer Frage zugeordnet werden, sollte sie auch für die weiteren Fragen als Lösung/Distraktor in Frage kommen! | ||
| + | * Nicht mehr als 3 Fragen kombinieren, um inhaltliche Übergewichtung zu vermeiden! | ||
| + | |||
| + | ==== Typ R (Erweiterte Zuordnung) ==== | ||
| + | * Zuerst Antwortliste mit Themenbezug erstellen und erst dann Fälle/Fragen entwickeln! | ||
| + | * Antworten müssen inhaltlich homogen sein! | ||
| + | * Antworten möglichst alphabetisch oder logisch anordnen! | ||
| + | |||
| + | ==== Typ PickN (Wahl einer angegebenen Zahl bester Antworten) ==== | ||
| + | * Gleiche Hinweise wie bei Typ R! | ||
| + | * Verwenden bei Graustufenabwägung (von bester bis zu schlechtester Wahl)! | ||
| + | |||
| + | ==== Typ K'/Kprim (Vierfache Entscheidung richtig/falsch) ==== | ||
| + | * Formulierung des Stammes muss Anzahl richtiger Antworten offen lassen! | ||
| + | * Stamm muss positiv formuliert werden, Antworten ebenso! | ||
| + | * Jede Aussage muss eindeutig richtig oder falsch sein! | ||
| + | * Nie zwei Aussagen in einer Antwort unterbringen! | ||
| + | * Jede Antwort muss unabhängig von den anderen sein! | ||
| + | * Vage Begriffe (z.B. "gewöhnlich", "häufig", "oft" usw.) vermeiden! | ||
| + | * Anzahl richtiger und falscher Aussagen sollte ausgeglichen sein! | ||
| + | |||
| + | ==== Typ E (Kausale Verknüpfung) ==== | ||
| + | * Beide Aussagen müssen in sich geschlossen und getrennt voneinander beurteilbar sein! | ||
| + | * Bei zwei richtigen Aussagen muss Kausalität eindeutig richtig oder falsch sein! | ||
| + | * Unabhängig von der Richtigkeit soll Kausalität immer plausibel erscheinen! | ||
| + | * Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt! | ||
| + | |||
| + | == Qualitätssicherung == | ||
| + | * Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann? | ||
| + | * Lehrbücher zur Absicherung der fachlichen Richtigkeit und zum Finden guter Distraktoren verwenden. | ||
| + | * Anwendungsbezug überprüfen: stellt sich so eine Frage dem Prüfling in der Praxis überhaupt? | ||
| + | * Bei einer MV-Prüfung sollten Best-Antwort-Items zahlenmäßig am stärksten vertreten sein. | ||
== Literatur == | == Literatur == | ||
Version vom 6. Dezember 2010, 14:09 Uhr
Übersicht über das Vorgehen zur Erstellung von MC-Fragen.
Inhaltsverzeichnis
Voraussetzungen
- präzise Definition des relevanten Fachwissens, z.B. als Lernzielkatalog
- gewichtetes Verzeichnis des Prüfungsstoffes, z.B. als Blueprint
Prüfungsitems
- tragen zur Validität der Prüfung bei, wenn...
- ihr Thema relevant für künftige Anforderungen ist
- das Anspruchsniveau stimmt (Prüfen von Kennen, Verstehen oder Anwenden/Beurteilen)
- sie auf ein einzelnes Thema/Problem fokussieren und mit ihren Antworten ein thematisch geschlossenes Ganzes bilden
- es eine eindeutig beste Lösung gibt
- tragen zur Reliabilität der Prüfung bei, wenn sie...
- im Sinne der Prüfung differenzieren, d.h. Trennschärfe besitzen
- angemessen schwer sind
- sprachlich einfach und klar formuliert sind
- keine ungewollten Lösungshinweise (Cues) beinhalten
Itemthema
Themen ergeben sich vor allem aus Teilaspekten,
- mit denen man im Fachgebiet häufig konfrontiert ist
- wo Fehler gravierende Folgen haben können
- bei denen Fehlmeinungen verbreitet sind
- die für das Verständnis späterer Lerninhalte wichtig sind
Fragetypen
Beispiele für die verschiedenen Typen von Antwortwahlaufgaben sind u.a. in Appendix A von Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences (Download als PDF) zu finden.
| Typ | Name |
|---|---|
| A | Einfachauswahlaufgabe |
| B | Zuordnungsaufgabe |
| C | A/B/beide/keine-Aufgabe |
| D | komplexe Zuordnungsaufgabe |
| E | Verknüpfungsaufgabe |
| H | Vergleichsaufgabe |
| I | Abhängigkeitsaufgabe |
| K | komplexe Richtig/Falsch‐Aufgabe |
| K' | Kombinationsaufgabe |
| R | erweiterte Zuordnungsaufgabe |
| X | einfache Richtig/Falsch‐Aufgabe |
| Pick N | Mehrfachauswahlaufgabe |
Formulierungshinweise
- Langen Fragestamm und kurze Antworten verwenden!
- Einfache, klare Formulierungen in allgemein akzeptierter Sprache!
- Items nicht künstlich kompliziert machen, keine Fangfragen stellen!
Formulierung des Stammes
- Alle zur Beantwortung notwendigen Informationen müssen enthalten sein!
- Keine überflüssigen Informationen (es sei denn, es soll die Fähigkeit geprüft werden, diese auszufiltern)!
- Frage sollte beantwortbar sein, ohne die Antworten zu kennen!
- Bei Einfachwahl möglichst, bei Kprim-Typen immer positiv formulieren!
Formulierung der Antworten
- Auswahlantworten sollten inhaltlich homogen sein, d.h. in die gleiche Kategorie fallen!
- Für Distraktoren sollten klare Gründe bestehen (z.B. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten)!
- Distraktoren müssen nicht völlig falsch, die richtige Antwort aber die eindeutig Beste sein!
- Jede Antwort sollte möglichst kurz sein und nur eine Aussage enthalten!
- Sich überschneidende Antworten nur verwenden, wenn es das zugrunde liegende Problem erfordert!
- "Alle der obigen" oder "Sowohl B und C sind richtig" dürfen nicht verwendet werden!
- "Keine der obigen" nur in Ausnahmefällen verwenden!
Hinweise für spezielle Aufgabentypen
Typ Aneg (Negative Einfachwahl)
- Negation muss durch Fettdruck oder Unterstreichung hervorgehoben werden!
- Alle Antworten müssen positiv formuliert sein, um doppelte Negationen zu vermeiden (Daher ist auch "keine der genannten Anworten" hier unzulässig)!
Typ B (Zuordnung)
- Keine heterogenen Fragekombinationen, die gewisse Antworten bei bestimmten Fragen ausschließen!
- Kann eine Antwort einer Frage zugeordnet werden, sollte sie auch für die weiteren Fragen als Lösung/Distraktor in Frage kommen!
- Nicht mehr als 3 Fragen kombinieren, um inhaltliche Übergewichtung zu vermeiden!
Typ R (Erweiterte Zuordnung)
- Zuerst Antwortliste mit Themenbezug erstellen und erst dann Fälle/Fragen entwickeln!
- Antworten müssen inhaltlich homogen sein!
- Antworten möglichst alphabetisch oder logisch anordnen!
Typ PickN (Wahl einer angegebenen Zahl bester Antworten)
- Gleiche Hinweise wie bei Typ R!
- Verwenden bei Graustufenabwägung (von bester bis zu schlechtester Wahl)!
Typ K'/Kprim (Vierfache Entscheidung richtig/falsch)
- Formulierung des Stammes muss Anzahl richtiger Antworten offen lassen!
- Stamm muss positiv formuliert werden, Antworten ebenso!
- Jede Aussage muss eindeutig richtig oder falsch sein!
- Nie zwei Aussagen in einer Antwort unterbringen!
- Jede Antwort muss unabhängig von den anderen sein!
- Vage Begriffe (z.B. "gewöhnlich", "häufig", "oft" usw.) vermeiden!
- Anzahl richtiger und falscher Aussagen sollte ausgeglichen sein!
Typ E (Kausale Verknüpfung)
- Beide Aussagen müssen in sich geschlossen und getrennt voneinander beurteilbar sein!
- Bei zwei richtigen Aussagen muss Kausalität eindeutig richtig oder falsch sein!
- Unabhängig von der Richtigkeit soll Kausalität immer plausibel erscheinen!
- Vermeiden, dass nur Items auftreten, die komplett korrekt sind oder wo nur der erste Teil stimmt!
Qualitätssicherung
- Wie wichtig ist es, dass ein Prüfling dieses Problem selbständig lösen kann?
- Lehrbücher zur Absicherung der fachlichen Richtigkeit und zum Finden guter Distraktoren verwenden.
- Anwendungsbezug überprüfen: stellt sich so eine Frage dem Prüfling in der Praxis überhaupt?
- Bei einer MV-Prüfung sollten Best-Antwort-Items zahlenmäßig am stärksten vertreten sein.
Literatur
Folgende Literatur gibt Empfehlungen insbesondere für die Erstellung von MC-Prüfungsfragen.
- Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment, in: Applied Measurement in Education, 15(3), 2002, S. 309–334, Download als PDF
- Thomas M. Haladyna: Developing and Validating Multiple-Choice Test Items, 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
- Katrin Brauns, Sebastian Schubert: Qualitätssicherung von Multiple-Choice-Prüfungen, in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
- Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
- Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
- René Krebs: Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung, Bern, 2004, Download als PDF
- Michael C. Rodriguez: Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research, 2005, Download als PDF
