Aufgabentypen: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
(Erweiterung eines Systems um weitere Aufgabentypen)
 
(59 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Im Folgenden werden verschiedene Fragetypen mit zugehörigen Beispielen aufgelistet und ihre Besonderheiten beschrieben. Viele Prüfungstechnologien unterstützen i.d.R. die grundlegenden Fragetypen. Eine Gegenüberstellung verschiedener Open Source E-Prüfungssysteme mit den jeweils unterstützten Fragetypen findet sich z.B. [[Funktionsumfang ausgewählter E-Prüfungssysteme | hier]]. Die im Folgenden als ''geschlossenen Fragen'' beschriebenen Typen geben bereits mögliche Antworten vor, die vom Prüfling nur noch ausgewählt oder in eine passende Reihenfolge gebracht werden müssen (Wiedererkennens- und Selektionsleistung), während die ''offenen Fragen'' eine Reproduktionsleistung verlangen, da ein Prüfling zugehörige Antworten selbst erstellen muss. Als ''sonstige Fragen'' sind nachfolgend die Fragetypen eingeordnet, die über offene Fragen hinaus weitere multimediale Möglichkeiten nutzen.
+
== Unterscheidungskriterien ==
 +
[[Bild:Frageverwendung-ILIAS-2010.png|thumb|400px|Beispiel: Häufigkeit von E-Klausur-Fragen an der Uni Mainz]]
 +
Im Folgenden sind verschiedene Aufgabentypen mit Beispielen aufgelistet und ihre Besonderheiten beschrieben. Viele Prüfungstechnologien unterstützen zumindest grundlegende Fragetypen. Eine Gegenüberstellung der verschiedenen Systeme mit jeweils unterstützten Aufgabentypen findet sich im [[Funktionsumfang ausgewählter E-Prüfungssysteme]].  
  
== Geschlossene Fragen ==
+
Die nachfolgend als ''geschlossenen Fragen'' beschriebenen Typen geben Antworten vor, die vom Prüfling ausgewählt oder in eine passende Reihenfolge gebracht werden müssen (Wiedererkennens- und Selektionsleistung), während ''offene Fragen'' eine Reproduktionsleistung verlangen, da ein Prüfling zugehörige Antworten selbst erstellen muss. Als ''sonstige Fragen'' sind die Fragetypen eingeordnet, die über offene Fragen hinaus weitere multimediale Möglichkeiten nutzen. Eine Analyse verschiedener Frageformate und zugehöriger Lehrziele findet sich z.B. bei Stieler<ref>Jona Florian Stieler: ''Validität summativer Prüfungen - Überlegungen zur Gestaltung von Klausuren'', ISBN: 3-938076-36-4, Janus Presse, Bielefeld, 2011, [http://duepublico.uni-duisburg-essen.de/servlets/DerivateServlet/Derivate-25877/Validitaet_Gesamt.pdf Download als PDF]</ref>.
Geschlossene Fragen  geben verschiedene Antwortalternativen vor, die von einem Prüfling dann ausgewählt oder in eine korrekte Reihenfolge gebracht werden müssen. Der Prüfling erbringt auf diese Weise eine Wiedererkennens- und Selektionsleistung. Im Folgenden werden die Anordnungs und die Auswahlaufgabe unterschieden.
 
  
=== Anordnungsaufgabe  ===
+
Weil Multiple-Choice-Aufgaben korrekte Antworten vorgeben, sind sie vollständig automatisiert und damit effizient auswertbar. Trotz ihres anfänglich verstärkten Einsatzes, hat an der Universität Mainz, die seit 2004 benotete elektronische Klausuren durchführt, die Anzahl gestellter Lückentextfragen die Zahl der Multiple-Choice-Aufgaben inzwischen überholt, wie die nebenstehende Abbildung zeigt.
Bei der Anordnungsaufgabe werden eine Reihe verschiedener Elemente zur Verfügung gestellt, der ein Prüfling in eine bestimmte Reihenfolge bringen, sie einander zuzuordnen oder sie zueinander in Beziehung setzen soll. Das kann durch Drag&Drop-Verfahren gehen oder durch die Bereitstellung zugeordneter Auswahllisten und zugehörigen Positionsnummern. Je nachdem, wie die Elemente zugeordnet werden sollen, sind verschiedene Subtypen unterscheidbar.
 
 
 
==== Reihenfolge ====
 
Bei dieser Form der Anordnungsaufgabe müssen die bereitgestellten Elemente in eine geforderte Reihenfolge gebracht werden. Beispiele sind Schritte einer Methode, die der Reihne durchgeführt werden müssen, zeitliche Einordnung historischer Persönlichkeiten oder das Sortieren von Städten nach ihrer Einwohnerzahl.
 
  
==== Zuordnung ====
+
== Geschlossene Aufgaben ==
Handelt es sich hingegen um eine Zuordnungsaufgabe, stehen zwei Listen zur Verfügung, deren Elemente jeweils sinnhaft einander zuzuordnen sind. Beispiele für Zuordnungen sind Staatsoberhäupter zu Ländern, Eigenschaften zu Organen oder historische Fakten zu Jahreszahlen.
+
Geschlossene Aufgaben  geben verschiedene Antwortalternativen vor, die von einem Prüfling dann ausgewählt oder in eine korrekte Reihenfolge gebracht werden müssen. Der Prüfling erbringt auf diese Weise eine Wiedererkennens- und Selektionsleistung. Im Folgenden werden die Anordnungs und die Auswahlaufgabe unterschieden sowie das Key-Feature-Problem erläutert. Case und Swanson<ref>Susan M. Case, David B. Swanson: ''Constructing Written Test Questions For the Basic and Clinical Sciences'', 3. Auflage, National Board of Medical Examiners, 1998, [http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf Download als PDF]</ref> beschreiben in Appendix A ihres Artikels verschiedene Typen von Antwortwahlaufgaben, eine Übersicht folgt.
 
 
==== Beziehung ====
 
 
 
 
 
 
 
=== Auswahlaufgabe ===
 
Bei diesem Aufgabentyp werden zu einer Frage verschiedene Antworten vorgegeben. Der Prüfling hat die Aufgabe, die jeweils richtigen Antwortalternativen zu identifizieren und zu markieren. Entsprechende Alternativen können auch in Form von Abbildungen oder Formeln dargestellt werden. Falsche Antwortalternativen (Distraktoren) müssen jedoch plausibel sein, damit der Prüfling nicht durch bloßes Ausschließen unsinniger Möglichkeiten die richtige Antwort herleiten kann. Je mehr Antwortmöglichkeiten angeboten werden, umso geringer ist die Wahrscheinlichkeit für eine zufällig richtig ausgewählte Lösung.
 
 
 
Aufgrund eines Urteils vom OVG Nordrhein-Westfalen (Az. 14 A 2154/08) ist das Abziehen von Punkten für falsche Antworten nicht erlaubt bzw. rechtlich problematisch. Daher sollte man themenverwandte Bereiche zu einer Gesamtaufgabe zusammenziehen und diese als Einheit bewerten.
 
 
 
==== Einfachauswahlaufgabe (Single Choice, Forced Choice) ====
 
Ist nur eine der vorgegebenen Antwortalternativen korrekt, spricht man von einer ''Einfachauswahlaufgabe'', auch ''Single Choice'' oder ''Forced Choice Aufgabe'' genannt. Im Spezialfall der ''True/False-Aufgabe'' stehen nur zwei Antwortmöglichkeiten zur Verfügung, nämlich "wahr" und "falsch". Hierbei muss der Prüfling entscheiden, ob eine vorab getätigte Aussage korrekt ist oder nicht. Problem dabei ist, dass aufgrund von nur zwei Antwortmöglichkeiten das zufällige Treffen/Raten der korrekten Lösung mit 50% Wahrscheinlichkeit sehr hoch ist. Daher sollten True/False-Aufgaben mit weiteren Aufgaben eines anderen Typs kombiniert werden.
 
 
 
==== Likert-Skala ====
 
Eine Spezialisierung der Einfachauswahl ist die Likert-Skala, bei der eine bestimmte Reichweite vorgegeben wird (z.B. von 1=trifft voll zu bis 5=trifft überhaupt nicht zu), in der ein Prüfling einen bestimmten Sachverhalt einordnen soll. Entsprechende Fragetypen werden z.B. gerne in Evaluationen verwendet.
 
 
 
==== Mehrfachauswahlaufgabe (Multiple Choice) ====
 
Bei einer Mehrfachauswahlaufgabe oder Multiple Choice Aufgabe stehen mehrere markierbare Antwortalternativen zur Verfügung. Die Auswahlmöglichkeiten des Prüflings reichen hierbei von 0 (keine Antwort ist richtig) bis n (alle Aussagen sind korrekt).
 
 
 
"Bis auf kreative Leistungen lassen sich fast alle Lehrziele, auch solche auf einem hohen Lehrzielniveau (Verständnis, Anwendung), erfassen. Die besten psychologischen Tests (z.B. Intelligenztest) basieren fast ausschließlich auf dem Aufgabentyp Multiple-Choice. Neben seinen vielfältigen Einsatzmöglichkeiten besticht die MC-Aufgabe durch ihre hohe Auswertungsobjektivität, womit sich dieser Aufgabentyp hervorragend für die maschinelle Auswertung eignet. [..] Die adäquate Konstruktion von MC-Aufgaben erfordert viel Zeit. Sie setzt zudem jede Menge Erfahrung in dem betreffenden Sachgebiet und der angemessenen Formulierung der Aufgaben voraus."<ref>Bernhard Jacobs: [http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/mcguideline.html  einfachen Multiple-Choice-Aufgaben nach Gronlund]. Abgerufen am 21.03.2010.</ref>
 
 
 
Ziel der MC-Aufgaben ist es, dass wissende Studierende (im Sinne eines Könners) das mit der Aufgabe zu messende Lernziel beherrscht. während jemand, der dieses Ziel nicht beherrscht, diese Aufgabe falsch lösen soll.
 
 
 
Der Aufgabenstamm kann dabei als Frage formuliert werden oder als unvollständiger Satz, der durch die nachfolgend angegebenen Möglichkeiten vervollständigt werden kann. Gehen bestimmte Informationen voran, zu denen mehrere Fragen gestellt werden, handelt es sich um sog. interpretative exercises, mit deren Hilfe Aufgaben zu Lernzielen wie Anwenden, Analyse und Interpretation erstellt werden können. Einer entsprechenden Frage folgt eine Auswahl korrekter Antworten und fehlerhaften Alternativen (Distraktoren). Sie unterscheiden sich dadurch, dass zutreffende Antworten wahr (und damit alle Distraktoren falsch) sind (true answer form) oder die zutreffende Antwort die beste Auswahl unter allen Alternativen ist (best answer form).
 
 
 
Bei 4 Antwortoptionen liegt die Wahrscheinlichkeit, die richtige Antwort zu treffen, bei 25%. Da Studierende aber nicht nur als Zufallsgeneratoren funktionieren, sondern gewisses Wissen mitbringen, hängt die Qualität einer MC-Aufgabe insbesondere von der Wahl guter Distraktoren ab.
 
 
 
Hinweise für die Konstruktion von MC-Aufgaben:
 
* Gestalte jede Aufgabe so, daß ein wichtiges Lehrziel gemessen wird!
 
* Präsentiere im Aufgabenstamm ein einziges klar formuliertes Problem!
 
* Formuliere den Aufgabenstamm in einer einfachen und klaren Sprache!
 
* Packe so viele Wörter wie möglich in den Aufgabenstamm, wenn dadurch Wörter in den Antwortoptionen eingespart werden können!
 
* Formuliere den Aufgabenstamm positiv!
 
* Wenn eine negative Formulierung des Aufgabenstamms unvermeidlich ist, dann stelle die Negation unübersehbar heraus!
 
* Sorge dafür, dass die als korrekt bezeichnete Antwort auch tatsächlich die korrekte Antwort ist!
 
 
 
Vermieden werden sollten:
 
* Ähnlichkeiten von Wörtern im Aufgabenstamm und der korrekten Lösung
 
* Formulierung der korrekten Antwort "aus dem Lehrbuch" oder in stereotyper Phraseologie
 
* Umfangreichere Ausformulierung der korrekten Antwort.
 
* Absolute Begriffe wie "immer, niemals, alle, kein, nur" in den Distraktoren
 
* Die Beziehung der Antwortoptionen untereinander
 
 
 
Ratschläge für Distraktoren:
 
* Formuliere die Alternativen in der Sprache des Studenten
 
* Verwende gut klingende Worte (genau, wichtig, bedeutsam) in Distraktoren und korrekter Antwort.
 
* Distraktoren und korrekte Antwort sollten sich nicht in Komplexität und Satzlänge unterscheiden. Die Textlänge einer Alternative sollte keine Prognose auf ihre Richtigkeit zulassen.
 
* Verwende äußere Hinweise in den Distraktoren (z.B. ähnliche Worte wie im Aufgabenstamm, wissenschaftlich beeindruckende Aussagen, wohlklingende Passagen aus dem Lehrbuch usw.)
 
 
 
Beispiel:
 
<quiz>
 
{ Markieren Sie alle Kanzler der Bundesrepublik Deutschland (bis zum 3.2.1997)! }
 
- Stresemann
 
- Heus
 
+ Adenauer
 
+ Erhard
 
- Carstens
 
+ Kiesinger
 
- Barzel
 
- Gerstenmaier
 
+ Brandt
 
+ Schmidt
 
+ Kohl
 
- Lafontaine
 
</quiz>
 
 
 
==== Hot Spot Aufgabe ====
 
Eine Spezialisierung der Mehrfachauswahlaufgabe ist die ''Hot Spot Aufgabe''. Hierbei geht es darum, gesuchte Bereiche (die sogenannten Hot Spots) auf einer vorgegebenen Abbildung zu markieren. Beispiele hierfür kommen aus der Medizin, wo auf diese Weise z.B. auffällige Strukturen auf Röntgenbilden identifiziert und gekennzeichnet werden können.
 
 
 
==== Key Feature ====
 
Key Features sind kritische Entscheidungen, die getroffen werden müssen, um z.B. ein klinisches Problem zu lösen. Ihr Schwerpunkt liegt dort, wo Prüflinge am wahrscheinlichsten Fehler machen. Sie fokussieren insbesondere auf Schwierigkeiten beim Erkennen und dem Umgang mit einem speziellen Problem aus der Praxis. Key Features beschreiben dazu knapp eine entsprechende Situation, der sich 3-5 Fragen anschließen. Nach <ref>Veronika Kopp, Andreas Möltner, Martin R. Fischer: ''Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden'', in: GMS Zeitschrift für Medizinische Ausbildung, ISSN 1860-3572, 23(3), 2006, [http://www.medizinische-fakultaet-hd.uni-heidelberg.de/fileadmin/kompzent/Kopp_Moeltner_KF.pdf Artikel als PDF ] (Abgerufen am 23.11.2010)</ref> kann man mit ihrer Hilfe prozedurales Wissen prüfen, das in der Wissenspyramide nach Miller einen Schritt über dem deskriptiven Wissen liegt.
 
 
 
==== Typen von Antwortwahlaufgaben ====
 
Beispiele für die verschiedenen Typen von Antwortwahlaufgaben sind u.a. in Appendix A von Susan M. Case, David B. Swanson: ''Constructing Written Test Questions For the Basic and Clinical Sciences'' ([http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf Download als PDF]) zu finden.
 
  
 
{| class="wikitable"
 
{| class="wikitable"
Zeile 116: Zeile 39:
 
|}
 
|}
  
== Offene Fragen ==
+
=== Anordnungsaufgabe  ===
Offene Fragen verlangen vom Prüfling eine Reproduktionsleistung, bei der er sich i.d.R. nicht an vorgegebenen Antwortalternativen orientieren kann.
+
[[Bild:Anzuordaufgaben.png|thumb|400px|Beispiele für Anordnungsaufgaben]]
 +
Bei der Anordnungsaufgabe werden eine Reihe verschiedener Elemente zur Verfügung gestellt, der ein Prüfling in eine bestimmte Reihenfolge bringen, sie einander zuzuordnen oder sie zueinander in Beziehung setzen soll. Das kann durch Drag&Drop-Verfahren gehen oder durch die Bereitstellung zugeordneter Auswahllisten und zugehörigen Positionsnummern. Je nachdem, wie die Elemente zugeordnet werden sollen, sind verschiedene Subtypen unterscheidbar.
 +
* '''Anordnung/Reihenfolge''': Bei dieser Form müssen die bereitgestellten Elemente in eine geforderte Anordnung oder Reihenfolge gebracht werden. Beispiele sind Schritte einer Methode, die der Reihe durchgeführt werden müssen, eine zeitliche Einordnung historischer Persönlichkeiten, das Sortieren von Städten nach ihrer Einwohnerzahl oder die Anordnung vorgegebener Organe an die passenden Positionen im menschlichen Körper.
 +
* '''Zuordnung/Beziehung''': Handelt es sich hingegen um eine Zuordnungsaufgabe, stehen zwei Listen zur Verfügung, deren Elemente jeweils sinnhaft einander zuzuordnen sind. Beispiele für Zuordnungen sind Staatsoberhäupter zu Ländern, Eigenschaften zu Organen oder historische Fakten zu Jahreszahlen.
 +
 
 +
=== Auswahlaufgabe ===
 +
[[Bild:Auswahlaufgaben.png|thumb|400px|Beispiele verschiedener Auswahlaufgaben]]
 +
Bei diesem Aufgabentyp werden zu einer Frage verschiedene Antworten vorgegeben. Der Prüfling hat die Aufgabe, die jeweils richtigen Antwortalternativen zu identifizieren und zu markieren. Entsprechende Alternativen können auch in Form von Abbildungen oder Formeln dargestellt werden. Falsche Antwortalternativen (Distraktoren) müssen jedoch plausibel sein, damit der Prüfling nicht durch bloßes Ausschließen unsinniger Möglichkeiten die richtige Antwort herleiten kann. Je mehr Antwortmöglichkeiten angeboten werden, umso geringer ist die Wahrscheinlichkeit für eine zufällig richtig ausgewählte Lösung.
 +
 
 +
* '''Einfachauswahlaufgabe (Single Choice, Forced Choice)''': Ist nur eine der vorgegebenen Antwortalternativen korrekt, spricht man von einer ''Einfachauswahlaufgabe'', auch ''Single Choice'' oder ''Forced Choice Aufgabe'' genannt. Im Spezialfall der ''True/False-Aufgabe'' stehen nur zwei Antwortmöglichkeiten zur Verfügung, nämlich "wahr" und "falsch". Hierbei muss der Prüfling entscheiden, ob eine vorab getätigte Aussage korrekt ist oder nicht. Problem dabei ist, dass aufgrund von nur zwei Antwortmöglichkeiten das zufällige Treffen/Raten der korrekten Lösung mit 50% Wahrscheinlichkeit sehr hoch ist. Daher sollten True/False-Aufgaben mit weiteren Aufgaben eines anderen Typs kombiniert werden.
  
=== Freitext-Frage ===
+
* '''Likert-Skala''': Eine Spezialisierung der Einfachauswahl ist die Likert-Skala, bei der eine bestimmte Reichweite vorgegeben wird, in der ein Prüfling einen bestimmten Sachverhalt einordnen soll (z.B. von 1="trifft voll" zu bis 7="trifft überhaupt nicht zu"). Dieser Typ wird z.B. gerne für [[Elektronische Lehrevaluation|Evaluationen]] eingesetzt.
Freitext-Fragen bieten einen offenen Eingabebereich für textbasierte Antworten an. Sie sind "vornehmlich angebracht, um die eigenständige Strukturierung, Organisation, Integration und Bewertung des Wissens sowie das Finden und Darstellen kreativer Ideen anzuregen bzw. zu überprüfen."
+
 
 +
* '''Mehrfachauswahlaufgabe (Multiple Choice)''': Bei einer Mehrfachauswahlaufgabe oder Multiple Choice Aufgabe stehen mehrere markierbare Antwortalternativen zur Verfügung. Die Auswahlmöglichkeiten des Prüflings reichen hierbei von 0 (keine Antwort ist richtig) bis n (alle Aussagen sind korrekt). Nur jene Prüflinge, die zugeordnete Lernziele erreicht haben, sollen eine solche Aufgabe richtig beantworten. Laut Jacobs<ref>Bernhard Jacobs: [http://psydok.sulb.uni-saarland.de/volltexte/2005/516/html/mcguideline.html]. Abgerufen am 25.09.2012.</ref> können MC-Aufgaben fast alle Lernziele erfassen, auch auf höherem Niveau (Verständnis, Anwendung). Der Aufgabenstamm kann dabei als Frage formuliert werden oder als unvollständiger Satz, der durch nachfolgende Möglichkeiten vervollständigt wird. Bei den sog. "interpretative exercises" gehen bestimmte Informationen voran, zu denen in Folge mehrere Fragen gestellt werden. Einer solchen Frage folgt dann eine Auswahl korrekter Antworten und Distraktoren. Dabei ist die zutreffende Antwort entweder wahr und alle Distraktoren falsch (true answer form) oder die beste Auswahl unter den Alternativen (best answer form). Der in <ref>David Foster, Harold L. Miller: ''A new format for multiple-choice testing: Discrete-Option Multiple-Choice.
 +
Results from early studies'', in ''Psychology Science Quarterly'', Volume 51, 2009 (4), S. 355-369, [http://www.psychologie-aktuell.com/fileadmin/download/PschologyScience/4-2009/psq_4_2009_355-369.pdf Download als PDF]</ref> und <ref>David Foster: ''Compelling Test Design Technology: Discrete Option Multiple Choice'', White Paper, 2014, [http://www.caveon.com/blog2/wp-content/uploads/2014/04/DOMC-White-Paper-final.pdf Artikel als PDF]</ref> beschriebene Typ "Discrete Option Multiple Choice" fragt die Antwortmöglichkeiten der Reihe nach ab, so dass nie die gesamte Liste zu sehen ist.
 +
 
 +
* '''Hot-Spot-Aufgabe''': Spezialisierung der Mehrfachauswahlaufgabe ist die ''Hot-Spot-'' oder ''Image-Map-Aufgabe''. Prüflinge müssen bestimmte Bereiche (sog. Hot-Spots) auf einer gegebenen Abbildung (der Image-Map) markieren. Medizinische E-Prüfungen nutzen dieses Verfahren z.B. für Aufgaben rund um Röntgenbilder. Prüflinge sollen darauf erkrankte Regionen erkennen und hervorheben. Da dies ihrer typischen Tätigkeit entspricht, ist hierbei große Praxisnähe gegeben. Die Qualität der Darstellung ist durch Beteiligung elektronischer Medien häufig besser als auf gedruckten oder kopierten Aufgabenblättern. Zudem haben Prüflinge die Möglichkeit, durch "Heranzoomen" kritische Stellen genauer zu betrachten.
 +
 
 +
Bei 4 Antwortoptionen liegt die Wahrscheinlichkeit, eine richtige Antwort zu treffen, bei 25%. Da Studierende aber nicht nur als Zufallsgeneratoren funktionieren, sondern gewisses Vorwissen mitbringen, hängt die Qualität einer Auswahlaufgabe insbesondere von der Wahl guter Distraktoren ab.
 +
 
 +
Aufgrund eines Urteils vom OVG Nordrhein-Westfalen (Az. 14 A 2154/08) ist das Abziehen von Punkten für falsche Antworten nicht erlaubt bzw. rechtlich problematisch. Daher sollte man themenverwandte Bereiche zu einer Gesamtaufgabe zusammenziehen und diese als Einheit bewerten.
 +
 
 +
=== Key-Feature-Aufgaben ===
 +
Die vorab beschriebenen Auswahlaufgaben helfen dabei, das Vorhandensein insbesondere deklarativen Wissens zu überprüfen, was laut Miller<ref>George E. Miller: ''The Assessment of Clinical Skills/Competence/Performance'', in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, [http://journals.lww.com/academicmedicine/Abstract/1990/09000/The_assessment_of_clinical.45.aspx Download als PDF]</ref> einer unteren [[Elektronische Prüfung#Elektronische Leistungsmessung nach Professionalisierungsgrad|Ebene der Professionalisierung]] entspricht. Um darüber hinaus auch prozedurales Wissen und damit eine situationsbezogene Anwendung des grundlegenden Wissens erfassen zu können, sind komplexere Verfahren notwendig. Kopp, Möltner und Fischer<ref name="kopp">Veronika Kopp, Andreas Möltner, Martin R. Fischer: ''Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden'', in: GMS Zeitschrift für Medizinische Ausbildung, ISSN 1860-3572, 23(3), 2006, [http://www.medizinische-fakultaet-hd.uni-heidelberg.de/fileadmin/kompzent/Kopp_Moeltner_KF.pdf Artikel als PDF] (Abgerufen am 23.11.2010)</ref> schlagen dazu ''Key-Feature-Aufgaben'' vor, welche die Entscheidungskompetenz der Prüflinge testen sollen. Die sog. ''Key-Features'' sind dabei kritische Entscheidungen, die getroffen werden müssen, um z.B. ein klinisches Problem zu lösen. Sie fokussieren dazu auf Schwierigkeiten, die häufig in der Praxis anzutreffen sind und legen ihren Schwerpunkt auf das Erkennen und den Umgang mit solchen Problemen. In ihrem Zentrum steht der Moment, an dem Prüflinge am wahrscheinlichsten Fehler machen. Entsprechend versuchen z.B. Mediziner, beim Erstellen zugehöriger Aufgaben ihre klinische Probleme auf solche kritischen Schritte zu reduzieren.
 +
 
 +
Key-Feature-Aufgaben bestehen aus der knappen Darstellung einer klinischen Situation (Stamm), gefolgt von 3-5 Fragen. Weil die Fragen stufenförmig aufeinander aufbauen, ist ein Zurückblättern zu den bereits gegebenen Antworten nicht mehr möglich. Auf diese Weise können korrekte Antworten in folgenden Fragen weiter verarbeitet werden, ohne dass diese Informationen die bereits gegebenen Antworten beeinflussen. Zur Entwicklung von Key-Feature-Aufgaben empfehlen <ref name="kopp" /> folgende Vorgehensweise:
 +
 
 +
# Definition eines Kontextes
 +
# Wahl der klinischen Situation
 +
# Identifikation der Key-Features des klinischen Problems
 +
# Schreiben des klinischen Szenarios (Fallvignette)
 +
# Schreiben der einzelnen Key-Feature-Fragen
 +
# Auswahl des Antwortformates
 +
# Bewertungsverfahren
 +
# Inhaltsvalidierung
 +
 
 +
Schaper et al. beschreiben in <ref>Elisabeth Schaper, Martin R. Fischer, Andrea Tipold, Jan P. Ehlers: ''Fallbasiertes, elektronisches Lernen und Prüfen in der Tiermedizin - auf der Suche nach einer realisierbaren Alternative zu Multiple-Choice-Prüfungen'', in: Tierärztliche Umschau 66, S. 261-268, 2011</ref> und <ref>Elisabeth Schaper, Andrea Tipold, Jan P. Ehlers: ''Use of key feature questions in summative assessment of veterinary medicine students'', in: ''Irish Veterinary Journal'', 66 (3), 2013, [http://www.irishvetjournal.org/content/66/1/3 Artikel im Volltext]</ref> für das Einsatzgebiet Tiermedizin, wie sie summative MC-Assessments um Key-Feature-Aufgaben ergänzt haben.
 +
 
 +
== Offene Aufgaben ==
 +
Offene Aufgaben verlangen vom Prüfling eine Reproduktionsleistung, bei der er sich i.d.R. nicht an vorgegebenen Antwortalternativen orientieren kann.
 +
 
 +
=== Freitextaufgabe ===
 +
Freitext-Aufgaben bieten einen offenen Eingabebereich für textbasierte Antworten an. Sie sind "vornehmlich angebracht, um die eigenständige Strukturierung, Organisation, Integration und Bewertung des Wissens sowie das Finden und Darstellen kreativer Ideen anzuregen bzw. zu überprüfen."
 
<ref>Bernhard Jacobs: [http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/essayguide.htm Ratschläge zur Konstruktion von Essay-Test-Aufgaben]. Abgerufen am 20.03.2010.</ref> Sie können das Lernen fördern, da sie ein tieferes Verständnis für die Auseinandersetzung mit komplexen Themen verlangen. Je offener die zugehörige Frage formuliert wurde, umso schwieriger gestaltet sich die Auswertung der gegebenen Antworten. Eine maschinelle Auswertung ist z.B. nur im Sinne eines Schlagwortabgleichs möglich, aber nicht zwingend sinnvoll.
 
<ref>Bernhard Jacobs: [http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/essayguide.htm Ratschläge zur Konstruktion von Essay-Test-Aufgaben]. Abgerufen am 20.03.2010.</ref> Sie können das Lernen fördern, da sie ein tieferes Verständnis für die Auseinandersetzung mit komplexen Themen verlangen. Je offener die zugehörige Frage formuliert wurde, umso schwieriger gestaltet sich die Auswertung der gegebenen Antworten. Eine maschinelle Auswertung ist z.B. nur im Sinne eines Schlagwortabgleichs möglich, aber nicht zwingend sinnvoll.
  
=== Lückentext-Frage ===
+
=== Lückentextaufgabe ===
Die Lückentext-Frage (auch Short-Answer-Aufgabe genannt) ermöglicht eine freie Bearbeitung mit kurzen, prägnanten Antworten. Dabei handelt es sich i.d.R. um ein Wort oder eine Zahl. Ein wesentlicher Vorteil ist, dass ein Raten möglicher Antwortalternativen (wie z.B. bei MC-Fragen möglich) entfällt. Nachteil hingegen ist, dass sich eine fehlerhafte Schreibweise negativ auf eine automatisierte Bewertung auswirken kann.
+
[[Datei:CTestDeutschUniMS.png|thumb|350px|Beispiel eines Lückentexts]]
<ref>Bernhard Jacobs: [http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/shortguide.htm Ratschläge zur Konstruktion von Short-Answer-Aufgaben]. Abgerufen am 19.03.2010.</ref> Hier kann man z.B. eine bestimmte Levensthein-Distanz als Toleranzangabe vorgeben, um korrekte Antworten trotz Flüchtigkeits- oder Rechtschreibfehler zu erkennen. Bei numerischen Aufgaben kann eine solche Fehlertoleranz in Form eines Wertebereichs eingestellt werden - immer natürlich unter der Bedingung, dass die zugrunde liegende Technologie entsprechende Maßnahmen zulässt. Lückentexte bestehen aus mehreren Short-Answer-Aufgaben. Beispiele für ihren Einsatz finden sich z.B. [http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/multishortanswer.html hier]. Ein weiterer Einsatzbereich sind C-Tests, wie sie zur Einschätzung der Sprachfähigkeit in Sprachenzentren gerne eingesetzt werden.
+
Die Lückentextaufgabe (auch Short-Answer-Aufgabe genannt) ermöglicht die freie Bearbeitung einer Aufgabenstellung mit einer kurzen, prägnanten Antwort. Dabei handelt es sich um ein Wort oder eine Zahl. Wesentlicher Vorteil ist, dass ein Raten von Antwortalternativen (wie es z.B. bei MC-Aufgaben möglich ist) entfällt. Nachteil hingegen ist, dass sich eine fehlerhafte Schreibweise negativ auf die automatisierte Bewertung auswirken kann. Manche Systeme gestatten daher die Angabe einer gewissen Toleranz, um korrekte Antworten trotz Flüchtigkeits- oder Rechtschreibfehlern erkennen zu können.  
 +
 
 +
Die sog. [http://de.wikipedia.org/wiki/Levenshtein-Distanz Levenshtein-Distanz] gibt z.B. die Zahl an Einfüge-, Lösch- und Ersetz-Operationen an, um eine eingegebene Zeichenkette in eine Vorgegebene zu überführen. Bei numerischen Aufgaben kann eine Fehlertoleranz in Form eines Wertebereichs eingestellt werden -- immer natürlich unter der Bedingung, dass die zugrunde liegende Technologie dies unterstützt.  
 +
 
 +
Lückentexte bestehen aus mehreren solcher Short-Answer-Aufgaben. Beispiele für ihren Einsatz finden sich z.B. [http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/multishortanswer.html hier]. Sie werden gerne von Sprachzentren für [[Einstufungstests|C-Tests zur Einstufung]] verwendet, um die Sprachfähigkeit von Prüflingen einzuschätzen. Weil sie korrekte Antworten vorgeben, sind sie wie geschlossene Aufgaben i.d.R. vollständig automatisiert und damit effizient auswertbar. <ref>Bernhard Jacobs: [http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/shortguide.htm Ratschläge zur Konstruktion von Short-Answer-Aufgaben]. Abgerufen am 19.03.2010.</ref>
  
Um Flüchtigkeits- oder Rechtschreibfehlern vorzubeugen, unterstützen einige Systeme die Angabe der [http://de.wikipedia.org/wiki/Levenshtein-Distanz Levenshtein-Distanz]. Diese gibt die Zahl an Einfüge-, Lösch- und Ersetz-Operationen an, um die eingegebene Zeichenkette in die Vorgegebene zu überführen.
+
=== Numerische Aufgabe ===
 +
[[Datei:Numerischeaufgabe.png|thumb|300px|Beispiel einer numerischen Aufgabe]]
 +
Numerische Aufgaben beziehen sich auf die Eingabe von Zahlenwerten. Dazu beinhaltet die Aufgabenstellung zumeist verschiedene Grundwerte, aus denen Prüflinge dann ihr Ergebnis errechnen sollen. Zu berücksichtigen sind dabei:
  
=== Numerische Frage ===
+
* '''Zielbereich''': Viele Technologien gestatten die Angabe eines Zielbereichs, in dem die Eingaben der Prüflinge liegen müssen, damit die Aufgabe als korrekt gelöst gilt. Dies erleichtert die Auswertung und berücksichtigt etwaige Rundungsfehler.
==== Zielbereich ====
 
==== Formel ====
 
==== Zufallswerte ====
 
  
=== Text-Teilmenge/Text-Box ===
+
* '''Formel''': Wurde eine entsprechende mathematische Formel zur Berechnung des Ergebnisses hinterlegt, kann das auswertende System das korrekte Ergebnis in Echtzeit ermitteln und mit der Eingabe des Prüflings vergleichen.
Begrenzte Zahl an Lösungswörtern aus größerer Zahl richtiger Antworten ermitteln.
 
  
== Sonstige Fragen ==
+
* '''Zufallswerte''': In manchen Fällen (z.B. für gemeinsames Lernen oder Erschweren von Täuschungsversuchen) soll jeder Prüfling eine individuelle Aufgabe erhalten. Besonders in den mathematisch-naturwissenschaftlichen Fächern bietet sich an, die Grundwerte einer solchen Aufgabe per Zufall bestimmen zu lassen. Ist zudem eine entsprechende Berechnungsformel hinterlegt, kann das System die Korrektheit einer Lösung autonom überprüfen.
  
=== ImageMap-Frage ===
+
=== Textteilmengenaufgabe/Text-Box-Aufgabe ===
 +
[[Datei:Textteilmenge.png|thumb|200px|Textteilmengen-Beispiel]]
 +
Bei der Textteilmengenaufgabe handelt es sich um eine Spezialisierung der Lückentextaufgabe. Prüflinge geben eine geforderte Zahl von Begriffen ein, die mit einer größeren Menge korrekter Vorgaben abgeglichen werden. Vorteil gegenüber der Lückentextaufgabe ist, dass Prüflinge durch Mehrfachangabe einer einzelnen Antwort keine weiteren Punkte erhalten.
  
=== Java-Applet-Frage ===
+
Eine weitere Spezialisierung des Lückentexts ist die Text-Box-Aufgabe. Hier finden sich statt Freitextlücken Drop-Down-Boxen mit einer größeren Auswahl an Begriffen. Prüflinge müssen den korrekten Begriff auswählen und damit die Lücke schließen. Dieser Aufgabentyp ist also eine Kombination aus Lückentextaufgabe und der weiter oben beschriebenen Single-Choice-Aufgabe, nur dass hierbei eine große Zahl an Auswahlalternativen (Stichwort Wörterbuch) existiert.
  
=== Datei-Upload ===
+
== Sonstige Aufgaben ==
 +
Über die beschriebenen Typen von Aufgaben hinaus gibt es weitere Möglichkeiten, um die multimedialen Mehrwerte elektronischer Verfahren zu nutzen und in einer Prüfung z.B. größere Praxisnähe herzustellen. Nachfolgend sind einige zu dem Zweck eingesetzte Aufgabentypen exemplarisch aufgeführt.
  
=== Mündliche Antwort ===
+
=== Java-Applet-Aufgabe/Flash-Aufgabe ===
Aufnahme über Mikrofon
+
Bei diesem Typ handelt es sich um eine generische Schnittstelle für Java- oder Flash-Anwendungen. Diese können beliebige Inhalte haben und fungieren wie eine E-Prüfung innerhalb einer E-Prüfung. Über die Schnittstelle liefert die Anwendung nach Eingabe zurück, ob die Aufgabe korrekt gelöst wurde. Weil diese Form frei in Gestaltung und Programmierung ist, schafft sie Eingabemöglichkeiten, die von anderen Aufgabentypen bisher nicht vorgesehen sind. So ist z.B. ein Koordinatensystem darstellbar, in dem ein Prüfling geometrische Konstrukte anordnen oder Funktionen einzeichnen kann.
  
 +
=== Datei-Upload ===
 +
Der Aufgabentyp Datei-Upload erlaubt die Einreichung klassischer Ausarbeitungen wie Haus- oder Seminararbeiten, insofern diese in elektronischem Format (z.B. als PDF) vorliegen. Obwohl eine manuelle Begutachtung der Inhalte notwendig ist, können Prüfungstechnologien dabei helfen sicherzustellen, dass Beiträge fristgerecht eingereicht wurden.
  
== Auswahl des Aufgabentyps ==
+
Handelt es sich bei den hochgeladenen Dateien allerdings um Quellcodes von Programmen, wie sie z.B. bei Programmierkursen anfallen, kann das Prüfungssystem eine Begutachtung unterstützen. In diesem Fall sind  z.B. Untersuchung auf syntaktische Korrektheit, Analyse der Programmstruktur (wurden Kommentare oder bestimmte Schleifentypen verwendet) oder ein Abgleich erwarteter Ausgabewerte bei vorgegebenen bzw. zufälligen Eingabewerten automatisiert vorstellbar.
  
Hilfe bei der Zuordnung von Aufgabentypen zu Lernzielen gibt das [http://wiki.uni-giessen.de/eklausur/index.php/Aufgabentypen E-Klausur-Wiki der Uni Gießen], aus dem die folgende Tabelle stammt:
+
=== Mündliche Antwort ===
[[Datei:FragetypenLernziele.png|Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System]]
+
Sieht ein Prüfungssystem eine mündliche Antwort bei einer Aufgabe vor, müssen die Prüflinge ihre Antworten mit dem Mikrofon aufzeichnen. Zu dem Zweck stellt ihnen das System eine entsprechende Schaltfläche bereit. Wie bei einer mündlichen Prüfung üblich spricht der Prüfling seine Antwort in einem vorab festgelegten Zeitraum ins Mikrofon. Da automatisierte Auswertung bislang nicht möglich ist, müssen Prüfende im Nachhinein sämtliche Aufzeichnungen anhören. Gegenüber schriftlicher Antworten bietet das aber die Möglichkeit, neben inhaltlichen und Verständnis-Aspekten auch auf korrekte Aussprache, Betonung oder Sprachgefühl zu achten. Entsprechend liegt der Hauptanwendungsbereich dieses Aufgabentyps bei Sprachzentren.
  
Weitere Informationen zu Kompetenzerfassung, u.a. mit einer Gegenüberstellung verschiedener Antwortformate für Kompetenztests, ist z.B. bei <ref>Johannes Hartig, Eckhard Klieme: ''Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik'', Expertise im Auftrag des BMBF, Bildungsforschung Band 20, Bonn/Berlin, 2007, [http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf Download als PDF], Abgerufen am 21.06.2010</ref> zu finden.
+
=== Erweiterung eines Systems um weitere Aufgabentypen ===
 +
Viele E-Assessment-Systeme erlauben mittlerweile eine Erweiterung der angebotenen Aufgabentypen per Plugin. Es folgt eine Übersicht über die aktuell (23.11.2015) angebotenen Plugins für das LMS Moodle sowie das LMS Ilias.
  
== Häufigkeit ==
+
==== Moodle-Plugins ([https://moodle.org/plugins/browse.php?list=category&id=29 Quelle]) ====
Obwohl der Trend zunächst zur Verwendung von Multiple-Choice-Fragen zur Überprüfung von Faktenwissen ging, da diese aufgrund vorgegebener Antworten eine vollständig automatisierbare und damit effiziente Auswertung zuließen, hat an der Universität Mainz, die seit 2004 benotete elektronische Klausuren durchführt, die Anzahl gestellter Lückentextfragen die Zahl der Multiple-Choice-Aufgaben inzwischen überholt, wie die folgende Abbildung zeigt.
+
* Drag and drop onto image
 +
* Drag and drop into text
 +
* Select missing words
 +
* Ordering
 +
* Drag and drop markers
 +
* Drag-and-Drop Matching
 +
* Gapfill Question
 +
* Combined
 +
* Concept Map Question Type
 +
* OU multiple response
 +
* Correct writing
 +
* Formulas question type
 +
* PoodLL Recording
 +
* All-or-Nothing Multiple Choice
 +
* STACK
 +
* Music Theory
 +
* Pattern match
 +
* Algebra
 +
* GeoGebra
 +
* Variable numeric set
 +
* Variable numeric set with units
 +
* Regular expression short answer
 +
* Multinumerical
 +
* Java Molecular Editor
 +
* Select Atoms or Molecules (MarvinJS)
 +
* Name to Structure or Reaction (MarvinJS)
 +
* Electron Pushing / Curved Arrow (MarvinJS)
 +
* Opaque
 +
* Variable numeric
 +
* Reverse pattern match
 +
* Spreadsheet
 +
* Perl-Compatible Regular Expression
 +
* POAS abstract question
 +
* Pattern match with molecular editor
 +
* Lewis Structures
 +
* Freehand Drawing
 +
* Music Key Signature
 +
* Set splitting question
 +
* vmatching
 +
* Programmed responses
 +
* javaunittest
 +
* Structure match with editor
 +
* Name to Structure or Reaction
 +
* Electron Pushing / Curved Arrow
 +
* Drag and Drop Organic Chemistry Nomenclature
 +
* Fischer Projections
 +
* Newman Projections
 +
* Select Atoms or Molecules
 +
* 2D/3D Structure Display Short Answer
 +
* Music Scale
 +
* Music Interval
 +
* Calculated Objects
 +
* Matrix question
 +
* UB Hot Spots
  
Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System
+
==== Ilias-Plugins ([http://www.ilias.de/docu/goto_docu_dcl_3342.html Quelle]) ====
 +
* STACK-Question
 +
* Accounting-Question
 +
* Mathematik Online Plugin
 +
* Formula Question (Formelfrage)
 +
* Mobile Quiz
  
[[Datei:Frageverwendung-ILIAS-2010.png|600px]]
+
== Auswahl des Aufgabentyps ==
 +
Hilfe bei der Zuordnung von Aufgabentypen zu Lernzielen gibt das [http://eklausur.de/wiki/index.php?title=Aufgabentypen E-Klausur-Wiki der Uni Gießen], aus dem die folgende Tabelle stammt:
 +
[[Datei:FragetypenLernziele.png|Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System]]
  
  
== Erstellen von Prüfungsfragen ==
+
Siehe zur Auswahl eines passenden Aufgabentyps auch den Abschnitt [[Didaktik#Aufgabentyp auswählen|Aufgabentyp auswählen]] im Bereich [[Didaktik]]. Weitere Informationen zu Kompetenzerfassung, u.a. mit einer Gegenüberstellung verschiedener Antwortformate für Kompetenztests, ist z.B. bei Hartig und Klieme<ref>Johannes Hartig, Eckhard Klieme: ''Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik'', Expertise im Auftrag des BMBF, Bildungsforschung Band 20, Bonn/Berlin, 2007, [http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf Download als PDF], Abgerufen am 21.06.2010</ref> zu finden.
Folgende Literatur gibt Empfehlungen insbesondere für die Erstellung von MC-Prüfungsfragen.
 
* Thomas M. Haladyna, Steven M. Downing, Michael C. Rodriguez: ''A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment'', in: Applied Measurement in Education, 15(3), 2002, S. 309–334, [http://www.uam.es/personal_pdi/psicologia/fjabad/PSICOMETRIA/MATERIALES/haladyna_Guidelines_AME_2002.pdf Download als PDF]
 
* Thomas M. Haladyna: ''Developing and Validating Multiple-Choice Test Items'', 3. Auflage, ISBN-13: 978-0805846614, Routledge, 2004
 
* Katrin Brauns, Sebastian Schubert: ''Qualitätssicherung von Multiple-Choice-Prüfungen'', in Sigrid Dany, Birgit Szczyrba, Johannes Wildt (Hrsg.): ''Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen'', S. 92-102, ISBN-13: 978-3763935710, Bertelsmann, Bielefeld, 2008 (Blickpunkt Hochschuldidaktik, Band 118)
 
* Susan M. Case, David B. Swanson: ''Constructing Written Test Questions For the Basic and Clinical Sciences'', 3. Auflage, National Board of Medical Examiners, 1998, [http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf Download als PDF]
 
* Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: ''Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen'', 1999, [http://www.i-med.ac.at/lehre/lehre/didaktik_fortb/MAW/kompetent_pruefen.pdf Download als PDF]
 
* René Krebs: ''Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung'', Bern, 2004, [http://www.i-med.ac.at/lehre/habil/mc_anleitung.pdf Download als PDF]
 
* Michael C. Rodriguez: ''Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research'', 2005, [http://onlinelibrary.wiley.com/resolve/doi?DOI=10.1111/j.1745-3992.2005.00006.x Download als PDF]
 
  
 +
== Verwandte Themen ==
 +
* [[MC-Fragen erstellen| Erstellen von Prüfungsaufgaben, insbesondere MC-Fragen]]
 +
* [[Literatur|Weiterführende Literatur]]
 +
* [[Funktionsumfang ausgewählter E-Prüfungssysteme]]
  
== Einzelnachweise ==
+
== Literaturnachweise ==
 
<references />
 
<references />
  
[[Kategorie:Technologien]]
+
{{Technik}}

Aktuelle Version vom 23. November 2015, 08:02 Uhr

Unterscheidungskriterien

Beispiel: Häufigkeit von E-Klausur-Fragen an der Uni Mainz

Im Folgenden sind verschiedene Aufgabentypen mit Beispielen aufgelistet und ihre Besonderheiten beschrieben. Viele Prüfungstechnologien unterstützen zumindest grundlegende Fragetypen. Eine Gegenüberstellung der verschiedenen Systeme mit jeweils unterstützten Aufgabentypen findet sich im Funktionsumfang ausgewählter E-Prüfungssysteme.

Die nachfolgend als geschlossenen Fragen beschriebenen Typen geben Antworten vor, die vom Prüfling ausgewählt oder in eine passende Reihenfolge gebracht werden müssen (Wiedererkennens- und Selektionsleistung), während offene Fragen eine Reproduktionsleistung verlangen, da ein Prüfling zugehörige Antworten selbst erstellen muss. Als sonstige Fragen sind die Fragetypen eingeordnet, die über offene Fragen hinaus weitere multimediale Möglichkeiten nutzen. Eine Analyse verschiedener Frageformate und zugehöriger Lehrziele findet sich z.B. bei Stieler[1].

Weil Multiple-Choice-Aufgaben korrekte Antworten vorgeben, sind sie vollständig automatisiert und damit effizient auswertbar. Trotz ihres anfänglich verstärkten Einsatzes, hat an der Universität Mainz, die seit 2004 benotete elektronische Klausuren durchführt, die Anzahl gestellter Lückentextfragen die Zahl der Multiple-Choice-Aufgaben inzwischen überholt, wie die nebenstehende Abbildung zeigt.

Geschlossene Aufgaben

Geschlossene Aufgaben geben verschiedene Antwortalternativen vor, die von einem Prüfling dann ausgewählt oder in eine korrekte Reihenfolge gebracht werden müssen. Der Prüfling erbringt auf diese Weise eine Wiedererkennens- und Selektionsleistung. Im Folgenden werden die Anordnungs und die Auswahlaufgabe unterschieden sowie das Key-Feature-Problem erläutert. Case und Swanson[2] beschreiben in Appendix A ihres Artikels verschiedene Typen von Antwortwahlaufgaben, eine Übersicht folgt.

Typ Name
A Einfachauswahlaufgabe
B Zuordnungsaufgabe
C A/B/beide/keine-Aufgabe
D komplexe Zuordnungsaufgabe
E Verknüpfungsaufgabe
H Vergleichsaufgabe
I Abhängigkeitsaufgabe
K komplexe Richtig/Falsch‐Aufgabe
K' Kombinationsaufgabe
R erweiterte Zuordnungsaufgabe
X einfache Richtig/Falsch‐Aufgabe
Pick N Mehrfachauswahlaufgabe

Anordnungsaufgabe

Beispiele für Anordnungsaufgaben

Bei der Anordnungsaufgabe werden eine Reihe verschiedener Elemente zur Verfügung gestellt, der ein Prüfling in eine bestimmte Reihenfolge bringen, sie einander zuzuordnen oder sie zueinander in Beziehung setzen soll. Das kann durch Drag&Drop-Verfahren gehen oder durch die Bereitstellung zugeordneter Auswahllisten und zugehörigen Positionsnummern. Je nachdem, wie die Elemente zugeordnet werden sollen, sind verschiedene Subtypen unterscheidbar.

  • Anordnung/Reihenfolge: Bei dieser Form müssen die bereitgestellten Elemente in eine geforderte Anordnung oder Reihenfolge gebracht werden. Beispiele sind Schritte einer Methode, die der Reihe durchgeführt werden müssen, eine zeitliche Einordnung historischer Persönlichkeiten, das Sortieren von Städten nach ihrer Einwohnerzahl oder die Anordnung vorgegebener Organe an die passenden Positionen im menschlichen Körper.
  • Zuordnung/Beziehung: Handelt es sich hingegen um eine Zuordnungsaufgabe, stehen zwei Listen zur Verfügung, deren Elemente jeweils sinnhaft einander zuzuordnen sind. Beispiele für Zuordnungen sind Staatsoberhäupter zu Ländern, Eigenschaften zu Organen oder historische Fakten zu Jahreszahlen.

Auswahlaufgabe

Beispiele verschiedener Auswahlaufgaben

Bei diesem Aufgabentyp werden zu einer Frage verschiedene Antworten vorgegeben. Der Prüfling hat die Aufgabe, die jeweils richtigen Antwortalternativen zu identifizieren und zu markieren. Entsprechende Alternativen können auch in Form von Abbildungen oder Formeln dargestellt werden. Falsche Antwortalternativen (Distraktoren) müssen jedoch plausibel sein, damit der Prüfling nicht durch bloßes Ausschließen unsinniger Möglichkeiten die richtige Antwort herleiten kann. Je mehr Antwortmöglichkeiten angeboten werden, umso geringer ist die Wahrscheinlichkeit für eine zufällig richtig ausgewählte Lösung.

  • Einfachauswahlaufgabe (Single Choice, Forced Choice): Ist nur eine der vorgegebenen Antwortalternativen korrekt, spricht man von einer Einfachauswahlaufgabe, auch Single Choice oder Forced Choice Aufgabe genannt. Im Spezialfall der True/False-Aufgabe stehen nur zwei Antwortmöglichkeiten zur Verfügung, nämlich "wahr" und "falsch". Hierbei muss der Prüfling entscheiden, ob eine vorab getätigte Aussage korrekt ist oder nicht. Problem dabei ist, dass aufgrund von nur zwei Antwortmöglichkeiten das zufällige Treffen/Raten der korrekten Lösung mit 50% Wahrscheinlichkeit sehr hoch ist. Daher sollten True/False-Aufgaben mit weiteren Aufgaben eines anderen Typs kombiniert werden.
  • Likert-Skala: Eine Spezialisierung der Einfachauswahl ist die Likert-Skala, bei der eine bestimmte Reichweite vorgegeben wird, in der ein Prüfling einen bestimmten Sachverhalt einordnen soll (z.B. von 1="trifft voll" zu bis 7="trifft überhaupt nicht zu"). Dieser Typ wird z.B. gerne für Evaluationen eingesetzt.
  • Mehrfachauswahlaufgabe (Multiple Choice): Bei einer Mehrfachauswahlaufgabe oder Multiple Choice Aufgabe stehen mehrere markierbare Antwortalternativen zur Verfügung. Die Auswahlmöglichkeiten des Prüflings reichen hierbei von 0 (keine Antwort ist richtig) bis n (alle Aussagen sind korrekt). Nur jene Prüflinge, die zugeordnete Lernziele erreicht haben, sollen eine solche Aufgabe richtig beantworten. Laut Jacobs[3] können MC-Aufgaben fast alle Lernziele erfassen, auch auf höherem Niveau (Verständnis, Anwendung). Der Aufgabenstamm kann dabei als Frage formuliert werden oder als unvollständiger Satz, der durch nachfolgende Möglichkeiten vervollständigt wird. Bei den sog. "interpretative exercises" gehen bestimmte Informationen voran, zu denen in Folge mehrere Fragen gestellt werden. Einer solchen Frage folgt dann eine Auswahl korrekter Antworten und Distraktoren. Dabei ist die zutreffende Antwort entweder wahr und alle Distraktoren falsch (true answer form) oder die beste Auswahl unter den Alternativen (best answer form). Der in [4] und [5] beschriebene Typ "Discrete Option Multiple Choice" fragt die Antwortmöglichkeiten der Reihe nach ab, so dass nie die gesamte Liste zu sehen ist.
  • Hot-Spot-Aufgabe: Spezialisierung der Mehrfachauswahlaufgabe ist die Hot-Spot- oder Image-Map-Aufgabe. Prüflinge müssen bestimmte Bereiche (sog. Hot-Spots) auf einer gegebenen Abbildung (der Image-Map) markieren. Medizinische E-Prüfungen nutzen dieses Verfahren z.B. für Aufgaben rund um Röntgenbilder. Prüflinge sollen darauf erkrankte Regionen erkennen und hervorheben. Da dies ihrer typischen Tätigkeit entspricht, ist hierbei große Praxisnähe gegeben. Die Qualität der Darstellung ist durch Beteiligung elektronischer Medien häufig besser als auf gedruckten oder kopierten Aufgabenblättern. Zudem haben Prüflinge die Möglichkeit, durch "Heranzoomen" kritische Stellen genauer zu betrachten.

Bei 4 Antwortoptionen liegt die Wahrscheinlichkeit, eine richtige Antwort zu treffen, bei 25%. Da Studierende aber nicht nur als Zufallsgeneratoren funktionieren, sondern gewisses Vorwissen mitbringen, hängt die Qualität einer Auswahlaufgabe insbesondere von der Wahl guter Distraktoren ab.

Aufgrund eines Urteils vom OVG Nordrhein-Westfalen (Az. 14 A 2154/08) ist das Abziehen von Punkten für falsche Antworten nicht erlaubt bzw. rechtlich problematisch. Daher sollte man themenverwandte Bereiche zu einer Gesamtaufgabe zusammenziehen und diese als Einheit bewerten.

Key-Feature-Aufgaben

Die vorab beschriebenen Auswahlaufgaben helfen dabei, das Vorhandensein insbesondere deklarativen Wissens zu überprüfen, was laut Miller[6] einer unteren Ebene der Professionalisierung entspricht. Um darüber hinaus auch prozedurales Wissen und damit eine situationsbezogene Anwendung des grundlegenden Wissens erfassen zu können, sind komplexere Verfahren notwendig. Kopp, Möltner und Fischer[7] schlagen dazu Key-Feature-Aufgaben vor, welche die Entscheidungskompetenz der Prüflinge testen sollen. Die sog. Key-Features sind dabei kritische Entscheidungen, die getroffen werden müssen, um z.B. ein klinisches Problem zu lösen. Sie fokussieren dazu auf Schwierigkeiten, die häufig in der Praxis anzutreffen sind und legen ihren Schwerpunkt auf das Erkennen und den Umgang mit solchen Problemen. In ihrem Zentrum steht der Moment, an dem Prüflinge am wahrscheinlichsten Fehler machen. Entsprechend versuchen z.B. Mediziner, beim Erstellen zugehöriger Aufgaben ihre klinische Probleme auf solche kritischen Schritte zu reduzieren.

Key-Feature-Aufgaben bestehen aus der knappen Darstellung einer klinischen Situation (Stamm), gefolgt von 3-5 Fragen. Weil die Fragen stufenförmig aufeinander aufbauen, ist ein Zurückblättern zu den bereits gegebenen Antworten nicht mehr möglich. Auf diese Weise können korrekte Antworten in folgenden Fragen weiter verarbeitet werden, ohne dass diese Informationen die bereits gegebenen Antworten beeinflussen. Zur Entwicklung von Key-Feature-Aufgaben empfehlen [7] folgende Vorgehensweise:

  1. Definition eines Kontextes
  2. Wahl der klinischen Situation
  3. Identifikation der Key-Features des klinischen Problems
  4. Schreiben des klinischen Szenarios (Fallvignette)
  5. Schreiben der einzelnen Key-Feature-Fragen
  6. Auswahl des Antwortformates
  7. Bewertungsverfahren
  8. Inhaltsvalidierung

Schaper et al. beschreiben in [8] und [9] für das Einsatzgebiet Tiermedizin, wie sie summative MC-Assessments um Key-Feature-Aufgaben ergänzt haben.

Offene Aufgaben

Offene Aufgaben verlangen vom Prüfling eine Reproduktionsleistung, bei der er sich i.d.R. nicht an vorgegebenen Antwortalternativen orientieren kann.

Freitextaufgabe

Freitext-Aufgaben bieten einen offenen Eingabebereich für textbasierte Antworten an. Sie sind "vornehmlich angebracht, um die eigenständige Strukturierung, Organisation, Integration und Bewertung des Wissens sowie das Finden und Darstellen kreativer Ideen anzuregen bzw. zu überprüfen." [10] Sie können das Lernen fördern, da sie ein tieferes Verständnis für die Auseinandersetzung mit komplexen Themen verlangen. Je offener die zugehörige Frage formuliert wurde, umso schwieriger gestaltet sich die Auswertung der gegebenen Antworten. Eine maschinelle Auswertung ist z.B. nur im Sinne eines Schlagwortabgleichs möglich, aber nicht zwingend sinnvoll.

Lückentextaufgabe

Beispiel eines Lückentexts

Die Lückentextaufgabe (auch Short-Answer-Aufgabe genannt) ermöglicht die freie Bearbeitung einer Aufgabenstellung mit einer kurzen, prägnanten Antwort. Dabei handelt es sich um ein Wort oder eine Zahl. Wesentlicher Vorteil ist, dass ein Raten von Antwortalternativen (wie es z.B. bei MC-Aufgaben möglich ist) entfällt. Nachteil hingegen ist, dass sich eine fehlerhafte Schreibweise negativ auf die automatisierte Bewertung auswirken kann. Manche Systeme gestatten daher die Angabe einer gewissen Toleranz, um korrekte Antworten trotz Flüchtigkeits- oder Rechtschreibfehlern erkennen zu können.

Die sog. Levenshtein-Distanz gibt z.B. die Zahl an Einfüge-, Lösch- und Ersetz-Operationen an, um eine eingegebene Zeichenkette in eine Vorgegebene zu überführen. Bei numerischen Aufgaben kann eine Fehlertoleranz in Form eines Wertebereichs eingestellt werden -- immer natürlich unter der Bedingung, dass die zugrunde liegende Technologie dies unterstützt.

Lückentexte bestehen aus mehreren solcher Short-Answer-Aufgaben. Beispiele für ihren Einsatz finden sich z.B. hier. Sie werden gerne von Sprachzentren für C-Tests zur Einstufung verwendet, um die Sprachfähigkeit von Prüflingen einzuschätzen. Weil sie korrekte Antworten vorgeben, sind sie wie geschlossene Aufgaben i.d.R. vollständig automatisiert und damit effizient auswertbar. [11]

Numerische Aufgabe

Beispiel einer numerischen Aufgabe

Numerische Aufgaben beziehen sich auf die Eingabe von Zahlenwerten. Dazu beinhaltet die Aufgabenstellung zumeist verschiedene Grundwerte, aus denen Prüflinge dann ihr Ergebnis errechnen sollen. Zu berücksichtigen sind dabei:

  • Zielbereich: Viele Technologien gestatten die Angabe eines Zielbereichs, in dem die Eingaben der Prüflinge liegen müssen, damit die Aufgabe als korrekt gelöst gilt. Dies erleichtert die Auswertung und berücksichtigt etwaige Rundungsfehler.
  • Formel: Wurde eine entsprechende mathematische Formel zur Berechnung des Ergebnisses hinterlegt, kann das auswertende System das korrekte Ergebnis in Echtzeit ermitteln und mit der Eingabe des Prüflings vergleichen.
  • Zufallswerte: In manchen Fällen (z.B. für gemeinsames Lernen oder Erschweren von Täuschungsversuchen) soll jeder Prüfling eine individuelle Aufgabe erhalten. Besonders in den mathematisch-naturwissenschaftlichen Fächern bietet sich an, die Grundwerte einer solchen Aufgabe per Zufall bestimmen zu lassen. Ist zudem eine entsprechende Berechnungsformel hinterlegt, kann das System die Korrektheit einer Lösung autonom überprüfen.

Textteilmengenaufgabe/Text-Box-Aufgabe

Textteilmengen-Beispiel

Bei der Textteilmengenaufgabe handelt es sich um eine Spezialisierung der Lückentextaufgabe. Prüflinge geben eine geforderte Zahl von Begriffen ein, die mit einer größeren Menge korrekter Vorgaben abgeglichen werden. Vorteil gegenüber der Lückentextaufgabe ist, dass Prüflinge durch Mehrfachangabe einer einzelnen Antwort keine weiteren Punkte erhalten.

Eine weitere Spezialisierung des Lückentexts ist die Text-Box-Aufgabe. Hier finden sich statt Freitextlücken Drop-Down-Boxen mit einer größeren Auswahl an Begriffen. Prüflinge müssen den korrekten Begriff auswählen und damit die Lücke schließen. Dieser Aufgabentyp ist also eine Kombination aus Lückentextaufgabe und der weiter oben beschriebenen Single-Choice-Aufgabe, nur dass hierbei eine große Zahl an Auswahlalternativen (Stichwort Wörterbuch) existiert.

Sonstige Aufgaben

Über die beschriebenen Typen von Aufgaben hinaus gibt es weitere Möglichkeiten, um die multimedialen Mehrwerte elektronischer Verfahren zu nutzen und in einer Prüfung z.B. größere Praxisnähe herzustellen. Nachfolgend sind einige zu dem Zweck eingesetzte Aufgabentypen exemplarisch aufgeführt.

Java-Applet-Aufgabe/Flash-Aufgabe

Bei diesem Typ handelt es sich um eine generische Schnittstelle für Java- oder Flash-Anwendungen. Diese können beliebige Inhalte haben und fungieren wie eine E-Prüfung innerhalb einer E-Prüfung. Über die Schnittstelle liefert die Anwendung nach Eingabe zurück, ob die Aufgabe korrekt gelöst wurde. Weil diese Form frei in Gestaltung und Programmierung ist, schafft sie Eingabemöglichkeiten, die von anderen Aufgabentypen bisher nicht vorgesehen sind. So ist z.B. ein Koordinatensystem darstellbar, in dem ein Prüfling geometrische Konstrukte anordnen oder Funktionen einzeichnen kann.

Datei-Upload

Der Aufgabentyp Datei-Upload erlaubt die Einreichung klassischer Ausarbeitungen wie Haus- oder Seminararbeiten, insofern diese in elektronischem Format (z.B. als PDF) vorliegen. Obwohl eine manuelle Begutachtung der Inhalte notwendig ist, können Prüfungstechnologien dabei helfen sicherzustellen, dass Beiträge fristgerecht eingereicht wurden.

Handelt es sich bei den hochgeladenen Dateien allerdings um Quellcodes von Programmen, wie sie z.B. bei Programmierkursen anfallen, kann das Prüfungssystem eine Begutachtung unterstützen. In diesem Fall sind z.B. Untersuchung auf syntaktische Korrektheit, Analyse der Programmstruktur (wurden Kommentare oder bestimmte Schleifentypen verwendet) oder ein Abgleich erwarteter Ausgabewerte bei vorgegebenen bzw. zufälligen Eingabewerten automatisiert vorstellbar.

Mündliche Antwort

Sieht ein Prüfungssystem eine mündliche Antwort bei einer Aufgabe vor, müssen die Prüflinge ihre Antworten mit dem Mikrofon aufzeichnen. Zu dem Zweck stellt ihnen das System eine entsprechende Schaltfläche bereit. Wie bei einer mündlichen Prüfung üblich spricht der Prüfling seine Antwort in einem vorab festgelegten Zeitraum ins Mikrofon. Da automatisierte Auswertung bislang nicht möglich ist, müssen Prüfende im Nachhinein sämtliche Aufzeichnungen anhören. Gegenüber schriftlicher Antworten bietet das aber die Möglichkeit, neben inhaltlichen und Verständnis-Aspekten auch auf korrekte Aussprache, Betonung oder Sprachgefühl zu achten. Entsprechend liegt der Hauptanwendungsbereich dieses Aufgabentyps bei Sprachzentren.

Erweiterung eines Systems um weitere Aufgabentypen

Viele E-Assessment-Systeme erlauben mittlerweile eine Erweiterung der angebotenen Aufgabentypen per Plugin. Es folgt eine Übersicht über die aktuell (23.11.2015) angebotenen Plugins für das LMS Moodle sowie das LMS Ilias.

Moodle-Plugins (Quelle)

  • Drag and drop onto image
  • Drag and drop into text
  • Select missing words
  • Ordering
  • Drag and drop markers
  • Drag-and-Drop Matching
  • Gapfill Question
  • Combined
  • Concept Map Question Type
  • OU multiple response
  • Correct writing
  • Formulas question type
  • PoodLL Recording
  • All-or-Nothing Multiple Choice
  • STACK
  • Music Theory
  • Pattern match
  • Algebra
  • GeoGebra
  • Variable numeric set
  • Variable numeric set with units
  • Regular expression short answer
  • Multinumerical
  • Java Molecular Editor
  • Select Atoms or Molecules (MarvinJS)
  • Name to Structure or Reaction (MarvinJS)
  • Electron Pushing / Curved Arrow (MarvinJS)
  • Opaque
  • Variable numeric
  • Reverse pattern match
  • Spreadsheet
  • Perl-Compatible Regular Expression
  • POAS abstract question
  • Pattern match with molecular editor
  • Lewis Structures
  • Freehand Drawing
  • Music Key Signature
  • Set splitting question
  • vmatching
  • Programmed responses
  • javaunittest
  • Structure match with editor
  • Name to Structure or Reaction
  • Electron Pushing / Curved Arrow
  • Drag and Drop Organic Chemistry Nomenclature
  • Fischer Projections
  • Newman Projections
  • Select Atoms or Molecules
  • 2D/3D Structure Display Short Answer
  • Music Scale
  • Music Interval
  • Calculated Objects
  • Matrix question
  • UB Hot Spots

Ilias-Plugins (Quelle)

  • STACK-Question
  • Accounting-Question
  • Mathematik Online Plugin
  • Formula Question (Formelfrage)
  • Mobile Quiz

Auswahl des Aufgabentyps

Hilfe bei der Zuordnung von Aufgabentypen zu Lernzielen gibt das E-Klausur-Wiki der Uni Gießen, aus dem die folgende Tabelle stammt: Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System


Siehe zur Auswahl eines passenden Aufgabentyps auch den Abschnitt Aufgabentyp auswählen im Bereich Didaktik. Weitere Informationen zu Kompetenzerfassung, u.a. mit einer Gegenüberstellung verschiedener Antwortformate für Kompetenztests, ist z.B. bei Hartig und Klieme[12] zu finden.

Verwandte Themen

Literaturnachweise

  1. Jona Florian Stieler: Validität summativer Prüfungen - Überlegungen zur Gestaltung von Klausuren, ISBN: 3-938076-36-4, Janus Presse, Bielefeld, 2011, Download als PDF
  2. Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
  3. Bernhard Jacobs: [1]. Abgerufen am 25.09.2012.
  4. David Foster, Harold L. Miller: A new format for multiple-choice testing: Discrete-Option Multiple-Choice. Results from early studies, in Psychology Science Quarterly, Volume 51, 2009 (4), S. 355-369, Download als PDF
  5. David Foster: Compelling Test Design Technology: Discrete Option Multiple Choice, White Paper, 2014, Artikel als PDF
  6. George E. Miller: The Assessment of Clinical Skills/Competence/Performance, in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, Download als PDF
  7. 7,0 7,1 Veronika Kopp, Andreas Möltner, Martin R. Fischer: Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden, in: GMS Zeitschrift für Medizinische Ausbildung, ISSN 1860-3572, 23(3), 2006, Artikel als PDF (Abgerufen am 23.11.2010)
  8. Elisabeth Schaper, Martin R. Fischer, Andrea Tipold, Jan P. Ehlers: Fallbasiertes, elektronisches Lernen und Prüfen in der Tiermedizin - auf der Suche nach einer realisierbaren Alternative zu Multiple-Choice-Prüfungen, in: Tierärztliche Umschau 66, S. 261-268, 2011
  9. Elisabeth Schaper, Andrea Tipold, Jan P. Ehlers: Use of key feature questions in summative assessment of veterinary medicine students, in: Irish Veterinary Journal, 66 (3), 2013, Artikel im Volltext
  10. Bernhard Jacobs: Ratschläge zur Konstruktion von Essay-Test-Aufgaben. Abgerufen am 20.03.2010.
  11. Bernhard Jacobs: Ratschläge zur Konstruktion von Short-Answer-Aufgaben. Abgerufen am 19.03.2010.
  12. Johannes Hartig, Eckhard Klieme: Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik, Expertise im Auftrag des BMBF, Bildungsforschung Band 20, Bonn/Berlin, 2007, Download als PDF, Abgerufen am 21.06.2010