Aufgabentypen

Aus E-Assessment-Wiki
Version vom 26. September 2012, 08:10 Uhr von Schmees (Diskussion | Beiträge) (Key-Feature-Probleme)
Wechseln zu:Navigation, Suche

Unterscheidungskriterien

Beispiel: Häufigkeit von E-Klausur-Fragen an der Uni Mainz

Im Folgenden sind verschiedene Aufgabentypen mit Beispielen aufgelistet und ihre Besonderheiten beschrieben. Viele Prüfungstechnologien unterstützen zumindest grundlegende Fragetypen. Eine Gegenüberstellung der verschiedenen Systeme mit jeweils unterstützten Aufgabentypen findet sich im Funktionsumfang ausgewählter E-Prüfungssysteme.

Die nachfolgend als geschlossenen Fragen beschriebenen Typen geben Antworten vor, die vom Prüfling ausgewählt oder in eine passende Reihenfolge gebracht werden müssen (Wiedererkennens- und Selektionsleistung), während offene Fragen eine Reproduktionsleistung verlangen, da ein Prüfling zugehörige Antworten selbst erstellen muss. Als sonstige Fragen sind die Fragetypen eingeordnet, die über offene Fragen hinaus weitere multimediale Möglichkeiten nutzen. Eine Analyse verschiedener Frageformate und zugehöriger Lehrziele findet sich z.B. bei Stieler[1].

Weil Multiple-Choice-Aufgaben korrekte Antworten vorgeben, sind sie vollständig automatisiert und damit effizient auswertbar. Trotz ihres anfänglich verstärkten Einsatzes, hat an der Universität Mainz, die seit 2004 benotete elektronische Klausuren durchführt, die Anzahl gestellter Lückentextfragen die Zahl der Multiple-Choice-Aufgaben inzwischen überholt, wie die nebenstehende Abbildung zeigt.

Geschlossene Aufgaben

Geschlossene Aufgaben geben verschiedene Antwortalternativen vor, die von einem Prüfling dann ausgewählt oder in eine korrekte Reihenfolge gebracht werden müssen. Der Prüfling erbringt auf diese Weise eine Wiedererkennens- und Selektionsleistung. Im Folgenden werden die Anordnungs und die Auswahlaufgabe unterschieden sowie das Key-Feature-Problem erläutert. Case und Swanson[2] beschreiben in Appendix A ihres Artikels verschiedene Typen von Antwortwahlaufgaben, eine Übersicht folgt.

Typ Name
A Einfachauswahlaufgabe
B Zuordnungsaufgabe
C A/B/beide/keine-Aufgabe
D komplexe Zuordnungsaufgabe
E Verknüpfungsaufgabe
H Vergleichsaufgabe
I Abhängigkeitsaufgabe
K komplexe Richtig/Falsch‐Aufgabe
K' Kombinationsaufgabe
R erweiterte Zuordnungsaufgabe
X einfache Richtig/Falsch‐Aufgabe
Pick N Mehrfachauswahlaufgabe

Anordnungsaufgabe

Bei der Anordnungsaufgabe werden eine Reihe verschiedener Elemente zur Verfügung gestellt, der ein Prüfling in eine bestimmte Reihenfolge bringen, sie einander zuzuordnen oder sie zueinander in Beziehung setzen soll. Das kann durch Drag&Drop-Verfahren gehen oder durch die Bereitstellung zugeordneter Auswahllisten und zugehörigen Positionsnummern. Je nachdem, wie die Elemente zugeordnet werden sollen, sind verschiedene Subtypen unterscheidbar.

  • Anordnung/Reihenfolge: Bei dieser Form müssen die bereitgestellten Elemente in eine geforderte Anordnung oder Reihenfolge gebracht werden. Beispiele sind Schritte einer Methode, die der Reihe durchgeführt werden müssen, eine zeitliche Einordnung historischer Persönlichkeiten, das Sortieren von Städten nach ihrer Einwohnerzahl oder die Anordnung vorgegebener Organe an die passenden Positionen im menschlichen Körper.
  • Zuordnung/Beziehung: Handelt es sich hingegen um eine Zuordnungsaufgabe, stehen zwei Listen zur Verfügung, deren Elemente jeweils sinnhaft einander zuzuordnen sind. Beispiele für Zuordnungen sind Staatsoberhäupter zu Ländern, Eigenschaften zu Organen oder historische Fakten zu Jahreszahlen.

Auswahlaufgabe

Bei diesem Aufgabentyp werden zu einer Frage verschiedene Antworten vorgegeben. Der Prüfling hat die Aufgabe, die jeweils richtigen Antwortalternativen zu identifizieren und zu markieren. Entsprechende Alternativen können auch in Form von Abbildungen oder Formeln dargestellt werden. Falsche Antwortalternativen (Distraktoren) müssen jedoch plausibel sein, damit der Prüfling nicht durch bloßes Ausschließen unsinniger Möglichkeiten die richtige Antwort herleiten kann. Je mehr Antwortmöglichkeiten angeboten werden, umso geringer ist die Wahrscheinlichkeit für eine zufällig richtig ausgewählte Lösung.

  • Einfachauswahlaufgabe (Single Choice, Forced Choice): Ist nur eine der vorgegebenen Antwortalternativen korrekt, spricht man von einer Einfachauswahlaufgabe, auch Single Choice oder Forced Choice Aufgabe genannt. Im Spezialfall der True/False-Aufgabe stehen nur zwei Antwortmöglichkeiten zur Verfügung, nämlich "wahr" und "falsch". Hierbei muss der Prüfling entscheiden, ob eine vorab getätigte Aussage korrekt ist oder nicht. Problem dabei ist, dass aufgrund von nur zwei Antwortmöglichkeiten das zufällige Treffen/Raten der korrekten Lösung mit 50% Wahrscheinlichkeit sehr hoch ist. Daher sollten True/False-Aufgaben mit weiteren Aufgaben eines anderen Typs kombiniert werden.
  • Likert-Skala: Eine Spezialisierung der Einfachauswahl ist die Likert-Skala, bei der eine bestimmte Reichweite vorgegeben wird, in der ein Prüfling einen bestimmten Sachverhalt einordnen soll (z.B. von 1="trifft voll" zu bis 7="trifft überhaupt nicht zu"). Dieser Typ wird z.B. gerne für Evaluationen eingesetzt.
  • Mehrfachauswahlaufgabe (Multiple Choice): Bei einer Mehrfachauswahlaufgabe oder Multiple Choice Aufgabe stehen mehrere markierbare Antwortalternativen zur Verfügung. Die Auswahlmöglichkeiten des Prüflings reichen hierbei von 0 (keine Antwort ist richtig) bis n (alle Aussagen sind korrekt). Nur jene Prüflinge, die zugeordnete Lernziele erreicht haben, sollen eine solche Aufgabe richtig beantworten. Laut Jacobs[3] können MC-Aufgaben fast alle Lernziele erfassen, auch auf höherem Niveau (Verständnis, Anwendung). Der Aufgabenstamm kann dabei als Frage formuliert werden oder als unvollständiger Satz, der durch nachfolgende Möglichkeiten vervollständigt wird. Bei den sog. "interpretative exercises" gehen bestimmte Informationen voran, zu denen in Folge mehrere Fragen gestellt werden. Einer solchen Frage folgt dann eine Auswahl korrekter Antworten und Distraktoren. Dabei ist die zutreffende Antwort entweder wahr und alle Distraktoren falsch (true answer form) oder die beste Auswahl unter den Alternativen (best answer form).
  • Hot-Spot-Aufgabe: Eine Spezialisierung der Mehrfachauswahlaufgabe ist die Hot Spot Aufgabe. Hierbei geht es darum, gesuchte Bereiche (die sogenannten Hot Spots) auf einer vorgegebenen Abbildung zu markieren. Beispiele hierfür kommen aus der Medizin, wo auf diese Weise z.B. auffällige Strukturen auf Röntgenbilden identifiziert und gekennzeichnet werden können.

Bei 4 Antwortoptionen liegt die Wahrscheinlichkeit, eine richtige Antwort zu treffen, bei 25%. Da Studierende aber nicht nur als Zufallsgeneratoren funktionieren, sondern gewisses Vorwissen mitbringen, hängt die Qualität einer Auswahlaufgabe insbesondere von der Wahl guter Distraktoren ab.

Aufgrund eines Urteils vom OVG Nordrhein-Westfalen (Az. 14 A 2154/08) ist das Abziehen von Punkten für falsche Antworten nicht erlaubt bzw. rechtlich problematisch. Daher sollte man themenverwandte Bereiche zu einer Gesamtaufgabe zusammenziehen und diese als Einheit bewerten.

Key-Feature-Aufgaben

Die vorab beschriebenen Auswahlaufgaben helfen dabei, das Vorhandensein insbesondere deklarativen Wissens zu überprüfen, was laut Miller[4] einer unteren Ebene der Professionalisierung entspricht. Um darüber hinaus auch prozedurales Wissen und damit eine situationsbezogene Anwendung des grundlegenden Wissens erfassen zu können, sind komplexere Verfahren notwendig. Kopp, Möltner und Fischer[5] schlagen dazu Key-Feature-Aufgaben vor, welche die Entscheidungskompetenz der Prüflinge testen sollen. Die sog. Key-Features sind dabei kritische Entscheidungen, die getroffen werden müssen, um z.B. ein klinisches Problem zu lösen. Sie fokussieren dazu auf Schwierigkeiten, die häufig in der Praxis anzutreffen sind und legen ihren Schwerpunkt auf das Erkennen und den Umgang mit solchen Problemen. In ihrem Zentrum steht der Moment, an dem Prüflinge am wahrscheinlichsten Fehler machen. Entsprechend versuchen z.B. Mediziner, beim Erstellen zugehöriger Aufgaben ihre klinische Probleme auf solche kritischen Schritte zu reduzieren.

Key-Feature-Aufgaben bestehen aus der knappen Darstellung einer klinischen Situation (Stamm), gefolgt von 3-5 Fragen. Weil die Fragen stufenförmig aufeinander aufbauen, ist ein Zurückblättern zu den bereits gegebenen Antworten nicht mehr möglich. Auf diese Weise können korrekte Antworten in folgenden Fragen weiter verarbeitet werden, ohne dass diese Informationen die bereits gegebenen Antworten beeinflussen. Zur Entwicklung von Key-Feature-Aufgaben empfehlen [5] folgende Vorgehensweise:

  1. Definition eines Kontextes
  2. Wahl der klinischen Situation
  3. Identifikation der Key-Features des klinischen Problems
  4. Schreiben des klinischen Szenarios (Fallvignette)
  5. Schreiben der einzelnen Key-Feature-Fragen
  6. Auswahl des Antwortformates
  7. Bewertungsverfahren
  8. Inhaltsvalidierung

Schaper et al.[6] beschreiben für das Einsatzgebiet Tiermedizin, wie sie traditionelle MC-Prüfungen um Key-Feature-Aufgaben ergänzt haben.

Offene Aufgaben

Offene Aufgaben verlangen vom Prüfling eine Reproduktionsleistung, bei der er sich i.d.R. nicht an vorgegebenen Antwortalternativen orientieren kann.

Freitext-Aufgabe

Freitext-Aufgaben bieten einen offenen Eingabebereich für textbasierte Antworten an. Sie sind "vornehmlich angebracht, um die eigenständige Strukturierung, Organisation, Integration und Bewertung des Wissens sowie das Finden und Darstellen kreativer Ideen anzuregen bzw. zu überprüfen." [7] Sie können das Lernen fördern, da sie ein tieferes Verständnis für die Auseinandersetzung mit komplexen Themen verlangen. Je offener die zugehörige Frage formuliert wurde, umso schwieriger gestaltet sich die Auswertung der gegebenen Antworten. Eine maschinelle Auswertung ist z.B. nur im Sinne eines Schlagwortabgleichs möglich, aber nicht zwingend sinnvoll.

Lückentext-Aufgabe

Die Lückentext-Aufgabe (auch Short-Answer-Aufgabe genannt) ermöglicht eine freie Bearbeitung mit kurzen, prägnanten Antworten. Dabei handelt es sich i.d.R. um ein Wort oder eine Zahl. Ein wesentlicher Vorteil ist, dass ein Raten möglicher Antwortalternativen (wie z.B. bei MC-Aufgaben möglich) entfällt. Nachteil hingegen ist, dass sich eine fehlerhafte Schreibweise negativ auf eine automatisierte Bewertung auswirken kann. [8] Hier kann man z.B. eine bestimmte Levensthein-Distanz als Toleranzangabe vorgeben, um korrekte Antworten trotz Flüchtigkeits- oder Rechtschreibfehler zu erkennen. Bei numerischen Aufgaben kann eine solche Fehlertoleranz in Form eines Wertebereichs eingestellt werden - immer natürlich unter der Bedingung, dass die zugrunde liegende Technologie entsprechende Maßnahmen zulässt. Lückentexte bestehen aus mehreren Short-Answer-Aufgaben. Beispiele für ihren Einsatz finden sich z.B. hier. Ein weiterer Einsatzbereich sind C-Tests, wie sie zur Einschätzung der Sprachfähigkeit in Sprachenzentren gerne eingesetzt werden.

Um Flüchtigkeits- oder Rechtschreibfehlern vorzubeugen, unterstützen einige Systeme die Angabe der Levenshtein-Distanz. Diese gibt die Zahl an Einfüge-, Lösch- und Ersetz-Operationen an, um die eingegebene Zeichenkette in die Vorgegebene zu überführen.

Numerische Aufgabe

Numerische Fragen beziehen sich auf die Eingabe von Zahlenwerten.

  • Zielbereich: Um die Auswertung zu erleichtern und Rundungsfehler zur berücksichtigen, kann der Prüfer einen Zielbereich angeben, in dem die Eingaben des Prüflings liegen müssen, um die Aufgabe korrekt zu lösen.
  • Formel: Wurde eine entsprechende mathematische Formel zur Berechnung des Ergebnisses hinterlegt, kann das auswertende System das korrekte Ergebnis in Echtzeit ermitteln und mit der Eingabe des Prüflings vergleichen.
  • Zufallswerte: In manchen Fällen (z.B. für gemeinsames Lernen oder Erschweren von Täuschungsversuchen) soll jeder Prüfling eine individuelle Aufgabe erhalten. Besonders in den mathematisch-naturwissenschaftlichen Fächern bietet sich an, die Grundwerte einer solchen Aufgabe per Zufall bestimmen zu lassen. Ist zudem eine entsprechende Berechnungsformel hinterlegt, kann das System die Korrektheit der Lösung autonom überprüfen.

Text-Teilmenge/Text-Box

Begrenzte Zahl an Lösungswörtern aus größerer Zahl richtiger Antworten ermitteln.

Sonstige Aufgaben

ImageMap-Aufgabe

Java-Applet-Aufgabe

Datei-Upload

Mündliche Antwort

Aufnahme über Mikrofon

Auswahl des Aufgabentyps

Hilfe bei der Zuordnung von Aufgabentypen zu Lernzielen gibt das E-Klausur-Wiki der Uni Gießen, aus dem die folgende Tabelle stammt: Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System

Weitere Informationen zu Kompetenzerfassung, u.a. mit einer Gegenüberstellung verschiedener Antwortformate für Kompetenztests, ist z.B. bei Hartig und Klieme[9] zu finden.

Verwandte Themen

Literaturnachweise

  1. Jona Florian Stieler: Validität summativer Prüfungen - Überlegungen zur Gestaltung von Klausuren, ISBN: 3-938076-36-4, Janus Presse, Bielefeld, 2011, Download als PDF
  2. Susan M. Case, David B. Swanson: Constructing Written Test Questions For the Basic and Clinical Sciences, 3. Auflage, National Board of Medical Examiners, 1998, Download als PDF
  3. Bernhard Jacobs: [1]. Abgerufen am 25.09.2012.
  4. George E. Miller: The Assessment of Clinical Skills/Competence/Performance, in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, Download als PDF
  5. 5,0 5,1 Veronika Kopp, Andreas Möltner, Martin R. Fischer: Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden, in: GMS Zeitschrift für Medizinische Ausbildung, ISSN 1860-3572, 23(3), 2006, Artikel als PDF (Abgerufen am 23.11.2010)
  6. Elisabeth Schaper, Martin R. Fischer, Andrea Tipold, Jan P. Ehlers: Fallbasiertes, elektronisches Lernen und Prüfen in der Tiermedizin - auf der Suche nach einer realisierbaren Alternative zu Multiple-Choice-Prüfungen, in: Tierärztliche Umschau 66, S. 261-268, 2011
  7. Bernhard Jacobs: Ratschläge zur Konstruktion von Essay-Test-Aufgaben. Abgerufen am 20.03.2010.
  8. Bernhard Jacobs: Ratschläge zur Konstruktion von Short-Answer-Aufgaben. Abgerufen am 19.03.2010.
  9. Johannes Hartig, Eckhard Klieme: Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik, Expertise im Auftrag des BMBF, Bildungsforschung Band 20, Bonn/Berlin, 2007, Download als PDF, Abgerufen am 21.06.2010