Scan-Klausur

Beschreibung

Beispiel eines OCR-Bogens

Einige Hochschulen, z.B. die Fernuni Hagen, führen oft Massenprüfungen durch, d.h. Prüfungen mit sehr großen Kohorten. Da für viele Prüflinge gleichzeitig nicht genug Rechner bereitstehen bzw. ein Prüfungsserver unter dieser Last zusammenbrechen könnte, bieten sich hierfür Scan-Klausuren (als Pen & Paper-Ansatz) an. Diese werden elektronisch erstellt, mit Stift und Papier (Pen & Paper-Ansatz) geschrieben, dann eingescannt und am Ende automatisch ausgewertet.

Dazu entwickeln Prüfende ihre Fragen und zugehörigen Antwortbögen am Rechner. Die speziellen Bögen werden dann, wie bei schriftlichen Klausuren üblich, vor Ort ausgeteilt und von den Prüflingen mit einem Stift ausgefüllt (siehe das Beispiel eines Bogens in der Abb. rechts). Im Anschluss daran werden die Bögen eingesammelt und eingescannt. Es folgt ein automatisches Erkennen der eingetragenen Antworten - das sogenannte Optical Mark Recognition (OMR) bzw. Optical Character Recognition (OCR). Dem schließt sich ein Abgleich mit vorgegebenen richtigen Antworten an.

Da beim Erkennen häufig Fehler auftreten, weil z.B. ein Blatt schief gescannt wurde, Artefakte auftreten oder einige Punkte verrutscht sind, ist ein zusätzlicher Aufwand für manuelle Qualitätssicherung einzuplanen.

Ziele

• Prüfen großer Kohorten
• Reduktion der Prüfungsdurchläufe
• Elektronische Unterstützung bei der Auswertung

Organisation

Verarbeitungsprozess der FU Hagen (Quelle: Brigitte Kreplin)

Am Beispiel der Fernuni Hagen sind nachfolgend mögliche Schritte beim Ablauf einer Scan-Klausur näher beschrieben (siehe dazu auch die Abb. rechts):

• Aufgaben und Musterlösungen erstellen: Am Anfang des Prozesses steht die Erstellung von Fragen und Musterlösungen durch die Lehrenden. Hierbei handelt es sich i.d.R. um MC-Fragen, da einfache Markierungen (wie ankreuzen) einfacher elektronisch auszuwerten sind als handschriftliche Symbole.
• OCR-Bögen vorbereiten: Stehen Aufgaben und damit die Antworten fest, folgt deren Anordnung auf einem oder mehreren OCR-Bögen. Ein Beispiel ist in der Abb. rechts oben dargestellt, ein anderes Beispiel kann als PDF bei der FU Hagen heruntergeladen werden. Es bietet sich an, genau einen Antwortbogen pro Klausur zu verwenden, um Teilauswertungen und nachträgliche Zusammenführung als zusätzliche Fehlerquellen zu vermeiden.
• OCR-Bögen drucken: Es folgt der Druck der Bögen. Die Verwendung möglichst festen Papiers erleichtert im Nachhinein das Einscannen. Zudem sollte mit der Druckerei eine einheitliche Blindfarbe abgestimmt sein. Diese dient der Begrenzung der Eingabefelder, so dass Prüflinge leichter erkennen, wo die Antworten einzutragen sind. Eine solche Blindfarbe lässt sich beim Scannen komplett ausblenden. Die Druckerei muss daher sicherstellen, dass keine Farbverläufe auftreten, weil sonst Artefakte beim Scannen auftreten.
• OCR-Bögen verteilen: Die vorbereiteten OCR-Bögen werden dann zusammen mit den Aufgaben und evtl. Teilnehmerlisten verpackt, versiegelt und an die Teststandorte befördert. Zum vereinbarten Zeitpunkt erfolgt dort die Öffnung und Verteilung der Aufgaben, so dass die Klausur zeitgleich an verschiedenen Orten geschrieben werden kann (statt mehrerer Durchläufe mit unterschiedlichen Aufgaben).
• Klausur schreiben: Beim eigentlichen Prüfungsprozess bearbeiten die Prüflinge ihre Aufgaben und tragen die Antworten zusammen mit weiteren Informationen wie Name und Matrikelnummer in die Bögen ein. Aufsichten vor Ort stellen sicher, dass keine Täuschungsversuche erfolgen und Namen/Matrikelnummern sowie Personen zueinander passen (und auf der Teilnehmerliste stehen). Im Anschluss an die Klausur sammeln die Aufsichten die Bögen ein, versiegeln diese und senden sie an die Fernuni zurück.
• Eingang im Prüfungsamt registrieren: Im Prüfungsamt wird der Eingang der Bögen erfasst und die Personendaten mit der Anmeldeliste zur Klausur abgeglichen. Hier wird amtlich, ob alle angemeldeten Studierenden an der Prüfung teilgenommen haben oder nicht (bzw. ob es Teilnehmer gab, die gar nicht angemeldet waren).
• Scannen vorbereiten: Es folgt die Vorbereitung der Scanvorgänge. Dabei sind zunächst die Scanner auf die Blindfarbe der Bögen zu kalibrieren, so dass diese erst gar nicht erkannt wird. Wurden verschiedene Klausuren geschrieben, sind die Bögen bzw. Scanvorgänge diesen zuzuordnen, damit am Ende ein Abgleich mit der zugehörigen Musterlösung erfolgen kann.
• OCR-Bögen Scannen 1: Beim ersten Scanvorgang werden die Bögen von einem Scanner eingelesen und digital gespeichert.
• OCR-Bögen Scannen 2: Zur Sicherung von Qualität und Ergebnis folgt dann ein zweiter Scanvorgang mit einem anderen Scanner.
• Ergebnisse verifizieren: Im Anschluss daran werden die Ergebnisse beider Scanvorgänge ausgewertet und miteinander verglichen. In diesem Schritt erfolgt also der Abgleich mit den Musterlösungen. Treten Abweichungen zwischen den beiden Scanvarianten auf, ist manuelle Kontrolle notwendig, die im Zweifelsfall nachjustieren muss.
• Ergebnisse dokumentieren: Die endgültigen Ergebnisse, d.h. die eingescannten Bögen und deren Auswertung, werden im Anschluss daran dokumentiert und somit gesichert.
• Ergebnisse zur Prüfungsverwaltung: Klausurergebnisse zu den jeweiligen Prüflingen werden am Ende an die Prüfungsverwaltungssysteme des Prüfungsamts übermittelt.
• Noteneinsicht für Studierende: Studierende können dann über das Prüfungsamt ihre resultierenden Noten einsehen.
• Einsprüche bearbeiten: Treten Ungereimtheiten auf oder sind Studierende mit dem Ergebnis nicht einverstanden, können sie Einspruch einlegen, der dann im Prüfungsamt bearbeitet wird.
• Analyse zum Lehrgebiet: Die Lehrenden erhalten ebenfalls durch die Ergebnisse ein Feedback zum Lehrgebiet. Zudem gestattet die elektronische Auswertung von Aufgaben weitere Verfahren wie z.B. Itemanalyse, die Aussagen zur Qualität der Aufgaben machen kann.

Technik

Kommerzielle Systeme, die OMR unterstützen, sind:

• EvaExam
• Remark Office OMR
• corretordeprovas (als Software as a Service (Saas)-Angebot)

Open Source Systeme, die OMR unterstützen, sind:

• queXF (kann Exporte verarbeiten von LimeSurvey)
• Udai OMR
• Shared Questionnaire System (SQS)
• Auto Multiple Choice (LaTeX bei der Gestaltung von Antwortbögen verwendbar)
• Quiz OMR (Erweiterung des LMS Moodle)
• TCExam (Testsuite, die auch OMR unterstützt)

Beispiele

• Fernuni Hagen setzt eine Eigenentwicklung bei Scan-Klausuren ein

Bewertung

Vorteile

• Elektronische Unterstützung bei der Auswertung
• Keine elektronischen Arbeitsplätze erforderlich
• Geringere Anpassung der Prüfungsordnungen (nur an Typ, nicht an elektronische Eingabe)

Nachteile

• Manuelle Nachkontrolle der eingescannten Bögen nötig
• Größerer Aufwand für Ausdrucken, Austeilen und Einscannen
• Keine multimedialen Elemente unterbringbar (Audios, Videos)
• Geringere Praxisnähe

Kombination mit weiteren Szenarien

Eine Kopplung mit einer anschließenden Lehrevaluation ist denkbar, da man auf diese Weise i.d.R. sämtliche Teilnehmer der Veranstaltung erreicht.