Summatives Assessment

Eine summative Prüfung misst Leistungen oder Fertigkeiten im Anschluss an das Lernen. Während formative Prüfungen das Lernergebnis innerhalb eines Lernprozesses ermitteln, um Lücken zu identifizieren und darauf reagieren zu können, beurteilt eine summative Prüfung den abschließenden Lernerfolg. Dieser gibt den Grad der Übereinstimmung von Lernzielen mit dem erreichten Lernergebnis an. Summative Prüfungen finden sich z.B. als Klausur am Semesterende, als Zwischentests nach thematischen Einheiten oder als gestalterische Abschlussarbeit im Bereich der bildenden Künste. Weil sie häufig benotet sind, beeinflussen sie den weiteren Studienverlauf: nach mehrmaligem Scheitern kann ein Studium im schlimmsten Fall beendet sein. Darum sind i.d.R. hohe Anforderungen an ihre Rechtssicherheit gestellt. Einige Szenarien, wie summative Prüfungen unter Einsatz von IKT gestaltet sein können, sind nachfolgend beschrieben.

Vorher/Nachher-Prüfungen

Vorher/Nachher-Prüfungen ermitteln die Auswirkungen eines bestimmten Lehr-/Lernprozesses auf die Lernenden und beziehen dazu deren Vorwissen bzw. bereits erworbene Kompetenzen mit ein. Sie bestehen dazu aus zwei Teilprüfungen: eine diagnostische vorab und eine summative im Anschluss.

• Die diagnostische Vorabprüfung soll die bereits bestehenden Kompetenzen und Fertigkeiten identifizieren. Sie hilft, die Lehre auf dieser Grundlage zielgruppengerecht zu optimieren.
• Die summative Abschlussprüfung soll schließlich Wissen und Fertigkeiten im Anschluss an den Lernprozess feststellen.

Der durch den Lernprozess bewirkte Lernerfolg ergibt sich nun aus der Differenz zwischen den Ergebnissen der Vorabprüfung und der Abschlussprüfung. Auf diese Weise ist die konkrete Veränderung in Wissen und Fertigkeiten individueller Lernender feststellbar.

Elektronische Klausuren

Beispiel: Aktivitäten & Beteiligte bei Klausuren an Hochschulen

E-Klausuren sind das elektronische Pendant zu schriftlichen Klausuren. Sie werden i.d.R. am Ende einer Veranstaltungsreihe zur summativen Leistungsbeurteilung eingesetzt und sind normalerweise benotet. Den besonderen Reiz einer Verwendung von E-Klausuren macht die Möglichkeit aus, den Korrekturaufwand zu reduzieren und Ergebnisse zeitnah zur Verfügung zu stellen. Manche Standorte verwenden IKT auch als "Ausfüll- und Eingabehilfe" für schriftliche Klausuren. Auf diese Weise erhoffen sie sich eine bessere Lesbarkeit der Antworten.

Aufgrund ihrer Benotung oder die Auswirkung auf die Vergabe von ECTS-Punkten können sie den weiteren Studienverlauf beeinflussen. So kann mehrmaliges Scheitern (je nach Prüfungsordnung) im schlimmsten Fall das erfolglose Ende eines Studiums bedeuten. Daher werden besondere Anforderungen bezogen auf Sicherheit und Nachvollziehbarkeit an E-Klausuren gestellt. Ihre Verwendung muss u.a. in den jeweils gültigen Prüfungsordnungen verankert sein. Voraussetzungen sind zudem eine verlässliche Technik und Studierende, die bereits den Umgang mit zugehörigen Systemen gewohnt sind, z.B. aus Probeklausuren oder im begleitenden Übungsbetrieb.

Einige Standorte wie die Uni Bremen oder die Uni Duisburg/Essen haben Testcenter eingerichtet, in denen unter Begleitung von Technikern und Didaktikern entsprechende Prüfungen unter Aufsicht abgenommen werden können, die sich aber auch zu Übungszwecken einsetzen lassen.

Weitere Informationen

• Didaktik hinter E-Klausuren
• Organisation von E-Klausuren
• Technik und Systeme für E-Klausuren
• Rechtliche Anforderungen (Leitfaden und Checklisten)

Erfahrungsberichte

• Einsatz von E-Klausuren an der Medizinischen Hochschule Hannover
• Weitere Erfahrungsberichte zu E-Klausuren

Beispiele für E-Klausur-Systeme

• Q[kju:]-Exam der Firma Codiplan an der MH Hannover und der Stiftung TiHo Hannover
• Virtuelles Prüfungssystem (ViPS) als Plugin des LMS Stud.IP an der Uni Osnabrück
• Prüfungskomponente Online eXam des LMS ILIAS an der Uni Mainz
• TestStudio der Firma LPLUS in den Testzentren der Unis Bremen und Duisburg/Essen

Massenprüfungen, Scan-Klausuren

OCR-Bogen

Einige Hochschulen, z.B. die Fernuni Hagen, führen Massenprüfungen durch, d.h. Prüfungen mit sehr großen Kohorten. Da für viele Prüflinge gleichzeitig nicht genug Rechner bereitstehen bzw. ein Prüfungsserver unter dieser Last zusammenbrechen könnte, bieten sich hierfür Scan-Klausuren (als Pen & Paper-Ansatz) an. Dazu entwickeln die Prüfenden ihre Fragen sowie zugehörige Antwortbögen am Rechner. Diese speziellen Bögen werden dann, wie bei schriftlichen Klausuren üblich, vor Ort ausgeteilt und von den Prüflingen mit einem Stift ausgefüllt (siehe das Beispiel eines Bogens in der Abb. rechts). Im Anschluss daran werden die Bögen eingesammelt und eingescannt. Es folgt ein automatisches Erkennen der eingetragenen Antworten, das sogenannte Optical Mark Recognition (OMR) bzw. Optical Character Recognition (OCR), und der Abgleich mit den vorgegebenen richtigen Antworten. Da beim Erkennen häufig Fehler auftreten, weil z.B. ein Blatt schief gescannt wurde, Artefakte auftreten oder einige Punkte verrutscht sind, ist zusätzlich manuelle Qualitätssicherung erforderlich.

Verarbeitungsprozess der FU Hagen (Quelle: Brigitte Kreplin)

Am Beispiel der Fernuni Hagen sind nachfolgend die einzelnen Schritte beim Ablauf einer Scan-Klausur näher beschrieben (siehe dazu auch die Abb. auf der rechten Seite):

• Aufgaben und Musterlösungen erstellen: Am Anfang des Prozesses steht die Erstellung von Fragen und Musterlösungen durch die Lehrenden. Hierbei handelt es sich i.d.R. um MC-Fragen, da einfache Markierungen (wie ankreuzen) einfacher elektronisch auszuwerten sind als handschriftliche Symbole.
• OCR-Bögen vorbereiten: Stehen Aufgaben und damit die Antworten fest, folgt deren Anordnung auf einem oder mehreren OCR-Bögen. Ein Beispiel ist in der Abb. rechts oben dargestellt, ein anderes Beispiel kann als PDF bei der FU Hagen heruntergeladen werden. Es bietet sich an, genau einen Antwortbogen pro Klausur zu verwenden, um Teilauswertungen und nachträgliche Zusammenführung als zusätzliche Fehlerquellen zu vermeiden.
• OCR-Bögen drucken: Es folgt der Druck der Bögen. Die Verwendung möglichst festen Papiers erleichtert im Nachhinein das Einscannen. Zudem sollte mit der Druckerei eine einheitliche Blindfarbe abgestimmt sein. Diese dient der Begrenzung der Eingabefelder, so dass die Prüflinge leicht erkennen, wo sie ihre Antworten eintragen müssen. Eine solche Blindfarbe lässt sich beim Scannen komplett ausblenden. Die Druckerei muss daher sicherstellen, dass keine Farbverläufe auftreten, weil sonst Artefakte beim Scannen auftreten.
• OCR-Bögen verteilen: Die vorbereiteten OCR-Bögen werden dann zusammen mit den Aufgaben und evtl. Teilnehmerlisten verpackt, versiegelt und an die Teststandorte befördert. Zum vereinbarten Zeitpunkt erfolgt dort die Öffnung und Verteilung der Aufgaben, so dass die Klausur zeitgleich an verschiedenen Orten geschrieben werden kann.
• Klausur schreiben: Beim eigentlichen Prüfungsprozess bearbeiten die Prüflinge ihre Aufgaben und tragen die Antworten zusammen mit weiteren Informationen wie Name und Matrikelnummer in die Bögen ein. Aufsichten vor Ort stellen sicher, dass keine Täuschungsversuche erfolgen und Namen/Matrikelnummern sowie Personen zueinander passen (und auf der Teilnehmerliste stehen). Im Anschluss an die Klausur sammeln die Aufsichten die Bögen ein, versiegeln diese und senden sie an die Fernuni zurück.
• Eingang im Prüfungsamt registrieren: Im Prüfungsamt wird der Eingang der Bögen erfasst und die Personendaten mit der Anmeldeliste zur Klausur abgeglichen. Hier wird amtlich, ob alle angemeldeten Studierenden an der Prüfung teilgenommen haben oder nicht (bzw. ob es Teilnehmer gab, die gar nicht angemeldet waren).
• Scannen vorbereiten: Es folgt die Vorbereitung des Scanvorgangs. Dabei sind die Scanner auf die Blindfarbe der Bögen einzustellen, so dass diese erst gar nicht erkannt wird. Zudem sind die Bögen bestimmten Klausuren zuzuordnen, nach denen am Ende die Auswertung erfolgt.
• OCR-Bögen Scannen 1: Beim ersten Scanvorgang werden die Bögen von einem Scanner eingelesen und digital gespeichert.
• OCR-Bögen Scannen 2: Zur Sicherung von Qualität und Ergebnis folgt dann ein zweiter Scanvorgang mit einem anderen Scanner.
• Ergebnisse verifizieren: Im Anschluss daran werden die Ergebnisse beider Scanvorgänge ausgewertet und miteinander verglichen. Treten Abweichungen auf, ist manuelle Kontrolle notwendig, die im Zweifelsfall nachjustieren muss.
• Ergebnisse dokumentieren: Die endgültigen Ergebnisse, d.h. die eingescannten Bögen und deren Auswertung, werden im Anschluss daran dokumentiert.
• Ergebnisse zur Prüfungsverwaltung: Klausurergebnisse zu den jeweiligen Prüflingen werden am Ende an die Prüfungsverwaltungssysteme des Prüfungsamts übermittelt.
• Noteneinsicht für Studierende: Studierende können dann über das Prüfungsamt ihre resultierenden Noten einsehen.
• Einsprüche bearbeiten: Treten Ungereimtheiten auf oder sind Studierende mit dem Ergebnis nicht einverstanden, können sie Einspruch einlegen, der dann im Prüfungsamt bearbeitet wird.
• Analyse zum Lehrgebiet: Die Lehrenden erhalten ebenfalls durch die Ergebnisse ein Feedback zum Lehrgebiet. Zudem gestattet die elektronische Auswertung von Aufgaben weitere Verfahren wie z.B. Itemanalyse, die Aussagen zur Qualität der Aufgaben machen kann.

Eine Übersicht über verschiedene Systeme, die eine Erstellung von Antwortbögen sowie die Analyse der eingescannten Antworten übernehmen, sind unter Optical Mark Recognition im Bereich Technik zu finden.

Exam Retake

Im Anschluss an eine Klausur interessieren sich die Prüflinge zwar für ihr Gesamtergebnis, aber i.d.R. weniger für ihr Abschneiden bei einzelnen Aufgaben. Das sieht man z.B. daran, dass kaum jemand zu den Klausureinsichten kommen. Insbesondere bei falsch gelösten Aufgaben ist aber wünschenswert, dass sich die Studierenden noch einmal damit beschäftigen. Beim "Exam Retake" erhalten sie die Möglichkeit, fehlerhaft gelöste Aufgaben noch einmal zu bearbeiten. Das hat zwei Effekte: auf der einen Seite erfahren sie, was sie in der vorangehenden Klausur falsch gemacht haben und was ihnen vorher evtl. gar nicht klar war. Auf der anderen Seite beschäftigen sie sich noch einmal mit problematischen Inhalten (Lernen durch Wiederholung) und können am Ende zeigen, dass sie diese schließlich doch verstanden haben - und bei der Gelegenheit vielleicht noch ein paar Mikropunkte für ihr Gesamtergebnis hinzu verdienen.

Distanzprüfungen

Ein weiteres Szenario, das nur unter Einsatz von IKT denkbar ist, sind benotete Prüfungen auf Distanz. Hier existieren bisher nur indirekte Ansätze wie z.B. mündliche Prüfungen, die Prüfender und Prüfling im Rahmen einer Videokonferenz durchführen. Schriftliche Prüfungen scheitern bisher insbesondere an fehlenden Aufsichtsmöglichkeiten, ohne die unsicher ist, ob getätigte Eingaben wirklich vom Prüfling oder von Dritten stammen. Der Begriff Distanz sagt dabei jeweils aus, dass sich Prüfender und Prüfling an verschiedenen Orten befinden und daher die Prüfungsleistung auf Entfernung ablegen oder beurteilen müssen. Entsprechende Beispiele folgen.

Durchführung auf Distanz

Das Center für lebenslanges Lernen (C3L) der Universität Oldenburg bietet u.a. einen Studiengang Betriebswirtschaftslehre für Spitzensportler an, dessen Teilnehmer während des Studiums zwischen verschiedenen Trainingslagern weltweit hin und her reisen. Da sich die Zeiten der entfernten Aufenthalte mit den Prüfungszeiten überschneiden, wird hier noch nach einer Möglichkeit gesucht, IKT sinnvoll einzusetzen, um Prüfungen sicher auf Distanz abzunehmen.

Die FernUni Hagen führt in diesem Zusammenhang schon seit 1996 erfolgreich mündliche Videoprüfungen durch. Dazu wird eine Videokonferenz zwischen der FernUni (wo der Prüfende sitzt) und dem Prüfungsort aufgebaut, wo sich Prüfling und Aufsichtsperson aufhalten. Beisitzende können sowohl an der FernUni als auch am Prüfungsort anwesend sein. Weitere Informationen:

• Videoprüfung an der FernUni Hagen

Auswertung auf Distanz

Auf der anderen Seite können sich auch Prüfende entfernt aufhalten. So beschäftigt die HBK Braunschweig zahlreiche Reiseprofessuren, die weltweit Veranstaltungen abhalten. Hinzu kommt, dass Abschlussarbeiten oder Prüfungsleistungen der bildenden Kunst (z.B. Bildhauerei, Malerei) i.d.R. über einen längeren Zeitraum angefertigt werden. Hier wird eine Möglichkeit gesucht, diese angefertigten Arbeiten angemessen z.B. online präsentieren zu können, so dass die Prüfenden die erbrachte Leistung trotz ihrer Entfernung möglichst vollständig und objektiv bewerten können.

Einsatz elektronischer Werkzeuge

Mit fortschreitender Professionalisierung lernen die Studierenden, ihre Fertigkeiten praktisch einzusetzen. Auf dieser Ebene der Kompetenzentwicklung unterstützen elektronische Werkzeuge die summativen Prüfungen auf zwei Arten: nämlich als reguläres Arbeitsmittel oder als Instrumente zur Leistungsmessung. Elektronische Arbeitsmittel werden z.B. bei klassischen praktischen Prüfungen eingesetzt, damit die Prüflinge ihre Fertigkeiten im Umgang mit diesen Werkzeugen direkt demonstrieren können. Beispiel ist der Einsatz von Programmierwerkzeugen im Rahmen eines Programmierkurses. Auf der anderen Seite können elektronische Werkzeuge aber auch die Leistungsmessung unterstützen bzw. übernehmen. Die Prüflinge zeigen ihre Fertigkeiten hier nicht direkt an dem Werkzeug, für das sie ausgebildet wurden, sondern indirekt an einem Simulator, der das Werkzeug repräsentiert. Der Simulator ist in diesem Fall das Werkzeug zur Leistungsmessung und vermeidet den Einsatz des regulären Werkzeugs, weil dieses z.B. zu gefährlich oder zu teuer ist. Beispiele sind Flugsimulatoren oder virtuelle Labore.

Beispiel: Mobile Outdoor-Prüfungen

Eine Prüfungsform zwischen elektronischer Klausur und dem Einsatz elektronischer Werkzeuge bei einer praktischen Prüfung stellt die Outdoor-Prüfung dar, die z.B. an der TiHo Hannover durchgeführt wurde. Die Studierenden erhielten dafür mobile Tablet PCs und mussten einen Parcours aus verschiedenen Stationen ablaufen. Ähnlich wie bei den in der Medizin etablierten Objective Structured Clinical Examinations (OSCE) hatten die Studierenden vor Ort jeweils unterschiedliche Aufgaben zu lösen. In diesem Fall waren Wissensfragen zum Themengebiet "Botanik" zu beantworten; an den Stationen befindliche Pflanzen wurden zu dem Zweck einbezogen. Die Tablet-PCs waren hierbei Werkzeuge, um Eingaben der Studierenden zu erfassen am Ende das Ergebnis zu präsentieren. Das Verfahren wurde von den Studierenden positiv angesehen, da es motivierend wirkte, sein Ablauf durch die OSCEs bereits bekannt war und durch Einsatz von IKT schnelles Feedback erfolgte. Erfahrungsberichte sind zu finden: im multiermedia-Blog: Gute Prüfung trotz nasser Füße auf e-teaching.org: E-Prüfung unter freiem Himmel

(Bildquelle: http://multiermedia.edublogs.org)

Weitere Einsatzmöglichkeiten

• Diagnostisches Assessment (z.B. Einstufungs- oder Zulassungstests)
• Formatives Assessment(z.B. E-Übungen, Gemeinsames Lernen)
• Qualitätssicherung (z.B. Progresstests, E-Lehrevaluation)
• Einsatzszenarien allgemein