Organisation

Aktivitäten im Prüfungsprozess

Typischer Ablauf einer Klausur am Beispiel Uni Oldenburg

Nachfolgend sind verschiedene Aktivitäten aus dem Ablauf einer E-Prüfung bzw. von E-Assessments aufgeführt und beschrieben. Diese Aktivitäten leiten sich im Wesentlichen vom Prozess einer schriftlichen Klausur ab, wie in der nebenstehenden Abbildung illustriert. Je nach Einsatzszenario können sie im Einzelfall auftreten, müssen es aber nicht: eine Anmeldung zur Klausur ist z.B. bei formativen Assessments nicht nötig. Ebenso können die Aktivitäten und ihre Reihenfolge je nach Einsatzzweck, Szenario und Anforderungen einer Hochschule variieren. Alternative Prozesse insbesondere für E-Klausuren sind im Abschnitt Beispielprozesse illustriert.

Termin- und Raumvereinbarung

Die Auswahl der Prüfungsräume erfolgt nach verschiedenen Kriterien:

• Anzahl der Teilnehmer (bezogen auf verfügbare Arbeitsplätze im Raum)
• Anforderungen an die Ausstattung (z.B. besondere Monitore, Headsets, WLAN, etc.)
• Planung des Durchlaufs (simultan in verschiedenen Räumen, zeitlich versetzt im gleichen Raum)
• Verfügbarkeit der Räume (noch frei oder schon belegt)
• Vorgaben des Prüfungsamts (als Bestimmung, wo und wann eine Prüfung stattfinden muss)

Ist ein Raum ausgewählt, kann er im zentralen Raumbüro der Hochschule belegt werden. Manche Hochschulen halten zur Verwaltung der Räume spezielle Raumplaner vor, mit deren Hilfe Lehrende gewünschte Räume reservieren bzw. ihre Belegung überprüfen können.

Anmeldung im Prüfungsamt

Damit eine Prüfungsleistung angerechnet wird, muss ein Prüfling die Prüfung anmelden, das Modul damit "belegen". Die zugehörige Prüfungsordnung schreibt den Zeitraum vor, in dem nach erstmaliger Belegung das Modul bestanden sein muss. Anderenfalls kann dies Konsequenzen auf den weiteren Studienverlauf haben, das Studium z.B. erfolglos beendet sein.

Die Anmeldung selbst kann online erfolgen oder traditionell im Prüfungsamt. Dort stellt ein zugehöriger Sachbearbeiter fest, ob bestimmte Voraussetzungen erfüllt sind (z.B. der Prüfling immatrikuliert ist), und notwendige Vorleistungen erbracht wurden. Die Daten des Prüflings werden dazu i.d.R. in ein Prüfungsverwaltungssystem eingegeben.

Hochschulen wie z.B. die Uni Oldenburg bieten ihren Studierenden die Möglichkeit, sich außerhalb der Öffnungszeiten des Prüfungsamtes zu Modulprüfungen anzumelden (oder die erzielten Noten einzusehen). Zu dem Zweck wurde das Prüfungsverwaltungssystem mit dem hochschulweiten Lernmanagementsystem gekoppelt. Studierende können ihre Module im Lernmanagementsystem auswählen, zugehörige Prüfungen finden und sich per PIN/TAN-Verfahren verbindlich davon an- oder abmelden.

Hat ein Studierender eine Prüfung nicht bestanden, ist er/sie zumeist automatisch zur folgenden Nachprüfung angemeldet. Auf die rechtlichen Anforderungen geht der Abschnitt Zulassung zur Prüfung ein. Nach der Anmeldung erstellt das Prüfungsamt i.d.R. eine Übersicht über die Prüfungsteilnehmer und sendet diese, z.B. zusammen mit einem Bewertungsbogen, an den Prüfenden, so dass dieser sich auf die Teilnehmerzahl einstellen kann.

Vorbereitung der Prüfung

Je nach Einsatzzweck legt der Prüfende den Prüfungsverlauf fest. Dieser kann z.B. statisch (d.h. eine gleiche diagnostische Prüfung für alle Teilnehmer, um diese vergleichen zu können), adaptiv (d.h. Aufgaben und Schwierigkeitsgrad der Prüfung passen sich an die jeweiligen Prüflinge individuell an, um Schwächen und Stärken gezielt ermitteln zu können) oder stufenförmig sein (d.h. es gibt verschiedene Bereiche, die einmal abgeschlossen nicht wieder bearbeitet werden können, um z.B. frühere Antworten in spätere Aufgaben einbeziehen zu können).

Abhängig vom gewählten Prüfungsverlauf sind dann die Prüfungsaufgaben zu erstellen und ggf. einer ersten Qualitätskontrolle zu unterziehen. Schritte zur Qualitätssicherung von Prüfungen und Prüfungsaufgaben stellen nachfolgend verschiedene Beispielprozesse dar, zudem gibt es mit Formulierungshinweisen und Literaturbeispielen eine Hilfe bei der Erstellung von MC-Aufgaben.

Aufsichten vor Ort helfen dabei, Täuschungsversuche zu vermeiden. Sie sind vorab zu rekrutieren und ggf. zu schulen, damit sie wissen, wie sie im Fall einer Täuschung oder Panne reagieren müssen und wie sie z.B. Hilfestellung bei technischen Problemen geben können. Die Schulung von Prüflingen, insbesondere wenn sie die Technologien noch nicht kennen, kann mit Übungsklausuren erfolgen, so dass der erste Umgang damit nicht in der kritischen Prüfungssituation erfolgen muss.

Schließlich sind die Arbeitsplätze entsprechend herzurichten und auszustatten. Neben hinreichendem Abstand und Sichtschutz kann es unter Umständen notwendig sein, bestimmte Prüfungssoftware wie z.B. Secure Browser zu installieren, Zugänge einzurichten, Zugriffe auf das Internet, weitere Programme oder USB-Medien einzuschränken uvm. Sind multimediale Elemente beteiligt, ist weitere technische Ausstattung wie Headsets erforderlich, die ebenfalls vorab bereitzustellen und auf korrekte Funktion zu prüfen ist.

Durchführung

Übersicht: Anzahl E-Klausuren an der Uni Mainz bis 2010

Bei der Durchführung elektronischer Klausuren ist zu beachten, dass gleiche Voraussetzungen für alle Teilnehmer geschaffen sein müssen. Die Prüflinge können sich mit Hilfe ihres Lichtbild- und Studentenausweises identifizieren und für die Prüfung authentifizieren. Durch Eingabe von Anmeldedaten wie Login, Passwort und PIN/TAN schalten sie ihre Klausuren frei und ordnen sich diesen jeweils zu. Falls E-Klausuren nicht in den jeweiligen Prüfungsordnungen verankert wurden, kann Rechtssicherheit indirekt hergestellt werden, indem die elektronisch bearbeiteten Aufgaben am Ende ausgedruckt, von den erstellenden Studierenden unterschrieben und dann wie eine klassische schriftliche Prüfung gehandhabt werden.

Ein Protestknopf kann den Studierenden zudem ermöglichen, vorgegebenen Antworten zu widersprechen und eigene Lösungsvorschläge einzubringen. Das kann nützlich sein zu erkennen, ob alle Lösungsmöglichkeiten vorgegeben wurden oder ob Kombinationen aus Antworten richtig sind, die bisher nicht berücksichtigt wurden. Auf diese Weise kann man zudem vom Mehrwert der Community profitieren, die in Gemeinschaft immer mehr sieht als der Autor der Prüfungen alleine. Damit erhalten Prüflinge die Möglichkeit, sich einzubringen, wenn ihnen vorgegebene Antworten nicht schlüssig erscheinen (oder automatische Grundwerten fehlerhaft generiert wurden). Lehrende erfahren darüber hinaus, welche Aufgaben besondere Schwierigkeiten machen bzw. wie sicher sich die Lernenden bei der Beantwortung einer Frage fühlen und können ihre Lehrveranstaltungen entsprechend anpassen.

Ein vorab erstellter Notfallplan listet Ansprechpartner und Vorgehensweisen auf, falls technische Probleme (z.B. Stromausfall, Serverabsturz) auftreten. Weitere Elemente zur Zuverlässigkeit der Systeme oder zur generellen Technik werden in den zugehörigen Bereichen angesprochen.

Auswertung der Ergebnisse

Die Auswertung der Eingaben kann (teil-)automatisiert erfolgen, insofern korrekte Antworten wie z.B. bei MC-Aufgaben oder Wertebereiche bei numerischen Aufgaben vorgegeben wurden. Bei Kurztextaufgaben, wie sie z.B. in Lückentexten vorkommen, kann man Schreib- oder Flüchtigkeitsfehler berücksichtigen, indem man dem auswertenden System einen Toleranzbereich wie eine bestimmte Levensthein-Distanz vorgibt.

Bei einer manuellen Kontrolle der Ergebnisse helfen Kommentare der Prüflinge, Probleme bei Aufgaben oder Antwortalternativen zu identifizieren. Eine statistische Analyse (siehe Itemanalyse) erlaubt zudem Rückschlüsse auf die Qualität der Aufgaben sowie über Schwierigkeitsgrad und Trennschärfe. Auf diese Weise erhält ein Prüfender wertvolle Informationen zur Verbesserung der Aufgaben für ihre Wiederverwendung in einem folgenden Zyklus. Je nach Gesamtergebnis der Prüfung sind evtl. fehlerhafte Aufgaben aus der Wertung zu nehmen und/oder die Notenskala entsprechend anzupassen bzw. einzustellen.

Die Auswertung komplexerer Freitexteingaben oder längerer Ausarbeitungen sollte manuell erfolgen. Hier profitiert der Prüfer von einer besseren Lesbarkeit im Vergleich zur Entzifferung verschiedener Handschriften. Zudem ist möglich, die elektronisch erfassten Eingaben mit Hilfe von Peer Assessment Verfahren auswerten zu lassen. Auf diese Weise sind die Lernenden in den Auswertungsprozess einbezogen und können sich laut Bogner dadurch stärker mit dem Lernprozess identifizieren.

Klausureinsicht

Nach "vorläufiger" Bekanntgabe der Ergebnisse erfolgt i.d.R. eine optionale Klausureinsicht. Prüflinge können hier noch einmal ihre Eingaben bzw. Antworten und deren Richtigkeit bzw. Bewertung prüfen. Die Erfahrung zeigt, dass insbesondere diejenigen diese Möglichkeit nutzen, deren Ergebnisse nicht den Erwartungen entsprechen. In der Vergangenheit wurden auf diese Weise bei schriftlichen Prüfungen durchaus Fehler in der Korrektur aufgedeckt und nachgebessert. Die Einsicht erfolgt zumeist in Anwesenheit des Prüfenden, der währenddessen auf Fragen der Prüflinge eingehen kann.

Übermittlung der Ergebnisse ans Prüfungsamt

Sobald die endgültigen Noten feststehen, müssen sie ans Prüfungsamt übermittelt werden. Im traditionellen Prozess trägt der Prüfende die Ergebnisse in eine Liste ein (z.B. Excel-Tabelle), die er bereits vor der Prüfung als Teilnehmerliste erhalten hat. Diese wird entsprechend ausgefüllt, unterschrieben und dann per Post ans Prüfungsamt zur Weiterverarbeitung geschickt.

Manche Hochschulen wie z.B. die Uni Oldenburg haben Prüfungsverwaltungs- und Lernmanagementsysteme gekoppelt. Auf diese Weise können sich Studierende zu Prüfungen an- und davon abmelden oder ihre Noten einsehen. Lehrende können auf diese Weise die Noten der Prüfungen direkt eingeben bzw. die elektronisch ausgefüllten Excel-Tabellen dorthin hochladen und so die Ergebnisse dem Prüfungsamt zur Verfügung stellen. Um jedoch die Verbindlichkeit der Noten zu gewährleisten, ist dennoch die unterschriebene Liste mit den Ergebnissen auf traditionellem Weg ans Prüfungsamt zu senden.

Übernahme in Prüfungsverwaltung

Prüfungsämter sichern erzielte Ergebnisse bzw. Noten in den Prüfungsakten der Studierenden sowie im Prüfungsverwaltungssystem. Aufgrund von Anforderungen des Verwaltungsaktes pflegen Prüfungsämter neben den elektronischen Studierendenakten i.d.R. gleiche Akten in Papierform. Nach Ermittlung der Ergebnisse liefert der Prüfer diese zumeist auf einer unterschriebenen Liste (und ggf. zusätzlich in elektronischer Form als Excel-Tabelle) an. Ein Sachbearbeiter im Prüfungsamt übernimmt die Daten, indem er sie i.d.R. manuell ins Prüfungsverwaltungssystem eingibt. Um Fehler bei der Datenübernahme zu vermeiden, bietet sich die Kopplung von E-Klausur- und Prüfungsverwaltungssystem an. Auf diese Weise können die Prüfungen und Prüflinge (als Teilnehmerliste) in das E-Klausursystem exportiert und erzielte Ergebnisse auf elektronischem Weg zurück ins Prüfungsverwaltungssystem importiert werden.

Archivierung der Unterlagen

Die Archivierung von Prüfungsunterlagen betrifft sowohl die Ergebnisse als auch die schriftlichen Unterlagen. I.d.R. sind es Prüfende, die direkte Unterlagen einer Prüfung aufbewahren. Dazu zählen gestellte Aufgaben, die Dokumentation des Verlaufs, gegebene Antworten und deren Bewertung. Im elektronischen Fall gehören Mitschnitte, Logfiles und ähnliches ebenfalls dazu. Die Prüfungsordnungen bestimmen dazu den Zeitraum, in dem diese aufzubewahren sind. Siehe hierzu auch Rechtsfragen der Archivierung im Bereich rechtliche Anforderungen.

Das Prüfungsamt sichert auf der anderen Seite die Ergebnisse von Prüfungen, z.B. in Form von Punkten oder Noten. Dies geschieht jeweils bezogen auf die Studierenden, und zwar in deren Prüfungsakten. Deren Aufbewahrungspflichten über das Studium hinaus bestimmen den Zeitraum, in dem diese archiviert werden müssen.

Bei den Hochschulen sind es zumeist die Bibliotheken, die für die Archivierung zuständig sind und ggf. Archivierungsbeauftragte beschäftigen. Existiert bereits eine Archivierungsstrategie oder ein digitales Archiv der Hochschule, scheint es sinnvoll, auch elektronische Prüfungsunterlagen in diese Strategie einzugliedern.

Lösungsansätze

Installationen für E-Klausuren

• Feste Räume, fest installierte Hardware

• Testcenter der Uni-Bremen, 1 Raum, 130 Plätze, LPLUS TestStudio
• E-Examination-Center der FU-Berlin, 1 Raum, 151 Plätze, LPLUS TestStudio (Fertigstellung Jan. 2013)
• PC-Hall der Uni-Duisburg-Essen, 1 Raum, 196 Plätze, LPLUS TestStudio

• Feste/variable Räume mit Laptops der Studierenden ("Bring Your Own Device")

• Freie Universität Berlin, 4 Laptop-Prüfungsräume, 221 Plätze, LPLUS TestStudio mit LPLUS Secure Browser
• Start/Konfiguration der studentischen Rechner durch Ausgabe vorbereiteter und bootbarer USB-Sticks möglich

• Feste/variable Räume mit Leihgeräten (Laptops oder Tablet-PCs)

• z.B. MHH, TiHo, EMS Oldenburg, Med. Fakultät Innsbruck, Vetsuisse Bern & Zürich, Vetmed Wien, Akademie der Ärzte Wien, verschiedene Med.Fakultäten mit dem Progress Test Medizin, verschiedene Tiermed. Fakultäten mit dem Progress Test Tiermedizin, z.Zt. ca. 700 Laptops, Prüfungsplattform Q-Exam Institution
• Universität Utrecht mit 300 Chromebooks, die über zentrale Weboberfläche verwaltbar sind

• Prüfung mit vorhandenem LMS

• z.B. Uni Mainz, 4 Räume, 450 Plätze, ILIAS mit SEB
• z.B. Uni Osnabrück, CIP-Cluster, Stud.IP mit ViPS

Beispielprozesse

MH Hannover: Zusammenarbeit mit dem externen Dienstleister IQUL GmbH (ehemals Codiplan)

Quelle: IQUL GmbH

Uni Bremen: Testcenter & E-Assessment-Dienst

Weitere Informationen bietet der E-Assessment Dienst der Uni Bremen.

Allgemeiner Prozess (Quelle: http://www.eassessment.uni-bremen.de/ablauf.php)

Qualitätsmanagement (Quelle: http://www.eassessment.uni-bremen.de/ablauf_qm.php)

Erstellung von Fragekatalogen (Quelle: Online-Schulung)

Schritt	E-Learning-Service	Editoren	Autoren
Erstberatung	x		x
Festlegung Deadlines	x
Schulung	x	x
Produktion Vorlagen			x
Digitalisierung (TM-Editor)		x
Lokale Kontrolle 1		x	x
Lokale Kontrolle 2	x
Upload Erstversion	x
Katalogtest (LTS)		x	x
Überarbeitung (TM-Editor)	x
Upload Endversion	x
Einstellungstest (LTS)	x	x	x
Registrierung der Teilnehmer	x
Zugangstest/Endabnahme	x	x	x

TH Wildau: Zentrum für Qualitätsentwicklung (ZQE)

Weitere Informationen sind auf den E-Assessment-Seiten der TH-Wildau zu finden.

Qualitätssicherungsprozess (Quelle: Qualitätssicherungsprozess der TH Wildau)

Universität Duisburg/Essen

Jörg Stratmann beschreibt im Rahmen eines Online-Podiums, wie eine elektronische Klausur im Prüfungscenter der Universität Duisburg/Essen ablaufen kann.

1. Beratungsgespräch
2. Raumbuchung
3. Softwareschulung
4. Erstellen der Klausur
5. Erstellen spezieller Medien
6. Testen der Klausur
7. Studierende melden sich zur Prüfung an/ab
8. Lehrender erhält Excel-Liste mit Prüfungsteilnehmern
9. Import der Teilnehmer in die Prüfungssoftware
10. Tischkarten: Matrikelnummer und PIN
11. Prüfungsdurchführung
12. Sicherung der Antworten in einem PDF
13. Bewertung der Klausuren in Prüfungssoftware
14. Übergabe der Prüfungsergebnisse ans Prüfungsamt
15. Import der Daten in Prüfungsverwaltungssoftware
16. Klausureinsicht

Freie Universität Berlin

Nicolas Apostolopoulos führt während eines Online-Podiums die Leistungen des Arbeitsbereichs E-Examinations der Freien Universität Berlin auf.

• Basic
  • Raumbuchungen
  • Gewährleisten der technischen Sicherheit
  • Anlegen der Studierenden im System
• Advanced (kostenpflichtig)
  • Erstellen von Klausuren aus Rohdokumenten
  • Anlegen der Studierenden im System
  • Freischalten der Studierenden
  • Bereitstellen von Matrikellisten zum Aushang am Fachbereich
  • Bereitstellen eines technischen Ansprechpartners bei der Prüfung
  • Bereitstellen von Matrikel-Notenlisten nach der Prüfung

Weitere Informationen sind in der Beschreibung des Arbeitsbereichs E-Examinations der Freien Universität Berlin zu finden.

Weiterführende Informationen

• Konzeption und Methodik elektronischer Prüfungen
• Verschiedene Aufgabentypen
• Erstellen von Multiple-Choice-Aufgaben
• Ansprechpartner und Experten
• Technik und Systeme
• Vergleich verschiedener E-Prüfungssysteme
• An Hochschulen eingesetzte Systeme (ZKI-Umfrage)

Literatur

• Daniel Biella, Dieter Huth, Michael Striewe et al.: Organisation und Implementierung PC-gestützter Prüfungen an der Universität Duisburg-Essen, e-teaching.org, 2010, Download als PDF
• Wolfgang Zimmerling, Robert G. Brehm: Der Prüfungsprozess, Köln, 2004