Organisation

Aktivitäten im Prüfungsprozess

Typischer Ablauf einer Klausur am Beispiel Uni Oldenburg

Nachfolgend sind verschiedene Aktivitäten aus dem Ablauf einer E-Prüfung bzw. von E-Assessments aufgeführt und beschrieben. Diese Aktivitäten leiten sich im Wesentlichen vom Prozess einer schriftlichen Klausur ab, wie in der nebenstehenden Abbildung illustriert. Je nach Einsatzszenario können sie im Einzelfall auftreten, müssen es aber nicht: eine Anmeldung zur Klausur ist z.B. bei formativen Assessments nicht nötig. Ebenso können die Aktivitäten und ihre Reihenfolge je nach Einsatzzweck, Szenario und Anforderungen einer Hochschule variieren. Alternative Prozesse insbesondere für E-Klausuren sind im Abschnitt Beispielprozesse illustriert.

Termin- und Raumvereinbarung

Die Auswahl der Prüfungsräume erfolgt nach verschiedenen Kriterien:

• Anzahl der Teilnehmer (bezogen auf verfügbare Arbeitsplätze im Raum)
• Anforderungen an die Ausstattung (z.B. besondere Monitore, Headsets, WLAN, etc.)
• Planung des Durchlaufs (simultan in verschiedenen Räumen, zeitlich versetzt im gleichen Raum)
• Verfügbarkeit der Räume (noch frei oder schon belegt)
• Vorgaben des Prüfungsamts (als Bestimmung, wo und wann eine Prüfung stattfinden muss)

Ist ein Raum ausgewählt, kann er im zentralen Raumbüro der Hochschule belegt werden. Manche Hochschulen halten zur Verwaltung der Räume spezielle Raumplaner vor, mit deren Hilfe Lehrende gewünschte Räume reservieren bzw. ihre Belegung überprüfen können.

Anmeldung im Prüfungsamt

Damit eine Prüfungsleistung angerechnet wird, muss ein Prüfling die Prüfung anmelden, das Modul damit "belegen". Die zugehörige Prüfungsordnung schreibt den Zeitraum vor, in dem nach erstmaliger Belegung das Modul bestanden sein muss. Anderenfalls kann dies Konsequenzen auf den weiteren Studienverlauf haben, das Studium z.B. erfolglos beendet sein.

Die Anmeldung selbst kann online erfolgen oder traditionell im Prüfungsamt. Dort stellt ein zugehöriger Sachbearbeiter fest, ob bestimmte Voraussetzungen erfüllt sind (z.B. der Prüfling immatrikuliert ist), und notwendige Vorleistungen erbracht wurden. Die Daten des Prüflings werden dazu i.d.R. in ein Prüfungsverwaltungssystem eingegeben.

Hochschulen wie z.B. die Uni Oldenburg bieten ihren Studierenden die Möglichkeit, sich außerhalb der Öffnungszeiten des Prüfungsamtes zu Modulprüfungen anzumelden (oder die erzielten Noten einzusehen). Zu dem Zweck wurde das Prüfungsverwaltungssystem mit dem hochschulweiten Lernmanagementsystem gekoppelt. Studierende können ihre Module im Lernmanagementsystem auswählen, zugehörige Prüfungen finden und sich per PIN/TAN-Verfahren verbindlich davon an- oder abmelden.

Hat ein Studierender eine Prüfung nicht bestanden, ist er/sie zumeist automatisch zur folgenden Nachprüfung angemeldet. Auf die rechtlichen Anforderungen geht der Abschnitt Zulassung zur Prüfung ein. Nach der Anmeldung erstellt das Prüfungsamt i.d.R. eine Übersicht über die Prüfungsteilnehmer und sendet diese, z.B. zusammen mit einem Bewertungsbogen, an den Prüfenden, so dass dieser sich auf die Teilnehmerzahl einstellen kann.

Vorbereitung der Prüfung

Je nach Einsatzzweck legt der Prüfende den Prüfungsverlauf fest. Dieser kann z.B. statisch (d.h. eine gleiche diagnostische Prüfung für alle Teilnehmer, um diese vergleichen zu können), adaptiv (d.h. Fragen und Schwierigkeitsgrad der Prüfung passen sich an die jeweiligen Prüflinge individuell an, um Schwächen und Stärken gezielt ermitteln zu können) oder stufenförmig sein (d.h. es gibt verschiedene Bereiche, die einmal abgeschlossen nicht wieder bearbeitet werden können, um z.B. frühere Antworten in spätere Fragen einbeziehen zu können).

Abhängig vom gewählten Prüfungsverlauf sind dann die Prüfungsfragen zu erstellen und ggf. einer ersten Qualitätskontrolle zu unterziehen. Schritte zur Qualitätssicherung von Prüfungen und Prüfungsfragen stellen nachfolgend verschiedene Beispielprozesse dar, zudem gibt es mit Formulierungshinweisen und Literaturbeispielen eine Hilfe bei der Erstellung von MC-Fragen.

Aufsichten vor Ort helfen dabei, Täuschungsversuche zu vermeiden. Sie sind vorab zu rekrutieren und ggf. zu schulen, damit sie wissen, wie sie im Fall einer Täuschung oder Panne reagieren müssen und wie sie z.B. Hilfestellung bei technischen Problemen geben können. Die Schulung von Prüflingen, insbesondere wenn sie die Technologien noch nicht kennen, kann mit Übungsklausuren erfolgen, so dass der erste Umgang damit nicht in der kritischen Prüfungssituation erfolgen muss.

Schließlich sind die Arbeitsplätze entsprechend herzurichten und auszustatten. Neben hinreichendem Abstand und Sichtschutz kann es unter Umständen notwendig sein, bestimmte Prüfungssoftware wie z.B. Secure Browser zu installieren, Zugänge einzurichten, Zugriffe auf das Internet, weitere Programme oder USB-Medien einzuschränken uvm. Sind multimediale Elemente beteiligt, ist weitere technische Ausstattung wie Headsets erforderlich, die ebenfalls vorab bereitzustellen und auf korrekte Funktion zu prüfen ist.

Durchführung

Übersicht: Anzahl E-Klausuren an der Uni Mainz bis 2010

Bei der Durchführung elektronischer Klausuren ist zu beachten, dass gleiche Voraussetzungen für alle Teilnehmer geschaffen sein müssen. Die Prüflinge können sich mit Hilfe ihres Lichtbild- und Studentenausweises identifizieren und für die Prüfung authentifizieren. Durch Eingabe von Anmeldedaten wie Login, Passwort und PIN/TAN schalten sie ihre Klausuren frei und ordnen sich diesen jeweils zu. Falls E-Klausuren nicht in den jeweiligen Prüfungsordnungen verankert wurden, kann Rechtssicherheit indirekt hergestellt werden, indem die elektronisch bearbeiteten Aufgaben am Ende ausgedruckt, von den erstellenden Studierenden unterschrieben und dann wie eine klassische schriftliche Prüfung gehandhabt werden.

Ein Protestknopf kann den Studierenden zudem ermöglichen, vorgegebenen Antworten zu widersprechen und eigene Lösungsvorschläge einzubringen. Das kann nützlich sein zu erkennen, ob alle Lösungsmöglichkeiten vorgegeben wurden oder ob Kombinationen aus Antworten richtig sind, die bisher nicht berücksichtigt wurden. Auf diese Weise kann man zudem vom Mehrwert der Community profitieren, die in Gemeinschaft immer mehr sieht als der Autor der Prüfungen alleine. Damit erhalten Prüflinge die Möglichkeit, sich einzubringen, wenn ihnen vorgegebene Antworten nicht schlüssig erscheinen (oder automatische Grundwerten fehlerhaft generiert wurden). Lehrende erfahren darüber hinaus, welche Aufgaben besondere Schwierigkeiten machen bzw. wie sicher sich die Lernenden bei der Beantwortung einer Frage fühlen und können ihre Lehrveranstaltungen entsprechend anpassen.

Ein vorab erstellter Notfallplan listet Ansprechpartner und Vorgehensweisen auf, falls technische Probleme (z.B. Stromausfall, Serverabsturz) auftreten. Weitere Elemente zur Zuverlässigkeit der Systeme wurde bereits im Abschnitt Technik und Systeme angesprochen.

Auswertung der Ergebnisse

Die Auswertung der Eingaben kann (teil-)automatisiert erfolgen, insofern korrekte Antworten wie z.B. bei MC-Aufgaben oder Wertebereiche bei numerischen Aufgaben vorgegeben wurden. Bei Kurztextaufgaben, wie sie z.B. in Lückentexten vorkommen, kann man Schreib- oder Flüchtigkeitsfehler berücksichtigen, indem man dem auswertenden System einen Toleranzbereich wie eine bestimmte Levensthein-Distanz vorgibt.

Bei einer manuellen Kontrolle der Ergebnisse helfen Kommentare der Prüflinge, Probleme bei Aufgaben oder Antwortalternativen zu identifizieren. Eine statistische Analyse (siehe Itemanalyse) erlaubt zudem Rückschlüsse auf die Qualität der Fragen sowie über Schwierigkeitsgrad und Trennschärfe. Auf diese Weise erhält ein Prüfender wertvolle Informationen zur Verbesserung der Aufgaben für ihre Wiederverwendung in einem folgenden Zyklus. Je nach Gesamtergebnis der Prüfung sind evtl. fehlerhafte Fragen aus der Wertung zu nehmen und/oder die Notenskala entsprechend anzupassen bzw. einzustellen.

Die Auswertung komplexerer Freitexteingaben oder längerer Ausarbeitungen sollte manuell erfolgen. Hier profitiert der Prüfer von einer besseren Lesbarkeit im Vergleich zur Entzifferung verschiedener Handschriften. Zudem ist möglich, die elektronisch erfassten Eingaben mit Hilfe von Peer Assessment Verfahren auswerten zu lassen. Auf diese Weise sind die Lernenden in den Auswertungsprozess einbezogen und können sich laut Bogner dadurch stärker mit dem Lernprozess identifizieren.

Klausureinsicht

Nach "vorläufiger" Bekanntgabe der Ergebnisse erfolgt i.d.R. eine optionale Klausureinsicht. Prüflinge können hier noch einmal ihre Eingaben bzw. Antworten und deren Richtigkeit bzw. Bewertung prüfen. Die Erfahrung zeigt, dass insbesondere diejenigen diese Möglichkeit nutzen, deren Ergebnisse nicht den Erwartungen entsprechen. In der Vergangenheit wurden auf diese Weise bei schriftlichen Prüfungen durchaus Fehler in der Korrektur aufgedeckt und nachgebessert. Die Einsicht erfolgt zumeist in Anwesenheit des Prüfenden, der währenddessen auf Fragen der Prüflinge eingehen kann.

Übermittlung der Ergebnisse ans Prüfungsamt

Sobald die endgültigen Noten feststehen, müssen sie ans Prüfungsamt übermittelt werden. Im traditionellen Prozess trägt der Prüfende die Ergebnisse in eine Liste ein (z.B. Excel-Tabelle), die er bereits vor der Prüfung als Teilnehmerliste erhalten hat. Diese wird entsprechend ausgefüllt, unterschrieben und dann per Post ans Prüfungsamt zur Weiterverarbeitung geschickt.

Manche Hochschulen wie z.B. die Uni Oldenburg haben Prüfungsverwaltungs- und Lernmanagementsysteme gekoppelt. Auf diese Weise können sich Studierende zu Prüfungen an- und davon abmelden oder ihre Noten einsehen. Lehrende können auf diese Weise die Noten der Prüfungen direkt eingeben bzw. die elektronisch ausgefüllten Excel-Tabellen dorthin hochladen und so die Ergebnisse dem Prüfungsamt zur Verfügung stellen. Um jedoch die Verbindlichkeit der Noten zu gewährleisten, ist dennoch die unterschriebene Liste mit den Ergebnissen auf traditionellem Weg ans Prüfungsamt zu senden.

Archivierung der Unterlagen

• Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
• Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)
• Einbinden der hochschulweiten Archivierungsstrategie, insofern so etwas existiert
• Archivierung der Ergebnisse und Unterlagen

Lösungsansätze

Installationen für E-Klausuren

• Feste Räume, fest installierte Hardware

• z.B. Testcenter Bremen, 1 Raum, 130 Plätze, LPLUS

• Feste/variable Räume mit Laptops der Studierenden

• z.B. FU Berlin, 4 Räume, 221 Plätze, Blackboard bzw. „Statistik-Labor“ mit Safe Exam Browser (SEB)

• Feste/variable Räume mit Leihgeräten

• z.B. MHH, 165 mobile Tablet-PCs, Q-Exam

• Prüfung mit vorhandenem LMS

• z.B. Uni Mainz, 4 Räume, 450 Plätze, ILIAS mit SEB
• z.B. Uni Osnabrück, CIP-Cluster, Stud.IP mit ViPS

Beispielprozesse

MH Hannover: Zusammenarbeit mit externem Dienstleister Codiplan

Quelle: Q[kju:] - Prozessmanagement und E-Klausuren (PDF, 403kB) (abgerufen 19.01.2011)

Uni Bremen: Testcenter & E-Assessment-Dienst

Weitere Informationen bietet der E-Assessment Dienst der Uni Bremen.

Allgemeiner Prozess (Quelle: http://www.eassessment.uni-bremen.de/ablauf.php)

Qualitätsmanagement (Quelle: http://www.eassessment.uni-bremen.de/ablauf_qm.php)

Erstellung von Fragekatalogen (Quelle: Online-Schulung)

Schritt	E-Learning-Service	Editoren	Autoren
Erstberatung	x		x
Festlegung Deadlines	x
Schulung	x	x
Produktion Vorlagen			x
Digitalisierung (TM-Editor)		x
Lokale Kontrolle 1		x	x
Lokale Kontrolle 2	x
Upload Erstversion	x
Katalogtest (LTS)		x	x
Überarbeitung (TM-Editor)	x
Upload Endversion	x
Einstellungstest (LTS)	x	x	x
Registrierung der Teilnehmer	x
Zugangstest/Endabnahme	x	x	x

Universität Duisburg/Essen

Jörg Stratmann beschreibt im Rahmen eines Online-Podiums, wie eine elektronische Klausur im Prüfungscenter der Universität Duisburg/Essen ablaufen kann.

1. Beratungsgespräch
2. Raumbuchung
3. Softwareschulung
4. Erstellen der Klausur
5. Erstellen spezieller Medien
6. Testen der Klausur
7. Studierende melden sich zur Prüfung an/ab
8. Lehrender erhält Excel-Liste mit Prüfungsteilnehmern
9. Import der Teilnehmer in die Prüfungssoftware
10. Tischkarten: Matrikelnummer und PIN
11. Prüfungsdurchführung
12. Sicherung der Antworten in einem PDF
13. Bewertung der Klausuren in Prüfungssoftware
14. Übergabe der Prüfungsergebnisse ans Prüfungsamt
15. Import der Daten in Prüfungsverwaltungssoftware
16. Klausureinsicht

FU Berlin

Nicolas Apostolopoulos führt während eines Online-Podiums die Leistungen des E-Prüfungs-Centers der FU Berlin auf.

• Basic
  • Raumbuchungen
  • Gewährleisten der technischen Sicherheit
  • Anlegen der Studierenden im System
• Advanced (kostenpflichtig)
  • Erstellen von Klausuren aus Rohdokumenten
  • Anlegen der Studierenden im System
  • Freischalten der Studierenden
  • Bereitstellen von Matrikellisten zum Aushang am Fachbereich
  • Bereitstellen eines pers. Ansprechpartners bei der Prüfung
  • Bereitstellen von Matrikel-Notenlisten nach der Prüfung

Weitere Informationen sind in der Beschreibung des E-Examinations-Projekts der FU Berlin zu finden.

Weiterführende Informationen

• Konzeption und Methodik elektronischer Prüfungen
• Verschiedene Aufgabentypen
• Erstellen von Multiple-Choice-Aufgaben
• Ansprechpartner und Experten
• Technik und Systeme
• Vergleich verschiedener E-Prüfungssysteme