Organisation

Aktivitäten im Prüfungsprozess

Typischer Ablauf einer Klausur am Beispiel Uni Oldenburg

Nachfolgend sind verschiedene Aktivitäten aus dem Ablauf einer E-Prüfung bzw. von E-Assessments aufgeführt und beschrieben. Diese Aktivitäten leiten sich im Wesentlichen vom Prozess einer schriftlichen Klausur ab, wie in der nebenstehenden Abbildung illustriert. Je nach Einsatzszenario können sie im Einzelfall auftreten, müssen es aber nicht: eine Anmeldung zur Klausur ist z.B. bei formativen Assessments nicht nötig. Ebenso können die Aktivitäten und ihre Reihenfolge je nach Einsatzzweck, Szenario und Anforderungen einer Hochschule variieren. Alternative Prozesse insbesondere für E-Klausuren sind im Abschnitt Beispielprozesse illustriert.

Termin- und Raumvereinbarung

Die Auswahl der Prüfungsräume erfolgt nach verschiedenen Kriterien:

• Anzahl der Teilnehmer (bezogen auf verfügbare Arbeitsplätze im Raum)
• Anforderungen an die Ausstattung (z.B. besondere Monitore, Headsets, WLAN, etc.)
• Planung des Durchlaufs (simultan in verschiedenen Räumen, zeitlich versetzt im gleichen Raum)
• Verfügbarkeit der Räume (noch frei oder schon belegt)
• Vorgaben des Prüfungsamts (als Bestimmung, wo und wann eine Prüfung stattfinden muss)

Ist ein Raum ausgewählt, kann er im zentralen Raumbüro der Hochschule belegt werden. Manche Hochschulen halten zur Verwaltung der Räume spezielle Raumplaner vor, mit deren Hilfe Lehrende gewünschte Räume reservieren bzw. ihre Belegung überprüfen können.

Anmeldung im Prüfungsamt

Damit eine Prüfungsleistung angerechnet wird, muss ein Prüfling die Prüfung anmelden, das Modul damit "belegen". Die zugehörige Prüfungsordnung schreibt den Zeitraum vor, in dem nach erstmaliger Belegung das Modul bestanden sein muss. Anderenfalls kann dies Konsequenzen auf den weiteren Studienverlauf haben, das Studium z.B. erfolglos beendet sein.

Die Anmeldung selbst kann online erfolgen oder traditionell im Prüfungsamt. Dort stellt ein zugehöriger Sachbearbeiter fest, ob bestimmte Voraussetzungen erfüllt sind (z.B. der Prüfling immatrikuliert ist), und notwendige Vorleistungen erbracht wurden. Die Daten des Prüflings werden dazu i.d.R. in ein Prüfungsverwaltungssystem eingegeben.

Hochschulen wie z.B. die Uni Oldenburg bieten ihren Studierenden die Möglichkeit, sich außerhalb der Öffnungszeiten des Prüfungsamtes zu Modulprüfungen anzumelden (oder die erzielten Noten einzusehen). Zu dem Zweck wurde das Prüfungsverwaltungssystem mit dem hochschulweiten Lernmanagementsystem gekoppelt. Studierende können ihre Module im Lernmanagementsystem auswählen, zugehörige Prüfungen finden und sich per PIN/TAN-Verfahren verbindlich davon an- oder abmelden.

Hat ein Studierender eine Prüfung nicht bestanden, ist er/sie zumeist automatisch zur folgenden Nachprüfung angemeldet. Auf die rechtlichen Anforderungen geht der Abschnitt Zulassung zur Prüfung ein.

Vorbereitung der Prüfung

Je nach Einsatzzweck legt der Prüfende den Prüfungsverlauf fest. Dieser kann z.B. statisch (d.h. eine gleiche diagnostische Prüfung für alle Teilnehmer, um diese vergleichen zu können), adaptiv (d.h. Fragen und Schwierigkeitsgrad der Prüfung passen sich an die jeweiligen Prüflinge individuell an, um Schwächen und Stärken gezielt ermitteln zu können) oder stufenförmig sein (d.h. es gibt verschiedene Bereiche, die einmal abgeschlossen nicht wieder bearbeitet werden können, um z.B. frühere Antworten in spätere Fragen einbeziehen zu können).

Abhängig vom gewählten Prüfungsverlauf sind dann die Prüfungsfragen zu erstellen und ggf. einer ersten Qualitätskontrolle zu unterziehen. Schritte zur Qualitätssicherung von Prüfungen und Prüfungsfragen stellen nachfolgend verschiedene Beispielprozesse dar, zudem gibt es mit Formulierungshinweisen und Literaturbeispielen eine Hilfe bei der Erstellung von MC-Fragen.

Aufsichten vor Ort helfen dabei, Täuschungsversuche zu vermeiden. Sie sind vorab zu rekrutieren und ggf. zu schulen, damit sie wissen, wie sie im Fall einer Täuschung oder Panne reagieren müssen und wie sie z.B. Hilfestellung bei technischen Problemen geben können. Die Schulung von Prüflingen, insbesondere wenn sie die Technologien noch nicht kennen, kann mit Übungsklausuren erfolgen, so dass der erste Umgang damit nicht in der kritischen Prüfungssituation erfolgen muss.

Schließlich sind die Arbeitsplätze entsprechend herzurichten und auszustatten. Neben hinreichendem Abstand und Sichtschutz kann es unter Umständen notwendig sein, bestimmte Prüfungssoftware wie z.B. Secure Browser zu installieren, Zugänge einzurichten, Zugriffe auf das Internet, weitere Programme oder USB-Medien einzuschränken uvm. Sind multimediale Elemente beteiligt, ist weitere technische Ausstattung wie Headsets erforderlich, die ebenfalls vorab bereitzustellen und auf korrekte Funktion zu prüfen ist.

Durchführung

Übersicht: Anzahl E-Klausuren an der Uni Mainz bis 2010

Bei der Durchführung elektronischer Klausuren ist zu beachten, dass gleiche Voraussetzungen für alle Teilnehmer geschaffen sein müssen. Die Prüflinge können sich mit Hilfe ihres Lichtbild- und Studentenausweises identifizieren und für die Prüfung authentifizieren. Durch Eingabe von Anmeldedaten wie Login, Passwort und PIN/TAN schalten sie ihre Klausuren frei und ordnen sich diesen jeweils zu. Falls E-Klausuren nicht in den jeweiligen Prüfungsordnungen verankert wurden, kann Rechtssicherheit indirekt hergestellt werden, indem die elektronisch bearbeiteten Aufgaben am Ende ausgedruckt, von den erstellenden Studierenden unterschrieben und dann wie eine klassische schriftliche Prüfung gehandhabt werden.

Ein Protestknopf kann den Studierenden zudem ermöglichen, vorgegebenen Antworten zu widersprechen und eigene Lösungsvorschläge einzubringen. Das kann nützlich sein zu erkennen, ob alle Lösungsmöglichkeiten vorgegeben wurden oder ob Kombinationen aus Antworten richtig sind, die bisher nicht berücksichtigt wurden. Auf diese Weise kann man zudem vom Mehrwert der Community profitieren, die in Gemeinschaft immer mehr sieht als der Autor der Prüfungen alleine. Damit erhalten Prüflinge die Möglichkeit, sich einzubringen, wenn ihnen vorgegebene Antworten nicht schlüssig erscheinen (oder automatische Grundwerten fehlerhaft generiert wurden). Lehrende erfahren darüber hinaus, welche Aufgaben besondere Schwierigkeiten machen bzw. wie sicher sich die Lernenden bei der Beantwortung einer Frage fühlen und können ihre Lehrveranstaltungen entsprechend anpassen.

Ein vorab erstellter Notfallplan listet Ansprechpartner und Vorgehensweisen auf, falls technische Probleme (z.B. Stromausfall, Serverabsturz) auftreten. Weitere Elemente zur Zuverlässigkeit der Systeme wurde bereits im Abschnitt Technik und Systeme angesprochen.

Auswertung der Ergebnisse

• Teil- oder automatisierte Auswertung der Ergebnisse
• Wenn manuelle Auswertung erforderlich, dann zu überlegen, ob entfernte Auswertung möglich sein muss (siehe Szenario der HBK Braunschweig mit Reiseprofessuren und Abschlussarbeiten der bildenden Künste)
• Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
• Itemanalyse
• Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
• Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
• Export der Prüfungsergebnisse in Prüfungsverwaltung, Übernahme ins Prüfungsverwaltungssystem (manuell?, Excel?)
• Austausch/Weiterentwicklung der Fragepools in Lehrverbünden
• Klausureinsicht
• Meldung ans Prüfungsamt

Die Auswertung der Eingaben kann (teil-)automatisiert erfolgen, insofern korrekte Antworten wie z.B. bei MC-Aufgaben oder Wertebereiche bei numerischen Aufgaben vorgegeben wurden. Bei Kurztextaufgaben, wie sie z.B. in Lückentexten vorkommen, kann man Schreib- oder Flüchtigkeitsfehler berücksichtigen, indem man dem auswertenden System einen Toleranzbereich wie eine bestimmte Levensthein-Distanz vorgibt.

Die Auswertung komplexerer Freitexteingaben oder längerer Ausarbeitungen kann darüber hinaus auch traditionell manuell erfolgen. Zudem ist möglich, die elektronisch erfassten Eingaben mit Hilfe von Peer Assessment Verfahren auswerten zu lassen. Auf diese Weise werden die Lernenden in den Auswertungsprozess einbezogen und können sich dadurch stärker mit dem Lernprozess identifizieren.

Mit Hilfe automatisierter Itemanalyse sind zudem Aussagen über die Qualität der Fragen sowie über Schwierigkeitsgrad und Trennschärfe möglich.

Übermittlung der Ergebnisse ans Prüfungsamt

• Export der Prüfungsergebnisse in Prüfungsverwaltung, Übernahme ins Prüfungsverwaltungssystem (manuell?, Excel?)

Archivierung der Unterlagen

• Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
• Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)
• Einbinden der hochschulweiten Archivierungsstrategie, insofern so etwas existiert
• Archivierung der Ergebnisse und Unterlagen

Lösungsansätze

Installationen für E-Klausuren

• Feste Räume, fest installierte Hardware

• z.B. Testcenter Bremen, 1 Raum, 130 Plätze, LPLUS

• Feste/variable Räume mit Laptops der Studierenden

• z.B. FU Berlin, 4 Räume, 221 Plätze, Blackboard bzw. „Statistik-Labor“ mit Safe Exam Browser (SEB)

• Feste/variable Räume mit Leihgeräten

• z.B. MHH, 165 mobile Tablet-PCs, Q-Exam

• Prüfung mit vorhandenem LMS

• z.B. Uni Mainz, 4 Räume, 450 Plätze, ILIAS mit SEB
• z.B. Uni Osnabrück, CIP-Cluster, Stud.IP mit ViPS

Beispielprozesse

MH Hannover: Zusammenarbeit mit externem Dienstleister Codiplan

Quelle: Q[kju:] - Prozessmanagement und E-Klausuren (PDF, 403kB) (abgerufen 19.01.2011)

Uni Bremen: Testcenter & E-Assessment-Dienst

Weitere Informationen bietet der E-Assessment Dienst der Uni Bremen.

Allgemeiner Prozess (Quelle: http://www.eassessment.uni-bremen.de/ablauf.php)

Qualitätsmanagement (Quelle: http://www.eassessment.uni-bremen.de/ablauf_qm.php)

Erstellung von Fragekatalogen (Quelle: Online-Schulung)

Schritt	E-Learning-Service	Editoren	Autoren
Erstberatung	x		x
Festlegung Deadlines	x
Schulung	x	x
Produktion Vorlagen			x
Digitalisierung (TM-Editor)		x
Lokale Kontrolle 1		x	x
Lokale Kontrolle 2	x
Upload Erstversion	x
Katalogtest (LTS)		x	x
Überarbeitung (TM-Editor)	x
Upload Endversion	x
Einstellungstest (LTS)	x	x	x
Registrierung der Teilnehmer	x
Zugangstest/Endabnahme	x	x	x

Universität Duisburg/Essen

Jörg Stratmann beschreibt im Rahmen eines Online-Podiums, wie eine elektronische Klausur im Prüfungscenter der Universität Duisburg/Essen ablaufen kann.

1. Beratungsgespräch
2. Raumbuchung
3. Softwareschulung
4. Erstellen der Klausur
5. Erstellen spezieller Medien
6. Testen der Klausur
7. Studierende melden sich zur Prüfung an/ab
8. Lehrender erhält Excel-Liste mit Prüfungsteilnehmern
9. Import der Teilnehmer in die Prüfungssoftware
10. Tischkarten: Matrikelnummer und PIN
11. Prüfungsdurchführung
12. Sicherung der Antworten in einem PDF
13. Bewertung der Klausuren in Prüfungssoftware
14. Übergabe der Prüfungsergebnisse ans Prüfungsamt
15. Import der Daten in Prüfungsverwaltungssoftware
16. Klausureinsicht

FU Berlin

Nicolas Apostolopoulos führt während eines Online-Podiums die Leistungen des E-Prüfungs-Centers der FU Berlin auf.

• Basic
  • Raumbuchungen
  • Gewährleisten der technischen Sicherheit
  • Anlegen der Studierenden im System
• Advanced (kostenpflichtig)
  • Erstellen von Klausuren aus Rohdokumenten
  • Anlegen der Studierenden im System
  • Freischalten der Studierenden
  • Bereitstellen von Matrikellisten zum Aushang am Fachbereich
  • Bereitstellen eines pers. Ansprechpartners bei der Prüfung
  • Bereitstellen von Matrikel-Notenlisten nach der Prüfung

Weitere Informationen sind in der Beschreibung des E-Examinations-Projekts der FU Berlin zu finden.

Weiterführende Informationen

• Konzeption und Methodik elektronischer Prüfungen
• Verschiedene Aufgabentypen
• Erstellen von Multiple-Choice-Aufgaben
• Ansprechpartner und Experten
• Technik und Systeme
• Vergleich verschiedener E-Prüfungssysteme