E-Klausur

Beschreibung

Beispiel: Aktivitäten & Beteiligte bei Klausuren an Hochschulen

Bei Klausuren im Allgemeinen und E-Klausuren im Speziellen handelt es sich um summative Prüfungen. Sie finden im Anschluss an die Lehr- und Lernaktivitäten statt, entsprechend haben sie keine Auswirkung mehr auf den Lernerfolg. Stattdessen versuchen sie, diesen möglichst genau zu bestimmen, um so die Lernleistung der Studierenden beurteilen zu können und/oder Noten zu vergeben.

E-Klausuren sind damit das elektronische Pendant zu schriftlichen Klausuren. Sie werden i.d.R. am Ende einer Veranstaltungsreihe zur Leistungsbeurteilung eingesetzt und sind normalerweise benotet. Den besonderen Reiz einer Verwendung von E-Klausuren macht die Möglichkeit aus, den Korrekturaufwand zu reduzieren und Ergebnisse zeitnah zur Verfügung zu stellen. Manche Standorte verwenden IKT auch als "Ausfüll- und Eingabehilfe" für schriftliche Klausuren. Auf diese Weise erhoffen sie sich eine bessere Lesbarkeit der Antworten.

Aufgrund ihrer Benotung oder die Auswirkung auf die Vergabe von ECTS-Punkten können sie den weiteren Studienverlauf beeinflussen. So kann mehrmaliges Scheitern (je nach Prüfungsordnung) im schlimmsten Fall das erfolglose Ende eines Studiums bedeuten. Daher werden besondere Anforderungen bezogen auf Sicherheit und Nachvollziehbarkeit an E-Klausuren gestellt. Ihre Verwendung muss u.a. in den jeweils gültigen Prüfungsordnungen verankert sein.

Voraussetzungen sind zudem eine verlässliche Technik und Studierende, die bereits den Umgang mit zugehörigen Systemen gewohnt sind, z.B. aus Probeklausuren oder im begleitenden Übungsbetrieb.

Grundsätzlich sind zwei Ausrichtungen für den Einsatz von E-Klausuren zu finden:

Migration: Digitalisierung von klassischen ,schriftlichen Klausuren, um auf diese Weise die Arbeitslast zu reduzieren und ggf. die zugehörigen Prozesse zu verbessern
Transformation: Nutzung der Technologien als Katalysator, um mit deren Hilfe mehr zu erreichen als mit klassischen schriftlichen Klausuren möglich wäre, z. B. die Qualität der Leistungsprüfung zu steigern oder das Lernen als solches damit zu verbessern

Folgt eine E-Lehrevaluation direkt auf die E-Klausur, ist eine erhöhte Rücklaufquote an Verbesserungsvorschlägen zu erwarten. Haben Studierende im Anschluss an die Klausur die Möglichkeit, im Sinne eines Exam Retake ihre fehlerhaft gelösten Aufgaben noch einmal zu lösen, kann dies - aufgrund von Lernen durch Wiederholung - das Lernergebnis auch nach der Klausur noch verbessern.

Bewertung

E-Klausuren basieren auf Informations- und Kommunikationstechnologien (IKT). Diese helfen bei der Vorbereitung, aber insbesondere auch bei der Durchführung und/oder Auswertung einer Klausur. Entsprechend gibt es zwei Betrachtungsweisen: Die Einen sehen E-Klausuren als digitale Ausfüllhilfe (Unterstützung bei der Durchführung) an, für die Anderen steht insbesondere eine effiziente Auswertung der Ergebnisse im Vordergrund. Gleichzeitig kann der Einsatz von IKT aber auch zu Problemen führen.

Digitale Ausfüllhilfe

Der wesentliche Vorteil, sobald Studierende eine Klausur mit Hilfe von elektronischen Eingabegeräten schreiben, ist die Möglichkeit, multimediale Elemente wie Videos, Tonaufnahmen oder hochauflösende Fotos in die zu bearbeitenden Aufgaben zu integrieren. Das führt zu authentischeren Aufgaben – verglichen mit Tests auf Papier. Lehrende können so z. B. ein bestimmtes Verhalten in einem Video zeigen, was die Studierenden dann analysieren sollen, oder fremdsprachliche Texte vorlesen lassen, um so z. B. das gesprochene Sprachverständnis zu überprüfen – was auf Papier nicht möglich wäre. Dies führt gleichzeitig zu mehr Praxisnähe und damit zu realitätsnahen Prüfungen.

Darüber hinaus sind stufenförmige oder adaptive Prüfungsverläufe deutlich leichter zu realisieren als im klassischen Fall: Bei stufenförmigen Verläufen bauen die Aufgaben aufeinander auf und einmal vorgenommene Eingaben können zwar im Nachhinein noch eingesehen, aber nicht wieder geändert werden. Das macht Sinn, wenn Aufgaben die korrekten Antworten vorangegangener Aufgaben aufgreifen, wie dies z. B. oft bei Fallbeispielen vorkommt. Im adaptiven Fall passt die E-Klausur den Schwierigkeitsgrad folgender Aufgaben automatisch an, indem sie die bisherigen Eingaben nebenbei auswertet. Auf diese Weise will man die individuellen Fertigkeiten möglichst genau bestimmen.

Unterstützung bei der Auswertung

Eingaben, insbesondere bei offenen Aufgabenformaten, sind im Vergleich zu handschriftlichen Ausarbeitungen besser lesbar. Zudem erarbeiten Studierende längere Texte lieber auf elektronische als auf handschriftliche Weise, wobei ihnen E-Klausuren entgegenkommen. Geschlossene Aufgabenformate können (teil-)automatisiert ausgewertet werden, insofern die korrekten Antworten vorgegeben sind. Das spart Korrekturzeit und erlaubt schnelleres Feedback. Weil subjektive Einflüsse bei dieser Art der Auswertung ausgeschlossen sind, ist eine hohe Auswertungsobjektivität gegeben. Ein zufälliges Mischen der Reihenfolge von Aufgaben oder deren Antwortalternativen erschwert darüber hinaus Täuschungsversuche.

Des Weiteren ist die statistische Auswertung und damit eine Analyse der Qualität geschlossener Aufgabenformate leicht möglich, da ihre Ergebnisse nach der Klausur bereits in elektronischer Form vorliegen. Gleiches gilt für die Gegenüberstellung und Vergleiche einzelner Leistungen. E-Klausuren und ihre Ergebnisse sind digital archivierbar, was dabei hilft, Papierstapel zu vermeiden. Die Übertragung von Ergebnissen – z. B. in ein Prüfungsverwaltungssystem – ist weniger fehleranfällig als wenn Einzelergebnisse zunächst in Listen eingetragen, diese dem Prüfungsamt übermittelt und schließlich manuell von Sachbearbeiter/inne/n in die Prüfungsverwaltung übernommen werden müssen.

Probleme beim Einsatz von IKT

Auf der anderen Seite sind umfangreiche Vorarbeiten notwendig, was einen schnellen Start erschwert: Der Einsatz muss geplant, eine technische Infrastruktur aufgebaut, Aufgaben erstellt, Videos gedreht werden u. V. m. Ein großes Problem ist, dass Technologien anfällig für Pannen und Störungen sind. Eine 100-prozentige Zuverlässigkeit ist somit nicht gegeben, z. B. bei einem Stromausfall.

Der Aufbau neuer Rechnerräume oder Testcenter verlangt hohe Investitionen. Kosten fallen ebenfalls bei der Zusammenarbeit mit Full-Service-Anbietern an – zudem begeben sich Hochschulen damit in Abhängigkeit von Datenverarbeitungsunternehmen. Des Weiteren ist zur Durchführung von E-Klausuren Rechtssicherheit herzustellen; entsprechend sind u. a. Prüfungsordnungen im Vorfeld anzupassen, was weiteren Aufwand bedeutet. Fraglich bleibt zudem, auf welchen Datenträgern die geforderte langjährige Archivierung erfolgen kann.

Um Täuschungen zu vermeiden, sind zusätzliche Sicherheitskonzepte zu erstellen, die eine Manipulation mittels neuer Medien berücksichtigen. So ist z. B. sicherzustellen, dass sich Prüflinge nicht mit Hilfe der Technologien austauschen – außer dies ist explizit erwünscht. Entsprechend sind Chats, Zugriffe auf externe Daten oder mitgebrachte USB-Medien auszuschließen.

Beispiel: E-Klausuren an der MHH

Die Medizinische Hochschule Hannover (MHH) führt seit 2006 jährlich über 200 E-Klausuren durch. Das liegt daran, dass Humanmedizin ein sehr wissensbasierter Studiengang ist und man Faktenwissen gut mit MC-Aufgaben prüfen kann. Ebenso bereitet dies auf die noch folgenden Staatsexamina vor, die das gleiche Format besitzen. Die MHH setzt zur Durchführung auf einen externen Dienstleister, nämlich die IQUL GmbH1. Diese stellt sowohl die notwendige Hardware als auch die zugrunde liegende Prüfungsplattform „Q-Exam“ bereit.

Am Tag der Klausur reisen deren Mitarbeiterinnen und Mitarbeiter mit LKWs an und bringen die notwendige Infrastruktur mit. Sie statten einen Hörsaal damit aus (Tablets oder Notebooks, WLAN-Zugangspunkte, Server usw.), machen diesen also zu einem Testcenter. Die Studierenden finden den so ausgestatteten Hörsaal vor, setzen sich auf einen vorbereiteten Platz und schreiben dort ihre Klausur. Im Anschluss daran packen die Mitarbeiterinnen und Mitarbeiter von IQUL die Hardware wieder ein und transportieren sie ab. Die Lehrenden können danach serverseitig das Ergebnis der Klausur einsehen, das ebenfalls ans Prüfungsamt übermittelt wird.

Der Vorteil liegt klar auf der Hand: Die MHH gewinnt dadurch erheblich an Komfort bei der Durchführung von E-Klausuren. Sie muss kein eigenes Testcenter aufbauen oder ausstatten und keine Mitarbeiter vorhalten, die dieses Center betreuen oder warten. Das spart sowohl Technik- als auch Personalkosten. Nachteil ist jedoch, dass sie sich in Abhängigkeit von einem externen Dienstleister begibt, was andere Kosten verursacht. Zudem ist ein "Umschalten" auf Alternativen vermutlich nicht schnell und ohne Weiteres möglich.

Konfigurations-Alternativen

Es gibt verschiedene Konfigurationsmöglichkeiten für E-Klausuren, je nachdem wie flexibel das Gesamtsystem gestaltet werden soll. So kann man die hochschuleigene Hardware einsetzen, seine Hörsäle mit mobilen Endgeräten ausstatten oder gar die Geräte der Studierenden einbeziehen.

Fest installierte Hochschul-Hardware

Einige Hochschulen haben speziell zur Durchführung von E-Klausuren Testcenter aufgebaut. Dazu zählen z. B. die Unis Bremen mit 120 Plätzen1, Göttingen mit 98 Plätzen2 oder Duisburg/Essen mit 150 bzw. 70 Plätzen3. Diese Center repräsentieren große Rechnerräume, in denen sich eine bestimmte Zahl bereits vorbereiteter und passend ausgestatteter Prüfungsplätze befindet. Oftmals sind solche Center hermetisch abgeriegelt und vom restlichen Hochschulnetzwerk getrennt. Zudem gibt es Teams aus didaktischen und technischen Berater/inn/en, welche die Lehrenden bei der Erstellung und Umsetzung elektronischer Aufgaben unterstützen.

Alternativ dazu können Lehrende auch die Rechnerräume in den Hochschulrechenzentren (CIP-Cluster) zur Durchführung von E-Klausuren nutzen. Diese bieten jedoch i. d. R. weniger Plätze und sind für allgemeine Bildschirmarbeiten ausgelegt, also nicht auf E‑Klausuren spezialisiert (kein Sichtschutz, Abstand, eigenes Netz). Zudem müssen die Räume vorab blockiert werden, da sie normalerweise durchgehend von Studierenden für allgemeine Arbeiten genutzt werden.

Transportable Leihgeräte

Eine weitere Möglichkeit ist das Verwenden von Leihgeräten, um beliebige Hörsäle einer Hochschule auszustatten und damit variable Prüfungsplätze zu erzeugen. Dieses Vorgehen bietet sich insbesondere bei Massenveranstaltungen an, da man auf diese Weise viele Prüflinge in einem Hörsaal unterbringen kann und man sich damit mehrere Durchläufe (und damit das Erstellen gleichwertiger Aufgaben) erspart. So setzen z. B. die Medizinische Hochschule Hannover und die Stiftung Tierärztliche Hochschule Hannover auf die Firma IQUL GmbH, die als Full-Service Provider ein Rundum-Sorglos-Paket für E-Klausuren anbietet.

Die Uni Utrecht auf der anderen Seite hält einen Pool an 300 Chromebooks1 vor, die von ihren Fakultäten genutzt werden können. Diese haben den Vorteil, dass sie ohne lokales Betriebssystem und ohne Software auskommen, sondern stattdessen ein Online-Betriebssystem (Chrome OS2) nutzen. Das wiederum erlaubt ihrem Administrator, sie auf einer Weboberfläche voreinzustellen, so dass alle Geräte auf die gleiche Weise konfiguriert und mit den gleichen Berechtigungen ausgestattet sind.

Laptops / Devices der Studierenden

Die meisten Studierenden besitzen ein eigenes Smartphone, Tablet und/oder Notebook. Unter dem Schlagwort „Bring Your Own Device“ (BYOD) kommt es immer mehr in Mode, diese Geräte auch für Unterrichtszwecke zu nutzen. Böse Zungen behaupten, dass diese Geräte ohnehin kontinuierlich (auch während der Vorlesung) im Einsatz sind, so dass man sie dann doch besser direkt in der Lehre (und damit auch für E-Klausuren) verwenden könne. So dürfen die Studierenden z. B. in den Hörsälen der FU Berlin auf ihren eigenen Notebooks Klausuren schreiben, nachdem darauf der Safe Exam Browser1 aktiviert wurde. Dieser stellt sicher, dass ein Gerät ausschließlich auf das Prüfungssystem und keine anderen Programme zugreifen kann.

Will man sicherstellen, dass alle Geräte die gleiche (sichere) Konfiguration besitzen, kann man diese auch von vorab vorbereiten USB-Sticks booten lassen, auf denen sich ein vorkonfiguriertes Betriebssystem befindet – oder alternativ dazu Netzwerk-booten ermöglichen, wobei ein vorbereitetes E-Klausur-Betriebssystem dann aus dem Hochschulnetz geladen wird.

Wesentliche Teilaspekte

Bei der Planung und Durchführung von E-Klausuren spielen didaktische Fragen, organisatorische Abläufe, technische Gegebenheiten und rechtliche Aspekte eine wesentliche Rolle. Entsprechend ist für ein erfolgreiches Vorhaben keiner dieser Punkte zu vernachlässigen. So scheint es sinnvoll, thematisch passende Aufgaben zu stellen, die Abläufe vorab zu regeln, für Rechtssicherheit zu sorgen und sicherzustellen, dass alle Vorhaben technisch umsetzbar sind. Die folgenden Abschnitte gehen auf die einzelnen Teilaspekte näher ein.

Didaktik

Im Idealfall gibt es einen Bezug zwischen den einzelnen Aufgaben, den jeweiligen Lernzielen sowie den zugehörigen Lehr-/Lernaktivitäten. Einen solchen Bezug stellt z. B. das „Constructive Alignment“ her, beschrieben z. B. von Biggs & Tang (2011). Die Idee hierbei ist, den Lerninhalten entsprechende Learning Outcomes zuzuordnen und auf ihrer Grundlage passende Aufgaben zu erstellen. Mit diesen können die Lehrenden dann das Erreichen der Learning Outcomes feststellen. Beides wird dann mit passenden Lehr-/Lernaktivitäten in Verbindung gebracht, so dass alles zusammen eine Einheit ergibt. Am Ende der Lehrveranstaltungsreihe können die Lehrenden dann entscheiden, welche Learning Outcomes unbedingt erreicht sein müssen, um erfolgreich zu bestehen – und wählen dann die zugehörigen Aufgaben aus, um den Lernerfolg im Rahmen einer Abschlussklausur zu prüfen.

Wichtig ist also, dass die Aufgaben valide sind, d. h. zu den zu prüfenden Lernzielen passen. So ist es z. B. nicht möglich, gesprochenes Sprachverständnis durch eine Bruchrechenaufgabe zu überprüfen, auch wenn deren Ergebnisse evtl. indirekt korrelieren. Die Qualität von Aufgaben ist später noch einmal Thema in Abschnitt 6.2 auf S. 13. Je nachdem, ob E-Klausuren eher als Ausfüllhilfe oder zur Auswertungsunterstützung vorgesehen sind, sind die Aufgaben jeweils passend auf diesen Zweck bezogen zu erstellen – oder auf Basis bereits bestehender Aufgaben zu digitalisieren bzw. multimedial anzureichern.

Mehr zu Didaktik...

Organisation

Im Idealfall gibt es einen Bezug zwischen den einzelnen Aufgaben, den jeweiligen Lernzielen sowie den zugehörigen Lehr-/Lernaktivitäten. Einen solchen Bezug stellt z. B. das „Constructive Alignment“ her, beschrieben z. B. von Biggs & Tang (2011). Die Idee hierbei ist, den Lerninhalten entsprechende Learning Outcomes zuzuordnen und auf ihrer Grundlage passende Aufgaben zu erstellen. Mit diesen können die Lehrenden dann das Erreichen der Learning Outcomes feststellen. Beides wird dann mit passenden Lehr-/Lernaktivitäten in Verbindung gebracht, so dass alles zusammen eine Einheit ergibt. Am Ende der Lehrveranstaltungsreihe können die Lehrenden dann entscheiden, welche Learning Outcomes unbedingt erreicht sein müssen, um erfolgreich zu bestehen – und wählen dann die zugehörigen Aufgaben aus, um den Lernerfolg im Rahmen einer Abschlussklausur zu prüfen.

Wichtig ist also, dass die Aufgaben valide sind, d. h. zu den zu prüfenden Lernzielen passen. So ist es z. B. nicht möglich, gesprochenes Sprachverständnis durch eine Bruchrechenaufgabe zu überprüfen, auch wenn deren Ergebnisse evtl. indirekt korrelieren. Die Qualität von Aufgaben ist später noch einmal Thema in Abschnitt 6.2 auf S. 13. Je nachdem, ob E-Klausuren eher als Ausfüllhilfe oder zur Auswertungsunterstützung vorgesehen sind, sind die Aufgaben jeweils passend auf diesen Zweck bezogen zu erstellen – oder auf Basis bereits bestehender Aufgaben zu digitalisieren bzw. multimedial anzureichern.

Mehr zu Organisation...

Technik

Neben allgemeinen technischen Voraussetzungen, wie sie z. B. das IT-Grundschutz-Kompendium1 des BSI vorsieht, gibt es weitere spezielle technische Aspekte, die insbesondere bei E-Klausuren zu bedenken sind: Wenn z. B. mit Hochschul-Hardware gearbeitet wird, kann diese anders vorbereitet werden als wenn die Prüflinge mit ihren eigenen Rechnern auf ein Prüfungssystem zugreifen. Sind die Rechner jeweils per Kabel ans Netzwerk anzuschließen oder stattdessen per WLAN? Zu prüfen ist dann auch, ob der bestehende WLAN-Accesspoint so viele Rechner gleichzeitig überhaupt zulässt. Kann man für die E‑Klausur das Hochschulnetzwerk verwenden oder ist stattdessen ein spezielles Prüfungsnetz aufzubauen, das z. B. vom restlichen Netzwerk abgeriegelt ist?

Sind die einzelnen Prüfungsplätze mit Secure Browsern wie dem Safe Exam Browser auszustatten, so dass Zugriff nur auf ein Prüfungssystem möglich ist und keine weitere Software (wie z. B. Chatprogramme) gestartet werden können? Gleichzeitig sollte dann auch das Prüfungssystem mit einem Kiosk-Modus ausgestattet sein, so dass von dort aus kein Zugriff auf externe Systeme möglich ist. Schließlich kann es immer zu Störungen kommen, seien es Netzwerkprobleme, Rechner- oder Serverausfälle oder gar Stromausfälle. Für solche Fälle sind vorab Notfallpläne zu erstellen, so dass in einer solchen Situation bereits vorbereitete Alternativlösungen existieren.

Mehr zu Technik...

Recht

Für eine Gesamtübersicht rechtlicher Aspekten zu elektronischen Klausuren siehe den Bereich Rechtsfragen. Zudem steht ein Leitfaden zu rechtssicheren Prüfungen nach Antwort-Wahl-Verfahren (Bott/Horn) zum Download bereit.

Mehr zu Recht...

Varianten

Die Schrittfolge eines Hochspringers ist anders zu bewerten als ein mathematischer Beweis oder eine semesterbegleitende Projektarbeit. Entsprechend vielseitig sind die zugehörigen Leistungsmessungen sowie ihre elektronische Unterstützung. Nachfolgend sind einige Gestaltungsvarianten sowie Alternativen zu reinen E-Klausuren aufgezeigt.

Gestaltung nach Leistungsniveau

George E. Miller (1990)^[1] hat das Medizinstudium untersucht und dabei vier Leistungsebenen (proficiency levels) identifiziert, welche die Studierenden beim Aufbau ihrer Fertigkeiten durchlaufen (siehe die folgende Abb.). Diese Ebenen bauen jeweils aufeinander auf, denn jede Ebene setzt die Fertigkeiten der vorangehenden Ebene als Grundlage voraus.

Die verschiedenen Leistungsniveaus bedingen ganz unterschiedliche Methoden zur E‑Leistungsbewertung. Nachfolgend sind am Beispiel der Fahrschule kurz die einzelnen Ebenen beschrieben sowie E-Methoden genannt, um die zugehörigen Fertigkeiten zu prüfen.

Deklaratives Wissen (Knowledge): Die theoretische Basis bildet das Faktenwissen. Im Beispiel der Fahrschule wären dies die Bedeutung von Verkehrsschildern oder Konzepte wie „Rechts vor Links“. Zur Überprüfung des entsprechenden Verständnisses sind Auswahlaufgaben wie z. B. Multiple-Choice-Aufgaben sehr gut geeignet.
Prozedurales Wissen (Competence): Faktenwissen ist die Grundlage für Problemlösekompetenz. Um diese zu testen bieten sich offene Aufgabenformate (Constructive Response Aufgaben), situationsbezogene Prüfungen oder Fallbeispiele an. Am Beispiel der Fahrschule wäre dies die Darstellung einer typischen Verkehrssituation mit der offenen Frage, wie man sich hierbei korrekt verhalten soll.
Fertigkeiten (Performance): Die nächste Ebene verlässt den reinen Erkenntnisbereich und untersucht das erlernte Verhalten. Hier soll die theoretische Problemlösekompetenz praktisch gezeigt werden. Möglichkeiten zur elektronischen Überprüfung bieten z. B. virtuelle Labore oder Simulatoren. Beispiel aus der Fahrschule wäre ein Fahrsimulator zur Erprobung der Fahrtüchtigkeit von Prüflingen.
Praxiseinsatz (Action): Auch der Einsatz in der Praxis kann durch begleitende Messungen bewertet werden. Beispiele dafür sind Fahrtenschreiber in Fahrzeugen oder Black-Boxes in Flugzeugen; Sporthochschulen analysieren z. B. Videos, um Optimierungspotential in Bewegungsabläufen aufzudecken.

Die Gestaltung einer elektronischen Leistungsbewertung hängt hochgradig vom jeweiligen Leistungsniveau ab, das überprüft werden soll. Eine (teil-)automatisierte Auswertung der Eingaben ist auf den unteren Ebenen eher möglich, stößt bei den höheren Ebenen aber (bisher) an ihre Grenzen.

Alternative E-Leistungsbewertung

Neben elektronischen Klausuren gibt es noch weitere Alternativen, um IKT bei der Leistungsbewertung einzusetzen. Die nachfolgende Abbildung von Seehagen-Marx & Keller (2018) ordnet diese in eine Matrix aus Taxonomiestufen verschiedener Autoren sowie den dafür einsetzbaren technischen Werkzeugen ein.

Man sieht z. B., dass E-Klausuren und speziell MC-Klausuren insbesondere die unteren Taxonomiestufen abdecken, während die höheren Stufen eher durch praktische und lernbegleitende Maßnahmen wie Recherche-, Haus- oder Projektarbeiten erreicht werden – die sich aber mit den aufgeführten Werkzeugen ebenfalls elektronisch unterstützen lassen.

Qualitätssicherung

Häufig lassen sich E-Klausuren in die Digitalisierungsstrategien der Hochschulen integrieren. Darüber hinaus sind aber weitere Maßnahmen notwendig, um ihre Qualität sicherzustellen. Fachbereiche wie z. B. die Humanmedizin haben dazu Qualitätssicherungszyklen etabliert, die einzelne Aufgaben von ihrer Konstruktion, über die statistische Auswertung ihrer Ergebnisse, bis hin zur Überarbeitung durchlaufen. Dabei bemisst sich die Qualität einer Prüfung bzw. einer Aufgabe im Wesentlichen an drei Gütekriterien:

Validität bedeutet, dass die Ergebnisse einer Prüfung mit den zu prüfenden Kompetenzen korrelieren, das Lösen einer Aufgabe also dem Erreichen des zugeordneten Lernzieles entspricht.
Objektivität beschreibt die Unabhängigkeit des Testergebnisses vom Prüfenden. Verschiedene Prüfende sollten also bei gleichen Prüflingen und gleichen Aufgaben auch zum gleichen Ergebnis kommen.
Reliabilität gibt den Grad der Genauigkeit bzw. Verlässlichkeit einer Prüfung an. Wiederholungen sollten also bei gleichen Beteiligten zu den gleichen Ergebnissen führen.

Während sich die Validität einer Prüfung insbesondere aus ihrem didaktischen Kontext ableitet (siehe z. B. Constructive Alignment), reduzieren die zur Auswertung eingesetzten IKT den menschlichen Faktor und tragen somit zur Objektivität bei. Um die Reliabilität festzustellen, lassen sich die Antworten statistisch auswerten, was dann Aussagen über ihre Schwierigkeit und Trennschärfe zulässt (siehe dazu z. B. Cronbachs Alpha als der Koeffizient der internen Konsistenz). Oftmals stellen Prüfungssysteme Statistikfunktionen bereit, so dass Lehrende im Anschluss an eine E-Klausur auf diese Informationen zugreifen können.

Der Qualitätssicherungsprozess selbst umfasst verschiedene Schritte, angefangen bei der Aufgabenerstellung bis hin zur Katalogrevision. Da jeder Prozess hochschul- oder sogar fachbereichsindividuell gestaltet werden kann, sollen im Folgenden nur einige Prozessüberlegungen auf Basis der oben genannten Teilaspekte aufgeführt werden.

Didaktische QS beginnt bereits bei der Schulung von Prüfenden. Dabei lernen sie, wie sie z. B. Aufgaben an Learning Outcomes ausrichten oder ungewollte Lösungshinweise (sog. Cues) vermeiden. Im Sinne eines vorgelagerten Zwei-Prüfer-Prinzips können zudem Co-Autoren an Aufgabenstellung und Bewertungsart mitarbeiten. Neben einer passenden thematische Einsortierung sind dabei auch Funktion und Layout einer Aufgabe festzulegen. Die Kommentare von Prüflingen während der Bearbeitung sowie statistische Auswertungen können in die Überarbeitung einfließen. Zudem ist eine Aufgabe im Kontext der anderen Aufgaben zu betrachten und darf z. B. keine Lösung vorwegnehmen. Ebenfalls sollte die Gesamtschwierigkeit aller Klausuraufgaben einer Normalverteilung entsprechen.
Organisatorische QS umfasst die Planung und Durchführung sämtlicher Prozessphasen. Sie beinhaltet z. B. die Durchlaufprüfung der Katalogaufgaben, die Erfassung von Auffälligkeiten, ihre Überarbeitung sowie den Upload einer Endversion. Ebenfalls ist das Einbeziehen der Prüflinge eine gute Idee, indem sie z. B. eine Möglichkeit zur Kommentierung während der Prüfung erhalten, um so Inhalt, Fragestellung, Schwierigkeitsgrad, Umfang, etc einzuschätzen. Die bereits angesprochene Einbettung in einen E-Unterstützungskontext im Sinne einer Einbeziehung der (didaktischen und technischen) Ansprechpartner vor Ort kann bei den einzelnen Prozessschritten helfen.
Technische QS setzt vor der Durchführung einer E-Klausur an. Hierbei sind die Aufgaben zunächst ins Prüfungssystem zu übernehmen und auf ihre Funktionalität zu überprüfen. Zudem werden die technischen Parameter voreingestellt, z. B. das Zeitkontingent, die Anzahl, Auswahl und Reihenfolge der Aufgaben, ob zusätzliche technische Hilfsmittel wie Taschenrechner aktiviert sein müssen oder ob die Ergebnisse bereits bei der Abgabe angezeigt werden dürfen. I. d. R. erlauben Prüfungssysteme einen Export von Aufgabenstatistiken, so dass diese im Nachhinein mit externen Werkzeugen weiter analysiert werden können.
Rechtliche QS basiert auf dem Einhalten der rechtlichen Rahmenbedingungen. So sind gleiche Voraussetzungen für alle Teilnehmer zu schaffen, eine Klausureinsicht sicherzustellen oder Nachschreibemöglichkeiten zu realisieren. Ebenfalls ist den Archivierungspflichten zu genügen. Falls sich eine Aufgabe im Nachhinein als ungültig herausstellt, ist diese für alle Teilnehmer aus der Wertung zu nehmen und der Notenspiegel evtl. anzupassen.

Je größer eine Prüfungskohorte ist, umso aussagekräftiger sind die Ergebnisse einer statistischen Analyse. Das erlaubt eine zielgerichtete Überarbeitung von Aufgaben sowie das Testen der vorgenommenen Verbesserungen im nächsten Durchgang. Auf diese Weise ist langfristig die Zusammenstellung hochwertiger Aufgabenpools möglich. Wie genau, in welchen Teilschritten und welchen Abläufen sich die einzelnen Teilaspekte dann an einer bestimmten Hochschule oder Fachkontext zeigen, kann jeweils ganz unterschiedlich ausgeprägt sein.

Links

Weitere Informationen

Literatur

Daniel Biella, Dieter Huth, Michael Striewe et al.: Organisation und Implementierung PC-gestützter Prüfungen an der Universität Duisburg-Essen, e-teaching.org, 2010, Download als PDF
Jan P. Ehlers, Torsten Carl, Karl-Heinz Windt, Daniel Möbs, Jürgen Rehage, Andrea Tipold: Blended Assessment: Mündliche und elektronische Prüfungen im klinischen Kontext, ZFHE Jg.4 / Nr.3 (Nov. 2009) Artikel als PDF
Jan P. Ehlers, Torsten Carl, Karl-Heinz Windt, Daniel Möbs, Jürgen Rehage, Andrea Tipold: Consideration of quality factors in clinical examinations during a changing period from an oral to a blended electronical format, in: Viguera Editores SL 2009 (Hrsg.): AMEE-Congress Malaga (E), 29.08. - 02.09.2009, Abstracts, EDUC MED 2009 12 (Suppl. 2) S. 31 Abstract
Katja Gartz: Klick, klick. Error - Uni-Klausuren am PC, Spiegel Online, August 2014, Artikel online
Nikolaus Forgó, Simon Graupe, Julia Pfeiffenbring: Rechtliche Aspekte von E-Assessments an Hochschulen, Juni 2016, Download als PDF
James C. Impera, David Foster: Item and Test Development Strategies to Minimize Test Fraud, in: Steven M. Downing, Thomas M. Haladyna: Handbook of Test Development, Mahwah, N.J., S. 91-114, 2006
Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
Nadine Kahlberg: Rechtsfragen computergestützter Präsenzprüfungen im Antwort-Wahl-Verfahren, DVBl, S. 21-29, 2009
Matthias Knauf: Videoüberwachung von Klausuren in Hochschule- und Staatsprüfungen?, NWVBl, S. 449-454, 2006
Norbert Niehues, Edgar Fischer: Schul- und Prüfungsrecht, Bd. 2: Prüfungsrecht, München, 2010
Elisabeth Schaper, Martin R. Fischer, Andrea Tipold, Jan P. Ehlers: Fallbasiertes, elektronisches Lernen und Prüfen in der Tiermedizin - auf der Suche nach einer realisierbaren Alternative zu Multiple-Choice-Prüfungen, in: Tierärztliche Umschau 66, S. 261-268, 2011
Michael Vogt, Stefan Schneider: E-Klausuren an Hochschulen: Didaktik – Technik – Systeme – Recht – Praxis, Koordinationsstelle Multimedia, JLU Gießen, 2009, Download als PDF
Christian Wagner, Thomas Gohrke, Godo Brehsan: Prüfungsrecht, Münster, 2003
Wolfgang Zimmerling, Robert G. Brehm: Prüfungsrecht, Verfahren, vermeidbare Fehler, Rechtsschutz, 3. Aufl., Köln, 2007

↑ ^1,0 ^1,1 George E. Miller: The Assessment of Clinical Skills/Competence/Performance, in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, Download als PDF (Abgerufen am 14.06.2010)

[1]

E-Klausur

Inhaltsverzeichnis