Technik

E-Prüfungssysteme

Marktüberblick gängiger Systeme

System (alphabetisch) und bekannter Einsatzort	E-Unterstützung von Prüfungs-			Hauptsächlich eingesetzt bei					Spezielle Hardware nötig?
	Vorbereitung	Durchführung	Auswertung	Info	Auswahl	Formativ	Summativ	QS
CASUS MH Hannover TiHo Hannover	+	+	+			+
CLIX Testing and Assessment	+	+	+			+	+
C-Test Uni Münster	+	+	+	+
DoIT (Stud.IP) Uni Bremen	+		+ (Peer Review)			+
EvaExam	+	auf Papierbogen	+ (nach Scan)				+		+
EvaSys MH Hannover TU Clausthal	+	+ (auch auf Papier)	+					+	+
HN Navigator HS Niederrhein	+	+	+	+
Interactive Voting System TU Clausthal		+				+			+
LON CAPA HS Ostfalia	+	+	+			+	+
mobiTED		+				+			+
Online eXam (ILIAS) Uni Mainz	+	+	+			+	+
OpenMark (moodle) Open University	+	+	+			+
PowerVote TED-System TiHo Hannover		+				+			+
Questionmark Perception	+	+	+			+	+
Q[kju:]-Exam (Codiplan) MH Hannover TiHo Hannover	+	+	+				+	+	+
Respondus (WebCT)	+	+	+			+	+
SAMigo (Sakai)	+	+	+			+	+
testMaker LU Hannover		+		+
TestStudio (LPLUS) Uni Bremen Uni Duisburg/Essen	+	+	+				+
Virtuelles Prüfungssystem (Stud.IP) HS Osnabrück Uni Osnabrück	+	+	+			+	+
Visopoly Uni Oldenburg		+		+
Vista Quiz (Blackboard/WebCT)	+	+	+			+	+

Adaptive Ansätze

• Adaptives Testen; die aufgeführten Systeme arbeiten derzeit ausschließlich mit MC-Fragen.
  • SIETTE
  • Personalized Achievement Summary System (PASS)
  • COMPASS
• Adaptive Fragen; aufgeführte Systeme stammen aus wissenschaftlichen Veröffentlichungen, befinden sich also im Experimentalstadium und liegen i.d.R. nur als Prototyp vor.
  • CosyQTI
  • iAdaptTest

Betrugssicherheit

Sicherheit bei E-Klausuren, mgl. Angriffspunkte und Maßnahmen

Es gibt verschiedene Einsatzszenarien, die Auswirkung auf den weiteren Studienverlauf haben. So kann ein Studium bei mehrmaligem Scheitern einer elektronischen Klausur im schlimmsten Fall beendet sein; oder ein Kandidat kann beim Scheitern an einem Zulassungstest evtl. gar kein Studium beginnen. Aus dem Grund stellen Hochschulen hohe Anforderungen an Rechtssicherheit und Validität solcher Prüfungen. Dazu gehört, Täuschungsversuche zu vermeiden bzw. das Sicherheitskonzept an den Einsatz neuer Medien anzupassen.

Idealer Prozess

1. Prüfling arbeitet mit vorgesehener Hardware, z.B. Terminal, Tastatur, Headset etc.
2. Hardware gestattet Zugriff auf lokale Prüfungssoftware, z.B. den Client eines Assessment-Systems, ein Arbeitsmittel oder einen Browser.
3. Lokale Software ermöglicht Zugang zum Prüfungsserver, auf dem sich z.B. E-Klausur-System oder ein Lernmanagementsystem mit entsprechender Funktionalität befindet.
4. Der Prüfungsserver übermittelt Aufzeichnungen an ein digitales Hochschularchiv und/oder Prüfungsergebnisse an ein Prüfungsverwaltungssystem.

Angriffspunkte

• Fremde Personen: Prüfungen sind i.d.R. Einzelleistungen, entsprechend sind ein Austausch mit anderen Prüflingen, die Weitergabe von Ergebnissen oder Rücksprache mit Experten zu vermeiden.
• Fremdhardware: Ebenso ist darauf zu achten, dass nur zugelassene Materialien eingesetzt werden. So können Vorlesungsaufzeichnungen oder Nachschlagewerke Lösungen vorweg nehmen, ebenso Mobiltelefone Rücksprache mit Experten ermöglichen oder Netbooks eine Online-Recherche ermöglichen. Gleiches gilt für elektronische Hilfsmittel wie Taschenrechner oder USB-Sticks, auf denen sich vorbereitete Lösungen befinden können.
• Fremdsoftware: Auf einem Prüfungs-PC befinden sich i.d.R. typische Anwendungen des zugrunde liegenden Betriebssystems. Dazu gehören z.B. eine Dateiablage, in der man relevante Informationen hinterlegen hinterlegen kann, aber auch Chatprogramme zur Online-Kommunikation mit anderen, Twitter-Clients zur Veröffentlichung von Prüfungsaufgaben, Instant Messenger für Rückfragen an Experten, digitale Taschenrechner uvm. Zugriff auf entsprechende Software sollte eingeschränkt werden, um einen Austausch oder ähnliches zu vermeiden.
• Fremdserver: Ebenso bieten die meisten Betriebssysteme Standard-Browser, mit denen Prüflinge auf das WWW zugreifen können. Hier ist dafür zu sorgen, dass nur Zugriff auf den Prüfungsserver möglich ist, um Recherchen in Online-Nachschlagewerken wie z.B. Wikipedia oder Messaging-Dienste wie ICQ bzw. Twitter zu verhindern.
• Fremd-Erfassung: Prüfungsergebnisse und die dadurch möglichen Rückschlüsse auf die Qualität der Prüflinge können durchaus wirtschaftliche Begehrlichkeiten wecken. So wäre z.B. der Aufbau einer Absolventen-Schufa möglich, die späteren Arbeitgebern kostenpflichtig Informationen zu ihren Bewerbern bieten kann - entsprechende Auskunfteien versuchen die Arbeitsagenturen derzeit als ELENA aufzubauen. Im Sinne des Datenschutzes und der wirtschaftlichen Ausbeutung von Studierenden- bzw. Arbeitnehmerdaten ist dies auf jeden Fall zu verhindern. Weiterer Punkt ist die Selbstdarstellung via E-Portfolio oder auf den eigenen Profilseiten z.B. im Facebook. Hier ist abzuklären, inwiefern entsprechende Informationen veröffentlicht werden dürfen - automatisierte Veröffentlichung durch Zugriff Dritter auf das Prüfungsverwaltungssystem ist jedoch in jedem Fall auszuschließen.

Lösungsansätze

• Kontrolle vor Ort durch geschulte Aufsichten
• Voreinstellungen der Hardware, z.B. USB-Anschluss deaktivieren (um USB-Sticks mit vorbereiteten Lösungen zu vermeiden)
• Einschränken der Funktionalität des Prüfungssystems
  • Bereinigen des Systems vor jeder Prüfung
  • Installation nur der notwendigen Software
  • Bereitstellen eines sicheren Browsers für den Zugriff, z.B.
    • Safe Exam Browser
    • Secure Browser von Dell
    • Secure Browser von Tropical Software
  • Internetzugriff (z.B. auf externe Webseiten wie Wikipedia, Twittern von Prüfungsfragen) einschränken
  • Chat zwischen Prüflingen (oder externen Experten) ausschließen
• Einschränken der Zugriffsmöglichkeiten
  • Voreinstellung des Secure Browsers auf den Server des Prüfungssystems
• Einschränken der serverseitigen Möglichkeiten z.B. durch Aktivieren eines Kiosk-Modus im LMS während der Prüfung
• Vermeiden der Fremderfassung der Prüfungsergebnisse, z.B. durch Karrierebörsen, Headhunter, zur Darstellung auf eigenen Profilseiten oder für Informationsdienste zu Absolventen
• Für allgemeine IT-Sicherheit sorgen, wie z.B. im IT-Grundschutz-Katalog des BSI beschrieben

Konnektivität

Mögliche Ausprägung einer Hochschulsystemlandschaft

E-Prüfungssysteme sind Teil der Hochschulsystemlandschaft. Sie können Teilfunktionalität eines Lernmanagementsystems sein, wie z.B. häufig beim E-Assessment, oder als eigenständige Systeme agieren, wie üblich bei E-Klausuren. Zwischen den Prüfungssystemem und weiteren Hochschulsystemen bzw. -abteilungen existiert immer ein Austausch. Diese ist nicht zwingend elektronisch, sondern kann auf klassische Weise z.B. durch das Versenden von Anmelde- oder Notenlisten per Hauspost erfolgen. Um Fehler zu vermeiden, wie sie z.B. beim Abtippen von Excel-Tabellen auftreten können, und damit die Qualität der Datenübermittlung zu erhöhen, ist die Integration der E-Prüfungssysteme in die restliche Hochschullandschaft zu überlegen. Nachfolgend sind die Systeme aufgeführt, die am ehesten E-Prüfungen zusammenhängen.

Elektronische Prüfungsverwaltung

Systeme zur Prüfungsverwaltung, wie z.B. das Prüfungsorganisationssystem (POS) der Hochschulinformationssystem GmbH (HIS), helfen bei der Erfassung von Prüfungen und Prüfungsleistungen im Rahmen des studentischen Lebenszyklus. Da es sich dabei i.d.R. um benotete Prüfungsleistungen handelt, ist insbesondere eine Verbindung zu E-Klausur-Systemen denkbar. Über eine solche Schnittstelle kann das E-Klausursystem notwendige Informationen zur Prüfung erhalten (z.B. Verantwortlicher, Zeitpunkt und -raum, Voraussetzungen, Prüflinge), so dass diese Daten nicht manuell angelegt werden müssen. Im Gegenzug können die Ergebnisse in das Prüfungsverwaltungssystem zurück fließen, um so das Ausfüllen und Abtippen von Excel-Listen zu vermeiden.

Im- und Export von Aufgaben und Fragepools

Aus verschiedenen Gründen kann ein Austausch von Prüfungsfragen sinnvoll sein: zu Archivierungszwecken, weil Prüfende die Software wechseln und Fragen wiederverwenden wollen oder weil sie in komplexen Lehrverbünden zusammenarbeiten, in denen sie Prüfungsfragen austauschen bzw. gemeinsam weiterentwickeln. Dazu ist notwendig, dass bereits eingesetzte oder zukünftig eingeplante Systeme den Im- bzw. Export von Prüfungsfragen erlauben.

Existiert eine zentrale Sammelstelle mit entsprechenden fachbezogenen Fragen, ist eine Kopplung mit dem E-Klausursystem denkbar, um auf diese Weise einzelne Prüfungen aus einem größeren Fundus zusammenstellen zu können. Die statistische Auswertung der gegebenen Antworten lässt zudem Rückschlüsse über die Qualität der Aufgaben zu. Entsprechende Einstufungen (z.B. nach Schwierigkeitsgrad) sollten daher zurück in den Qualitässicherungsprozess und damit die Beschreibung der Fragen einfließen.

Will ein Lehrender einmal erstellte Prüfungsaufgaben von einem System in ein anderes System übernehmen, sind Im- und Exportfunktionalität notwendig. Auf diese Weise kann der Lehrende komplexe Fragepools erstellen, in seiner Community austauschen, von der Community oder dem Lehrverbund weiterentwickeln lassen bzw. neue Fragen ins eigene System übernehmen.

Die IMS Question & Test Interoperability (QTI) ist ein standardisiertes Datenformat, das vom IMS Global Learning Consortium entwickelt wurde und die Erstellung sowie Beschreibung von Tests erlaubt. Dies soll den Austausch zwischen verschiedenen Systemen sowie das Abspeichern von Testergebnissen erleichtern. Bislang wird dieses Format jedoch kaum unterstützt.

Eine zentrale Sammelstelle für Prüfungsfragen sämtlicher Fachbereiche existiert nicht - zudem ist unklar, in welchem Format entsprechende Prüfungsfragen abgelegt werden sollten. Hier sind einzig die Open Educational Resources (OER) zu nennen, die zum Stichtag 22.02.2011 bereits 1842 Materialien vom Typ "Assessment" auflisten.

Hochschulweite und -übergreifende Authentifizierung

Hochschulweit

Das lokale Rechenzentrum einer Hochschule betreibt i.d.R. eine zentrale Benutzerverwaltung, in der Zugangsdaten von Mitarbeitenden und Studierenden abgelegt sind. Bei dieser zentralen Stelle können Hochschulsysteme erfragen, ob eingegebene Zugangsdaten gültig sind und angebotene Dienste zugänglich gemacht werden dürfen oder nicht. Dazu verwenden die zentralen Benutzerverwaltungen standardisierte Protokolle wie Lightweight Directory Access Protocol (LDAP), das die Hochschulsysteme implementieren müssen, um den Authentifizierungsdienst der Nutzerverwaltung zu benutzen. Beispiel für Hochschulsysteme, die typischerweise mit der Nutzerverwaltung interagieren sind: E-Mail-Postfach der Hochschule, Lernmanagementsystem, Prüfungsan- und -abmeldung, Systeme zur Noteneinsicht, Webspeicherplatz zur Selbstdarstellung uvw.

Hochschulübergreifend

Sollen Studierende einer Hochschule mit ihren Zugangsdaten auch auf Systeme anderer Hochschulen zugreifen können, stehen verschiedene Konzepte zur hochschulübergreifenden Authentifizierung zur Verfügung. Ein Beispiel ist die Authentifizierungs- und Autorisierungs-Infrastruktur für Niedersachsen (NDS-AAI). Darüber werden Benutzer weiterhin lokal in ihren Heimatorganisationen verwaltetet, bekommen aber kontrolliert Zugang zu Ressourcen der gesamten Föderation. Die erste Anwendung, die über die Nds-AAI zugänglich gemacht wurde, ist das Lernmanagementsystem Stud.IP.

Digitale Archivierung

Bereits im Rahmen der rechtlichen Anforderungen an elektronische Klausuren wurde die Pflicht zur Archivierung angesprochen. Die jeweiligen Prüfungsordnungen geben i.d.R. den dafür notwendigen Zeitraum vor, der bis zu 30 Jahren betragen kann. Dieser gilt für elektronische Unterlagen ebenfalls - obwohl für die Sicherung bisher unklar ist, welcher Datenträger einen entsprechenden Zeitraum ohne Datenverlust überdauert. Häufig sind die Hochschulbibliotheken für den Themenkomplex "Archivierung" zuständig. Existiert z.B. eine Archivierungsstrategie der Hochschule, scheint es sinnvoll, die Archivierung digitaler Unterlagen in diese Strategie einzugliedern.

Für die Archivierung sind zwei Aspekte zu unterscheiden: Leistungsbewertung und Leistungsaufzeichnung. Während die Leistungsbewertung als nachvollziehbarer Verwaltungsakt in der Akte des Prüflings zu finden ist, die i.d.R. dem Prüfungsamt zugeordnet ist, sind die Prüfer selbst für die Aufbewahrung der geschriebenen Klausuren zuständig; in den meisten Fällen ist dafür ein wesentlich kürzerer Zeitraum ausreichend. Entsprechend erfolgt Akteneinsicht im Prüfungsamt und Klausureinsicht bei den Prüfenden. Das Testcenter der Uni Bremen löst diese Aufgabe z.B., indem der Prüfende im Anschluss eine CD/DVD mit den kompletten Aufzeichnungen erhält und dann seinerseits für (nachträgliche) Bewertung bzw. Qualitätssicherung und die Übermittlung der Ergebnisse ans Prüfungsamt zuständig ist.

Zuverlässigkeit der Systeme

Fehlertoleranz

• Beispiel: Unterschiedliche Schreibweisen, Rechtschreibfehler, Buchstabendreher
• Beispiel: Fehlerhaft festgelegte Wertebereiche bei dynamischen Aufgaben

Maßnahmen zum IT-Grundschutz

Nachfolgend stichpunktartig diejenigen Maßnahmen zum IT-Grundschutz, die neben allgemeinen Maßnahmen (Brandschutz, Gefahrenabwehr, etc.) speiziell bei E-Klausuren zu beachten sind. Eine aktuelle, vollständige und ausführlich beschriebene Liste ist zu finden in den IT-Grundschutz-Katalogen des BSI.

Infrastruktur

• Geeignete Aufstellung eines IT-Systems (1.29)
• Fernanzeige von Störungen (1.31)
• Geeignete Aufbewahrung tragbarer IT-Systeme im stationären Einsatz (1.34)
• Einsatz von Diebstahl-Sicherungen (1.46)
• Videoüberwachung (1.53)
• Technische und organisatorische Vorgaben für Serverräume (1.58)
• Geeignete Aufstellung von Speicher- und Archivsystemen (1.59)
• Geeignete Lagerung von Archivmedien (1.60)
• Geeignete Auswahl und Nutzung eines mobilen Arbeitsplatzes (1.61)
• Geeignete Aufstellung von Access Points (1.63)

Organisation

• Störungsfreiheit, Strategien zur Pannenvermeidung (evtl. BSI Grundschutzhandbuch einbinden)

Links

• Gegenüberstellung der Funktionen verschiedener Systeme