Technik: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
(→‎Weiterführende Informationen)
(→‎Weiterführende Informationen)
Zeile 278: Zeile 278:
 
* [[Fragetypen | Verschiedene Aufgabentypen]]
 
* [[Fragetypen | Verschiedene Aufgabentypen]]
 
* [[MC-Fragen erstellen | Erstellen von Multiple-Choice-Aufgaben]]
 
* [[MC-Fragen erstellen | Erstellen von Multiple-Choice-Aufgaben]]
 +
* [http://doodle.com/4npfdn8ziikbyt5k An Hochschulen eingesetzte Systeme (ZKI-Umfrage)]
  
 
{{Grundlagen}}
 
{{Grundlagen}}
 
{{Technik}}
 
{{Technik}}

Version vom 21. März 2011, 10:23 Uhr

E-Prüfungssysteme

Marktüberblick gängiger Systeme

System (alphabetisch)

und bekannter Einsatzort

E-Unterstützung von Prüfungs- Hauptsächlich eingesetzt bei Spezielle
Hardware
nötig?
Vorbereitung Durchführung Auswertung Info Auswahl Formativ Summativ QS
CASUS
  • MH Hannover
  • TiHo Hannover
 + + + +
CLIX Testing and Assessment + + + + +
C-Test
  • Uni Münster
 + + + +
DoIT (Stud.IP)
  • Uni Bremen
 + + (Peer Review) +
EvaExam + auf Papierbogen + (nach Scan) + +
EvaSys
  • MH Hannover
  • TU Clausthal
 + + (auch auf Papier) + + +
HN Navigator
  • HS Niederrhein
 + + + +
Interactive Voting System
  • TU Clausthal
 + + +
LON CAPA
  • HS Ostfalia
 + + + + +
mobiTED + + +
Online eXam (ILIAS)
  • Uni Mainz
 + + + + +
OpenMark (moodle)
  • Open University
 + + + +
PowerVote TED-System
  • TiHo Hannover
 + + +
Questionmark Perception + + + + +
Q[kju:]-Exam (Codiplan)
  • MH Hannover
  • TiHo Hannover
 + + + + + +
Respondus (WebCT) + + + + +
SAMigo (Sakai) + + + + +
testMaker
  • LU Hannover
 + +
TestStudio (LPLUS)
  • Uni Bremen
  • Uni Duisburg/Essen
 + + + +
Virtuelles Prüfungssystem (Stud.IP)
  • HS Osnabrück
  • Uni Osnabrück
 + + + + +
Visopoly
  • Uni Oldenburg
 + +
Vista Quiz (Blackboard/WebCT) + + + + +

Eine Gegenüberstellung der Systeme ILIAS (Version 3.10.6), ViPS (Version 0.9.10), Moodle (Version 1.9.4+) und Sakai (Version 2.5.4) inklusive Auflistung ihrer Funktionalität findet sich zudem in dieser Übersicht.

Adaptive Ansätze

  • Adaptives Testen; die aufgeführten Systeme arbeiten derzeit ausschließlich mit MC-Fragen.
  • Adaptive Fragen; aufgeführte Systeme stammen aus wissenschaftlichen Veröffentlichungen, befinden sich also im Experimentalstadium und liegen i.d.R. nur als Prototyp vor.
    • CosyQTI
    • iAdaptTest

Betrugssicherheit

Sicherheit bei E-Klausuren, mgl. Angriffspunkte und Maßnahmen

Es gibt verschiedene Einsatzszenarien, die Auswirkung auf den weiteren Studienverlauf haben. So kann ein Studium bei mehrmaligem Scheitern einer elektronischen Klausur im schlimmsten Fall beendet sein; oder ein Kandidat kann beim Scheitern an einem Zulassungstest evtl. gar kein Studium beginnen. Aus dem Grund stellen Hochschulen hohe Anforderungen an Rechtssicherheit und Validität solcher Prüfungen. Dazu gehört, Täuschungsversuche zu vermeiden bzw. das Sicherheitskonzept an den Einsatz neuer Medien anzupassen.

Idealer Prozess

  1. Prüfling arbeitet mit vorgesehener Hardware, z.B. Terminal, Tastatur, Headset etc.
  2. Hardware gestattet Zugriff auf lokale Prüfungssoftware, z.B. den Client eines Assessment-Systems, ein Arbeitsmittel oder einen Browser.
  3. Lokale Software ermöglicht Zugang zum Prüfungsserver, auf dem sich z.B. E-Klausur-System oder ein Lernmanagementsystem mit entsprechender Funktionalität befindet.
  4. Der Prüfungsserver übermittelt Aufzeichnungen an ein digitales Hochschularchiv und/oder Prüfungsergebnisse an ein Prüfungsverwaltungssystem.

Angriffspunkte

  • Fremde Personen: Prüfungen sind i.d.R. Einzelleistungen, entsprechend sind ein Austausch mit anderen Prüflingen, die Weitergabe von Ergebnissen oder Rücksprache mit Experten zu vermeiden.
  • Fremdhardware: Ebenso ist darauf zu achten, dass nur zugelassene Materialien eingesetzt werden. So können Vorlesungsaufzeichnungen oder Nachschlagewerke Lösungen vorweg nehmen, ebenso Mobiltelefone Rücksprache mit Experten ermöglichen oder Netbooks eine Online-Recherche ermöglichen. Gleiches gilt für elektronische Hilfsmittel wie Taschenrechner oder USB-Sticks, auf denen sich vorbereitete Lösungen befinden können.
  • Fremdsoftware: Auf einem Prüfungs-PC befinden sich i.d.R. typische Anwendungen des zugrunde liegenden Betriebssystems. Dazu gehören z.B. eine Dateiablage, in der man relevante Informationen hinterlegen hinterlegen kann, aber auch Chatprogramme zur Online-Kommunikation mit anderen, Twitter-Clients zur Veröffentlichung von Prüfungsaufgaben, Instant Messenger für Rückfragen an Experten, digitale Taschenrechner uvm. Zugriff auf entsprechende Software sollte eingeschränkt werden, um einen Austausch oder ähnliches zu vermeiden.
  • Fremdserver: Ebenso bieten die meisten Betriebssysteme Standard-Browser, mit denen Prüflinge auf das WWW zugreifen können. Hier ist dafür zu sorgen, dass nur Zugriff auf den Prüfungsserver möglich ist, um Recherchen in Online-Nachschlagewerken wie z.B. Wikipedia oder Messaging-Dienste wie ICQ bzw. Twitter zu verhindern.
  • Fremd-Erfassung: Prüfungsergebnisse und die dadurch möglichen Rückschlüsse auf die Qualität der Prüflinge können durchaus wirtschaftliche Begehrlichkeiten wecken. So wäre z.B. der Aufbau einer Absolventen-Schufa möglich, die späteren Arbeitgebern kostenpflichtig Informationen zu ihren Bewerbern bieten kann - entsprechende Auskunfteien versuchen die Arbeitsagenturen derzeit als ELENA aufzubauen. Im Sinne des Datenschutzes und der wirtschaftlichen Ausbeutung von Studierenden- bzw. Arbeitnehmerdaten ist dies auf jeden Fall zu verhindern. Weiterer Punkt ist die Selbstdarstellung via E-Portfolio oder auf den eigenen Profilseiten z.B. im Facebook. Hier ist abzuklären, inwiefern entsprechende Informationen veröffentlicht werden dürfen - automatisierte Veröffentlichung durch Zugriff Dritter auf das Prüfungsverwaltungssystem ist jedoch in jedem Fall auszuschließen.

Lösungsansätze

  • Kontrolle vor Ort durch geschulte Aufsichten
  • Voreinstellungen der Hardware, z.B. USB-Anschluss deaktivieren (um USB-Sticks mit vorbereiteten Lösungen zu vermeiden)
  • Einschränken der Funktionalität des Prüfungssystems
    • Bereinigen des Systems vor jeder Prüfung
    • Installation nur der notwendigen Software
    • Bereitstellen eines sicheren Browsers für den Zugriff, z.B.
    • Internetzugriff (z.B. auf externe Webseiten wie Wikipedia, Twittern von Prüfungsfragen) einschränken
    • Chat zwischen Prüflingen (oder externen Experten) ausschließen
  • Einschränken der Zugriffsmöglichkeiten
    • Voreinstellung des Secure Browsers auf den Server des Prüfungssystems
  • Einschränken der serverseitigen Möglichkeiten z.B. durch Aktivieren eines Kiosk-Modus im LMS während der Prüfung
  • Vermeiden der Fremderfassung der Prüfungsergebnisse, z.B. durch Karrierebörsen, Headhunter, zur Darstellung auf eigenen Profilseiten oder für Informationsdienste zu Absolventen
  • Für allgemeine IT-Sicherheit sorgen, wie z.B. im IT-Grundschutz-Katalog des BSI beschrieben

Konnektivität

Mögliche Ausprägung einer Hochschulsystemlandschaft

E-Prüfungssysteme sind Teil der Hochschulsystemlandschaft. Sie können Teilfunktionalität eines Lernmanagementsystems sein, wie z.B. häufig beim E-Assessment, oder als eigenständige Systeme agieren, wie üblich bei E-Klausuren. Zwischen den Prüfungssystemem und weiteren Hochschulsystemen bzw. -abteilungen existiert immer ein Austausch. Diese ist nicht zwingend elektronisch, sondern kann auf klassische Weise z.B. durch das Versenden von Anmelde- oder Notenlisten per Hauspost erfolgen. Um Fehler zu vermeiden, wie sie z.B. beim Abtippen von Excel-Tabellen auftreten können, und damit die Qualität der Datenübermittlung zu erhöhen, ist die Integration der E-Prüfungssysteme in die restliche Hochschullandschaft zu überlegen. Nachfolgend sind die Systeme aufgeführt, die am ehesten E-Prüfungen zusammenhängen.

Elektronische Prüfungsverwaltung

Systeme zur Prüfungsverwaltung, wie z.B. das Prüfungsorganisationssystem (POS) der Hochschulinformationssystem GmbH (HIS), helfen bei der Erfassung von Prüfungen und Prüfungsleistungen im Rahmen des studentischen Lebenszyklus. Da es sich dabei i.d.R. um benotete Prüfungsleistungen handelt, ist insbesondere eine Verbindung zu E-Klausur-Systemen denkbar. Über eine solche Schnittstelle kann das E-Klausursystem notwendige Informationen zur Prüfung erhalten (z.B. Verantwortlicher, Zeitpunkt und -raum, Voraussetzungen, Prüflinge), so dass diese Daten nicht manuell angelegt werden müssen. Im Gegenzug können die Ergebnisse in das Prüfungsverwaltungssystem zurück fließen, um so das Ausfüllen und Abtippen von Excel-Listen zu vermeiden.

Im- und Export von Aufgaben und Fragepools

Aus verschiedenen Gründen kann ein Austausch von Prüfungsfragen sinnvoll sein: zu Archivierungszwecken, weil Prüfende die Software wechseln und Fragen wiederverwenden wollen oder weil sie in komplexen Lehrverbünden zusammenarbeiten, in denen sie Prüfungsfragen austauschen bzw. gemeinsam weiterentwickeln. Dazu ist notwendig, dass bereits eingesetzte oder zukünftig eingeplante Systeme den Im- bzw. Export von Prüfungsfragen erlauben.

Existiert eine zentrale Sammelstelle mit entsprechenden fachbezogenen Fragen, ist eine Kopplung mit dem E-Klausursystem denkbar, um auf diese Weise einzelne Prüfungen aus einem größeren Fundus zusammenstellen zu können. Die statistische Auswertung der gegebenen Antworten lässt zudem Rückschlüsse über die Qualität der Aufgaben zu. Entsprechende Einstufungen (z.B. nach Schwierigkeitsgrad) sollten daher zurück in den Qualitässicherungsprozess und damit die Beschreibung der Fragen einfließen.

Will ein Lehrender einmal erstellte Prüfungsaufgaben von einem System in ein anderes System übernehmen, sind Im- und Exportfunktionalität notwendig. Auf diese Weise kann der Lehrende komplexe Fragepools erstellen, in seiner Community austauschen, von der Community oder dem Lehrverbund weiterentwickeln lassen bzw. neue Fragen ins eigene System übernehmen.

Die IMS Question & Test Interoperability (QTI) ist ein standardisiertes Datenformat, das vom IMS Global Learning Consortium entwickelt wurde und die Erstellung sowie Beschreibung von Tests erlaubt. Dies soll den Austausch zwischen verschiedenen Systemen sowie das Abspeichern von Testergebnissen erleichtern. Bislang wird dieses Format jedoch kaum unterstützt.

Eine zentrale Sammelstelle für Prüfungsfragen sämtlicher Fachbereiche existiert nicht - zudem ist unklar, in welchem Format entsprechende Prüfungsfragen abgelegt werden sollten. Hier sind einzig die Open Educational Resources (OER) zu nennen, die zum Stichtag 22.02.2011 bereits 1842 Materialien vom Typ "Assessment" auflisten.

Authentifizierung

  • Hochschulweit: Das lokale Rechenzentrum einer Hochschule betreibt i.d.R. eine zentrale Benutzerverwaltung, in der Zugangsdaten von Mitarbeitenden und Studierenden abgelegt sind. Bei dieser zentralen Stelle können Hochschulsysteme erfragen, ob eingegebene Zugangsdaten gültig sind und angebotene Dienste zugänglich gemacht werden dürfen oder nicht. Dazu verwenden die zentralen Benutzerverwaltungen standardisierte Protokolle wie Lightweight Directory Access Protocol (LDAP), das die Hochschulsysteme implementieren müssen, um den Authentifizierungsdienst der Nutzerverwaltung zu benutzen. Beispiel für Hochschulsysteme, die typischerweise mit der Nutzerverwaltung interagieren sind: E-Mail-Postfach der Hochschule, Lernmanagementsystem, Prüfungsan- und -abmeldung, Systeme zur Noteneinsicht, Webspeicherplatz zur Selbstdarstellung uvw.
  • Hochschulübergreifend: Sollen Studierende einer Hochschule mit ihren Zugangsdaten auch auf Systeme anderer Hochschulen zugreifen können, stehen verschiedene Konzepte zur hochschulübergreifenden Authentifizierung zur Verfügung. Ein Beispiel ist die Authentifizierungs- und Autorisierungs-Infrastruktur für Niedersachsen (NDS-AAI). Darüber werden Benutzer weiterhin lokal in ihren Heimatorganisationen verwaltetet, bekommen aber kontrolliert Zugang zu Ressourcen der gesamten Föderation. Die erste Anwendung, die über die Nds-AAI zugänglich gemacht wurde, ist das Lernmanagementsystem Stud.IP.

Digitale Archivierung

Bereits im Rahmen der rechtlichen Anforderungen an elektronische Klausuren wurde die Pflicht zur Archivierung angesprochen. Die jeweiligen Prüfungsordnungen geben i.d.R. den dafür notwendigen Zeitraum vor, der bis zu 30 Jahren betragen kann. Dieser gilt für elektronische Unterlagen ebenfalls - obwohl für die Sicherung bisher unklar ist, welcher Datenträger einen entsprechenden Zeitraum ohne Datenverlust überdauert. Häufig sind die Hochschulbibliotheken für den Themenkomplex "Archivierung" zuständig. Existiert z.B. eine Archivierungsstrategie der Hochschule, scheint es sinnvoll, die Archivierung digitaler Unterlagen in diese Strategie einzugliedern.

Für die Archivierung sind zwei Aspekte zu unterscheiden: Leistungsbewertung und Leistungsaufzeichnung. Während die Leistungsbewertung als nachvollziehbarer Verwaltungsakt in der Akte des Prüflings zu finden ist, die i.d.R. dem Prüfungsamt zugeordnet ist, sind die Prüfer selbst für die Aufbewahrung der geschriebenen Klausuren zuständig; in den meisten Fällen ist dafür ein wesentlich kürzerer Zeitraum ausreichend. Entsprechend erfolgt Akteneinsicht im Prüfungsamt und Klausureinsicht bei den Prüfenden. Das Testcenter der Uni Bremen löst diese Aufgabe z.B., indem der Prüfende im Anschluss eine CD/DVD mit den kompletten Aufzeichnungen erhält und dann seinerseits für (nachträgliche) Bewertung bzw. Qualitätssicherung und die Übermittlung der Ergebnisse ans Prüfungsamt zuständig ist.

Zuverlässigkeit der Systeme

Generell gelten die ergonomischen Anforderungen der Verordnung über Sicherheit und Gesundheitsschutz bei der Arbeit an Bildschirmgeräten. Speziell bezogen auf E-Prüfungen sind nachfolgend Überlegungen zur logische und technische Zuverlässigkeit unterschieden.

Fehlertoleranz (logische Zuverlässigkeit)

Im mathematisch-naturwissenschaftlichen Bereich können E-Prüfungssysteme Aufgaben für jeden Prüfling individuell gestalten, indem sie den Zufall einbeziehen. Ein Prüfender gibt dazu den Typ von Aufgabe vor - z.B. Bruchrechnung, woraufhin das System die Werte für Zähler und Nenner automatisch generiert. Das erschwert den Austausch von Ergebnissen und kann zum gemeinsamen Lernen genutzt werden. Als Beispiel soll der Prüfling einen Bruch (also Zähler durch Nenner) berechnen und das Ergebnis in ein Textfeld eingeben. Am Ende kann das System, insofern die zugehörige Berechnungsformel hinterlegt wurde, die Korrektheit der Eingabe überprüfen. Im Beispiel wurde nun aber der Wertebereich nicht hinreichend eingeschränkt, so dass ein Prüfling während der Klausur eine Division durch Null als Aufgabe bekam. Da das Ergebnis nicht berechenbar ist, brachte die automatische Auswertung der Antwort auch keinen Punkt für diese Aufgabe. Der zurecht empörte Prüfling bat daraufhin um manuelle Kontrolle, woraufhin die gesamte Aufgabe aus der Wertung genommen werden musste.

Ein anderes Beispiel betrachtet Kurztexteingaben. Ist hier die korrekte Antwort hinterlegt, kann das System Antwort und Eingabe leicht überprüfen. Hat sich der Prüfling jedoch verschrieben oder verwendet dieser eine andere Schreibweise, ist diese Überprüfung nicht mehr ohne weiteres möglich. Es gibt Systeme, denen man vorher eine noch gültige Levenshtein-Distanz festlegen kann. Ansonsten ist manuelle Nachkontrolle unerlässlich. Beispiel sind hier unterschiedliche Schreibweisen, Rechtschreib- oder Flüchtigkeitsfehler, Buchstabendreher oder ein fälschliches Schreiben der ersten beiden Zeichen als Großbuchstaben.

Ein E-Klausursystem sollte daher beiten:

  • Protokollierung von Fragen und Antworten, und zwar für jeden Prüfling individuell
  • Kommentarfunktion, um z.B. bei Aufgaben ohne Eingabefelder auf fehlende Alternativen oder Verständnisprobleme hinzuweisen
  • Protestknopf, um auf generelle Probleme hinzuweisen (wie z.B. Division durch 0)
  • Möglichkeit zur manuellen Nachbewertung
  • Eingabe einer tolerierbaren Levenshtein-Distanz
  • Anzeige der häufigsten Eingaben bei Kurztextfeldern, um z.B. weitere Schreibweisen zu identifizieren

IT-Grundschutz (technische Zuverlässigkeit)

Nachfolgend stichpunktartig diejenigen Maßnahmen zum IT-Grundschutz, die neben allgemeinen Maßnahmen (Brandschutz, Gefahrenabwehr, etc.) speiziell bei E-Klausuren zu beachten sind. Eine aktuelle, vollständige und ausführlich beschriebene Liste ist zu finden in den IT-Grundschutz-Katalogen des BSI.

Weiterführende Informationen

Vorlage:Grundlagen

Abgerufen von „https://ep.elan-ev.de/index.php?title=Technik&oldid=1757“