Checkliste

Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.

Brainstorming

Vorgehen zur Listenerstellung:

• Bereiche identifizieren
• Aktivitäten aufschlüsseln
• Bedingungen und Alternativen ausführen
• Weiteren Verlauf von Ergebnissen abhängig machen
• Gesamtübersicht mit sämtlichen Szenarien vorbereiten
• Am Ende eigene Checkliste für jedes Szenario erarbeiten

Bereiche

Auswahl des Einsatzszenarios

Vorbereitung

• Erfahrungsaustausch
• Systemerprobung- und Auswahl
• Schulung der Lehrenden und Lernenden
• Raumauswahl und Erkundung der Ausstattung
• Vorbereitung, Erprobung und QS der Prüfungsfragen
• Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
• Technische Infrastruktur erkunden/herstellen
• Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
• Anforderung mobiler Hardware/technischer Ausstattung

Durchführung

• Gleiche Voraussetzungen für alle schaffen/sicherstellen
• Freischaltung der Prüfungen
• Authentifizierung der Prüflinge
• Rechtssicherheit herstellen bzw. sicherstellen

Auswertung

• Teil- oder automatisierte Auswertung der Ergebnisse
• Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
• Itemanalyse
• Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
• Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
• Export der Prüfungsergebnisse in Prüfungsverwaltung
• Austausch/Weiterentwicklung der Fragepools in Lehrverbünden

Entscheidung zum Szenario

• Welchen Typ von Veranstaltung halte ich ab?
• Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
• Erreiche ich damit Mehrwerte (vielleicht Steigerung der Motivation der Studierenden, sich näher mit einem Thema auseinander zu setzen oder bei Lehrenden wegen Rationalisierung durch automatisierte Korrektur)
• Welche Möglichkeiten eines Einsatzes habe ich?
• Was ist didaktisch sinnvoll?

Zustand der Hochschule

• Existieren bereits elektronische Systeme an der Hochschule?
• Welche Möglichkeiten bieten die?
• Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
• Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
• Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
• Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?

Kooperation und Unterstützung

• Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
• Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
• Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
• Gibt es Schulungen für mich und die Studierenden?
• Wie sieht es mit einer Erprobung der Systeme aus?

Zugriff auf die Systeme

• Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
• Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
• Haben alle Studierenden Zugriff auf das bereitgestellte System?
• Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
• Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen

Raum (wenn vor Ort gearbeitet werden soll)

• reine E-Learning-Übung oder vor-Ort-Prüfung?
• Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
• Raum im Raumbüro gemietet?
• Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)

Vorbereitung der Prüfungsfragen

• Anlegen eines Fragepools vorab immer notwendig
• Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
• Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
• Welche Fragetypen sollen verwendet werden?
• Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
• Kann man aus der Sicht der Studierenden die Fragen vorab testen?
• Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
• Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
• Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen

Bearbeitung der Aufgaben

• Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
• Ist genügend Zeit eingeplant?
• Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
• Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?

Prüfungsordnung angepasst?

• Wie bringe ich die Verfahren in meiner Veranstaltung ein?
• Welches Szenario wird eingesetzt?
• Handelt es sich um eine benotete Prüfungsleistung?
• Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
• Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls

Technische Infrastruktur

• Raum ist gebucht
• Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
• Bringen die Studierenden eigene Notebooks mit?
• Ist ein Secure Browser notwendig und auf den Geräten installiert?
• Anmietung von Geräten und Ausstattung notwendig?
• Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?

Termin und Dauer?

• überhaupt notwendig?
• Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll

Aufsichten

• überhaupt notwendig?
• Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
• Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können

Netzwerke

• Internet -Anbindung notwendig oder reicht Intranet?
• Abschaltung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
• Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
• Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
• Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen

Ausstattung der Hörsäle/Rechnerräume

• Stehen genügend Prüfungsrechner zur Verfügung
• Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
• Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
• Geräuschkulisse der Geräte und der Eingabegeräte beachten

Import der Prüfungsdaten

• Kontakt mit Betreiber des POS-Systems
• Übernahme der Namen und weiterer Prüfungsdaten aus dem System
• Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)

Kennen sich Studierende bereits mit der Technologie aus?

• Evtl. Schulungen oder Übungen mit dem Prüfungssystem vorab notwendig

Frageerstellung und -zusammenstellung

• Fragepools vorbereitet
• Austausch mit anderen möglich?
• Zusammenstellung der Fragen aus größerem Pool
• Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)

Archivierung der Unterlagen

• Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
• Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)

Sonstiges

Häufigkeit der Verwendung von Fragen im ILIAS-System