Checkliste

Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.

Brainstorming

Vorgehen zur Listenerstellung:

• Bereiche identifizieren
• Aktivitäten aufschlüsseln
• Bedingungen und Alternativen ausführen
• Weiteren Verlauf von Ergebnissen abhängig machen
• Gesamtübersicht mit sämtlichen Szenarien vorbereiten
• Am Ende eigene Checkliste für jedes Szenario erarbeiten

Integration in den Prüfungs-Verwaltungs-Prozess (Bsp. benotete Klausur)

• Termin- und Raumvereinbarung
• Anmeldung
• Vorbereitung
• Durchführung
• Auswertung
• Klausureinsicht
• Meldung ans Prüfungsamt
• Übernahme ins Prüfungsverwaltungssystem
• Archivierung der Ergebnisse und Unterlagen

Vorbereitung

Auswahl des Einsatzszenarios

• Was will ich durch den Einsatz elektronischer Verfahren erreichen?
  • Orientierung geben und die Vorlieben der Lernenden abfragen, um so mögliche Alternativen aufzeigen zu können?
  • Motivieren, Studierende sollen sich noch einmal spielerisch mit den Inhalten auseinandersetzen und diese wiederholen (im Sinne eines Quizzes im Anschluss an die Veranstaltung)
  • Wiederholung und Vertiefung der im Rahmen einer Veranstaltung gelernten Inhalte im Sinne einer Übung
  • Zulassungstests, Prüfen des bisher gelernten Wissens, das notwendig ist, um sich mit weiterführenden Inhalten beschäftigen zu können, z.B. als Zwischentest bei reinen E-Learning-Einheiten oder als Zulassungstests zu Studiengängen oder Veranstaltungen
  • Leistungsbeurteilung zur Bewertung und Benotung z.B. als Abschlussprüfung einer Veranstaltung
• Entscheidung zum Szenario treffen

• Welche Mehrwerte verspreche ich mir davon?
  • Durch Elektronisierung bereits schriftlich vorliegender Materialien verschiedene Wege/Kanäle nutzen, um die Lernenden zu erreichen, so dass diese sich ihren Vorlieben entsprechend mit den Inhalten beschäftigen können
  • Steigerung der Motivation der Studierenden, sich näher mit einem Thema auseinander zu setzen
  • Weniger Korrekturaufwand bei den Lehrenden

• Metapher festlegen: will ich nur die bereits existierende schriftliche Form elektronisieren? Oder will ich ganz neue Wege beschreiten, um z.B. multimediale Elemente nutzen, die schriftlich nicht einbezogen werden konnten?

• Welche Möglichkeiten eines Einsatzes stehen mir zur Verfügung?
• Welchen Typ von Veranstaltung halte ich ab und ist es didaktisch sinnvoll, elektronische Verfahren im Rahmen meiner Lehre einzusetzen?

Erfahrungsaustausch

• Begleitender Prozess, umfasst sämtliche Einsatzszenarien
• Haben bereits andere Lehrende an meiner Hochschule elektronische Verfahren eingesetzt?
• Wer ist das und welche Erfahrungen haben die gemacht?
• Können die mir Ratschläge geben, wenn ich E-Prüfungen in meinen Veranstaltungen einsetzen will?

Kooperation und Unterstützung

• Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
• Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
• Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
• Gibt es Schulungen für mich und die Studierenden?
• Wie sieht es mit einer Erprobung der Systeme aus?

Auswahl der Technologien

• Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
• Stehen mir Technologien zur Verfügung, die ich nutzen kann? Oder muss ich selbst für Installation und Betrieb sorgen?
• Wie ist der Zustand der Hochschule
• Existieren bereits elektronische Prüfungssysteme an der Hochschule?
• Welche Möglichkeiten bieten die?
• Gibt es andere elektronische Systeme mit entsprechenden Schnittstellen (für Plugins oder zur Zusammenarbeit mit E-Prüfungstechnologien)?
• Hat die Hochschule ein bestimmtes Hochschul-Prüfungssystem, das vielleicht an das Prüfungsverwaltungssystem angeschlossen ist (im Sinne eines hochschulweiten Lernmanagementsystems, wie es häufig in Nds. vorkommt)
• Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
• Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
• Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
• Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?

Organisation der Räumlichkeiten (wenn vor Ort gearbeitet werden soll)

• reine E-Learning-Übung oder vor-Ort-Prüfung?
• Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
• Raum im Raumbüro gemietet?
• Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)

Vorbereitung der Prüfungsfragen

Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System

• Anlegen eines Fragepools vorab immer notwendig
• Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
• Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
• Welche Fragetypen sollen verwendet werden?
• Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
• Kann man aus der Sicht der Studierenden die Fragen vorab testen?
• Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
• Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
• Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen
• Fragepools vorbereitet
• Austausch mit anderen möglich?
• Zusammenstellung der Fragen aus größerem Pool
• Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
• Welcher Fragetyp eignet sich für das, was ich vorhabe, besonders gut?
• Oder will ich nur die bereits existierenden schriftlichen Fragen "elektronisieren" (siehe Metapherüberlegung)?

Vorüberlegungen zur Bearbeitung der Aufgaben

• Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
• Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
• Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
• Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?

Erlauben Prüfungsordnungen elektronische Verfahren?

• Wie bringe ich die Verfahren in meiner Veranstaltung ein?
• Welches Szenario wird eingesetzt?
• Handelt es sich um eine benotete Prüfungsleistung?
• Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
• Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls

Vorbereiten der technischen Infrastruktur

• Raum ist gebucht
• Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
• Bringen die Studierenden eigene Notebooks mit?
• Ist ein Secure Browser notwendig und auf den Geräten installiert?
• Anmietung von Geräten und Ausstattung notwendig?
• Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?

Sonstiges

• Systemerprobung- und Auswahl
• Schulung der Lehrenden und Lernenden im Umgang mit den Technologien
• Raumauswahl und Erkundung der Ausstattung
• Vorbereitung, Erprobung und QS der Prüfungsfragen
• Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
• Technische Infrastruktur erkunden/herstellen
• Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
• Anforderung mobiler Hardware/technischer Ausstattung

Zugriff auf die Systeme sicherstellen

• Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
• Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
• Haben alle Studierenden Zugriff auf das bereitgestellte System?
• Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
• Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen

Termin und Dauer?

• überhaupt notwendig?
• Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll
• Wird vom Prüfungsamt festgelegt bzw. vorgegeben?

Aufsichten

• unterscheiden zwischen technischen Aufsichten des Systemzustands und fachlichen Aufsichten für Klausur
• überhaupt notwendig?
• Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
• Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können

Einrichten der Netzwerke

• Internet -Anbindung notwendig oder reicht Intranet?
• Abschaltung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
• Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
• Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
• Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen

Ausstattung der Hörsäle/Rechnerräume

• Stehen genügend Prüfungsrechner zur Verfügung
• Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
• Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
• Geräuschkulisse der Geräte und der Eingabegeräte beachten

Import bzw. Anlegen der Prüfungsdaten

• Kontakt mit Betreiber des POS-Systems
• Übernahme der Namen und weiterer Prüfungsdaten aus dem System
• Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)
• Stellt Prüfungsamt Liste der Teilnehmer zur Verfügung (z.B. als Excel-Tabelle)
• Lässt Prüfungssystem den Import zu?
• In welcher Form will das Prüfungsamt die Ergebnisse der Prüfung erhalten? Excel? ausgedruckt und unterschrieben? Oder automatisch als Import ins Prüfungsverwaltungssystem?

Durchführung

• Gleiche Voraussetzungen für alle schaffen/sicherstellen
• Freischaltung der Prüfungen
• Authentifizierung der Prüflinge
• Rechtssicherheit herstellen bzw. sicherstellen

Auswertung

• Teil- oder automatisierte Auswertung der Ergebnisse
• Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
• Itemanalyse
• Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
• Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
• Export der Prüfungsergebnisse in Prüfungsverwaltung
• Austausch/Weiterentwicklung der Fragepools in Lehrverbünden

Archivierung der Unterlagen

• Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
• Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)
• Einbinden der hochschulweiten Archivierungsstrategie, insofern so etwas existiert