Checkliste

Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.

Vorgehen zur Listenerstellung:

• Bereiche identifizieren
• Aktivitäten aufschlüsseln
• Bedingungen und Alternativen ausführen
• Weiteren Verlauf von Ergebnissen abhängig machen
• Gesamtübersicht mit sämtlichen Szenarien vorbereiten
• Am Ende eigene Checkliste für jedes Szenario erarbeiten

Auswahl eines geeigneten Einsatzszenarios

Denkbare Einsatzszenarien elektronischer Prüfungen

• Was ist der Zweck eines Einsatzes elektronischer Verfahren, was soll damit erreicht werden? Denkbare Einsatzszenarien sind u.a.:
  • Orientierung geben und die Vorlieben der Lernenden abfragen, um so mögliche Alternativen aufzeigen zu können?
    (siehe z.B. Online Self Assessments zur Studienorientierung)
  • Motivieren, Studierende sollen sich noch einmal spielerisch mit den Inhalten auseinandersetzen und diese freiwillig wiederholen können, z.B. im Sinne eines Quiz im Anschluss an eine Lerneinheit oder Veranstaltung oder um verschiedene Wege/Kanäle nutzen, um die Lernenden zu erreichen, so dass diese sich ihren Vorlieben entsprechend mit den Inhalten beschäftigen können
    (siehe z.B. Freiwillige Quizzes zur Wiederholung/Vertiefung)
  • Wiederholung und Vertiefung der im Rahmen einer Veranstaltung gelernten Inhalte im Sinne einer Übung
    (siehe z.B. Regelmäßige Aufgaben im Übungsbetrieb)
  • Feststellen, ob bisher gelerntes Wissens ausreicht, um sich mit weiterführenden Inhalten beschäftigen zu können, z.B. als Zwischentest bei reinen E-Learning-Einheiten
    (siehe z.B. Selbstlerneinheiten mit Zwischenstandskontrollen)
  • Prüfen, ob die Voraussetzungen für den Besuch eines Studiengangs oder einer Lerneinheit gegeben sind
    (siehe z.B. Zulassungstests zu Studiengängen oder Modulen)
  • Leistungsbeurteilung zur Bewertung und Benotung z.B. als Abschlussprüfung einer Veranstaltung
    (siehe z.B. Benotete elektronische Klausuren)
• Entscheidung zum Szenario treffen
• Zugehörige Metapher festlegen: Soll nur eine bereits schriftlich vorliegende Version "elektronisiert" werden, damit diese die Lernenden auch auf anderen Kanälen als bisher erreichen kann? Oder sollen ganz neue Wege gegangen werden, die z.B. multimediale Elemente einbeziehen, die in der traditionellen schriftlichen Form nicht einbezogen werden konnten?

Vorbereitung

Erfahrungsaustausch, Kooperation und Unterstützung

• Welchen Typ von Veranstaltung halte ich ab und ist es didaktisch sinnvoll, elektronische Verfahren im Rahmen meiner Lehre einzusetzen?
• Hat schon jemand entsprechende Versuche gemacht und Erfahrungen gesammelt?
• Welche Einsatzmöglichkeiten stehen mir überhaupt zur Verfügung?
• Begleitender Prozess, umfasst sämtliche Einsatzszenarien
• Haben bereits andere Lehrende an meiner Hochschule elektronische Verfahren eingesetzt?
• Wer ist das und welche Erfahrungen haben die gemacht?
• Welche Ratschläge können die mir geben, Erfahrungen können die mir mitteilen?
• Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
• Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
• Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
• Gibt es Schulungen, Workshops oder Informationsveranstaltungen für mich und die Studierenden?
• Wie sieht es mit einer Erprobung der Systeme aus?
• Schulung der Lehrenden und Lernenden im Umgang mit den Technologien
• Systemerprobung- und Auswahl

Auswahl und Vorbereitung der Prüfungstechnologien

• Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
• Stehen mir Technologien zur Verfügung, die ich nutzen kann? Oder muss ich selbst für Installation und Betrieb sorgen?
• Wie ist der Zustand der Hochschule
• Existieren bereits elektronische Prüfungssysteme an der Hochschule?
• Welche Möglichkeiten bieten die?
• Systemerprobung- und Auswahl
• Gibt es andere elektronische Systeme mit entsprechenden Schnittstellen (für Plugins oder zur Zusammenarbeit mit E-Prüfungstechnologien)?
• Hat die Hochschule ein bestimmtes Hochschul-Prüfungssystem, das vielleicht an das Prüfungsverwaltungssystem angeschlossen ist (im Sinne eines hochschulweiten Lernmanagementsystems, wie es häufig in Nds. vorkommt)
• Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
• Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
• Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
• Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?
• Raum ist gebucht
• Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
• Bringen die Studierenden eigene Notebooks mit?
• Ist ein Secure Browser notwendig und auf den Geräten installiert?
• Anmietung von Geräten und Ausstattung notwendig?
• Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?

Vorbereitung/Organisation der Begleittechnologien

• Wie kann Zugriff auf die Systeme sichergestellt werden?
• Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
• Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
• Haben alle Studierenden Zugriff auf das bereitgestellte System?
• Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
• Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen
• Sind die Netzwerke einzurichten?
• Internet -Anbindung notwendig oder reicht Intranet?
• Abschaltung/Abschottung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
• Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
• Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
• Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen
• Wie ist die Ausstattung der Rechnerräume oder Hörsäle?
• Stehen genügend Prüfungsrechner zur Verfügung
• Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
• Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
• Geräuschkulisse der Geräte und der Eingabegeräte beachten
• Technische Infrastruktur erkunden/herstellen
• (Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?) siehe unten)

Organisation der Räumlichkeiten (wenn vor Ort gearbeitet werden soll)

• Termin- und Raumvereinbarung, P-Amt?
• reine E-Learning-Übung oder vor-Ort-Prüfung?
• Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
• Raum im Raumbüro gemietet?
• Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)
• Raumauswahl und Erkundung der Ausstattung
• Anforderung mobiler Hardware/technischer Ausstattung

Personelle Organisation

• unterscheiden zwischen technischen Aufsichten des Systemzustands und fachlichen Aufsichten für Klausur
• überhaupt notwendig?
• Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
• Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können
• Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?
• Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)

Vorbereitung der Prüfungsfragen

Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System

• Anlegen eines Fragepools vorab immer notwendig
• Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
• Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
• Welche Fragetypen sollen verwendet werden?
• Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
• Kann man aus der Sicht der Studierenden die Fragen vorab testen?
• Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
• Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
• Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen
• Fragepools vorbereitet
• Austausch mit anderen möglich?
• Zusammenstellung der Fragen aus größerem Pool
• Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
• Welcher Fragetyp eignet sich für das, was ich vorhabe, besonders gut?
• Oder will ich nur die bereits existierenden schriftlichen Fragen "elektronisieren" (siehe Metapherüberlegung)?
• Ist sonst noch was zur Bearbeitung der Aufgaben zu beachten? Multimediaeinbindung, Sound/Kopfhörer, Mikrofon, Störung der Nachbarn?
• Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
• Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
• Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
• Vorbereitung, Erprobung und QS der Prüfungsfragen

Organisation der Prüfungsverwaltung

• Anmeldung der Studierenden im P-Amt
• Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
• Termin und Dauer vorgegeben oder noch zu vereinbaren/bzw. überhaupt notwendig?
• Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll
• Wird vom Prüfungsamt festgelegt bzw. vorgegeben?
• Import bzw. Anlegen der Prüfungsdaten
• Kontakt mit Betreiber des POS-Systems
• Übernahme der Namen und weiterer Prüfungsdaten aus dem System
• Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)
• Stellt Prüfungsamt Liste der Teilnehmer zur Verfügung (z.B. als Excel-Tabelle)
• Lässt Prüfungssystem den Import zu?
• In welcher Form will das Prüfungsamt die Ergebnisse der Prüfung erhalten? Excel? ausgedruckt und unterschrieben? Oder automatisch als Import ins Prüfungsverwaltungssystem?
• Generieren von TAN-Nummern oder Prüfungskennnummern, die nur die Prüflinge kennen und im Anschluss an die Prüfung z.B. auf einen Zettel eintragen können, der von ihnen im Sinne einer Erklärung unterschrieben wird
• Erlauben Prüfungsordnungen elektronische Verfahren?
• Wie bringe ich die Verfahren in meiner Veranstaltung ein?
• Welches Szenario wird eingesetzt?
• Handelt es sich um eine benotete Prüfungsleistung?
• Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
• Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls

Durchführung

• Gleiche Voraussetzungen für alle schaffen/sicherstellen
• Freischaltung der Prüfungen
• Authentifizierung der Prüflinge
• Rechtssicherheit herstellen bzw. sicherstellen

Auswertung

• Teil- oder automatisierte Auswertung der Ergebnisse
• Wenn manuelle Auswertung erforderlich, dann zu überlegen, ob entfernte Auswertung möglich sein muss (siehe Szenario der HBK Braunschweig mit Reiseprofessuren und Abschlussarbeiten der bildenden Künste)
• Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
• Itemanalyse
• Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
• Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
• Export der Prüfungsergebnisse in Prüfungsverwaltung, Übernahme ins Prüfungsverwaltungssystem (manuell?, Excel?)
• Austausch/Weiterentwicklung der Fragepools in Lehrverbünden
• Klausureinsicht
• Meldung ans Prüfungsamt

Die Auswertung der Eingaben kann (teil-)automatisiert erfolgen, insofern korrekte Antworten wie z.B. bei MC-Aufgaben oder Wertebereiche bei numerischen Aufgaben vorgegeben wurden. Bei Kurztextaufgaben, wie sie z.B. in Lückentexten vorkommen, kann man Schreib- oder Flüchtigkeitsfehler berücksichtigen, indem man dem auswertenden System einen Toleranzbereich wie eine bestimmte Levensthein-Distanz vorgibt.

Die Auswertung komplexerer Freitexteingaben oder längerer Ausarbeitungen kann darüber hinaus auch traditionell manuell erfolgen. Zudem ist möglich, die elektronisch erfassten Eingaben mit Hilfe von Peer Assessment Verfahren auswerten zu lassen. Auf diese Weise werden die Lernenden in den Auswertungsprozess einbezogen und können sich dadurch stärker mit dem Lernprozess identifizieren.

Ein Protestknopf ermöglicht den Studierenden, den vorgegebenen Antworten zu widersprechen und eigene Lösungsvorschläge einzubringen. Das kann insbesondere da der Fall sein, wo nicht alle Lösungsmöglichkeiten vorgegeben wurden oder Kombinationen aus Antworten richtig sind, die vielleicht überhaupt nicht angegeben worden sind. Auf diese Weise kann man zudem vom Mehrwert der Community profitieren, die in Gemeinschaft immer mehr sieht als der Autor der Prüfungen alleine.

Archivierung der Unterlagen

• Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
• Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)
• Einbinden der hochschulweiten Archivierungsstrategie, insofern so etwas existiert
• Archivierung der Ergebnisse und Unterlagen

Lösungsansätze

Feste Räume, fest installierte Hardware

• z.B. Testcenter Bremen, 1 Raum, 130 Plätze, LPLUS

Feste/variable Räume mit Laptops der Studierenden

• z.B. FU Berlin, 4 Räume, 221 Plätze, Blackboard bzw. „Statistik-Labor“ mit Safe Exam Browser (SEB)

Feste/variable Räume mit Leihgeräten

• z.B. MHH, 165 mobile Tablet-PCs, Q-Exam

Prüfung mit vorhandenem LMS

• z.B. Uni Mainz, 4 Räume, 450 Plätze, ILIAS mit SEB
• z.B. Uni Osnabrück, CIP-Cluster, Stud.IP mit ViPS