Checkliste

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche

Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.


Brainstorming

Vorgehen zur Listenerstellung:

  • Bereiche identifizieren
  • Aktivitäten aufschlüsseln
  • Bedingungen und Alternativen ausführen
  • Weiteren Verlauf von Ergebnissen abhängig machen
  • Gesamtübersicht mit sämtlichen Szenarien vorbereiten
  • Am Ende eigene Checkliste für jedes Szenario erarbeiten


Bereiche

Auswahl des Einsatzszenarios

Vorbereitung

  • Erfahrungsaustausch
  • Systemerprobung- und Auswahl
  • Schulung der Lehrenden und Lernenden
  • Raumauswahl und Erkundung der Ausstattung
  • Vorbereitung, Erprobung und QS der Prüfungsfragen
  • Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
  • Technische Infrastruktur erkunden/herstellen
  • Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
  • Anforderung mobiler Hardware/technischer Ausstattung

Durchführung

  • Gleiche Voraussetzungen für alle schaffen/sicherstellen
  • Freischaltung der Prüfungen
  • Authentifizierung der Prüflinge
  • Rechtssicherheit herstellen bzw. sicherstellen

Auswertung

  • Teil- oder automatisierte Auswertung der Ergebnisse
  • Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
  • Itemanalyse
  • Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
  • Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
  • Export der Prüfungsergebnisse in Prüfungsverwaltung
  • Austausch/Weiterentwicklung der Fragepools in Lehrverbünden



Entscheidung zum Szenario

  • Welchen Typ von Veranstaltung halte ich ab?
  • Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
  • Erreiche ich damit Mehrwerte (vielleicht Steigerung der Motivation der Studierenden, sich näher mit einem Thema auseinander zu setzen oder bei Lehrenden wegen Rationalisierung durch automatisierte Korrektur)
  • Welche Möglichkeiten eines Einsatzes habe ich?
  • Was ist didaktisch sinnvoll?

Zustand der Hochschule

  • Existieren bereits elektronische Systeme an der Hochschule?
  • Welche Möglichkeiten bieten die?
  • Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
  • Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
  • Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
  • Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?

Kooperation und Unterstützung

  • Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
  • Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
  • Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
  • Gibt es Schulungen für mich und die Studierenden?
  • Wie sieht es mit einer Erprobung der Systeme aus?

Zugriff auf die Systeme

  • Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
  • Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
  • Haben alle Studierenden Zugriff auf das bereitgestellte System?
  • Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
  • Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen

Raum (wenn vor Ort gearbeitet werden soll)

  • reine E-Learning-Übung oder vor-Ort-Prüfung?
  • Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
  • Raum im Raumbüro gemietet?
  • Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)

Vorbereitung der Prüfungsfragen

  • Anlegen eines Fragepools vorab immer notwendig
  • Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
  • Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
  • Welche Fragetypen sollen verwendet werden?
  • Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
  • Kann man aus der Sicht der Studierenden die Fragen vorab testen?
  • Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
  • Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
  • Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen

Bearbeitung der Aufgaben

  • Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
  • Ist genügend Zeit eingeplant?
  • Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
  • Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?

Prüfungsordnung angepasst?

  • Wie bringe ich die Verfahren in meiner Veranstaltung ein?
  • Welches Szenario wird eingesetzt?
  • Handelt es sich um eine benotete Prüfungsleistung?
  • Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
  • Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls

Technische Infrastruktur

  • Raum ist gebucht
  • Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
  • Bringen die Studierenden eigene Notebooks mit?
  • Ist ein Secure Browser notwendig und auf den Geräten installiert?
  • Anmietung von Geräten und Ausstattung notwendig?
  • Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?


Termin und Dauer?

  • überhaupt notwendig?
  • Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll


Aufsichten

  • überhaupt notwendig?
  • Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
  • Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können

Netzwerke

  • Internet -Anbindung notwendig oder reicht Intranet?
  • Abschaltung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
  • Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
  • Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
  • Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen

Ausstattung der Hörsäle/Rechnerräume

  • Stehen genügend Prüfungsrechner zur Verfügung
  • Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
  • Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
  • Geräuschkulisse der Geräte und der Eingabegeräte beachten

Import der Prüfungsdaten

  • Kontakt mit Betreiber des POS-Systems
  • Übernahme der Namen und weiterer Prüfungsdaten aus dem System
  • Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)


Kennen sich Studierende bereits mit der Technologie aus?

  • Evtl. Schulungen oder Übungen mit dem Prüfungssystem vorab notwendig

Frageerstellung und -zusammenstellung

  • Fragepools vorbereitet
  • Austausch mit anderen möglich?
  • Zusammenstellung der Fragen aus größerem Pool
  • Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)


Archivierung der Unterlagen

  • Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
  • Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)


Sonstiges

Häufigkeit der Verwendung von Fragen im ILIAS-System

Frageverwendung-ILIAS-2010.png