Checkliste

Aus E-Assessment-Wiki
Version vom 24. März 2010, 12:09 Uhr von Schmees (Diskussion | Beiträge) (Auswahl des Einsatzszenarios)
Wechseln zu:Navigation, Suche

Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.

Brainstorming

Vorgehen zur Listenerstellung:

  • Bereiche identifizieren
  • Aktivitäten aufschlüsseln
  • Bedingungen und Alternativen ausführen
  • Weiteren Verlauf von Ergebnissen abhängig machen
  • Gesamtübersicht mit sämtlichen Szenarien vorbereiten
  • Am Ende eigene Checkliste für jedes Szenario erarbeiten

Integration in den Prüfungs-Verwaltungs-Prozess (Bsp. benotete Klausur)

  • Termin- und Raumvereinbarung
  • Anmeldung
  • Vorbereitung
  • Durchführung
  • Auswertung
  • Klausureinsicht
  • Meldung ans Prüfungsamt
  • Übernahme ins Prüfungsverwaltungssystem
  • Archivierung der Ergebnisse und Unterlagen


Vorbereitung

Auswahl des Einsatzszenarios

  • Was will ich durch den Einsatz elektronischer Verfahren erreichen?
  • Entscheidung zum Szenario treffen
  • Metapher festlegen: will ich nur die bereits existierende schriftliche Form elektronisieren? Oder will ich ganz neue Wege beschreiten, um z.B. multimediale Elemente nutzen, die schriftlich nicht einbezogen werden konnten?
  • Welche Möglichkeiten eines Einsatzes stehen mir zur Verfügung?
  • Welchen Typ von Veranstaltung halte ich ab und ist es didaktisch sinnvoll, elektronische Verfahren im Rahmen meiner Lehre einzusetzen?

Erfahrungsaustausch

  • Begleitender Prozess, umfasst sämtliche Einsatzszenarien
  • Haben bereits andere Lehrende an meiner Hochschule elektronische Verfahren eingesetzt?
  • Wer ist das und welche Erfahrungen haben die gemacht?
  • Können die mir Ratschläge geben, wenn ich E-Prüfungen in meinen Veranstaltungen einsetzen will?

Kooperation und Unterstützung

  • Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
  • Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
  • Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
  • Gibt es Schulungen für mich und die Studierenden?
  • Wie sieht es mit einer Erprobung der Systeme aus?

Auswahl der Technologien

  • Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
  • Stehen mir Technologien zur Verfügung, die ich nutzen kann? Oder muss ich selbst für Installation und Betrieb sorgen?
  • Wie ist der Zustand der Hochschule
  • Existieren bereits elektronische Prüfungssysteme an der Hochschule?
  • Welche Möglichkeiten bieten die?
  • Gibt es andere elektronische Systeme mit entsprechenden Schnittstellen (für Plugins oder zur Zusammenarbeit mit E-Prüfungstechnologien)?
  • Hat die Hochschule ein bestimmtes Hochschul-Prüfungssystem, das vielleicht an das Prüfungsverwaltungssystem angeschlossen ist (im Sinne eines hochschulweiten Lernmanagementsystems, wie es häufig in Nds. vorkommt)
  • Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
  • Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
  • Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
  • Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?

Organisation der Räumlichkeiten (wenn vor Ort gearbeitet werden soll)

  • reine E-Learning-Übung oder vor-Ort-Prüfung?
  • Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
  • Raum im Raumbüro gemietet?
  • Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)

Vorbereitung der Prüfungsfragen

Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System
  • Anlegen eines Fragepools vorab immer notwendig
  • Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
  • Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
  • Welche Fragetypen sollen verwendet werden?
  • Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
  • Kann man aus der Sicht der Studierenden die Fragen vorab testen?
  • Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
  • Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
  • Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen
  • Fragepools vorbereitet
  • Austausch mit anderen möglich?
  • Zusammenstellung der Fragen aus größerem Pool
  • Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
  • Welcher Fragetyp eignet sich für das, was ich vorhabe, besonders gut?
  • Oder will ich nur die bereits existierenden schriftlichen Fragen "elektronisieren" (siehe Metapherüberlegung)?

Vorüberlegungen zur Bearbeitung der Aufgaben

  • Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
  • Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
  • Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
  • Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?

Erlauben Prüfungsordnungen elektronische Verfahren?

  • Wie bringe ich die Verfahren in meiner Veranstaltung ein?
  • Welches Szenario wird eingesetzt?
  • Handelt es sich um eine benotete Prüfungsleistung?
  • Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
  • Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls

Vorbereiten der technischen Infrastruktur

  • Raum ist gebucht
  • Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
  • Bringen die Studierenden eigene Notebooks mit?
  • Ist ein Secure Browser notwendig und auf den Geräten installiert?
  • Anmietung von Geräten und Ausstattung notwendig?
  • Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?

Sonstiges

  • Systemerprobung- und Auswahl
  • Schulung der Lehrenden und Lernenden im Umgang mit den Technologien
  • Raumauswahl und Erkundung der Ausstattung
  • Vorbereitung, Erprobung und QS der Prüfungsfragen
  • Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
  • Technische Infrastruktur erkunden/herstellen
  • Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
  • Anforderung mobiler Hardware/technischer Ausstattung

Zugriff auf die Systeme sicherstellen

  • Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
  • Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
  • Haben alle Studierenden Zugriff auf das bereitgestellte System?
  • Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
  • Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen

Termin und Dauer?

  • überhaupt notwendig?
  • Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll
  • Wird vom Prüfungsamt festgelegt bzw. vorgegeben?

Aufsichten

  • unterscheiden zwischen technischen Aufsichten des Systemzustands und fachlichen Aufsichten für Klausur
  • überhaupt notwendig?
  • Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
  • Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können

Einrichten der Netzwerke

  • Internet -Anbindung notwendig oder reicht Intranet?
  • Abschaltung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
  • Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
  • Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
  • Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen

Ausstattung der Hörsäle/Rechnerräume

  • Stehen genügend Prüfungsrechner zur Verfügung
  • Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
  • Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
  • Geräuschkulisse der Geräte und der Eingabegeräte beachten

Import bzw. Anlegen der Prüfungsdaten

  • Kontakt mit Betreiber des POS-Systems
  • Übernahme der Namen und weiterer Prüfungsdaten aus dem System
  • Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)
  • Stellt Prüfungsamt Liste der Teilnehmer zur Verfügung (z.B. als Excel-Tabelle)
  • Lässt Prüfungssystem den Import zu?
  • In welcher Form will das Prüfungsamt die Ergebnisse der Prüfung erhalten? Excel? ausgedruckt und unterschrieben? Oder automatisch als Import ins Prüfungsverwaltungssystem?

Durchführung

  • Gleiche Voraussetzungen für alle schaffen/sicherstellen
  • Freischaltung der Prüfungen
  • Authentifizierung der Prüflinge
  • Rechtssicherheit herstellen bzw. sicherstellen


Auswertung

  • Teil- oder automatisierte Auswertung der Ergebnisse
  • Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
  • Itemanalyse
  • Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
  • Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
  • Export der Prüfungsergebnisse in Prüfungsverwaltung
  • Austausch/Weiterentwicklung der Fragepools in Lehrverbünden


Archivierung der Unterlagen

  • Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
  • Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)
  • Einbinden der hochschulweiten Archivierungsstrategie, insofern so etwas existiert