Checkliste: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
(Die Seite wurde neu angelegt: „Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwi…“)
 
Zeile 1: Zeile 1:
 
Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.
 
Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.
 +
 +
 +
== Brainstorming ==
 +
Vorgehen zur Listenerstellung:
 +
* Bereiche identifizieren
 +
* Aktivitäten aufschlüsseln
 +
* Bedingungen und Alternativen ausführen
 +
* Weiteren Verlauf von Ergebnissen abhängig machen
 +
* Gesamtübersicht mit sämtlichen Szenarien vorbereiten
 +
* Am Ende eigene Checkliste für jedes Szenario erarbeiten
 +
 +
 +
=== Bereiche ===
 +
Auswahl des Einsatzszenarios
 +
 +
Vorbereitung
 +
* Erfahrungsaustausch
 +
* Systemerprobung- und Auswahl
 +
* Schulung der Lehrenden und Lernenden
 +
* Raumauswahl und Erkundung der Ausstattung
 +
* Vorbereitung, Erprobung und QS der Prüfungsfragen
 +
* Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
 +
* Technische Infrastruktur erkunden/herstellen
 +
* Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
 +
* Anforderung mobiler Hardware/technischer Ausstattung
 +
 +
Durchführung
 +
* Gleiche Voraussetzungen für alle schaffen/sicherstellen
 +
* Freischaltung der Prüfungen
 +
* Authentifizierung der Prüflinge
 +
* Rechtssicherheit herstellen bzw. sicherstellen
 +
 +
Auswertung
 +
* Teil- oder automatisierte Auswertung der Ergebnisse
 +
* Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
 +
* Itemanalyse
 +
* Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
 +
* Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
 +
* Export der Prüfungsergebnisse in Prüfungsverwaltung
 +
* Austausch/Weiterentwicklung der Fragepools in Lehrverbünden
 +
 +
 +
 +
 +
 +
Entscheidung zum Szenario
 +
* Welchen Typ von Veranstaltung halte ich ab?
 +
* Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
 +
* Erreiche ich damit Mehrwerte (vielleicht Steigerung der Motivation der Studierenden, sich näher mit einem Thema auseinander zu setzen oder bei Lehrenden wegen Rationalisierung durch automatisierte Korrektur)
 +
* Welche Möglichkeiten eines Einsatzes habe ich?
 +
* Was ist didaktisch sinnvoll?
 +
 +
Zustand der Hochschule
 +
* Existieren bereits elektronische Systeme an der Hochschule?
 +
* Welche Möglichkeiten bieten die?
 +
* Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
 +
* Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
 +
* Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
 +
* Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?
 +
 +
Kooperation und Unterstützung
 +
* Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
 +
* Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
 +
* Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
 +
* Gibt es Schulungen für mich und die Studierenden?
 +
* Wie sieht es mit einer Erprobung der Systeme aus?
 +
 +
Zugriff auf die Systeme
 +
* Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
 +
* Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
 +
* Haben alle Studierenden Zugriff auf das bereitgestellte System?
 +
* Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
 +
* Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen
 +
 +
Raum (wenn vor Ort gearbeitet werden soll)
 +
* reine E-Learning-Übung oder vor-Ort-Prüfung?
 +
* Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
 +
* Raum im Raumbüro gemietet?
 +
* Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)
 +
 +
Vorbereitung der Prüfungsfragen
 +
* Anlegen eines Fragepools vorab immer notwendig
 +
* Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
 +
* Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
 +
* Welche Fragetypen sollen verwendet werden?
 +
* Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
 +
* Kann man aus der Sicht der Studierenden die Fragen vorab testen?
 +
* Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
 +
* Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
 +
* Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen
 +
 +
Bearbeitung der Aufgaben
 +
* Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
 +
* Ist genügend Zeit eingeplant?
 +
* Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
 +
* Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?
 +
 +
Prüfungsordnung angepasst?
 +
* Wie bringe ich die Verfahren in meiner Veranstaltung ein?
 +
* Welches Szenario wird eingesetzt?
 +
* Handelt es sich um eine benotete Prüfungsleistung?
 +
* Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
 +
* Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls
 +
 +
Technische Infrastruktur
 +
* Raum ist gebucht
 +
* Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
 +
* Bringen die Studierenden eigene Notebooks mit?
 +
* Ist ein Secure Browser notwendig und auf den Geräten installiert?
 +
* Anmietung von Geräten und Ausstattung notwendig?
 +
* Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?
 +
 +
 +
Termin und Dauer?
 +
* überhaupt notwendig?
 +
* Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll
 +
 +
 +
Aufsichten
 +
* überhaupt notwendig?
 +
* Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
 +
* Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können
 +
 +
Netzwerke
 +
* Internet -Anbindung notwendig oder reicht Intranet?
 +
* Abschaltung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
 +
* Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
 +
* Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
 +
* Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen
 +
 +
Ausstattung der Hörsäle/Rechnerräume
 +
* Stehen genügend Prüfungsrechner zur Verfügung
 +
* Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
 +
* Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
 +
* Geräuschkulisse der Geräte und der Eingabegeräte beachten
 +
 +
Import der Prüfungsdaten
 +
* Kontakt mit Betreiber des POS-Systems
 +
* Übernahme der Namen und weiterer Prüfungsdaten aus dem System
 +
* Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)
 +
 +
 +
Kennen sich Studierende bereits mit der Technologie aus?
 +
* Evtl. Schulungen oder Übungen mit dem Prüfungssystem vorab notwendig
 +
 +
Frageerstellung und -zusammenstellung
 +
* Fragepools vorbereitet
 +
* Austausch mit anderen möglich?
 +
* Zusammenstellung der Fragen aus größerem Pool
 +
* Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
 +
 +
 +
 +
Archivierung der Unterlagen
 +
* Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
 +
* Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)
 +
 +
 +
 +
== Sonstiges ==
 +
 +
Häufigkeit der Verwendung von Fragen im ILIAS-System
 +
 +
[[Datei:Frageverwendung-ILIAS-2010.png|400px]]
  
  
 
{{Checkliste}}
 
{{Checkliste}}

Version vom 23. März 2010, 08:29 Uhr

Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.


Brainstorming

Vorgehen zur Listenerstellung:

  • Bereiche identifizieren
  • Aktivitäten aufschlüsseln
  • Bedingungen und Alternativen ausführen
  • Weiteren Verlauf von Ergebnissen abhängig machen
  • Gesamtübersicht mit sämtlichen Szenarien vorbereiten
  • Am Ende eigene Checkliste für jedes Szenario erarbeiten


Bereiche

Auswahl des Einsatzszenarios

Vorbereitung

  • Erfahrungsaustausch
  • Systemerprobung- und Auswahl
  • Schulung der Lehrenden und Lernenden
  • Raumauswahl und Erkundung der Ausstattung
  • Vorbereitung, Erprobung und QS der Prüfungsfragen
  • Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
  • Technische Infrastruktur erkunden/herstellen
  • Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
  • Anforderung mobiler Hardware/technischer Ausstattung

Durchführung

  • Gleiche Voraussetzungen für alle schaffen/sicherstellen
  • Freischaltung der Prüfungen
  • Authentifizierung der Prüflinge
  • Rechtssicherheit herstellen bzw. sicherstellen

Auswertung

  • Teil- oder automatisierte Auswertung der Ergebnisse
  • Kontrolle der Statistiken, Anpassung bzw. Einstellung der Bewertungsskala
  • Itemanalyse
  • Kommentare der Nutzer prüfen bzgl. unsicherer Fragestellungen
  • Überarbeitung der Prüfungsfragen für Wiederverwendung in folgenden Zyklen
  • Export der Prüfungsergebnisse in Prüfungsverwaltung
  • Austausch/Weiterentwicklung der Fragepools in Lehrverbünden



Entscheidung zum Szenario

  • Welchen Typ von Veranstaltung halte ich ab?
  • Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
  • Erreiche ich damit Mehrwerte (vielleicht Steigerung der Motivation der Studierenden, sich näher mit einem Thema auseinander zu setzen oder bei Lehrenden wegen Rationalisierung durch automatisierte Korrektur)
  • Welche Möglichkeiten eines Einsatzes habe ich?
  • Was ist didaktisch sinnvoll?

Zustand der Hochschule

  • Existieren bereits elektronische Systeme an der Hochschule?
  • Welche Möglichkeiten bieten die?
  • Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
  • Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
  • Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
  • Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?

Kooperation und Unterstützung

  • Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
  • Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
  • Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
  • Gibt es Schulungen für mich und die Studierenden?
  • Wie sieht es mit einer Erprobung der Systeme aus?

Zugriff auf die Systeme

  • Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
  • Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
  • Haben alle Studierenden Zugriff auf das bereitgestellte System?
  • Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
  • Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen

Raum (wenn vor Ort gearbeitet werden soll)

  • reine E-Learning-Übung oder vor-Ort-Prüfung?
  • Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
  • Raum im Raumbüro gemietet?
  • Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)

Vorbereitung der Prüfungsfragen

  • Anlegen eines Fragepools vorab immer notwendig
  • Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
  • Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
  • Welche Fragetypen sollen verwendet werden?
  • Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
  • Kann man aus der Sicht der Studierenden die Fragen vorab testen?
  • Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
  • Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
  • Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen

Bearbeitung der Aufgaben

  • Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
  • Ist genügend Zeit eingeplant?
  • Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
  • Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?

Prüfungsordnung angepasst?

  • Wie bringe ich die Verfahren in meiner Veranstaltung ein?
  • Welches Szenario wird eingesetzt?
  • Handelt es sich um eine benotete Prüfungsleistung?
  • Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
  • Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls

Technische Infrastruktur

  • Raum ist gebucht
  • Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
  • Bringen die Studierenden eigene Notebooks mit?
  • Ist ein Secure Browser notwendig und auf den Geräten installiert?
  • Anmietung von Geräten und Ausstattung notwendig?
  • Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?


Termin und Dauer?

  • überhaupt notwendig?
  • Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll


Aufsichten

  • überhaupt notwendig?
  • Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
  • Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können

Netzwerke

  • Internet -Anbindung notwendig oder reicht Intranet?
  • Abschaltung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
  • Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
  • Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
  • Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen

Ausstattung der Hörsäle/Rechnerräume

  • Stehen genügend Prüfungsrechner zur Verfügung
  • Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
  • Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
  • Geräuschkulisse der Geräte und der Eingabegeräte beachten

Import der Prüfungsdaten

  • Kontakt mit Betreiber des POS-Systems
  • Übernahme der Namen und weiterer Prüfungsdaten aus dem System
  • Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)


Kennen sich Studierende bereits mit der Technologie aus?

  • Evtl. Schulungen oder Übungen mit dem Prüfungssystem vorab notwendig

Frageerstellung und -zusammenstellung

  • Fragepools vorbereitet
  • Austausch mit anderen möglich?
  • Zusammenstellung der Fragen aus größerem Pool
  • Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)


Archivierung der Unterlagen

  • Dokumentation der Prüfung, der gestellten Fragen, des Verlaufs und der Ergebnisse
  • Aufbewahrung im System oder digitalem Archiv (evtl. Kontakt zur HS-Bibliothek)


Sonstiges

Häufigkeit der Verwendung von Fragen im ILIAS-System

Frageverwendung-ILIAS-2010.png