Checkliste: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
(Die Seite wurde neu angelegt: „Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwi…“)
 
(Vorbereitung der Prüfungsfragen)
 
(29 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Hier werden zunächst die Informationen gesammelt, die zur Erstellung einer Checkliste bezüglich der Durchführung von E-Prüfungen beitragen. Im Laufe des Entwicklungsprozesses werden die entsprechenden Informationen vervollständigt und zu einer oder mehrerer Checklisten ausgearbeitet.
+
== Vorbereitung ==
 +
 
 +
=== Erfahrungsaustausch, Kooperation und Unterstützung ===
 +
* Welchen Typ von Veranstaltung halte ich ab und ist es didaktisch sinnvoll, elektronische Verfahren im Rahmen meiner Lehre einzusetzen?
 +
* Hat schon jemand entsprechende Versuche gemacht und Erfahrungen gesammelt?
 +
* Welche Einsatzmöglichkeiten stehen mir überhaupt zur Verfügung?
 +
* Begleitender Prozess, umfasst sämtliche Einsatzszenarien
 +
* Haben bereits andere Lehrende an meiner Hochschule elektronische Verfahren eingesetzt?
 +
* Wer ist das und welche Erfahrungen haben die gemacht?
 +
* Welche Ratschläge können die mir geben, Erfahrungen können die mir mitteilen?
 +
* Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
 +
* Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
 +
* Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
 +
* Gibt es Schulungen, Workshops oder Informationsveranstaltungen für mich und die Studierenden?
 +
* Wie sieht es mit einer Erprobung der Systeme aus?
 +
* Schulung der Lehrenden und Lernenden im Umgang mit den Technologien
 +
* Systemerprobung- und Auswahl
 +
 
 +
=== Auswahl und Vorbereitung der Prüfungstechnologien ===
 +
* Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
 +
* Stehen mir Technologien zur Verfügung, die ich nutzen kann? Oder muss ich selbst für Installation und Betrieb sorgen?
 +
* Wie ist der Zustand der Hochschule
 +
* Existieren bereits elektronische Prüfungssysteme an der Hochschule?
 +
* Welche Möglichkeiten bieten die?
 +
* Systemerprobung- und Auswahl
 +
* Gibt es andere elektronische Systeme mit entsprechenden Schnittstellen (für Plugins oder zur Zusammenarbeit mit E-Prüfungstechnologien)?
 +
* Hat die Hochschule ein bestimmtes Hochschul-Prüfungssystem, das vielleicht an das Prüfungsverwaltungssystem angeschlossen ist (im Sinne eines hochschulweiten Lernmanagementsystems, wie es häufig in Nds. vorkommt)
 +
* Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
 +
* Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
 +
* Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
 +
* Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?
 +
* Raum ist gebucht
 +
* Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
 +
* Bringen die Studierenden eigene Notebooks mit?
 +
* Ist ein Secure Browser notwendig und auf den Geräten installiert?
 +
* Anmietung von Geräten und Ausstattung notwendig?
 +
* Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?
 +
 
 +
=== Vorbereitung/Organisation der Begleittechnologien ===
 +
* Wie kann Zugriff auf die Systeme sichergestellt werden?
 +
* Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
 +
* Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
 +
* Haben alle Studierenden Zugriff auf das bereitgestellte System?
 +
* Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
 +
* Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen
 +
* Sind die Netzwerke einzurichten?
 +
* Internet -Anbindung notwendig oder reicht Intranet?
 +
* Abschaltung/Abschottung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
 +
* Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
 +
* Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
 +
* Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen
 +
* Wie ist die Ausstattung der Rechnerräume oder Hörsäle?
 +
* Stehen genügend Prüfungsrechner zur Verfügung
 +
* Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
 +
* Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
 +
* Geräuschkulisse der Geräte und der Eingabegeräte beachten
 +
* Technische Infrastruktur erkunden/herstellen
 +
* (Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?) siehe unten)
 +
 
 +
=== Organisation der Räumlichkeiten (wenn vor Ort gearbeitet werden soll) ===
 +
* Termin- und Raumvereinbarung, P-Amt?
 +
* reine E-Learning-Übung oder vor-Ort-Prüfung?
 +
* Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
 +
* Raum im Raumbüro gemietet?
 +
* Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)
 +
* Raumauswahl und Erkundung der Ausstattung
 +
* Anforderung mobiler Hardware/technischer Ausstattung
 +
 
 +
=== Personelle Organisation ===
 +
* unterscheiden zwischen technischen Aufsichten des Systemzustands und fachlichen Aufsichten für Klausur
 +
* überhaupt notwendig?
 +
* Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
 +
* Evtl. müssen pro Durchlauf die Aufgaben angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können
 +
* Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?
 +
* Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
 +
 
 +
=== Vorbereitung der Prüfungsaufgaben ===
 +
[[Datei:Frageverwendung-ILIAS-2010.png|thumb|400px|Beispiel: Häufigkeit der Verwendung verschiedener Aufgaben im ILIAS-System]]
 +
* Anlegen eines Aufgabe-Pools vorab immer notwendig
 +
* Gibt es bereits Klausuraufgaben in schriftlicher Form, die „elektronisiert“ werden können?
 +
* Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsaufgaben dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
 +
* Welche Aufgabetypen sollen verwendet werden?
 +
* Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
 +
* Kann man aus der Sicht der Studierenden die Aufgaben vorab testen?
 +
* Existierend bereits Aufgaben-Pools, die für vorangehende Prüfungen erstellt wurden?
 +
* Sind die Aufgaben wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Aufgabe zu beurteilen (schlechte Aufgaben können aufgebessert, gute Aufgaben weiter eingesetzt werden)
 +
* Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsaufgaben bereitstellen
 +
* Aufgaben-Pools vorbereitet
 +
* Austausch mit anderen möglich?
 +
* Zusammenstellung der Aufgaben aus größerem Pool
 +
* Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
 +
* Welcher Aufgabentyp eignet sich für das, was ich vorhabe, besonders gut?
 +
* Oder will ich nur die bereits existierenden schriftlichen Aufgaben "elektronisieren" (siehe Metapherüberlegung)?
 +
* Ist sonst noch was zur Bearbeitung der Aufgaben zu beachten? Multimediaeinbindung, Sound/Kopfhörer, Mikrofon, Störung der Nachbarn?
 +
* Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
 +
* Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
 +
* Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Aufgaben zufällig ausgeschüttet werden?)
 +
* Vorbereitung, Erprobung und QS der Prüfungsaufgaben
 +
 
 +
=== Organisation der Prüfungsverwaltung ===
 +
* Anmeldung der Studierenden im P-Amt
 +
* Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
 +
* Termin und Dauer vorgegeben oder noch zu vereinbaren/bzw. überhaupt notwendig?
 +
* Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll
 +
* Wird vom Prüfungsamt festgelegt bzw. vorgegeben?
 +
* Import bzw. Anlegen der Prüfungsdaten
 +
* Kontakt mit Betreiber des POS-Systems
 +
* Übernahme der Namen und weiterer Prüfungsdaten aus dem System
 +
* Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)
 +
* Stellt Prüfungsamt Liste der Teilnehmer zur Verfügung (z.B. als Excel-Tabelle)
 +
* Lässt Prüfungssystem den Import zu?
 +
* In welcher Form will das Prüfungsamt die Ergebnisse der Prüfung erhalten? Excel? ausgedruckt und unterschrieben? Oder automatisch als Import ins Prüfungsverwaltungssystem?
 +
* Generieren von TAN-Nummern oder Prüfungskennnummern, die nur die Prüflinge kennen und im Anschluss an die Prüfung z.B. auf einen Zettel eintragen können, der von ihnen im Sinne einer Erklärung unterschrieben wird
 +
* Erlauben Prüfungsordnungen elektronische Verfahren?
 +
* Wie bringe ich die Verfahren in meiner Veranstaltung ein?
 +
* Welches Szenario wird eingesetzt?
 +
* Handelt es sich um eine benotete Prüfungsleistung?
 +
* Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
 +
* Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls
  
  
 
{{Checkliste}}
 
{{Checkliste}}

Aktuelle Version vom 30. Juni 2014, 09:54 Uhr

Vorbereitung

Erfahrungsaustausch, Kooperation und Unterstützung

  • Welchen Typ von Veranstaltung halte ich ab und ist es didaktisch sinnvoll, elektronische Verfahren im Rahmen meiner Lehre einzusetzen?
  • Hat schon jemand entsprechende Versuche gemacht und Erfahrungen gesammelt?
  • Welche Einsatzmöglichkeiten stehen mir überhaupt zur Verfügung?
  • Begleitender Prozess, umfasst sämtliche Einsatzszenarien
  • Haben bereits andere Lehrende an meiner Hochschule elektronische Verfahren eingesetzt?
  • Wer ist das und welche Erfahrungen haben die gemacht?
  • Welche Ratschläge können die mir geben, Erfahrungen können die mir mitteilen?
  • Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
  • Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
  • Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
  • Gibt es Schulungen, Workshops oder Informationsveranstaltungen für mich und die Studierenden?
  • Wie sieht es mit einer Erprobung der Systeme aus?
  • Schulung der Lehrenden und Lernenden im Umgang mit den Technologien
  • Systemerprobung- und Auswahl

Auswahl und Vorbereitung der Prüfungstechnologien

  • Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
  • Stehen mir Technologien zur Verfügung, die ich nutzen kann? Oder muss ich selbst für Installation und Betrieb sorgen?
  • Wie ist der Zustand der Hochschule
  • Existieren bereits elektronische Prüfungssysteme an der Hochschule?
  • Welche Möglichkeiten bieten die?
  • Systemerprobung- und Auswahl
  • Gibt es andere elektronische Systeme mit entsprechenden Schnittstellen (für Plugins oder zur Zusammenarbeit mit E-Prüfungstechnologien)?
  • Hat die Hochschule ein bestimmtes Hochschul-Prüfungssystem, das vielleicht an das Prüfungsverwaltungssystem angeschlossen ist (im Sinne eines hochschulweiten Lernmanagementsystems, wie es häufig in Nds. vorkommt)
  • Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
  • Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
  • Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
  • Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?
  • Raum ist gebucht
  • Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
  • Bringen die Studierenden eigene Notebooks mit?
  • Ist ein Secure Browser notwendig und auf den Geräten installiert?
  • Anmietung von Geräten und Ausstattung notwendig?
  • Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?

Vorbereitung/Organisation der Begleittechnologien

  • Wie kann Zugriff auf die Systeme sichergestellt werden?
  • Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
  • Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
  • Haben alle Studierenden Zugriff auf das bereitgestellte System?
  • Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
  • Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen
  • Sind die Netzwerke einzurichten?
  • Internet -Anbindung notwendig oder reicht Intranet?
  • Abschaltung/Abschottung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
  • Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
  • Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
  • Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen
  • Wie ist die Ausstattung der Rechnerräume oder Hörsäle?
  • Stehen genügend Prüfungsrechner zur Verfügung
  • Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
  • Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
  • Geräuschkulisse der Geräte und der Eingabegeräte beachten
  • Technische Infrastruktur erkunden/herstellen
  • (Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?) siehe unten)

Organisation der Räumlichkeiten (wenn vor Ort gearbeitet werden soll)

  • Termin- und Raumvereinbarung, P-Amt?
  • reine E-Learning-Übung oder vor-Ort-Prüfung?
  • Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
  • Raum im Raumbüro gemietet?
  • Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)
  • Raumauswahl und Erkundung der Ausstattung
  • Anforderung mobiler Hardware/technischer Ausstattung

Personelle Organisation

  • unterscheiden zwischen technischen Aufsichten des Systemzustands und fachlichen Aufsichten für Klausur
  • überhaupt notwendig?
  • Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
  • Evtl. müssen pro Durchlauf die Aufgaben angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können
  • Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?
  • Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)

Vorbereitung der Prüfungsaufgaben

Beispiel: Häufigkeit der Verwendung verschiedener Aufgaben im ILIAS-System
  • Anlegen eines Aufgabe-Pools vorab immer notwendig
  • Gibt es bereits Klausuraufgaben in schriftlicher Form, die „elektronisiert“ werden können?
  • Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsaufgaben dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
  • Welche Aufgabetypen sollen verwendet werden?
  • Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
  • Kann man aus der Sicht der Studierenden die Aufgaben vorab testen?
  • Existierend bereits Aufgaben-Pools, die für vorangehende Prüfungen erstellt wurden?
  • Sind die Aufgaben wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Aufgabe zu beurteilen (schlechte Aufgaben können aufgebessert, gute Aufgaben weiter eingesetzt werden)
  • Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsaufgaben bereitstellen
  • Aufgaben-Pools vorbereitet
  • Austausch mit anderen möglich?
  • Zusammenstellung der Aufgaben aus größerem Pool
  • Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
  • Welcher Aufgabentyp eignet sich für das, was ich vorhabe, besonders gut?
  • Oder will ich nur die bereits existierenden schriftlichen Aufgaben "elektronisieren" (siehe Metapherüberlegung)?
  • Ist sonst noch was zur Bearbeitung der Aufgaben zu beachten? Multimediaeinbindung, Sound/Kopfhörer, Mikrofon, Störung der Nachbarn?
  • Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
  • Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
  • Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Aufgaben zufällig ausgeschüttet werden?)
  • Vorbereitung, Erprobung und QS der Prüfungsaufgaben

Organisation der Prüfungsverwaltung

  • Anmeldung der Studierenden im P-Amt
  • Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
  • Termin und Dauer vorgegeben oder noch zu vereinbaren/bzw. überhaupt notwendig?
  • Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll
  • Wird vom Prüfungsamt festgelegt bzw. vorgegeben?
  • Import bzw. Anlegen der Prüfungsdaten
  • Kontakt mit Betreiber des POS-Systems
  • Übernahme der Namen und weiterer Prüfungsdaten aus dem System
  • Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)
  • Stellt Prüfungsamt Liste der Teilnehmer zur Verfügung (z.B. als Excel-Tabelle)
  • Lässt Prüfungssystem den Import zu?
  • In welcher Form will das Prüfungsamt die Ergebnisse der Prüfung erhalten? Excel? ausgedruckt und unterschrieben? Oder automatisch als Import ins Prüfungsverwaltungssystem?
  • Generieren von TAN-Nummern oder Prüfungskennnummern, die nur die Prüflinge kennen und im Anschluss an die Prüfung z.B. auf einen Zettel eintragen können, der von ihnen im Sinne einer Erklärung unterschrieben wird
  • Erlauben Prüfungsordnungen elektronische Verfahren?
  • Wie bringe ich die Verfahren in meiner Veranstaltung ein?
  • Welches Szenario wird eingesetzt?
  • Handelt es sich um eine benotete Prüfungsleistung?
  • Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
  • Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls