Checkliste: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
(Vorbereitung der Prüfungsfragen)
 
(Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt)
Zeile 71: Zeile 71:
 
* überhaupt notwendig?
 
* überhaupt notwendig?
 
* Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
 
* Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
* Evtl. müssen pro Durchlauf die Fragen angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können
+
* Evtl. müssen pro Durchlauf die Aufgaben angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können
 
* Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?
 
* Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?
 
* Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
 
* Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)
  
=== Vorbereitung der Prüfungsfragen ===
+
=== Vorbereitung der Prüfungsaufgaben ===
[[Datei:Frageverwendung-ILIAS-2010.png|thumb|400px|Beispiel: Häufigkeit der Verwendung verschiedener Fragen im ILIAS-System]]
+
[[Datei:Frageverwendung-ILIAS-2010.png|thumb|400px|Beispiel: Häufigkeit der Verwendung verschiedener Aufgaben im ILIAS-System]]
* Anlegen eines Fragepools vorab immer notwendig
+
* Anlegen eines Aufgabe-Pools vorab immer notwendig
* Gibt es bereits Klausurfragen in schriftlicher Form, die „elektronisiert“ werden können?
+
* Gibt es bereits Klausuraufgaben in schriftlicher Form, die „elektronisiert“ werden können?
* Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsfragen dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
+
* Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsaufgaben dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
* Welche Fragetypen sollen verwendet werden?
+
* Welche Aufgabetypen sollen verwendet werden?
 
* Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
 
* Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
* Kann man aus der Sicht der Studierenden die Fragen vorab testen?
+
* Kann man aus der Sicht der Studierenden die Aufgaben vorab testen?
* Existierend bereits Fragepools, die für vorangehende Prüfungen erstellt wurden?
+
* Existierend bereits Aufgaben-Pools, die für vorangehende Prüfungen erstellt wurden?
* Sind die Fragen wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Frage zu beurteilen (schlechte Fragen können aufgebessert, gute Fragen weiter eingesetzt werden)
+
* Sind die Aufgaben wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Aufgabe zu beurteilen (schlechte Aufgaben können aufgebessert, gute Aufgaben weiter eingesetzt werden)
* Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsfragen bereitstellen
+
* Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsaufgaben bereitstellen
* Fragepools vorbereitet
+
* Aufgaben-Pools vorbereitet
 
* Austausch mit anderen möglich?
 
* Austausch mit anderen möglich?
* Zusammenstellung der Fragen aus größerem Pool
+
* Zusammenstellung der Aufgaben aus größerem Pool
 
* Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
 
* Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
* Welcher Fragetyp eignet sich für das, was ich vorhabe, besonders gut?
+
* Welcher Aufgabentyp eignet sich für das, was ich vorhabe, besonders gut?
* Oder will ich nur die bereits existierenden schriftlichen Fragen "elektronisieren" (siehe Metapherüberlegung)?
+
* Oder will ich nur die bereits existierenden schriftlichen Aufgaben "elektronisieren" (siehe Metapherüberlegung)?
 
* Ist sonst noch was zur Bearbeitung der Aufgaben zu beachten? Multimediaeinbindung, Sound/Kopfhörer, Mikrofon, Störung der Nachbarn?
 
* Ist sonst noch was zur Bearbeitung der Aufgaben zu beachten? Multimediaeinbindung, Sound/Kopfhörer, Mikrofon, Störung der Nachbarn?
 
* Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
 
* Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
 
* Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
 
* Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
* Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Fragen zufällig ausgeschüttet werden?)
+
* Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Aufgaben zufällig ausgeschüttet werden?)
* Vorbereitung, Erprobung und QS der Prüfungsfragen
+
* Vorbereitung, Erprobung und QS der Prüfungsaufgaben
  
 
=== Organisation der Prüfungsverwaltung ===
 
=== Organisation der Prüfungsverwaltung ===

Aktuelle Version vom 30. Juni 2014, 09:54 Uhr

Vorbereitung

Erfahrungsaustausch, Kooperation und Unterstützung

  • Welchen Typ von Veranstaltung halte ich ab und ist es didaktisch sinnvoll, elektronische Verfahren im Rahmen meiner Lehre einzusetzen?
  • Hat schon jemand entsprechende Versuche gemacht und Erfahrungen gesammelt?
  • Welche Einsatzmöglichkeiten stehen mir überhaupt zur Verfügung?
  • Begleitender Prozess, umfasst sämtliche Einsatzszenarien
  • Haben bereits andere Lehrende an meiner Hochschule elektronische Verfahren eingesetzt?
  • Wer ist das und welche Erfahrungen haben die gemacht?
  • Welche Ratschläge können die mir geben, Erfahrungen können die mir mitteilen?
  • Hat an meiner Hochschule schon jemand elektronische Prüfungen durchgeführt und kann von den Erfahrungen berichten?
  • Gibt es vielleicht E-Learning- oder E-Prüfungsbeauftragte, die zuständig sind, entsprechende Prüfungen zu koordinieren oder zu unterstützen?
  • Hat schon jemand Erfahrungen mit den eingesetzten Technologien gesammelt und kann mir sagen, worauf ich bei der Nutzung besonders achten soll?
  • Gibt es Schulungen, Workshops oder Informationsveranstaltungen für mich und die Studierenden?
  • Wie sieht es mit einer Erprobung der Systeme aus?
  • Schulung der Lehrenden und Lernenden im Umgang mit den Technologien
  • Systemerprobung- und Auswahl

Auswahl und Vorbereitung der Prüfungstechnologien

  • Welche elektronischen Verfahren kann ich dazu sinnvoll einsetzen?
  • Stehen mir Technologien zur Verfügung, die ich nutzen kann? Oder muss ich selbst für Installation und Betrieb sorgen?
  • Wie ist der Zustand der Hochschule
  • Existieren bereits elektronische Prüfungssysteme an der Hochschule?
  • Welche Möglichkeiten bieten die?
  • Systemerprobung- und Auswahl
  • Gibt es andere elektronische Systeme mit entsprechenden Schnittstellen (für Plugins oder zur Zusammenarbeit mit E-Prüfungstechnologien)?
  • Hat die Hochschule ein bestimmtes Hochschul-Prüfungssystem, das vielleicht an das Prüfungsverwaltungssystem angeschlossen ist (im Sinne eines hochschulweiten Lernmanagementsystems, wie es häufig in Nds. vorkommt)
  • Abstimmung mit den didaktisch sinnvollen Einsatzmöglichkeiten zu meiner Veranstaltung
  • Reichen die Möglichkeiten für einen Einsatz in meiner Veranstaltung aus?
  • Steht eine E-Learning- oder E-Prüfungs-Serviceabteilung bereit, um mir bei technischen Schwierigkeiten zu helfen?
  • Können die mir andere/weitere Systeme installieren oder betreiben, die meine (fachlichen oder didaktischen) Anforderungen besser abdecken?
  • Raum ist gebucht
  • Sind Geräte vorrätig bzw. Raum mit Rechnern ausgestattet?
  • Bringen die Studierenden eigene Notebooks mit?
  • Ist ein Secure Browser notwendig und auf den Geräten installiert?
  • Anmietung von Geräten und Ausstattung notwendig?
  • Internet-Anbindung um auf den Prüfungsserver zugreifen zu können: Muss mobiler Zugangspunkt aufgebaut werden oder sind überall Stecker vorhanden?

Vorbereitung/Organisation der Begleittechnologien

  • Wie kann Zugriff auf die Systeme sichergestellt werden?
  • Gibt es einen bestimmten Raum oder ein Testcenter, dass für den Zugriff genutzt werden kann oder soll?
  • Oder ist die Prüfung z.B. im Rahmen einer Übung von den Studierenden selbst online durchführbar?
  • Haben alle Studierenden Zugriff auf das bereitgestellte System?
  • Oder stehen Rechnerräume bereit, die sie bei Bedarf nutzen können?
  • Ist von diesen Räumen aus ein problemloser Zugriff möglich? Testen! Evtl. aktuelle Browser oder zusätzliche Client-Software installieren lassen
  • Sind die Netzwerke einzurichten?
  • Internet -Anbindung notwendig oder reicht Intranet?
  • Abschaltung/Abschottung des Internetzugangs im Sinne eines Prüfungsnetzes vereinbaren
  • Aufbau eines „ausgezeichneten“ Prüfungsnetzes zur Durchführung und zur Vermeidung externer Manipulationsversuche
  • Aufbau eines mobilen W-LAN-Netzwerks im Hörsaal für die Prüfung
  • Rechner der Studierenden vorab darauf einstellen bzw. Einstellungen veröffentlichen
  • Wie ist die Ausstattung der Rechnerräume oder Hörsäle?
  • Stehen genügend Prüfungsrechner zur Verfügung
  • Sind diese hinreichend ausgestattet (Browser, Netzwerkzugang, Monitor; Maus, Webcam, Boxen, ...)
  • Notfall-Telefonnummer, wenn während der Prüfung technische Probleme auftreten
  • Geräuschkulisse der Geräte und der Eingabegeräte beachten
  • Technische Infrastruktur erkunden/herstellen
  • (Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?) siehe unten)

Organisation der Räumlichkeiten (wenn vor Ort gearbeitet werden soll)

  • Termin- und Raumvereinbarung, P-Amt?
  • reine E-Learning-Übung oder vor-Ort-Prüfung?
  • Sind Absprachen zwischen den Studierenden oder gar Gruppenübungen vorgesehen? (Ansonsten evtl. Abstände vergrößern, Zwischenwände besorgen, Absprachen vermeiden)
  • Raum im Raumbüro gemietet?
  • Passen alle Studierenden rein? Oder mehrere Durchgänge notwendig? (evtl. dann unterschiedliche Termine vergeben)
  • Raumauswahl und Erkundung der Ausstattung
  • Anforderung mobiler Hardware/technischer Ausstattung

Personelle Organisation

  • unterscheiden zwischen technischen Aufsichten des Systemzustands und fachlichen Aufsichten für Klausur
  • überhaupt notwendig?
  • Bei verschiedenen Durchläufen verschiedene Aufsichten koordinieren
  • Evtl. müssen pro Durchlauf die Aufgaben angepasst werden oder die Termine so koordiniert, dass sich die Studierenden untereinander nicht abstimmen können
  • Steht technischer Support in der Zeit bereit, falls Defekte oder Schwierigkeiten auftreten?
  • Aufsichten buchen/koordinieren (Tutoren, Mitarbeiter vor Ort)

Vorbereitung der Prüfungsaufgaben

Beispiel: Häufigkeit der Verwendung verschiedener Aufgaben im ILIAS-System
  • Anlegen eines Aufgabe-Pools vorab immer notwendig
  • Gibt es bereits Klausuraufgaben in schriftlicher Form, die „elektronisiert“ werden können?
  • Gibt es einen oder mehrere Durchgänge? Evtl. sind die Prüfungsaufgaben dann anzupassen, damit keine Absprachen zwischen Studierenden verschiedener Termine stattfinden können
  • Welche Aufgabetypen sollen verwendet werden?
  • Wenn multimediale Beteiligung (Hörbeispiele oder Videosequenzen) eingeplant sind, sind dann die Arbeitsplätze entsprechend ausgestattet (Mikrofon, Kopfhörer), und zwar so, dass die anderen nicht bei der Bearbeitung ihrer Aufgaben gestört werden?
  • Kann man aus der Sicht der Studierenden die Aufgaben vorab testen?
  • Existierend bereits Aufgaben-Pools, die für vorangehende Prüfungen erstellt wurden?
  • Sind die Aufgaben wiederverwendbar? Was sagt die Itemanalyse? Statistische Auswertungen helfen dabei, die Qualität einer Aufgabe zu beurteilen (schlechte Aufgaben können aufgebessert, gute Aufgaben weiter eingesetzt werden)
  • Richtlinien für eine didaktisch „gute“ Erstellung von Prüfungsaufgaben bereitstellen
  • Aufgaben-Pools vorbereitet
  • Austausch mit anderen möglich?
  • Zusammenstellung der Aufgaben aus größerem Pool
  • Zufallszusammenstellung? Dann Dokumentation notwendig (wegen Schwierigkeitsgrad etc)
  • Welcher Aufgabentyp eignet sich für das, was ich vorhabe, besonders gut?
  • Oder will ich nur die bereits existierenden schriftlichen Aufgaben "elektronisieren" (siehe Metapherüberlegung)?
  • Ist sonst noch was zur Bearbeitung der Aufgaben zu beachten? Multimediaeinbindung, Sound/Kopfhörer, Mikrofon, Störung der Nachbarn?
  • Wie sehen die Studierenden die Aufgaben? Kann man die aus der Sicht vorab testen?
  • Ist genügend Zeit eingeplant? Muss Zeit überhaupt festgelegt werden?
  • Gibt es jemanden, der die Prüfung probehalber lösen kann? (Oder ist das schwierig, weil die Aufgaben zufällig ausgeschüttet werden?)
  • Vorbereitung, Erprobung und QS der Prüfungsaufgaben

Organisation der Prüfungsverwaltung

  • Anmeldung der Studierenden im P-Amt
  • Import der Prüfungsdaten, Anlegen der Prüflinge (Schnittstellen zum POS oder LMS?)
  • Termin und Dauer vorgegeben oder noch zu vereinbaren/bzw. überhaupt notwendig?
  • Für Übungsbetrieb evtl.nur Abgabetermin sinnvoll
  • Wird vom Prüfungsamt festgelegt bzw. vorgegeben?
  • Import bzw. Anlegen der Prüfungsdaten
  • Kontakt mit Betreiber des POS-Systems
  • Übernahme der Namen und weiterer Prüfungsdaten aus dem System
  • Übernahme der Ergebnisse aus dem Prüfungssystem abklären (Schnittstellen, Termin)
  • Stellt Prüfungsamt Liste der Teilnehmer zur Verfügung (z.B. als Excel-Tabelle)
  • Lässt Prüfungssystem den Import zu?
  • In welcher Form will das Prüfungsamt die Ergebnisse der Prüfung erhalten? Excel? ausgedruckt und unterschrieben? Oder automatisch als Import ins Prüfungsverwaltungssystem?
  • Generieren von TAN-Nummern oder Prüfungskennnummern, die nur die Prüflinge kennen und im Anschluss an die Prüfung z.B. auf einen Zettel eintragen können, der von ihnen im Sinne einer Erklärung unterschrieben wird
  • Erlauben Prüfungsordnungen elektronische Verfahren?
  • Wie bringe ich die Verfahren in meiner Veranstaltung ein?
  • Welches Szenario wird eingesetzt?
  • Handelt es sich um eine benotete Prüfungsleistung?
  • Ist laut PO eine entsprechende Prüfung in elektronischer Form zulässig?
  • Gibt es alternative Möglichkeiten zum Ausweichen? Z.B. nach Bearbeitung ausdrucken, überprüfen und dann unterschreiben oder Anrechnen als Teilleistung im Übungsbetrieb auf die Gesamtleistung des Moduls