Elektronische Prüfung

Grundlagen

Abgrenzung traditioneller und elektronischer Prüfungsformen (Quelle: Cornelia Rüdel, Was ist eAssessment, eLMAGAZIN)

Elektronische Prüfung

Der Begriff elektronische Prüfung bezeichnet eine Leistungsbeurteilung unter Beteiligung von Informations- und Kommunikationstechnologien (IKT). Sie ist das Gegenstück zu den traditionellen "schriftlichen Verfahren", die z.B. im Rahmen von Prüfungen oder Klausuren zum Einsatz kommen. Dabei eingesetzte IKT unterstützen die Vorbereitung, Durchführung und Auswertung dieser Beurteilung.

E-Klausur

Eingeschränkt wird diese Form der Prüfung durch den Begriff E-Klausur, welcher speziell die benotete, für den weiteren Studienverlauf damit relevante und i.d.R. unter Aufsicht durchgeführte Prüfung beschreibt.

E-Assessment

Allgemeiner gefasst ist hingegen der Begriff E-Assessment, der generell Verfahren zur Leistungsbeurteilung beschreibt, die mit Hilfe von IKT realisiert werden können. So kann man z.B. Weblogs anstelle von Studientagebüchern einsetzen. Laut Joint Information System Committee (JISC) umfasst E-Assessment den "end-to-end process where ICT is used for the presentation of assessment and the recording of responses".

Begriffsdiskussion

Grad der Professionalisierung mit unterschiedlicher E-Unterstützung

Elektronische Prüfungen als "Unterstützung einer Leistungs- und Wissensbeurteilung mit Hilfe von IKT" stellen eine Analogie zum E-Learning dar, in dessen Anfängen man ebenso von einer "Unterstützung von Lehren und Lernen mit Hilfe von IKT" sprach. Das jedoch hätte - grob gesehen - auch die Ausstrahlung des "Telekollegs" auf den dritten Programmen umfasst oder ein Telefonat mit einem Lehrenden, der darüber etwas erklärt. Daher hat sich für das Gemeinte an den Hochschulen insbesondere der Begriff Blended Learning durchgesetzt, also die Anreicherung der Hochschullehre durch elektronische und multimediale Elemente. Die Hochschullehre selbst sollte dadurch nicht elektronisiert oder ersetzt, sondern durch didaktisch sinnvoll eingesetzte Technologien begleitet werden, um auf diese Weise eine Verbesserung ihrer Qualität zu erzielen.

In gleicher Weise sollen die elektronischen Prüfungen, um die es hier geht, im Sinne eines Blended Assessment verstanden werden. Sie sollen klassische Prüfungen nicht ersetzen (zumindest nicht vorrangig), sondern als weiteres elektronisch einsetzbares Instrument für die Hochschullehre zur Verfügung stehen. Auf diese Weise können sie, insofern didaktisch sinnvoll eingesetzt, zur Verbesserung der Qualität der Lehre beitragen, wobei Qualität durchaus in einer effizienten effizienten Auswertung, schnellem Feedback oder einer motivierenden Wirkung auf die Studierenden gesehen werden.

Im Bereich des Campus Management wird ebenfalls häufig von E-Prüfungen gesprochen, wenn es um elektronisch abgebildete Prozesse im Prüfungsverwaltungsprozess geht. So erlauben Prüfungsverwaltungssysteme ein An- oder Abmelden zu Modulprüfungen oder das Eintragen bzw. die Einsicht der erreichten Noten online über eine Webschnittstelle. Hierbei ist also eigentlich die E-Prüfungsverwaltung gemeint.

Vorüberlegungen

Charakteristika elektronischer Prüfungen

• Kompetenz: Was wird geprüft?
  • Sachkompetenz?
  • Methodenkompetenz?
  • Sozialkompetenz?
  • Selbstkompetenz?
• Funktion: Wie wird geprüft?
  • summativ/formativ
  • diagnostisch/adaptiv
• Format: Welche Prüfungsformen werden verwendet?
  • Klassische Formen (offene Fragen)
  • E-Assessment (geschlossene und halboffene Fragen)
  • Neue Formen
    • E-Portfolio
    • Neue Web 2.0-Formen (Wiki, Blog, Podcast)
    • Rollenspiele, Simulationen
• PrüferIn: Wer bewertet?
  • Self Assessment
  • Peer Assessment
  • Group Assessment
  • Teacher Assessment
• Prüfungsort: Wo wird geprüft/assesst?
  • On-Campus/Off-Campus
  • Supervised/unsupervisored
  • Static/mobile
• Zeitpunkt/Zeitraum: Wann wird assessed?
  • Continuous vs einmalig
• Bewertung: Wie wird bewertet?
  • Manuell vs. Automatisch
  • traditionell vs. Innovativ
  • confidence-based marking
• Feedback: Welches Feedback erhalten Studierende?
  • Mündlich/schriftlich
  • Prüfung/Frage
• Staff Development: Wie werden Dozenten unterstützt?
  • Kurse/Schulungen
  • Tools
• E-Assessment-Repositories: Wie werden Fragen weiterverwendet?
  • Fragepools
  • Reusable Assessment Objects

Bei reinen Wissensprüfungen besteht die Gefahr, dass man Prüflingen aufgrund ihres Wissens (träges Wissen) fälschlicherweise Können zuschreibt bzw. umgekehrt vermuten kann, dass durch Fehlen bestimmten Wissens (implizites Wissen) auch das zugehörige Können nicht vorhanden ist.

Phasen

Auswertung

Die Auswertung der Eingaben kann (teil-)automatisiert erfolgen, insofern korrekte Antworten wie z.B. bei MC-Aufgaben oder Wertebereiche bei numerischen Aufgaben vorgegeben wurden. Bei Kurztextaufgaben, wie sie z.B. in Lückentexten vorkommen, kann man Schreib- oder Flüchtigkeitsfehler berücksichtigen, indem man dem auswertenden System einen Toleranzbereich wie eine bestimmte Levensthein-Distanz vorgibt.

Die Auswertung komplexerer Freitexteingaben oder längerer Ausarbeitungen kann darüber hinaus auch traditionell manuell erfolgen. Zudem ist möglich, die elektronisch erfassten Eingaben mit Hilfe von Peer Assessment Verfahren auswerten zu lassen. Auf diese Weise werden die Lernenden in den Auswertungsprozess einbezogen und können sich dadurch stärker mit dem Lernprozess identifizieren.

Kritische Betrachtung

Vorteile und Mehrwerte

• Multimediale Möglichkeiten (Audio, Video, Diagramme)
• Bessere Lesbarkeit der Antworten (Tippgeschwindigkeit)
• Mischen von Fragen/Antworten erschwert Täuschungen
• Mehr Auswertungsobjektivität, weniger subj. Einflüsse
• Zeitersparnis durch (teil-)automatisierte Auswertung
• Schnellere Bewältigung großer Prüfungszahlen möglich
• Vergleich der Leistungen ist einfacher/übersichtlicher
• Schwierigkeit, Trennschärfe & Homogenität auswertbar
• Übertragung von Ergebnissen weniger fehleranfällig
• Stufenförmige Prüfungsverläufe modellierbar
• Digitale Archivierung von Ergebnissen und Lösungen
• Aufbau wiederverwendbarer Fragepools (Lehrverbund)
• Ergebnisse können beliebig oft (spurlos) bearbeitet werden

Nachteile und Herausforderungen

• Umfangreiche Vorarbeiten (Fragepools erstellen, etc.)
• Hohe Kosten/Investitionen für fixe Lösungen
• Abhängigkeit von Full-Service-Anbietern
• Anfälligkeit für Pannen, keine 100%-ige Zuverlässigkeit
• Unterschiedliche Kenntnisstände beim Umgang mit IKT
• Neue Manipulationsformen erfordern zusätzliche Sicherheitskonzepte (Chat, Netzzugriff, etc.)
• Unzureichende Flexibilität der Prüfungsordnungen
• Hoher Aufwand zur Herstellung von Rechtssicherheit
• Geforderte langjährige Archivierung fraglich (Träger?)
• Einziger Standard (IMS QTI) wird kaum unterstützt
• System soll „Mitwachsen“ mit steigenden Anforderungen
• Automatische Auswertung nicht überall sinnvoll/geeignet
• Aut. ausw. Wissen „Fehlentwicklung“ der HS-Didaktik

Aufgaben

Allgemeine Aufgabentypen (nach Vogt/Schneider)

Geschlossene Aufgaben (geben Antworten vor)

• True/False
• Single- und Multiple-Choice,
• Forced-Choice (per Drop-Down-Liste)
• Bildmarkierung (per Hot Spot)
• Zuordnungsaufgabe, Spezialfall: Sortieraufgabe

Offene Aufgaben (verlangen Reproduktionsleistung)

• Kurztext (1-2 Wörter), Spezialfall: Zahlenangabe
• Langtext (schwierig ohne Computererfahrung)
• Teilmenge (begrenzte Zahl an Lösungswörtern aus größerer Zahl richtiger Antworten ermitteln)
• Lückentext (als Aneinanderreihung von Kurztextaufgaben oder Forced Choice)

Aufgabenstellung mit Neuen Medien

• Markierung bestimmter Bereiche in Bildern
• Einbettung von Videos oder Tonaufnahmen
• Zufällige Grundwerte bei Berechnungsaufgaben
• Stufenförmige Fragestellungen (z.B. Medizin)
• Mündliche Antwort/Aufnahme per Mikrofon (z.B. Sakai)
• Adaptive Tests möglich
• Zufällige Reihenfolge von Fragen und Antworten

Beispiele für E-Klausur-Systeme

Open Source

• Online eXam (ILIAS)
• Test/Prüfungsfunktionen in Moodle
• ViPS (Stud.IP)
• sakai.samigo (Sakai)

Kommerziell

• Vista Quiz (Blackboard/WebCT)
• CLIX Advanced Testing and Assessment
• LTMS Testmaker System (Lplus)
• Q-Exam (Codiplan)
• Respondus (WebCT)
• Questionmark Perception (Telerat GmbH)

Lösungsansätze

Feste Räume, fest installierte Hardware

• z.B. Testcenter Bremen, 1 Raum, 130 Plätze, LPLUS

Feste/variable Räume mit Laptops der Studierenden

• z.B. FU Berlin, 4 Räume, 221 Plätze, Blackboard bzw. „Statistik-Labor“ mit Safe Exam Browser (SEB)

Feste/variable Räume mit Leihgeräten

• z.B. MHH, 165 mobile Tablet-PCs, Q-Exam

Prüfung mit vorhandenem LMS

• z.B. Uni Mainz, 4 Räume, 450 Plätze, ILIAS mit SEB
• z.B. Uni Osnabrück, CIP-Cluster, Stud.IP mit ViPS