Elektronische Prüfung

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche

Begriffsdiskussion

Abgrenzung traditioneller und elektronischer Prüfungsformen nach [1]

Mit Hilfe einer Prüfung versucht ein Prüfender die von einem Prüfling erworbenen Kenntnisse oder Fertigkeiten festzustellen bzw. einzuschätzen. Im Fall einer elektronischen Prüfung (E-Prüfung) geschieht dies mit Hilfe von Informations- und Kommunikationstechnologien (IKT). Sie können bei der Aufgabenstellung, Leistungserbringung sowie Leistungsbeurteilung eingesetzt werden, beziehen sich also auf Vorbereitung, Durchführung und/oder Auswertung einer Prüfung. Durch (teil-)automatisierte Auswertung ist effizientes Feedback möglich, das Lernende zur besseren Selbsteinschätzung und Lehrende zur Aufdeckung von Defiziten nutzen können, jeweils mit Möglichkeit zur Nachbesserung.

Spezialfall ist die elektronische Klausur (E-Klausur), die eine Leistung summativ bewerten bzw. benoten soll. E-Klausuren haben damit eine Relevanz für den weiteren Studienverlauf, da ein Studium nach mehrmaligem Scheitern im schlimmsten Fall beendet sein kann. Aus dem Grund werden besonders hohe Anforderungen an ihre Rechtssicherheit gestellt. Allgemeiner gehalten ist der Begriff E-Assessment, der generell den Einsatz von IKT bei der Leistungserbringung beschreibt. Darunter fallen elektronische Verfahren, die den klassischen Leistungsnachweisen ebenbürtig sind, z.B. Weblogs anstelle von Studientagebüchern, aber auch der Einsatz elektronischer Werkzeuge zur Simulation typischer Anwendungssituationen wie die Modellierung mathematischer Konstrukte mit MAPLE oder die Eclipse-Plattform für Programmieraufgaben. Eine Einordnung der Begriffe und Gegenüberstellung von elektronischen mit traditionellen Verfahren ist z.B. bei [1] zu finden.

Die elektronischen Prüfungen hier sollen im Sinne von Blended Learning eingesetzt werden. Sie sollen klassische Prüfungen nicht ablösen (zumindest nicht vorrangig), sondern als weiteres Instrument zur Anreicherung der Hochschullehre zur Verfügung stehen. Damit können sie, insofern didaktisch sinnvoll eingesetzt, siehe u.a. [Reinma07], zur Verbesserung der Qualität der Lehre beitragen, wobei die Qualität in diesem Fall z.B. in einer effizienten Auswertung, schnellem Feedback oder einer motivierenden Wirkung auf Studierende gemessen werden kann.

Elektronische Leistungsmessung nach Kompetenzgrad

Professionalisierungebenen in Anlehnung an [2]

Vom Wissen bis zum Können und damit zur Anwendung des anfänglichen Wissens existieren laut [2] verschiedene Ebenen, die in der nebenstehenden Abbildung illustriert sind. Jede dieser Ebenen baut auf der darunterliegenden auf und wird vom Lernenden auf dem Weg vom Anfänger zum Experten bewältigt. Je nach Grad der Professionalisierung stehen damit auf jeder Ebene unterschiedliche Möglichkeiten zur elektronischen Leistungsmessung zur Verfügung.

  • Wissen: Grundlage der Professionalisierung ist das Wissen um Fakten und Konzepte, deren Verständnis z.B. mit einfachen Multiple-Choice-Aufgaben abgefragt werden kann. Ein Beispiel ist das Konzept „Rechts vor Links“, dessen Grundlagen bei der Führerscheinprüfung behandelt werden.
  • Problemlösung: Im Rahmen voranschreitender Professionalisierung muss ein Lernender dann vorhandenes Faktenwissen zur Problemlösung einsetzen. In diesem Fall sind situationsbezogene Prüfungen oder Fallbeispiele sinnvoll, die eine angemessene Anwendung bereits gelernter Fakten überprüfen können. Beispiel ist die Aufzeichnung einer Verkehrssituation mit der Frage, was zu tun ist oder wer in diesem Spezialfall Vorfahrt hat.
  • Fertigkeiten ausbilden: Die darauf aufbauende Ebene geht über den reinen Erkenntnisbereich hinaus und umfasst erlernte Fertigkeiten. Hier geht es darum, Handlungsweisen nicht nur zu beschreiben oder verstanden zu haben, sondern diese gezielt erbringen zu können. Möglichkeiten, um das elektronisch zu überprüfen, bieten z.B. virtuelle Labore oder Simulatoren.
  • Können: Als Experte muss der Lernende schließlich sein Wissen in der Praxis anwenden können. Hierbei stehen Möglichkeiten zur Beobachtung und Aufzeichnung zur Verfügung, deren Analyse dann Aufschluss über das Verhalten des Prüflings geben kann. Beispiele sind Fahrtenschreiber in Fahrzeugen, Black Boxes in Flugzeugen oder das Aufzeichnen von Bewegungsabläufen bei Sportlern, um Optimierungspotential aufzudecken.

Abhängig davon, wie stark praxisorientiert eine Hochschule ausbildet, variieren die Möglichkeiten für den Einsatz elektronischer Prüfungen damit.

Kritische Betrachtung

Vorteile und Mehrwerte

  • Multimediale Möglichkeiten (Audio, Video, Diagramme)
  • Bessere Lesbarkeit der Antworten (Tippgeschwindigkeit)
  • Mischen von Fragen/Antworten erschwert Täuschungen
  • Mehr Auswertungsobjektivität, weniger subj. Einflüsse
  • Zeitersparnis durch (teil-)automatisierte Auswertung
  • Schnellere Bewältigung großer Prüfungszahlen möglich
  • Vergleich der Leistungen ist einfacher/übersichtlicher
  • Schwierigkeit, Trennschärfe & Homogenität auswertbar
  • Übertragung von Ergebnissen weniger fehleranfällig
  • Stufenförmige Prüfungsverläufe modellierbar
  • Digitale Archivierung von Ergebnissen und Lösungen
  • Aufbau wiederverwendbarer Fragepools (Lehrverbund)
  • Ergebnisse können beliebig oft (spurlos) bearbeitet werden

Nachteile und Herausforderungen

  • Umfangreiche Vorarbeiten (Fragepools erstellen, etc.)
  • Hohe Kosten/Investitionen für fixe Lösungen
  • Abhängigkeit von Full-Service-Anbietern
  • Anfälligkeit für Pannen, keine 100%-ige Zuverlässigkeit
  • Unterschiedliche Kenntnisstände beim Umgang mit IKT
  • Neue Manipulationsformen erfordern zusätzliche Sicherheitskonzepte (Chat, Netzzugriff, etc.)
  • Unzureichende Flexibilität der Prüfungsordnungen
  • Hoher Aufwand zur Herstellung von Rechtssicherheit
  • Geforderte langjährige Archivierung fraglich (Träger?)
  • Einziger Standard (IMS QTI) wird kaum unterstützt
  • System soll „Mitwachsen“ mit steigenden Anforderungen
  • Automatische Auswertung nicht überall sinnvoll/geeignet
  • Aut. ausw. Wissen „Fehlentwicklung“ der HS-Didaktik

Bei reinen Wissensprüfungen besteht die Gefahr, dass man Prüflingen aufgrund ihres Wissens (träges Wissen) fälschlicherweise Können zuschreibt bzw. umgekehrt vermuten kann, dass durch Fehlen bestimmten Wissens (implizites Wissen) auch das zugehörige Können nicht vorhanden ist. [3]

Charakteristika elektronischer Prüfungen

Charakteristika elektronischer Prüfungen

Um elektronische Prüfungen didaktisch sinnvoll in die Hochschullehre zu integrieren, sollte sich ein Lehrender bereits im Vorfeld Gedanken über die Art und Weise ihres Einsatzes machen. Je nach Ziel und Zweck kann sie unterschiedlich ausgestaltet sein.

  • Zweck: Zunächst muss der Lehrende festlegen, zu welchem Zweck er elektronische Verfahren einsetzen und welche Kompetenzen er mit ihrer Hilfe erfassen will. Beispiele sind Sach-, Methoden-, Sozial- oder Selbstkompetenz. Steht Sachkompetenz im Vordergrund, kann es z.B. schon reichen, Ergebnisse zu erfassen, während bei Methodenkompetenz der Lösungsweg wichtig ist. Je nach Schwerpunkt ist die unterschiedliche Gestaltung sowie ihr jeweiliger didaktischer Einsatz möglich.
  • Art: Summative Prüfungen überprüfen den Lernerfolg im Anschluss an einen Lernprozess, während formative Prüfungen dazu beitragen, durch Zwischenerhebungen den Lehr-/Lernprozesses in eine erfolgreiche Richtung zu lenken. Diagnostische Prüfungen konzentrieren sich auf einen festen Kompetenzbereich, um Prüflinge vergleichend beurteilen zu können, während adaptive Prüfungen durch Anpassung ihres Schwierigkeitsgrads die Fähigkeiten eines Prüflings individuell einzugrenzen oder Schwachstellen zu identifizieren versuchen. Prognostische Prüfungen versuchen z.B. im Rahmen von Zulassungstests Aussagen über das künftige Leistungsniveau eines Prüflings zu machen.
  • Form: Klassische Prüfungsfragen sind offen und damit frei zu beantworten. Das bedeutet jedoch, dass sie manuell ausgewertet werden müssen, da Verschlagwortung und automatischer Abgleich nur selten möglich sind. Einer der größten Vorteile von E-Prüfungen, nämlich effiziente Auswertung, kommt insbesondere durch geschlossene und halboffene Fragen zum Tragen, weil diese i.d.R. automatisiert auswertbar sind. Eine Gegenüberstellung, welche Fragetypen sich für welche Lernziele anbieten, findet sich z.B. bei [Vogt/Schneider]. Zudem ist der Einsatz elektronischer Hilfs- und Arbeitsmittel bei Prüfungen denkbar, um auf diese Weise neben der Feststellung von Faktenwissen auch z.B. Fertigkeiten in einer konkreten Anwendungssituation zu simulieren und zu überprüfen. Beispiele reichen hier von Taschenrechnern über Programmierplattformen bis hin zu Flugsimulatoren.
  • Prüfender: Je nachdem, wer die Eingaben auswerten soll, müssen unterschiedliche Vorgaben gemacht werden. So kann der Lehrende im Rahmen einer traditionellen Bewertung (Teacher Assessment) korrekte Antworten vorgeben und so zu einer automatisierten Auswertung beitragen. Sollen sich Prüflinge hingegen mit Hilfe einer Prüfung selbst einschätzen (Self Assessment), wie es z.B. mit Lernfortschrittskontrollen bei reinen E-Learning-Einheiten üblich ist, erscheint es sinnvoll, Lösungswege oder zusätzliche Hinweise als Feedback zu hinterlegen. Eine Auswertung von Eingaben durch andere Prüflinge (Peer Assessment) setzt zudem Kriterienkataloge voraus, an denen sich diese zur Bewertung orientieren können. Auf diese Weise verschmelzen die Lernenden nach [4] stärker mit dem Lernprozess, was sich positiv auf den Lernerfolg auswirken kann. In ähnlicher Weise können Gruppen (Group Assessment) in den Bewertungsprozess eingebunden werden.
  • Ort: Prüfungen auf dem Campus, z.B. in einer Veranstaltung, sind i.d.R. anders gestaltet als Prüfungen, die Prüflinge zu Hause ablegen. Zudem ist von Bedeutung, ob eine Prüfung beaufsichtigt sein muss, weil z.B. Täuschungen erschwert werden sollen, oder ob sie der Übung oder Beschäftigung mit dem Thema dient und an beliebigen Orten abgewickelt werden kann. Feste Prüfungen setzen fest installierte Arbeitsplätze voraus, z.B. ein Testcenter wie es die Uni Bremen einsetzt. Für mobile Prüfungen kann man z.B. einen Hörsaal mit Tablet-PCs oder Clickern ausstatten, auf dem die Teilnehmer dann ihre Eingaben vornehmen.
  • Zeit: Neben dem Ort spielt auch die Zeit eine wesentliche Rolle. Abhängig vom Typ der Prüfung (formativ/summativ) ist zu entscheiden, ob einmalig oder kontinuierlich geprüft werden soll. Auch summative Prüfungen können kontinuierlich erfolgen, z.B. wenn im Rahmen eines Moduls mehrere Klausuren oder Tests vorgesehen sind.
  • Bewertung: Die Auswertung von Eingaben kann abhängig von den ausgewählten Fragetypen manuell oder (teil-)automatisiert stattfinden. Eine Beurteilung der Ergebnisse liegt dann im didaktischen Ermessen des Lehrenden, insofern nicht in einer Ordnung oder Moduldeskriptor anders vorgeschrieben. Von traditionellen Formen bin zum „confidence-based marking“[5] sind verschiedene Methoden der Bewertung vorstellbar. Im letzteren Fall gibt der Prüfling neben jeder Antwort noch an, wie sicher er sich seiner Antwort ist (von unsicher/geraten bis sehr sicher). Damit sind Rückschlüsse auf das Zutrauen ins eigene Wissen sowie auf Fehler im Lernprozess möglich, die dann z.B. im formativen Fall in den weiteren Lernprozess einfließen können.
  • Feedback: Schließlich ist festzulegen, welche Rückmeldung die Prüflinge erhalten sollen. Feedback kann schriftlich erfolgen oder in einem Gespräch mit dem Bewertenden. Darüber hinaus ist zu überlegen, wie detailliert das Feedback sein muss. Die Reichweite reicht von einem „hat bestanden“ bis hin zu einer detaillierten Analyse von Schwachstellen mit einer individuellen Beratung. Ein solches Feedback kann z.B. direkt im Anschluss an die Abgabe oder erst nach abschließender Qualitätskontrolle durch den Lehrenden erfolgen (der dann vielleicht noch den Notenspiegel aufgrund der per Itemanalyse ermittelten Frageschwierigkeiten anpassen kann). Der Lehrende erhält durch die Antworten und statistischen Auswertungen der Eingaben ebenfalls ein Feedback, was besonders gut verstanden wurde und welche Inhalte vielleicht noch einmal aufgegriffen oder wiederholt werden sollten.

Abhängig von der Ausgestaltung dieser dargestellten Charakteristika sind unterschiedliche Einsatzszenarien von E-Prüfungen vorstellbar.

Weiterführende Informationen

Literaturnachweise

  1. ↑ 1,0 1,1 Cornelia Rüdel: Was ist eAssessment?, In: eAssessment, ePrüfungen, ePortfolios, Hamburger eLMAGAZIN, Ausgabe #02, S. 22-24, Zentrales eLearning-Büro der Universität Hamburg, Hamburg, 2009, Download als PDF
  2. ↑ 2,0 2,1 George E. Miller: The Assessment of Clinical Skills/Competence/Performance, in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, Download als PDF (Abgerufen am 14.06.2010)
  3. ↑ Georg Hans Neuweg: Das Können prüfen - Plädoyer für eine andere Prüfungsdidaktik, in: GdWZ - Grundlagen der Weiterbildung, Ausgabe 12 (2001) 5, S. 202-205, Download als PDF (Abgerufen am 27.05.2010)
  4. ↑ Christian Bogner: Studentisches Feedback im Bachelor - Eine empirische Untersuchung zur Effektivität und Qualität eines angepassten Peer-Assessment-Verfahrens, in A. Back, P. Baumgartner, G. Reinmann et al. (Hrsg): zeitschrift für e-learning - lernkultur und bildungstechnologie, ISSN: 1992-9579, Themenheft E-Assessment, S. 36-49, Studienverlag, Innsbruck, 2010
  5. ↑ A.R. Gardner-Medwin, M. Gahan: Formative and Summative Confidence-Based Assessment, in: Proceedings of the 7th CAA Conference, S. 147-155, Loughborough University, Loughborough, 2003, Download als PDF (Abgerufen am 15.07.2010)
Abgerufen von „https://ep.elan-ev.de/index.php?title=Elektronische_Prüfung&oldid=995“