Didaktik: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
(→‎Einsatzentscheidungen)
(→‎Weiterführende Informationen)
 
(53 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
−
== Einsatzentscheidungen ==
+
== Didaktische Entscheidungen ==
−
=== Einsatzszenario auswählen ===
+
Wer den Einsatz von E-Prüfungen plant, muss eine Reihe von didaktischen Entscheidungen treffen, die hier im Einzelnen besprochen werden sollen.
 +
[[Rechtsfragen|Rechtliche]], [[Organisation|organisatorische]] und [[Technik|technische]] Fragen, die sich im Zusammenhang mit dem Einsatz von E-Prüfungen stellen, werden dort thematisiert.
 +
 
 +
=== Zweck identifizieren ===
 
[[Datei:Campusassessmentkategorien.png|thumb|400px|Einsatzmöglichkeiten für E-Prüfungen an Hochschulen]]
 
[[Datei:Campusassessmentkategorien.png|thumb|400px|Einsatzmöglichkeiten für E-Prüfungen an Hochschulen]]
−
An Hochschulen gibt es verschiedene Bereiche, in denen sich E-Prüfungen einsetzen lassen. Diese sind im Abschnitt [[Einsatzszenarien]] ausführlich beschrieben. Wer ihren Einsatz plant, muss zunächst Zweck und Ziele dieser elektronischen Prüfung bestimmen. Verschiedene Gebiete, in denen bereits elektronisch geprüft wird, sind z.B.:
+
An Hochschulen gibt es verschiedene Bereiche, in denen sich E-Prüfungen einsetzen lassen. Diese sind im Abschnitt [[Einsatzszenarien]] ausführlich beschrieben. Mithilfe von E-Prüfungen nimmt man Bewertung über eine Person vor, die nicht für sich stehen, sondern einem bestimmten Zweck dienen:
−
* [[Einsatzszenarien#Studienorientierung und Studienberatung|'''Studienorientierung und Studienberatung''']]: Orientierung geben, typische Fragen und Probleme des gewünschten Fachgebiets präsentieren und erproben, Stärken und Schwächen von Kandidaten ermitteln, Empfehlungen für Studiengänge erteilen
 
−
* [[Einsatzszenarien#Zulassungs- und Einstufungstests |'''Zulassungs- und Einstufungstests''']]: Geeignete Kandidaten auswählen, Vorhandensein notwendigen Vorwissens oder von Vorleistungen sicherstellen, passende Kurse bestimmen, um Studierende nicht zu über- oder unterfordern
 
−
* [[Einsatzszenarien#Vor- und Nachbereitung von Lehrveranstaltungen|'''Vor- und Nachbereitung von Lehrveranstaltungen''']]: Lehrveranstaltungen an Vorwissen anpassen, Zeitmanagement optimieren, Feedback zum Verständnis der Inhalte im Anschluss einholen
 
−
* [[Einsatzszenarien#Clicker & Audience Response Systems|'''Clicker & Audience Response Systems''']]: Wissen, Stimmungen und Meinungen bereits innerhalb einer Lehrveranstaltung abfragen, direkte Reaktionsmöglichkeit, Anregen von Diskussionen zum jeweils aktuellen Thema
 
−
* [[Einsatzszenarien#Gemeinsames Lernen|'''Gemeinsames Lernen''']]: Unterstützen gemeinsamen Lernens, Zuteilung individueller Aufgaben, Förderung der Diskussion zum Lösungsweg, individuelle Anwendung auf eigene Aufgaben
 
−
* [[Einsatzszenarien#Quizzes & Zwischentests|'''Quizzes & Zwischentests''']]: Wiederholung von Inhalten, weiteren Aufnahmekanal zur Verfügung stellen, Feedback zum Verständnis geben
 
−
* [[Einsatzszenarien#Vorher/Nachher-Prüfungen|'''Vorher/Nachher-Prüfungen''']]: Kenntnisse bzw. Leistungen vor und nach dem Lernprozess vergleichen, um neben dem Stand des Prüflings auch den konkreten Lernerfolg des Lernprozesses zu bestimmen
 
−
* [[Einsatzszenarien#Elektronische Klausuren|'''Elektronische Klausuren''']]: Bewertung des Lernerfolgs im Anschluss an einen Lernprozess, Benotung von Leistungen
 
−
* [[Einsatzszenarien#Distanzprüfungen|'''Distanzprüfungen''']]: Durchführen von Prüfungen und Bewerten von Leistungen auf Distanz
 
−
* [[Einsatzszenarien#Lehrevaluationen|'''Elektronische Lehrevaluationen''']]: Ermitteln der Zufriedenheit mit Lehrveranstaltungen, Erheben von Verbesserungsvorschlägen, Qualitätssicherung
 
−
* [[Einsatzszenarien#Elektronische Klausurschränke|'''Elektronische Klausurschränke''']]: Vorbereitung auf Prüfungen, Sammeln typischer Fragen mit Lösungen, kein Zugriff für Lehrende
 
−
* [[Einsatzszenarien#Progresstests|'''Progresstests''']]: Ermitteln des Lernfortschritts im Rahmen einer kompletten Ausbildung durch regelmäßige Erhebungen
 
  
−
[[Datei:Einsatzszenarien.png|thumb|400px|Denkbare Einsatzszenarien von E-Prüfungen mit Einordnung nach "Gefährlichkeit", d.h. Relevanz für den weiteren Studienverlauf]]
+
'''Diagnostisches Assessment'''
−
In der Abbildung (rechts) sind diese verschiedene Szenarien eingeordnet in eine Matrix nach Relevanz für den Studienverlauf und der Notwendigkeit nach Überwachung. So ist eine benotete E-Klausur (oben rechts) z.B. sehr relevant für den weiteren Studienverlauf, da ein Scheitern daran ein Studium im schlimmsten Fall beenden kann. Aus diesem Grund finden E-Klausuren i.d.R. in überwachter Umgebung statt. Quizzes oder Zwischentests (unten links) hingegen sind kaum relevant für den Studienverlauf. Studierende können sie beliebig oft durchführen, z.B. bis sie das Thema verstanden haben. Eine Aufsicht ist dazu nicht nötig. Es scheint eine gute Idee zu sein, für den Einstieg in E-Prüfungen nicht direkt mit "gefährlichen" Szenarien zu beginnen, sondern ungefährlichere auszuwählen. Lehrende können auf diese Weise leicht den Umgang mit den neu eingesetzten Technologien lernen und deren Zuverlässigkeit erproben.
+
<br>Als Eingangstest soll eine solche Prüfung die Vorkenntnisse von Prüflingen identifizieren, als prognostische Prüfung den zu erwartenden Lernerfolg ''vorhersagen''. Das Ergebnis dieser Prüfung hilft dabei, die Lehre besser zu planen oder geeignete Veranstaltungstypen bzw. Lehrmethoden auszusuchen. Bsp.: [[Einsatzszenarien#Diagnostisches Prüfen|Zulassungs- und Einstufungstests]]
  
−
Ist die Entscheidung für ein bestimmtes Szenario gefallen, ist im nächsten Schritt eine geeignete Metapher zu bestimmen, welche die Verwendung elektronischer Verfahren erleichtert. Soll z.B. eine bereits schriftlich vorliegende Version lediglich "elektronisiert" werden, damit diese die Lernenden auch auf anderen Kanälen als bisher erreichen kann? Oder sollen ganz neue Wege gegangen werden, die z.B. multimediale Elemente einbeziehen, die in der traditionellen schriftlichen Form nicht einbezogen werden konnten?
+
'''Formatives Assessment'''
 +
<br>Um einen möglichst großen Lernerfolg zu produzieren, ist der Lernprozess kontinuierlich an Erfordernisse der Lernenden anzupassen. Eine formative Prüfung begleitet das Lernen dazu als Zwischenmessung und versucht, das bereits erzielte Lernergebnis festzustellen. Bsp.: [[Einsatzszenarien#Formatives Prüfen|Vor- und Nachbereitung von Lehrveranstaltungen]], [[Einsatzszenarien#Formatives Prüfen|Clicker & Audience Response Systems]]
  
−
Eine Beschreibung der verschiedenen Möglichkeiten sowie Praxisbeispiele finden sich bei den [[Einsatzszenarien]]. Zugehörige Experten sowie von diesen in bestimmten Szenarien eingesetzte Technologien sind in der [[Kompetenzmatrix]] aufgeführt.
+
'''Summatives Assessment'''
 +
<br>Eine summative Prüfung misst Leistungen oder Fertigkeiten im Anschluss an das Lernen und damit den abschließenden Lernerfolg. Dieser gibt den Grad der Übereinstimmung von Lernzielen mit dem erreichten Lernergebnis an. Bsp.: [[Einsatzszenarien#Summatives Prüfen|Elektronische Klausuren]]
  
−
=== Professionalisierungsebene bestimmen ===
+
'''Qualitätssicherung'''
−
[[Bild:Professionalisierungsgrad.png|thumb|400px|Professionalisierungebenen in Anlehnung an Miller (siehe [[Literatur]])]]
+
<br>Durch Sicherstellen notwendigen Grundwissens, Identifizieren geeigneter Kurse, Anpassung der Lehre an individuelle Erfordernisse der Studierenden sowie Ermitteln des Lernerfolges tragen E-Prüfungen generell zur Anreicherung der Hochschullehre bei. Bsp.: [[Einsatzszenarien#Qualitätssicherung|Progresstests]] aber auch [[Qualitätssicherung#Lehrevaluationen|Lehrevaluationen]]
−
Abhängig davon, wie weit ein Lernender auf dem Weg vom Anfänger zum Experten fortgeschritten ist, stehen unterschiedliche Möglichkeiten zur elektronischen Leistungsmessung zur Verfügung. Es gilt nun, die jeweilige [[Elektronische Prüfung#Elektronische Leistungsmessung nach Professionalisierungsgrad|Ebene der Professionalisierung]] zu identifizieren und zugehörige passende Verfahren auszuwählen.
 
−
* '''Wissen''': Lernende kennen die Grundlagen des jeweiligen Fachgebiets, angemessene Prüfungen benutzen zur Ermittlung des Wissensstandes z.B. Multiple-Choice-Aufgaben.
 
−
* '''Kompetenz''': Lernende können mit Hilfe ihres Grundlagenwissens typische Probleme lösen. Angemessene Prüfungen konfrontieren Lernende mit neuen Situationen oder Fallbeispielen, deren Probleme sie mit ihrem Wissen lösen sollen.
 
−
* '''Performanz''': Lernende zeigen praktische Abläufe, ohne diese jedoch in der regulären Praxis einzusetzen. Möglichkeiten, um das elektronisch zu überprüfen, bieten z.B. virtuelle Labore, Simulatoren oder Operationen an virtuellen Patienten.
 
−
* '''Handlung''': Lernende setzen ihre Fertigkeiten in der Praxis ein. Entsprechendes Verhalten kann z.B. durch Black Boxes, Videoanalysen oder der Tätigkeit angepasste Aufzeichnungsmethoden festgehalten und analysiert werden.
 
−
Ein Prüfender wählt denjenigen Typ Prüfung aus, der zur jeweiligen Professionalisierungsebene passt. Abhängig davon, wie praxisorientiert eine Hochschule ihre Studierenden ausbildet, sind somit verschiedene Möglichkeiten elektronischer Leistungsmessung denkbar. Das bedeutet aber auch, dass grundlegende Formen wie das Abprüfen von Wissen mittels MC-Fragen für alle Hochschulen in Frage kommen kann.
 
  
 
=== Lernziele bestimmen ===
 
=== Lernziele bestimmen ===
−
[[Datei:Lernzieltaxonomien.png|450px|thumb|Model of Learning Objectives (Quelle: Rex Heer, [http://www.celt.iastate.edu/pdfs-docs/teaching/RevisedBloomsHandout.pdf Download als PDF])]]
+
[[Bild:Professionalisierungsgrad.png|thumb|400px|Professionalisierungebenen in Anlehnung an Miller<ref name="miller" />]]
−
Ein Lernziel ist die Erwartung an ein bestimmtes Lernergebnis, das Lernende bezogen auf eine bestimmte Lerneinheit oder einen Lernabschnitt erreichen sollen. Spezifizieren Lehrende solche Ziele im Voraus, können sie darauf aufbauend leichter Aufgaben erstellen, um das Erreichen dieser Lernziele im Nachhinein zu überprüfen. Bloom<ref>Benjamin S. Bloom: ''Taxonomie von Lernzielen im kognitiven Bereich'', 5. Auflage, Beltz Verlag, Weinheim, 1976</ref> unterschied zu dem Zweck unterschiedliche Klassen von Lernzielen:
+
Ob oder wie stark ein [[Lernziel]] (bisher) erreicht wurde, lässt sich nur prüfen, wenn solche Lernziele vorab klar spezifiziert wurden.
 +
 
 +
Ein Lernziel ist die Erwartung an ein bestimmtes Lernergebnis, das Lernende bezogen auf eine bestimmte Lerneinheit oder einen Lernabschnitt erreichen sollen. Bloom<ref>Benjamin S. Bloom: ''Taxonomie von Lernzielen im kognitiven Bereich'', 5. Auflage, Beltz Verlag, Weinheim, 1976</ref> unterschied zu dem Zweck unterschiedliche Klassen von Lernzielen:
 
* '''Kognitive Ziele''': Wissen, Verstehen, Anwenden, Analyse, Synthese, Evaluation
 
* '''Kognitive Ziele''': Wissen, Verstehen, Anwenden, Analyse, Synthese, Evaluation
 
* '''Affektive Ziele''': Aufmerksamwerden, Beachten, Reagieren, Werten, Strukturierter Aufbau eines Wertesystems, Erfüllt sein durch einen Wert oder eine Wertstruktur
 
* '''Affektive Ziele''': Aufmerksamwerden, Beachten, Reagieren, Werten, Strukturierter Aufbau eines Wertesystems, Erfüllt sein durch einen Wert oder eine Wertstruktur
 
* '''Psychomotorische Ziele''': Imitation, Manipulation, Präzision, Handlungsgliederung, Naturalisierung
 
* '''Psychomotorische Ziele''': Imitation, Manipulation, Präzision, Handlungsgliederung, Naturalisierung
  
−
Anderson & Krathwool<ref>L.W. Anderson, D.R. Krathwohl, P.W. Airasian, K.A. Cruikshank, R.E. Mayer, P.R. Pintrich, J. Raths, M.C. Wittrock: ''A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives'', New York, Longman, 2001</ref> haben Blooms Grundmodell erweitert und eine eigene Taxonomie beschrieben, die neben verschiedenen Wissensdimensionen den kognitiven Prozess einbezieht. Eine ausführliche Beschreibung entsprechender Taxonomien mit Beispielen und Einsatzideen für den Unterricht findet sich auch bei Peter Baumgartner<ref>Peter Baumgartner: ''Taxonomie von Unterrichtsmethoden - Ein Plädoyer für didaktische Vielfalt'', ISBN: 978-3-8309-2546-0Waxmann Verlag, Münster, 2011</ref>. Diese Taxononomien sollen dabei helfen, Prüfungsfragen besser einstufen und kategorisieren zu können.  
+
Diese Klassen beschreiben einfache theoretische bis hin zu komplexen praktischen Fertigkeiten. Abhängig davon, wie theorie- oder praxisnah die zu überprüfenden Fertigkeiten sind, ist ein jeweils unterschiedlicher Einsatz elektronischer Leistungsmessung denkbar. Miller<ref name="miller">George E. Miller: ''The Assessment of Clinical Skills/Competence/Performance'', in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, [http://journals.lww.com/academicmedicine/Abstract/1990/09000/The_assessment_of_clinical.45.aspx Download als PDF] (Abgerufen am 14.06.2010)</ref> hat zu dem Zweck verschiedene [[Elektronische Prüfung#Elektronische Leistungsmessung nach Professionalisierungsgrad|Ebenen der Professionalisierung]] identifiziert (siehe Abb. rechts) und diesen - je nach Praxisnähe - jeweils unterschiedliche Verfahren zur Leistungsmessung zugeordnet.
 +
 
 +
[[Datei:Lernzieltaxonomien.png|450px|thumb|Model of Learning Objectives (Quelle: Rex Heer, [http://www.celt.iastate.edu/pdfs-docs/teaching/RevisedBloomsHandout.pdf Download als PDF])]]
 +
Damit sie Lernziele besser einordnen können, haben Anderson & Krathwool<ref name="anderson">L.W. Anderson, D.R. Krathwohl, P.W. Airasian, K.A. Cruikshank, R.E. Mayer, P.R. Pintrich, J. Raths, M.C. Wittrock: ''A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives'', New York, Longman, 2001</ref> das Grundmodell von Bloom erweitert und eine eigene Taxonomie beschrieben. Diese bezieht neben den verschiedenen Wissensdimensionen auch Schritte des kognitiven Prozesses ein.  
  
−
Die Abbildung auf der rechten Seite zeigt eine beispielhafte Ausprägung des Modells von Anderson & Krathwool nach Rex Heer<ref>Model created by: Rex Heer Iowa State University, Center for Excellence in Learning and Teaching, Updated January, 2012, Licensed under a Creative Commons Attribution- NonCommercial-ShareAlike 3.0 Unported License. For additional resources, see: www.celt.iastate.edu/teaching/RevisedBlooms1.html</ref>; weiterführende Informationen dazu finden sich im entsprechenden [http://www.celt.iastate.edu/pdfs-docs/teaching/RevisedBloomsHandout.pdf Handout]. Dort angegebene Lernziele bestehen jeweils aus Verb und Objekt, wobei das Verb den kognitiven Prozess und das Objekt das Wissen beschreibt, das konstruiert bzw. erlernt werden soll.
+
Die Abbildung auf der rechten Seite zeigt eine beispielhafte Ausprägung dieses Modells nach Rex Heer<ref>Model created by: Rex Heer Iowa State University, Center for Excellence in Learning and Teaching, Updated January, 2012, Licensed under a Creative Commons Attribution- NonCommercial-ShareAlike 3.0 Unported License. For additional resources, see: www.celt.iastate.edu/teaching/RevisedBlooms1.html</ref>, weitere Informationen dazu finden sich im [http://www.celt.iastate.edu/pdfs-docs/teaching/RevisedBloomsHandout.pdf Handout der ISU]. Die darin angegebenen Lernziele bestehen beispielhaft jeweils aus Verb und Objekt, wobei das Verb den kognitiven Prozess und das Objekt das Wissen beschreibt, das konstruiert bzw. erlernt werden soll. Eine ausführliche Beschreibung verschiedener Taxonomien mit Beispielen und Einsatzideen für den Unterricht findet sich auch bei Peter Baumgartner<ref>Peter Baumgartner: ''Taxonomie von Unterrichtsmethoden - Ein Plädoyer für didaktische Vielfalt'', ISBN: 978-3-8309-2546-0Waxmann Verlag, Münster, 2011</ref>.  
  
−
Die nachfolgende Tabelle listet noch einmal die wesentlichen Dimensionen auf und beinhaltet Beispiele für mögliche Prüfungsfragen (bzw. Links dorthin).
+
Sind Lernziele bereits im Voraus spezifiziert, können Lehrende auf ihrer Grundlage leichter passende Aufgaben erstellen, die das Erreichen dieser Ziele im Nachhinein überprüfen sollen. Die nachfolgende Tabelle listet noch einmal die Dimensionen nach Anderson & Krathwool auf und beinhaltet Beispiele für mögliche Prüfungsfragen (bzw. Links dorthin).
  
 
{| class="wikitable" style="text-align:center;"
 
{| class="wikitable" style="text-align:center;"
Zeile 101: Zeile 93:
 
|}
 
|}
  
−
=== Anforderungen definieren, Prüfung gestalten ===
+
=== Einsatzszenario auswählen ===
−
[[Bild:Charakteristika.png|thumb|400px|Charakteristika elektronischer Prüfungen]]
+
[[Datei:Einsatzszenarien.png|thumb|400px|Denkbare Einsatzszenarien von E-Prüfungen mit Einordnung nach "Gefährlichkeit", d.h. Relevanz für den weiteren Studienverlauf]]
−
Lehrende sollten sich im Vorfeld überlegen, welche Anforderungen sie an ihre E-Prüfung stellen und wie diese dazu gestaltet sein sollte. Als Grundgerüst für diese Überlegungen sollen nachfolgend die bereits [[Elektronische Prüfung#Charakteristika elektronischer Prüfungen|beschriebenen Charakteristika]] dienen.
+
Vor dem Hintergrund zu welchem Zweck, welche Lernziele mit welchen Aufgaben erfasst werden sollen, lässt sich ein geeignetes Einsatzszenario auswählen.
−
* '''Zweck''': Zunächst muss der Lehrende den Zweck einer Leistungsmessung bestimmen. Ist z.B. Sachkompetenz festzustellen, kann es reichen, die Ergebnisse der gestellten Aufgaben zu erfassen und auszuwerten. Bei Methodenkompetenz ist der Lösungsweg zu analysieren, der bei der Bearbeitung der Aufgabe gewählt wird, während bei Sozialkompetenz eher das Verhalten und die Kommunikation der Prüflinge untereinander im Vordergrund steht.
+
 
−
* '''Art''': Summative Prüfungen überprüfen den Lernerfolg im Anschluss an einen Lernprozess, während formative Prüfungen den Lernprozess begleiten und dabei helfen, ihn in eine erfolgreiche Richtung zu lenken. Diagnostische Prüfungen geben eine starre Schablone vor, in die sich die Prüflinge durch ihre Leistungen einordnen, so dass der Prüfende sie vergleichend beurteilen kann. Adaptive Prüfungen hingegen passen Schwierigkeitsgrad und Themen an Prüflinge an, um Fähigkeiten oder Schwachstellen individuell einzugrenzen. Bei prognostischen Prüfungen korreliert das Testergebnis mit dem zu erwartenden Leistungsniveau der Prüflinge; sie finden z.B. als Zulassungstests Anwendung.
+
Eine Beschreibung der verschiedenen Möglichkeiten sowie Praxisbeispiele finden sich bei den [[Einsatzszenarien]]. Zugehörige Experten sowie von diesen in bestimmten Szenarien eingesetzte Technologien sind in der [[Kompetenzmatrix]] aufgeführt.
−
* '''Form''': Abhängig von der Professionalisierungsebene: Fakten und Konzepte können z.B. mit Multiple-Choice-Aufgaben getestet werden. Eine Gegenüberstellung, welche Fragetypen sich hier für welche Lernziele anbieten, findet sich z.B. bei Vogt und Schneider<ref>Michael Vogt, Stefan Schneider: ''E-Klausuren an Hochschulen: Didaktik – Technik – Systeme – Recht – Praxis'', Koordinationsstelle Multimedia, JLU Gießen, 2009, [http://geb.uni-giessen.de/geb/volltexte/2009/6890/ Download als PDF]</ref>. Um die Anwendung von Fakten und damit die Problemlösefähigkeiten der Prüflinge zu testen, bieten sich situationsbezogene Prüfungen oder Fallbeispiele an. Sollen Prüflinge hingegen erlernte Fertigkeiten zeigen, können sie dies z.B. in Simulatoren, virtuellen Laboren oder den OSCEs machen. Schließlich helfen begleitende Messungen, z.B. als Black Boxes, bei der Analyse alltäglicher Abläufe in der Praxis.
+
 
−
* '''Prüfender''': Legt fest, wer die Ergebnisse beurteilen soll. So kann ein Lehrender im Rahmen traditioneller Bewertung (Teacher Assessment) korrekte Antworten vorgeben und so zu einer automatisierten Auswertung beitragen. Sollen sich Prüflinge hingegen selbst einschätzen (Self Assessment), wie es z.B. mit Lernfortschrittskontrollen in reinen E-Learning-Einheiten üblich ist, erscheint es sinnvoll, Lösungswege oder zusätzliche Hinweise als Feedback zu hinterlegen. Eine Auswertung von Eingaben durch andere Prüflinge oder Gruppen (Peer/Group Assessment) setzt zudem Kriterienkataloge voraus, an denen sich diese zur Bewertung orientieren können. Auf diese Weise verschmelzen die Lernenden nach Bogner<ref>Christian Bogner: ''Studentisches Feedback im Bachelor - Eine empirische Untersuchung zur Effektivität und Qualität eines angepassten Peer-Assessment-Verfahrens'', in A. Back, P. Baumgartner, G. Reinmann et al. (Hrsg): ''zeitschrift für e-learning - lernkultur und bildungstechnologie'', ISSN: 1992-9579, Themenheft E-Assessment, S. 36-49, Studienverlag, Innsbruck, 2010</ref> stärker mit dem Lernprozess, was sich positiv auf den Lernerfolg auswirken kann.
+
In der Abbildung (rechts) sind diese verschiedene Einsatzszenarien eingeordnet in eine Matrix nach Relevanz für den Studienverlauf und der Notwendigkeit nach Überwachung. So ist eine benotete E-Klausur (oben rechts) z.B. sehr relevant für den weiteren Studienverlauf, da ein Scheitern daran ein Studium im schlimmsten Fall beenden kann. Aus diesem Grund finden E-Klausuren i.d.R. in überwachter Umgebung statt. Quizzes oder Zwischentests (unten links) hingegen sind kaum relevant für den Studienverlauf. Studierende können sie beliebig oft durchführen, z.B. bis sie das Thema verstanden haben. Eine Aufsicht ist dazu nicht nötig. Es scheint eine gute Idee zu sein, für den Einstieg in E-Prüfungen nicht direkt mit "gefährlichen" Einsatzszenarien zu beginnen, sondern ungefährlichere auszuwählen. Lehrende können auf diese Weise leicht den Umgang mit den neu eingesetzten Technologien lernen und deren Zuverlässigkeit erproben.
−
* '''Ort''': Prüfungen auf dem Campus, z.B. in einer Veranstaltung, sind i.d.R. anders gestaltet als Prüfungen, die Prüflinge zu Hause ablegen. Zudem ist von Bedeutung, ob eine Prüfung beaufsichtigt sein muss, weil z.B. Täuschungen erschwert werden sollen, oder ob sie der Übung oder Beschäftigung mit dem Thema dient und an beliebigen Orten abgewickelt werden kann. Feste Prüfungen setzen fest installierte Arbeitsplätze voraus, z.B. ein Testcenter wie es die Uni Bremen einsetzt. Für mobile Prüfungen kann man z.B. einen Hörsaal mit Tablet-PCs oder Clickern ausstatten, auf dem die Teilnehmer ihre Eingaben vornehmen.
+
 
−
* '''Zeit''': Neben dem Ort spielt auch die Zeit eine wesentliche Rolle. Abhängig vom Typ der Prüfung (formativ/summativ) ist zu entscheiden, ob einmalig oder kontinuierlich geprüft werden soll. Auch summative Prüfungen können kontinuierlich erfolgen, z.B. wenn im Rahmen eines Moduls mehrere Klausuren oder Tests vorgesehen sind.
+
Ist die Entscheidung für ein bestimmtes Einsatzszenario gefallen, ist im nächsten Schritt eine geeignete Metapher zu bestimmen, welche die Verwendung elektronischer Verfahren erleichtert. Soll z.B. eine bereits schriftlich vorliegende Version lediglich "elektronisiert" werden, damit diese die Lernenden auch auf anderen Kanälen als bisher erreichen kann? Oder sollen ganz neue Wege gegangen werden, die z.B. multimediale Elemente einbeziehen, die in der traditionellen schriftlichen Form nicht einbezogen werden konnten?
−
* '''Bewertung''': Die Auswertung von Eingaben kann abhängig von den ausgewählten Fragetypen manuell oder (teil-)automatisiert stattfinden. Eine Beurteilung der Ergebnisse liegt dann im didaktischen Ermessen des Lehrenden, insofern nicht in einer Ordnung oder Moduldeskriptor anders vorgeschrieben. Von traditionellen Formen bin zum „confidence-based marking“ (siehe dazu Gardner-Medwin und Gahan<ref>A.R. Gardner-Medwin, M. Gahan: ''Formative and Summative Confidence-Based Assessment'', in: ''Proceedings of the 7th CAA Conference'', S. 147-155, Loughborough University, Loughborough, 2003, [https://dspace.lboro.ac.uk/dspace-jspui/bitstream/2134/1910/1/gardner-medwin03.pdf Download als PDF] (Abgerufen am 15.07.2010)</ref>) sind verschiedene Methoden der Bewertung vorstellbar. Im letzteren Fall gibt der Prüfling neben jeder Antwort noch an, wie sicher er sich seiner Antwort ist (von unsicher/geraten bis sehr sicher). Damit sind Rückschlüsse auf das Zutrauen ins eigene Wissen sowie auf Fehler im Lernprozess möglich, die dann z.B. im formativen Fall in den weiteren Lernprozess einfließen können.
+
 
−
* '''Feedback''': Schließlich ist festzulegen, welche Rückmeldung die Prüflinge erhalten sollen. Feedback kann schriftlich erfolgen oder in einem Gespräch mit dem Bewertenden. Darüber hinaus ist zu überlegen, wie detailliert das Feedback sein muss. Die Reichweite reicht von einem „hat bestanden“ bis hin zu einer detaillierten Analyse von Schwachstellen mit einer individuellen Beratung. Ein solches Feedback kann z.B. direkt im Anschluss an die Abgabe oder erst nach abschließender Qualitätskontrolle durch den Lehrenden erfolgen (der dann vielleicht noch den Notenspiegel aufgrund der per Itemanalyse ermittelten Frageschwierigkeiten anpassen kann). Der Lehrende erhält durch die Antworten und statistischen Auswertungen der Eingaben ebenfalls ein Feedback, was besonders gut verstanden wurde und welche Inhalte vielleicht noch einmal aufgegriffen oder wiederholt werden sollten.
+
=== Assessmenttyp festlegen ===
 +
Auf Basis ihrer Anforderungen können sich Lehrende dann überlegen, wie ihre E-Assessments gestaltet sein sollten. Als Grundgerüst für diese Überlegungen können die bereits beschriebenen [[Elektronische Prüfung#Charakteristika elektronischer Prüfungen|Charakteristika]] elektronischer Prüfungen dienen. Beispiele dafür sind:
 +
* Fragebögen (z.B. mit einer Reihe von MC-Fragen)
 +
* Fallbeispiele (z.B. praxisnahes Abarbeiten eines typischen Falls)
 +
* Simulationen (z.B. Arbeiten in virtuellen Laboren)
 +
* Audience Response Systeme (z.B. um direktes und schnelles Feedback zu erhalten)
 +
* Werkzeugeinsatz (z.B. Nutzung typischer elektronischer Arbeitswerkzeuge zur Aufgabenerfüllung)
 +
* Black Box Messungen (im Sinne eines kontinuierlichen "Fahrtenschreibers" zur Leistungsmessung)
 +
* Videoanalyse (z.B. an Sporthochschulen)
 +
* Portfolio (als Kombination verschiedener Möglichkeiten)
 +
 
 +
Die Uni Bern stellt unter [http://assessment.unibe.ch "Toolbox-Assessment"] eine Online-Entscheidunghilfe für Lehrende zur Verfügung. Diese hilft bei der Auswahl eines passenden Assessmenttyps, indem sie Anforderungen der Lehrenden abfragt und mit einer Vielzahl möglicher Assessments abgleicht. Im Ergebnis wird ein Ranking der passendsten Assessments (mit zugehöriger Erklärung) dargestellt. Siehe dazu auch <ref>T. Tribelhorn: ''"Toolbox Assessment" - ein hochschuldidaktischer Service im virtuellen Raum (Praxis- und Werkstattbericht)'', in: K. Rummler (Hrsg.): ''Lernräume gestalten - Bildungskontexte vielfältig denken'', Reihe Medien in der Wissenschaft, Band 67, S. 207 - 212, Waxmann Verlag, Münster, 2014, [http://www.waxmann.com/fileadmin/media/zusatztexte/3142Volltext.pdf Download als PDF]</ref>.
  
−
=== Abläufe organisieren ===
+
=== Format auswählen ===
−
* siehe [[Organisation]]
+
Basierend auf den Lernzielen sind in einem weiteren Schritt die zugehörigen Formate auszuwählen. Ein Vorschlag dazu stammt aus den [https://www.zim.uni-wuppertal.de/fileadmin/zim/elearning/pdf/E-Pr%C3%BCfungsdidaktik.pdf Materialien zum Workshop „(E-)Prüfungsdidaktik“]. Dieses Modell wurde im Rahmen des Projekts E-Assessment NRW von Heike Seehagen-Marx und Alain Keller erstellt und ist nachfolgend illustriert:
  
−
=== Technologien aussuchen ===
+
[[Bild:Epd.png|800px]]
−
* siehe [[Technik]]
 
  
−
== Qualitätssicherung ==
+
Ein weiteres Modell ist das ''Computer Supported Evaluation of Learning Goals'' (CELG) von Mayer, Hertnagel & Weber<ref>Horst O. Mayer, Johannes Hertnagel, Heidi Weber: ''Lernzielüberprüfung im eLearning'', ISBN: 3-486-58844-3, Oldenbourg Verlag, München/Wien, 2009</ref>, das stark an die Taxonomie von Anderson & Krathwool<ref name="anderson" /> angelehnt ist und den jeweiligen Kategorien passende [[Aufgabentypen]] zuordnet.
−
[[Datei:Spannungsfeld.png|thumb|right|400px|Gütekriterien elektronischer Prüfungen]]
 
−
Lienert & Raatz<ref>Gustav A. Lienert, Ulrich Raatz: ''Testaufbau und Testanalyse'', 6. Auflage, ISBN-13: 978-3621274241, BeltzPVU, 1998, [http://books.google.de/books?id=-ZL_Ouwv8XsC bei Google Books]</ref> sowie Amelang & Schmidt-Atzert<ref>Manfred Amelang, Lothar Schmidt-Atzert: ''Psychologische Diagnostik und Intervention'', 4. Auflage, ISBN-13: 978-3540284628, Springer, Berlin, 2006, [http://books.google.de/books?id=radwVjEBO4YC bei Google Books]</ref> identifizieren verschiedene Gütekriterien eines Tests. Stieler<ref>Jona Florian Stieler: ''Validität summativer Prüfungen - Überlegungen zur Gestaltung von Klausuren'', ISBN: 3-938076-36-4, Janus Presse, Bielefeld, 2011, [http://duepublico.uni-duisburg-essen.de/servlets/DerivateServlet/Derivate-25877/Validitaet_Gesamt.pdf Download als PDF]</ref> untersucht diese Kriterien für den pädagogischen Bereich, insbesondere zur Gestaltung von Klausuren.
 
  
−
=== Hauptgütekriterien ===
+
Siehe zur Zuordnung von Lernzielen zu Aufgabentypen auch die [[Aufgabentypen#Auswahl des Aufgabentyps|Auswahl des Aufgabentyps]] im Rahmen der verschiedener [[Aufgabentypen]].
−
Bauen aufeinander auf, wobei jede Stufe ist nur nach Erfüllung der vorhergehenden zu erreichen ist.
 
−
* '''Objektivität''': Unabhängigkeit vom Untersucher; verschiedene Prüfer kommen bei gleichen Prüflingen zum gleichen Ergebnis.
 
−
** bei Durchführung der Prüfung (Durchführungsobjektivität)
 
−
** bei Auswertung der Antworten (Auswertungsobjektivität)
 
−
** bei Interpretation der Ergebnisse (Interpretationsobjektivität)
 
−
* '''Reliabilität''': Grad der Messgenauigkeit; Wiederholungen erbringen bei gleichen Beteiligten gleiche Ergebnisse.
 
−
** durch Paralleltests: streng vergleichbare Tests wiederholen
 
−
** durch Retests: gleichen Test wiederholen
 
−
** innere Konsistenz: messbar z.B. als [http://de.wikipedia.org/wiki/Cronbachs_Alpha Cronbachs Alpha]
 
−
*** durch Testhalbierung: Test in gleichwertige Hälften teilen und als 2 eigene Tests auswerten (siehe Paralleltest)
 
−
*** durch Konsistenzanalyse: Ermittlung der Reliabilität auf indirektem Weg über Aufgabenschwierigkeit und Trennschärfe
 
−
* '''Validität''': Ergebnisse des Tests korrelieren mit den zu prüfenden Kompetenzen.
 
−
** Inhaltsvalidität: Test prüft Wissen/Kompetenzen/Leistung, die mit Lehrzielen übereinstimmen.
 
−
** Konstruktvalidität Test ist geeignet, inhaltliche Kompetenzen zu erfassen (und nicht z.B. die Fähigkeit des Prüflings, Gedanken in kurzer Zeit aufzuschreiben/einzugeben).
 
−
** Kriteriumsvalidität: Testergebnisse stimmen mit empirischem Kriterium überein, das bereits vorliegt (konkurrente Validität, z.B. Schulnoten) oder erst später erkennbar wird (prognostische Validität, z.B. Studienerfolg).
 
  
−
=== Nebengütekriterien ===
+
Eine allgemeine Übersicht, welcher Prüfungstyp zu welchen Lernzielen passt, stammt von Peter Baumgartner und findet sich in der folgenden Abbildung (Quelle: [http://www.uni-goettingen.de/de/document/download/151fbafedccc1bf6a92de69e2b35a7b4.pdf/E-Didaktik_Keynote.pdf Vortragsfolien] zur Keynote der E-Didaktik-Tagung in Göttingen 2015).
−
* '''Akzeptanz''': Test ist für Prüflinge transparent; keine Normen werden verletzt.
 
−
* '''Ökonomie''': Nutzen übersteigt Kosten.
 
−
* '''Chancengerechtigkeit/Fairness''': Gleiche Voraussetzungen für alle.
 
  
−
=== Spannungsfeld ===
+
[[Datei:Taxopruefung.png|600px]]
−
Die genannten Kriterien können sich gegenseitig beeinflussen. Ein Beispiel: setzt man genügend Mittel und Zeit ein (Ökonomie), ist es möglich, eine Prüfung sehr objektiv, reliabel und valide zu gestalten. Das erhöht ebenso die Akzeptanz unter den Prüflingen. Sind hingegen hohe Reliabilität und Akzeptanz nicht wichtig, ist eine auch mit geringerem Mitteleinsatz möglich. Diese Faktoren sind jeweils im Einzelfall abzuwägen.
 
  
−
=== Itemanalyse ===
+
=== Aufgaben erstellen ===
−
Itemanalyse bezeichnet die Verwendung statistischer Verfahren, um die Brauchbarkeit von Aufgaben (den sog. Items) zu beurteilen. Sie versucht deren Reliabilität zu erfassen und ist damit Voraussetzung, diese ggf. zu verbessern. Dies geschieht i.d.R. durch Analyse der Rohwertverteilung, Berechnung statistischer Kennwerte wie Itemschwierigkeit, Trennschärfe und Homogenität sowie durch Dimensionalitätsprüfung. Häufig wird die Itemanalyse mit Antworten einer Referenzgruppe durchgeführt, die der Zielgruppe (als Stichprobe) ähnlich ist.
+
siehe z.B.
−
* '''Rohwertverteilung''': Durch grafische Darstellung der Ergebnisse besteht die Möglichkeit, die Verteilung mit der (gewünschten oder erwarteten) Normalverteilung zu vergleichen
+
* Vorgehen beim [[MC-Fragen erstellen|Erstellen von MC-Aufgaben]]
−
* '''Itemschwierigkeit''': Gibt das Verhältnis der Personen, die dieses Item richtig gelöst haben, zu sämtlichen Testteilnehmern an.
+
* [[Best-Practices#Didaktik: Beispielfragen|Beispielfragen unterschiedlicher Fachgebiete]]
−
* '''Trennschärfe''': Macht Aussagen über die Vorhersagbarkeit des Gesamtergebnisses aufgrund der Beantwortung des vorliegenden Items.
 
−
* '''Homogenität''': Gibt an, wie sehr die unterschiedlichen Items eines Tests miteinander korrelieren, sowohl vom Inhalt als auch von ihrer Schwierigkeit.
 
−
* '''Dimensionalität''': Beschreibt, ob ein Test nur ein Merkmal (eindimensionaler Test) oder mehrere Konstrukte bzw. Teil-Konstrukte erfasst (mehrdimensionaler Test).
 
  
 
== Weiterführende Informationen ==
 
== Weiterführende Informationen ==
−
* [[Fragetypen | Verschiedene Aufgabentypen]]
+
* [[Aufgabentypen | Verschiedene Aufgabentypen]]
 
* [[MC-Fragen erstellen | Erstellen von Multiple-Choice-Aufgaben]]
 
* [[MC-Fragen erstellen | Erstellen von Multiple-Choice-Aufgaben]]
−
* [[Organisation und Durchführung|Organisation und Durchführung elektronischer Prüfungen]]
+
* [[Organisation|Organisation und Durchführung elektronischer Prüfungen]]
 
* [[Kompetenzmatrix|Ansprechpartner und Experten]]
 
* [[Kompetenzmatrix|Ansprechpartner und Experten]]
−
* [[Technik und Systeme]]
+
* [[Technik|Technik und Systeme]]
 
* [[Funktionsumfang ausgewählter E-Prüfungssysteme|Vergleich verschiedener E-Prüfungssysteme]]
 
* [[Funktionsumfang ausgewählter E-Prüfungssysteme|Vergleich verschiedener E-Prüfungssysteme]]
−
* [http://doodle.com/4npfdn8ziikbyt5k An Hochschulen eingesetzte Systeme (ZKI-Umfrage)]
+
* [[Prüfungsqualität|Qualität von E-Prüfungen]]
 +
* [http://doodle.com/4npfdn8ziikbyt5k An Hochschulen eingesetzte E-Prüfungssysteme (ZKI-Umfrage)]
 +
* [https://www.mmkh.de/fileadmin/dokumente/publikationen/2021_06-16_Online-Pruefungen-Wollersheim.pdf Online-Prüfungen erfolgreich gestalten (Download als PDF)]: Vortrag von Heinz-Werner Wollersheim vom 16.06.2021
  
 
== Literaturnachweise ==
 
== Literaturnachweise ==
 
<references />
 
<references />
  
−
{{Grundlagen}}
+
== Literatur ==
 +
* Manfred Amelang, Lothar Schmidt-Atzert: ''Psychologische Diagnostik und Intervention'', 4. Auflage, ISBN-13: 978-3540284628, Springer, Berlin, 2006, [http://books.google.de/books?id=radwVjEBO4YC bei Google Books]
 +
* L.W. Anderson, D.R. Krathwohl, P.W. Airasian, K.A. Cruikshank, R.E. Mayer, P.R. Pintrich, J. Raths, M.C. Wittrock: ''A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives'', New York, Longman, 2001
 +
* Hermann Astleitner: ''Die lernrelevante Ordnung von Aufgaben nach der Aufgabenschwierigkeit'', in: Josef Thonhauser (Hrsg.): ''Aufgaben als Katalysatoren von Lernprozessen. Eine zentrale Komponente organisierten Lehrens und Lernens aus der Sicht von Lernforschung, Allgemeiner Didaktik und Fachdidaktik'', Münster, S. 65-80, 2008
 +
* Peter Baumgartner: ''Taxonomie von Unterrichtsmethoden - Ein Plädoyer für didaktische Vielfalt'', ISBN: 978-3-8309-2546-0Waxmann Verlag, Münster, 2011
 +
* Benjamin S. Bloom: ''Taxonomie von Lernzielen im kognitiven Bereich'', 5. Auflage, Beltz Verlag, Weinheim, 1976
 +
* Christian Bogner: ''Studentisches Feedback im Bachelor - Eine empirische Untersuchung zur Effektivität und Qualität eines angepassten Peer-Assessment-Verfahrens'', in A. Back, P. Baumgartner, G. Reinmann et al. (Hrsg): ''zeitschrift für e-learning - lernkultur und bildungstechnologie'', ISSN: 1992-9579, Themenheft E-Assessment, S. 36-49, Studienverlag, Innsbruck, 2010
 +
* Louis Deslauriers, Ellen Schelew, Carl Wieman: ''Improved Learning in a Large-Enrollment Physics Class'', Science, Vol. 332, Nr. 6031, S. 862-864, 13. Mai 2011, [http://www.sciencemag.org/content/332/6031/862.full Artikel im Volltext]
 +
* Steven M. Downing: ''Assessment of knowledge with written test forms'', in: G. R. Norman, C. P. M. van der Vleuten, D. I. Newble (Hrsg.): ''International handbook for research in medical education'', Dordrecht, NL, S. 647-672, 2002
 +
* Stephen W. Draper: ''Catalytic assessment: understanding how MCQs and EVS can foster deep learning'', in: ''British Journal of Educational Technology'', Vol. 40, No. 2, S. 285-293, 2009
 +
* John Erpenbeck, Lutz von Rosenstiel: ''Handbuch Kompetenzmessung'', 2. Aufl. Stuttgart, 2007
 +
* Johannes Hartig, Eckhard Klieme (Hrsg.): ''Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik'', Bildungsforschung Band 20, Bonn/Berlin, 2007, [http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf Download als PDF]
 +
* James C. Impera, David Foster: ''Item and Test Development Strategies to Minimize Test Fraud'', in: Steven M. Downing, Thomas M. Haladyna: ''Handbook of Test Development'', Mahwah, N.J., S. 91-114, 2006
 +
* Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: ''Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen'', 1999, [http://www.i-med.ac.at/lehre/lehre/didaktik_fortb/MAW/kompetent_pruefen.pdf Download als PDF]
 +
* Veronika Kopp, Andreas Möltner, Martin R. Fischer: ''Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden'', in: GMS Zeitschrift für Medizinische Ausbildung, ISSN 1860-3572, 23(3), 2006, [http://www.medizinische-fakultaet-hd.uni-heidelberg.de/fileadmin/kompzent/Kopp_Moeltner_KF.pdf Artikel als PDF]
 +
* Sue M. Legg: ''Handbook on Testing and Grading'', Gainsville, Florida, 1991, [http://www.at.ufl.edu/testing/handbook.pdf Download als PDF]
 +
* Gustav A. Lienert, Ulrich Raatz: ''Testaufbau und Testanalyse'', 6. Auflage, ISBN-13: 978-3621274241, BeltzPVU, 1998, [http://books.google.de/books?id=-ZL_Ouwv8XsC bei Google Books]
 +
* Horst O. Mayer, Johannes Hertnagel, Heidi Weber: ''Lernzielüberprüfung im eLearning'', ISBN: 3-486-58844-3, Oldenbourg Verlag, München/Wien, 2009
 +
* George E. Miller: ''The Assessment of Clinical Skills/Competence/Performance'', in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, [http://journals.lww.com/academicmedicine/Abstract/1990/09000/The_assessment_of_clinical.45.aspx Download als PDF]
 +
* Georg Hans Neuweg: ''Das Können prüfen - Plädoyer für eine andere Prüfungsdidaktik'', in: ''GdWZ - Grundlagen der Weiterbildung'', Ausgabe 12 (2001) 5, S. 202-205, [http://www.hum.tsn.at/cms/upload/pdf/Neuweg(2001).pdf Download als PDF]
 +
* A. H. Perlini, D. L. Lind, D. L., B. D. Zumbo: ''Context effects on examinations: The effect of time, item order and item difficulty'', in: ''Canadian Psychology'', Vol. 39, S. 299-307, 1998
 +
* Gabi Reinmann: ''Bologna in Zeiten des Web 2.0 - Assessment als Gestaltungsfaktor'', Arbeitsbericht Nr. 16, Universität Augsburg, 2007, [http://www.imb-uni-augsburg.de/files/Arbeitsbericht_16.pdf Download als PDF]
 +
* Gabi Reinmann: ''Kompetenz - Qualität - Assessment: Hintergrundfolie für das technologiebasierte Lernen'', Preprint, wird erscheinen in: M. Mühlhäuser, W. Sesink, A. Kaminski, (Hrsg.): ''Interdisziplinäre Zugänge zu technologiegestütztem Lernen'', (Arbeitstitel), Münster, 2009, [http://gabi-reinmann.de/wp-content/uploads/2009/05/artikel_darmstadt_juni091.pdf Download als PDF]
 +
* Hans-Gerd Ridder, Hans-Jürgen Bruns, Stefan Brünn: ''Online- und Multimediainstrumente zur Kompetenzerfassung'', QUEM-report, Schriften zur beruflichen Weiterbildung, Heft 86, ISSN: 0944-4092, Berlin, 2004, [http://www.abwf.de/content/main/publik/report/2004/report-86.pdf Download als PDF]
 +
* Michael C. Rodriguez: ''Choosing an item format'', in G. Tindal, Thomas M. Haladyna (Hrsg.): ''Large-scale assessment programs for all students: Validity, Technical Adequacy, and Implementation'', Mahwah, NJ. S. 213-231, 2002
 +
* E. Schaper, A. Tipold, J. P. Ehlers: ''Einsatz von Key Feature Questions (KFQ) in der Tiermedizin'', in: ''Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)'', München, 2011, [http://www.egms.de/static/en/meetings/gma2011/11gma111.shtml Abstract]
 +
* Stephen G. Sireci, April L. Zenisky: ''Innovative Item Formats in Computer-Based Training: In Pursuit of Improved Construct Representation'', in: Steven M. Downing, Thomas M. Haladyna (Hrsg.): ''Handbook of Test Development'', Mahwah, N.J., S. 329-348, 2006
 +
* Wissenschaftsrat: ''Empfehlungen zur Qualitätsverbesserung von Lehre und Studium'', Berlin, 2008, [http://www.exzellente-lehre.de/pdf/empfehlungen_zur_qualitaetsverbesserung_von_lehre_und_studium_2008.pdf Download als PDF]
 +
 
 +
[[Kategorie:Grundlagen]]
 +
[[Kategorie:Didaktik]]

Aktuelle Version vom 21. Juni 2021, 07:26 Uhr

Didaktische Entscheidungen

Wer den Einsatz von E-Prüfungen plant, muss eine Reihe von didaktischen Entscheidungen treffen, die hier im Einzelnen besprochen werden sollen. Rechtliche, organisatorische und technische Fragen, die sich im Zusammenhang mit dem Einsatz von E-Prüfungen stellen, werden dort thematisiert.

Zweck identifizieren

Einsatzmöglichkeiten für E-Prüfungen an Hochschulen

An Hochschulen gibt es verschiedene Bereiche, in denen sich E-Prüfungen einsetzen lassen. Diese sind im Abschnitt Einsatzszenarien ausführlich beschrieben. Mithilfe von E-Prüfungen nimmt man Bewertung über eine Person vor, die nicht für sich stehen, sondern einem bestimmten Zweck dienen:

Diagnostisches Assessment
Als Eingangstest soll eine solche Prüfung die Vorkenntnisse von Prüflingen identifizieren, als prognostische Prüfung den zu erwartenden Lernerfolg vorhersagen. Das Ergebnis dieser Prüfung hilft dabei, die Lehre besser zu planen oder geeignete Veranstaltungstypen bzw. Lehrmethoden auszusuchen. Bsp.: Zulassungs- und Einstufungstests

Formatives Assessment
Um einen möglichst großen Lernerfolg zu produzieren, ist der Lernprozess kontinuierlich an Erfordernisse der Lernenden anzupassen. Eine formative Prüfung begleitet das Lernen dazu als Zwischenmessung und versucht, das bereits erzielte Lernergebnis festzustellen. Bsp.: Vor- und Nachbereitung von Lehrveranstaltungen, Clicker & Audience Response Systems

Summatives Assessment
Eine summative Prüfung misst Leistungen oder Fertigkeiten im Anschluss an das Lernen und damit den abschließenden Lernerfolg. Dieser gibt den Grad der Übereinstimmung von Lernzielen mit dem erreichten Lernergebnis an. Bsp.: Elektronische Klausuren

Qualitätssicherung
Durch Sicherstellen notwendigen Grundwissens, Identifizieren geeigneter Kurse, Anpassung der Lehre an individuelle Erfordernisse der Studierenden sowie Ermitteln des Lernerfolges tragen E-Prüfungen generell zur Anreicherung der Hochschullehre bei. Bsp.: Progresstests aber auch Lehrevaluationen

Lernziele bestimmen

Professionalisierungebenen in Anlehnung an Miller[1]

Ob oder wie stark ein Lernziel (bisher) erreicht wurde, lässt sich nur prüfen, wenn solche Lernziele vorab klar spezifiziert wurden.

Ein Lernziel ist die Erwartung an ein bestimmtes Lernergebnis, das Lernende bezogen auf eine bestimmte Lerneinheit oder einen Lernabschnitt erreichen sollen. Bloom[2] unterschied zu dem Zweck unterschiedliche Klassen von Lernzielen:

  • Kognitive Ziele: Wissen, Verstehen, Anwenden, Analyse, Synthese, Evaluation
  • Affektive Ziele: Aufmerksamwerden, Beachten, Reagieren, Werten, Strukturierter Aufbau eines Wertesystems, Erfüllt sein durch einen Wert oder eine Wertstruktur
  • Psychomotorische Ziele: Imitation, Manipulation, Präzision, Handlungsgliederung, Naturalisierung

Diese Klassen beschreiben einfache theoretische bis hin zu komplexen praktischen Fertigkeiten. Abhängig davon, wie theorie- oder praxisnah die zu überprüfenden Fertigkeiten sind, ist ein jeweils unterschiedlicher Einsatz elektronischer Leistungsmessung denkbar. Miller[1] hat zu dem Zweck verschiedene Ebenen der Professionalisierung identifiziert (siehe Abb. rechts) und diesen - je nach Praxisnähe - jeweils unterschiedliche Verfahren zur Leistungsmessung zugeordnet.

Model of Learning Objectives (Quelle: Rex Heer, Download als PDF)

Damit sie Lernziele besser einordnen können, haben Anderson & Krathwool[3] das Grundmodell von Bloom erweitert und eine eigene Taxonomie beschrieben. Diese bezieht neben den verschiedenen Wissensdimensionen auch Schritte des kognitiven Prozesses ein.

Die Abbildung auf der rechten Seite zeigt eine beispielhafte Ausprägung dieses Modells nach Rex Heer[4], weitere Informationen dazu finden sich im Handout der ISU. Die darin angegebenen Lernziele bestehen beispielhaft jeweils aus Verb und Objekt, wobei das Verb den kognitiven Prozess und das Objekt das Wissen beschreibt, das konstruiert bzw. erlernt werden soll. Eine ausführliche Beschreibung verschiedener Taxonomien mit Beispielen und Einsatzideen für den Unterricht findet sich auch bei Peter Baumgartner[5].

Sind Lernziele bereits im Voraus spezifiziert, können Lehrende auf ihrer Grundlage leichter passende Aufgaben erstellen, die das Erreichen dieser Ziele im Nachhinein überprüfen sollen. Die nachfolgende Tabelle listet noch einmal die Dimensionen nach Anderson & Krathwool auf und beinhaltet Beispiele für mögliche Prüfungsfragen (bzw. Links dorthin).

Dimension des Wissens Dimension des kognitiven Prozesses
1. Erinnern
  • Wiedererkennen
  • Entsinnen, Abrufen
 2. Verstehen
  • Interpretieren
  • Exemplifizieren
  • Klassifizieren
  • Zusammenfassen
  • Erschließen, Ableiten
  • Vergleichen
  • Erklären
 3. Anwenden
  • Ausführen
  • Implementieren, Anwenden, Durchführen
 4. Analysieren
  • Differenzieren
  • Organisieren
  • Zuschreiben, Zuordnen
 5. Bewerten (Evaluieren)
  • Prüfen
  • Kritisieren
 6. Erzeugen
  • Generieren
  • Planen
  • Produzieren
A. Faktenwissen
  • Begriffliches Wissen
  • Wissen über spezifische Details und Elemente
 A.1 A.2 A.3 A.4 A.5 A.6
B. Konzeptionelles Wissen
  • Wissen über Klassifikationen und Kategorien
  • Wissen über Prinzipien und Verallgemeinerungen
  • Wissen über Theorien, Modelle und Strukturen
 B.1 B.2 B.3 B.4 B.5 B.6
C. Prozedurales Wissen
  • Wissen über themenspezifische Fertigkeiten und Algorithmen
  • Wissen über themenspezifische Techniken und Methoden
  • Wissen über Kriterien zur Bestimmung und Nutzung geeigneter Verfahren
 C.1 C.2 C.3 C.4 C.5 C.6
D. Meta-kognitives Wissen
  • Strategisches Wissen
  • Wissen über kognitive Aufgaben, inkl. geeignetes kontextuelles und abhängiges Wissen
  • Selbst-Wissen
 D.1 D.2 D.3 D.4 D.5 D.6

Einsatzszenario auswählen

Denkbare Einsatzszenarien von E-Prüfungen mit Einordnung nach "Gefährlichkeit", d.h. Relevanz für den weiteren Studienverlauf

Vor dem Hintergrund zu welchem Zweck, welche Lernziele mit welchen Aufgaben erfasst werden sollen, lässt sich ein geeignetes Einsatzszenario auswählen.

Eine Beschreibung der verschiedenen Möglichkeiten sowie Praxisbeispiele finden sich bei den Einsatzszenarien. Zugehörige Experten sowie von diesen in bestimmten Szenarien eingesetzte Technologien sind in der Kompetenzmatrix aufgeführt.

In der Abbildung (rechts) sind diese verschiedene Einsatzszenarien eingeordnet in eine Matrix nach Relevanz für den Studienverlauf und der Notwendigkeit nach Überwachung. So ist eine benotete E-Klausur (oben rechts) z.B. sehr relevant für den weiteren Studienverlauf, da ein Scheitern daran ein Studium im schlimmsten Fall beenden kann. Aus diesem Grund finden E-Klausuren i.d.R. in überwachter Umgebung statt. Quizzes oder Zwischentests (unten links) hingegen sind kaum relevant für den Studienverlauf. Studierende können sie beliebig oft durchführen, z.B. bis sie das Thema verstanden haben. Eine Aufsicht ist dazu nicht nötig. Es scheint eine gute Idee zu sein, für den Einstieg in E-Prüfungen nicht direkt mit "gefährlichen" Einsatzszenarien zu beginnen, sondern ungefährlichere auszuwählen. Lehrende können auf diese Weise leicht den Umgang mit den neu eingesetzten Technologien lernen und deren Zuverlässigkeit erproben.

Ist die Entscheidung für ein bestimmtes Einsatzszenario gefallen, ist im nächsten Schritt eine geeignete Metapher zu bestimmen, welche die Verwendung elektronischer Verfahren erleichtert. Soll z.B. eine bereits schriftlich vorliegende Version lediglich "elektronisiert" werden, damit diese die Lernenden auch auf anderen Kanälen als bisher erreichen kann? Oder sollen ganz neue Wege gegangen werden, die z.B. multimediale Elemente einbeziehen, die in der traditionellen schriftlichen Form nicht einbezogen werden konnten?

Assessmenttyp festlegen

Auf Basis ihrer Anforderungen können sich Lehrende dann überlegen, wie ihre E-Assessments gestaltet sein sollten. Als Grundgerüst für diese Überlegungen können die bereits beschriebenen Charakteristika elektronischer Prüfungen dienen. Beispiele dafür sind:

  • Fragebögen (z.B. mit einer Reihe von MC-Fragen)
  • Fallbeispiele (z.B. praxisnahes Abarbeiten eines typischen Falls)
  • Simulationen (z.B. Arbeiten in virtuellen Laboren)
  • Audience Response Systeme (z.B. um direktes und schnelles Feedback zu erhalten)
  • Werkzeugeinsatz (z.B. Nutzung typischer elektronischer Arbeitswerkzeuge zur Aufgabenerfüllung)
  • Black Box Messungen (im Sinne eines kontinuierlichen "Fahrtenschreibers" zur Leistungsmessung)
  • Videoanalyse (z.B. an Sporthochschulen)
  • Portfolio (als Kombination verschiedener Möglichkeiten)

Die Uni Bern stellt unter "Toolbox-Assessment" eine Online-Entscheidunghilfe für Lehrende zur Verfügung. Diese hilft bei der Auswahl eines passenden Assessmenttyps, indem sie Anforderungen der Lehrenden abfragt und mit einer Vielzahl möglicher Assessments abgleicht. Im Ergebnis wird ein Ranking der passendsten Assessments (mit zugehöriger Erklärung) dargestellt. Siehe dazu auch [6].

Format auswählen

Basierend auf den Lernzielen sind in einem weiteren Schritt die zugehörigen Formate auszuwählen. Ein Vorschlag dazu stammt aus den Materialien zum Workshop „(E-)Prüfungsdidaktik“. Dieses Modell wurde im Rahmen des Projekts E-Assessment NRW von Heike Seehagen-Marx und Alain Keller erstellt und ist nachfolgend illustriert:

Epd.png

Ein weiteres Modell ist das Computer Supported Evaluation of Learning Goals (CELG) von Mayer, Hertnagel & Weber[7], das stark an die Taxonomie von Anderson & Krathwool[3] angelehnt ist und den jeweiligen Kategorien passende Aufgabentypen zuordnet.

Siehe zur Zuordnung von Lernzielen zu Aufgabentypen auch die Auswahl des Aufgabentyps im Rahmen der verschiedener Aufgabentypen.

Eine allgemeine Übersicht, welcher Prüfungstyp zu welchen Lernzielen passt, stammt von Peter Baumgartner und findet sich in der folgenden Abbildung (Quelle: Vortragsfolien zur Keynote der E-Didaktik-Tagung in Göttingen 2015).

Taxopruefung.png

Aufgaben erstellen

siehe z.B.

Weiterführende Informationen

Literaturnachweise

  1. ↑ 1,0 1,1 George E. Miller: The Assessment of Clinical Skills/Competence/Performance, in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, Download als PDF (Abgerufen am 14.06.2010)
  2. ↑ Benjamin S. Bloom: Taxonomie von Lernzielen im kognitiven Bereich, 5. Auflage, Beltz Verlag, Weinheim, 1976
  3. ↑ 3,0 3,1 L.W. Anderson, D.R. Krathwohl, P.W. Airasian, K.A. Cruikshank, R.E. Mayer, P.R. Pintrich, J. Raths, M.C. Wittrock: A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives, New York, Longman, 2001
  4. ↑ Model created by: Rex Heer Iowa State University, Center for Excellence in Learning and Teaching, Updated January, 2012, Licensed under a Creative Commons Attribution- NonCommercial-ShareAlike 3.0 Unported License. For additional resources, see: www.celt.iastate.edu/teaching/RevisedBlooms1.html
  5. ↑ Peter Baumgartner: Taxonomie von Unterrichtsmethoden - Ein Plädoyer für didaktische Vielfalt, ISBN: 978-3-8309-2546-0Waxmann Verlag, Münster, 2011
  6. ↑ T. Tribelhorn: "Toolbox Assessment" - ein hochschuldidaktischer Service im virtuellen Raum (Praxis- und Werkstattbericht), in: K. Rummler (Hrsg.): Lernräume gestalten - Bildungskontexte vielfältig denken, Reihe Medien in der Wissenschaft, Band 67, S. 207 - 212, Waxmann Verlag, Münster, 2014, Download als PDF
  7. ↑ Horst O. Mayer, Johannes Hertnagel, Heidi Weber: Lernzielüberprüfung im eLearning, ISBN: 3-486-58844-3, Oldenbourg Verlag, München/Wien, 2009

Literatur

  • Manfred Amelang, Lothar Schmidt-Atzert: Psychologische Diagnostik und Intervention, 4. Auflage, ISBN-13: 978-3540284628, Springer, Berlin, 2006, bei Google Books
  • L.W. Anderson, D.R. Krathwohl, P.W. Airasian, K.A. Cruikshank, R.E. Mayer, P.R. Pintrich, J. Raths, M.C. Wittrock: A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives, New York, Longman, 2001
  • Hermann Astleitner: Die lernrelevante Ordnung von Aufgaben nach der Aufgabenschwierigkeit, in: Josef Thonhauser (Hrsg.): Aufgaben als Katalysatoren von Lernprozessen. Eine zentrale Komponente organisierten Lehrens und Lernens aus der Sicht von Lernforschung, Allgemeiner Didaktik und Fachdidaktik, Münster, S. 65-80, 2008
  • Peter Baumgartner: Taxonomie von Unterrichtsmethoden - Ein Plädoyer für didaktische Vielfalt, ISBN: 978-3-8309-2546-0Waxmann Verlag, Münster, 2011
  • Benjamin S. Bloom: Taxonomie von Lernzielen im kognitiven Bereich, 5. Auflage, Beltz Verlag, Weinheim, 1976
  • Christian Bogner: Studentisches Feedback im Bachelor - Eine empirische Untersuchung zur Effektivität und Qualität eines angepassten Peer-Assessment-Verfahrens, in A. Back, P. Baumgartner, G. Reinmann et al. (Hrsg): zeitschrift für e-learning - lernkultur und bildungstechnologie, ISSN: 1992-9579, Themenheft E-Assessment, S. 36-49, Studienverlag, Innsbruck, 2010
  • Louis Deslauriers, Ellen Schelew, Carl Wieman: Improved Learning in a Large-Enrollment Physics Class, Science, Vol. 332, Nr. 6031, S. 862-864, 13. Mai 2011, Artikel im Volltext
  • Steven M. Downing: Assessment of knowledge with written test forms, in: G. R. Norman, C. P. M. van der Vleuten, D. I. Newble (Hrsg.): International handbook for research in medical education, Dordrecht, NL, S. 647-672, 2002
  • Stephen W. Draper: Catalytic assessment: understanding how MCQs and EVS can foster deep learning, in: British Journal of Educational Technology, Vol. 40, No. 2, S. 285-293, 2009
  • John Erpenbeck, Lutz von Rosenstiel: Handbuch Kompetenzmessung, 2. Aufl. Stuttgart, 2007
  • Johannes Hartig, Eckhard Klieme (Hrsg.): Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik, Bildungsforschung Band 20, Bonn/Berlin, 2007, Download als PDF
  • James C. Impera, David Foster: Item and Test Development Strategies to Minimize Test Fraud, in: Steven M. Downing, Thomas M. Haladyna: Handbook of Test Development, Mahwah, N.J., S. 91-114, 2006
  • Institut für Aus-, Weiter- und Fortbildung Medizinische Fakultät Universität Bern: Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen, 1999, Download als PDF
  • Veronika Kopp, Andreas Möltner, Martin R. Fischer: Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden, in: GMS Zeitschrift für Medizinische Ausbildung, ISSN 1860-3572, 23(3), 2006, Artikel als PDF
  • Sue M. Legg: Handbook on Testing and Grading, Gainsville, Florida, 1991, Download als PDF
  • Gustav A. Lienert, Ulrich Raatz: Testaufbau und Testanalyse, 6. Auflage, ISBN-13: 978-3621274241, BeltzPVU, 1998, bei Google Books
  • Horst O. Mayer, Johannes Hertnagel, Heidi Weber: Lernzielüberprüfung im eLearning, ISBN: 3-486-58844-3, Oldenbourg Verlag, München/Wien, 2009
  • George E. Miller: The Assessment of Clinical Skills/Competence/Performance, in Academic Medicine, Ausgabe 65 (9), S. 63-67, 1990, Download als PDF
  • Georg Hans Neuweg: Das Können prüfen - Plädoyer für eine andere Prüfungsdidaktik, in: GdWZ - Grundlagen der Weiterbildung, Ausgabe 12 (2001) 5, S. 202-205, Download als PDF
  • A. H. Perlini, D. L. Lind, D. L., B. D. Zumbo: Context effects on examinations: The effect of time, item order and item difficulty, in: Canadian Psychology, Vol. 39, S. 299-307, 1998
  • Gabi Reinmann: Bologna in Zeiten des Web 2.0 - Assessment als Gestaltungsfaktor, Arbeitsbericht Nr. 16, Universität Augsburg, 2007, Download als PDF
  • Gabi Reinmann: Kompetenz - Qualität - Assessment: Hintergrundfolie für das technologiebasierte Lernen, Preprint, wird erscheinen in: M. Mühlhäuser, W. Sesink, A. Kaminski, (Hrsg.): Interdisziplinäre Zugänge zu technologiegestütztem Lernen, (Arbeitstitel), Münster, 2009, Download als PDF
  • Hans-Gerd Ridder, Hans-Jürgen Bruns, Stefan Brünn: Online- und Multimediainstrumente zur Kompetenzerfassung, QUEM-report, Schriften zur beruflichen Weiterbildung, Heft 86, ISSN: 0944-4092, Berlin, 2004, Download als PDF
  • Michael C. Rodriguez: Choosing an item format, in G. Tindal, Thomas M. Haladyna (Hrsg.): Large-scale assessment programs for all students: Validity, Technical Adequacy, and Implementation, Mahwah, NJ. S. 213-231, 2002
  • E. Schaper, A. Tipold, J. P. Ehlers: Einsatz von Key Feature Questions (KFQ) in der Tiermedizin, in: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA), München, 2011, Abstract
  • Stephen G. Sireci, April L. Zenisky: Innovative Item Formats in Computer-Based Training: In Pursuit of Improved Construct Representation, in: Steven M. Downing, Thomas M. Haladyna (Hrsg.): Handbook of Test Development, Mahwah, N.J., S. 329-348, 2006
  • Wissenschaftsrat: Empfehlungen zur Qualitätsverbesserung von Lehre und Studium, Berlin, 2008, Download als PDF
Abgerufen von „https://ep.elan-ev.de/index.php?title=Didaktik&oldid=4199“