Qualitätssicherung: Unterschied zwischen den Versionen

Aus E-Assessment-Wiki
Wechseln zu:Navigation, Suche
K (Plagiaterkennung)
(Einfluss von E-Assessments auf die Qualität IT-gestützter Hochschullehre)
 
(24 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Generell scheint der Einsatz von E-Prüfungen und E-Assessments die Qualität von Hochschullehre zu sichern bzw. zu verbessern: durch Sicherstellen notwendigen Grundwissens, Identifizieren geeigneter Kurse, Anpassung der Lehre an individuelle Erfordernisse der Studierenden sowie Ermitteln des Lernerfolges. Darüber hinaus ist die indirekte Sicherung der Qualität möglich, indem entsprechende Systeme nicht nur Wissen abfragen sondern Zufriedenheit mit der Lehre sowie Verbesserungsvorschläge. Zudem kann ihr Einsatz gezielt die Vorbereitung regulärer Prüfungen unterstützen oder den Fortschritt aufzeigen, den Studierende im Laufe ihres Studiums machen. Die jeweiligen Szenarien sind nachfolgend skizziert.
+
Wie wirken sich E-Assessments auf die Hochschullehre aus? Wie wirkt generell der Einsatz beliebiger E-Learning-Elemente auf die Qualität von Hochschullehre? Kann man immer davon ausgehen, dass jedes E-Learning-Element in jedem Einsatzszenario immer auch einen positiven Einfluss hat? Die nachfolgenden Überlegungen versuchen, diese Fragen zu beantworten. Eine detailliertere Betrachtung ist im Artikel<ref>Markus Schmees: ''E-Assessments und die Qualität von Hochschullehre'', in: '' Greifswalder Beiträge zur Hochschullehre: Elektronische Prüfungsformen und E-Learning-Unterstützung für polyvalente Lehre'', Ausgabe 4, Heft 1/2015, ISBN: 978-3-86006-429-0, Uni Greifswald, Greifswald, S. 7-23, 2015, [http://www.uni-greifswald.de/fileadmin/mp/1_studieren/Qualitaetssicherung/GBzH/GBzH_Ausgabe_4_2015_online.pdf Download als PDF]</ref> in den ''Greifswalder Beiträgen'' zu finden.
  
== Progresstests ==
+
== Qualität von Hochschullehre ==
[[Datei:ProgressTest.png|thumb|350px|Fortschritt versch. Jahrgänge (Quelle: [http://ptm.charite.de/konzept/?no_cache=1&cid=15394&did=21704&sechash=0df32fb1 Charité])]]
+
Qualität gibt laut Laut DIN EN ISO 9000 den Grad an, in dem eine Sache mit daran gestellten Anforderungen übereinstimmt. Betrachtet man also z. B. den Lernerfolg als Absicht von Hochschullehre, dann erscheint ihre Qualität umso höher, je stärker Lernergebnis und Lernziele übereinstimmen und je nachhaltiger das Gelernte abrufbar bleibt. Zwar ist laut Wissenschaftsrat<ref>Wissenschaftsrat: ''Empfehlungen zur Qualitätsverbesserung von Lehre und Studium'', 2008 [http://www.wissenschaftsrat.de/download/archiv/8639-08.pdf Download als PDF]</ref> die Vermittlung von Erkenntnisfortschritt häufig ein Ziel der Hochschullehrenden; Staat, Geldgeber oder die Öffentlichkeit sehen aber eher das Erreichen eines Abschlusses oder die Zahl der Absolvent/inn/en als wesentliches Qualitätskriterium an. Weitere Ziele können aber auch z. B. die Befähigung zu wissenschaftlichem Arbeiten oder die Entwicklung von Soft-Skills wie Teamfähigkeit uvm. sein.
Ein Progresstest misst den Lernfortschritt, den Studierende im Laufe ihres Studiums machen. Dabei handelt es sich um Fragen, die den gesamten Umfang eines Studiums repräsentieren. Vor allem medizinische Hochschulen führen regelmäßige Progresstests durch, z.B. einmal pro Semester. Die Studierenden erhalten auf diese Weise Feedback zum eigenen Fortschritt. Lehrende oder Studiendekanate können feststellen, in welchen Semestern es stärker bzw. weniger stark vorangeht und darauf aufbauend Ursachen suchen und analysieren.
 
  
Typischerweise gibt es bei MC-Progresstests eine Antwortoption "weiß ich (noch) nicht". Das am Ende ermittelte Verhältnis von falschen zu weiß-nicht-Antworten kann Aufschluss über die Risikobereitschaft der Studierenden geben und z.B. in die Studienberatung einfließen.
+
Um die Gesamtqualität des Einsatzes von E-Assessments beurteilen zu können, ist neben der Qualität von gewünschten Ergebnissen (identifiziert durch die benannten Ziele) auch die Qualität des (Hochschullehr-)Prozesses selbst zu betrachten. Nach Klinger<ref>Melanie Klinger: ''Merkmale guter Hochschullehre: Definitionsversuche und Operationalisierbarkeit'', In: ''Berufs und Wirtschaftspädagogik – online'', Ausgabe 21, 2011 [http://www.bwpat.de/ausgabe21/klinger_bwpat21.pdf Download als PDF]</ref> wird die Güte dieses Prozesses insbesondere durch die Lehrenden (Teacher Factors) und die Lehr-/Lernaktivitäten (Teaching & Learning Activities) bestimmt. Dabei sind Merkmale guter Lehrende u. a. eine gute Vorbereitung, Fachwissen in der jeweiligen Disziplin, das Wissen um didaktische Methoden, aber auch die Erkenntnis, dass Lehre als Teamarbeit zu verstehen ist. Qualitätsmerkmale von Lehr-/Lernaktivitäten können sein u. a. Methodenvielfalt, Lernerzentrierung, die Förderung von Kooperation und die Selbstreflexion von Studierenden, aber auch eine authentische Aufgabenstellung.
  
Beispiele:
+
== Qualität von E-Assessments ==
* [http://ptm.charite.de Progress Test Medizin] der Charité Berlin
+
Faktoren, welche die Qualität von Assessments und E-Assessments, aber auch die Güte von Aufgaben beeinflussen können, wurden bereits im Rahmen von [[Prüfungsqualität]] beschrieben.
* [http://www.mh-hannover.de/ptm_01a.html Informationen zum Progresstest] an der MH Hannover
 
  
== Plagiaterkennung ==
+
== Einfluss von E-Assessments auf die Qualität der Hochschullehre ==
In der Wissenschaft ist die Aneignung fremder geistiger Leistungen ein Problem. Plagiatoren übernehmen z.B. Passagen oder ganze Texte aus fremden Werken, geben diese als eigene Texte aus oder bauen sie in ihre Ausarbeitungen ein. Dieses Verhalten kann gegen Prüfungsordnungen, Arbeitsverträge oder Universitätsrecht verstoßen. Daher fordern Hochschulen zumindest bei Abschlussarbeiten eine Erklärung, dass diese selbstständig verfasst, keine außer den angegebenen Quellen verwendet und zitierte Stellen explizit kenntlich gemacht wurden. Dienste zur Plagiaterkennung helfen den Prüfenden bei der Begutachtung der Arbeiten, indem sie versuchen, fremde Textpassagen zu identifizieren. Sie lassen damit zwar keinen Rückschluss auf den Lernerfolg zu (summative Prüfung), tragen damit aber zur Qualitätssicherung bei.
+
Wie wirkt sich nun aber ein E-Assessment in einem bestimmten Einsatzszenario zu einem bestimmten Zweck in einem bestimmten Fachgebiet auf mögliche Qualitätskriterien aus? Im Folgenden wurde versucht, mögliche Auswirkungen der Charakteristika von E-Assessments auf die vorab aufgeführten Qualitätsmerkmale von Hochschullehre (Teacher Factors und Teaching & Learning Activities) zu identifizieren. Das Ergebnis ist in der folgenden Tabelle angedeutet.
  
Prüfende setzen Plagiaterkennungsdienste ein, wenn Verdacht auf ein Plagiat besteht oder eine Ausarbeitung im Rahmen einer allgemeinen Begutachtung analysiert werden soll. Dazu muss das zu untersuchende Dokument in elektronischer Form (z.B. als PDF) vorliegen. Sollte das nicht der Fall sein, ist es vorher in ein solches Format zu überführen, z.B. mit Hilfe elektronischer Texterkennung (Optical Character Recognition). Im nächsten Schritt wird das Dokument beim Plagiaterkennungsdienst eingereicht, i.d.R. durch Upload via Browser. Der Dienst gleicht dann Textpassagen des eingereichten Dokuments mit Fremdquellen ab. Diese stammen aus einem größeren Datenbestand wie z.B. online verfügbaren Texten. Um gegenseitiges Abschreiben zu identifizieren, können die bereits hoch geladenen Dokumente ebenfalls in die Analyse einbezogen werden. Im Anschluss an die Auswertung stellt der Dienst einen Bericht zur Verfügung. Dieser beinhaltet den eingereichten Text mit denjenigen Passagen farbig markiert, die einer fremden Quelle zugeordnet werden konnten. Die zugehörige Quelle wird ebenfalls aufgeführt.
+
[[Datei:EinflussEALehre.png|500px|Möglicher Einfluss allgemeiner Charakteristika von E-Assessments auf Qualitätskriterien für Hochschullehre]]
  
Der Gutachter sollte jedoch zwei Dinge beachten, nämlich falsch positive und falsch negative Ergebnisse. Bei den falsch positiven Ergebnissen werden korrekte Zitate als Fremdtext erkannt - was sie ja auch sind! Negative Ergebnisse hingegen deuten darauf hin, dass kein fremder Text übernommen wurde. Hier kann aber aus einer Drucksache (z.B. Buch, Zeitschrift) abgeschrieben worden sein, die nicht elektronisch erfasst wurde oder die nicht im Datenbestand der Dienste vorhanden war. Darüber hinaus sind korrekt ausgeführte Auftragsarbeiten, also das Einreichen der Texte sog. Ghostwriter, auf diese Weise nicht zu erkennen.
+
E-Assessments haben das Potential, verschiedene Merkmale guter Hochschullehre in unterschiedlicher Weise zu unterstützen. Einige Beispiele folgen.
  
Beispiele für kommerzielle Plagiaterkennungsdienste:
+
* '''Vorbereitung von Lehrenden''': Schnelles Feedback hilft, die kommende Veranstaltung zu planen, da es zeigt, was schon verstanden wurde. Verschiedene Einsatzszenarien vergrößern die Auswahlmöglichkeiten der Lehrenden und unterstützen die Vorbereitung damit ebenfalls. Ein zeit- und ortsunabhängiger Zugriff auf Aufgaben erleichtert deren Anpassung und Bereitstellung, die bessere Lesbarkeit von Texten hilft, Aussagen von Studierenden schneller zu beurteilen.  
* [http://www.docoloc.de Docoloc]
 
* [http://www.ephorus.com Ephorus]
 
* [http://www.plagaware.de PlagAware]
 
* [http://www.plagiarismfinder PlagiarismFinder 2.0]
 
* [http://www.plagscan.com PlagScan]
 
* [http://www.turnitin.com Turnitin]
 
* [http://www.urkund.com Urkund]
 
  
== Lehrevaluationen ==
+
* '''Fachwissen der jeweiligen Disziplin''': Die breite Möglichkeit eines Einsatzes von IT sowie verschiedene Einsatzszenarien spielen dem Fachwissen indirekt zu, da Lehrende dadurch leichter passende Einsatzarten und -orte (z. B. Aufgaben direkt an Patient/inn/en im Bereich Medizin) auswählen können.
Lehrevaluationen stellen ebenfalls eine Form der Prüfung dar, nur dass in diesem speziellen Fall nicht nach Fakten oder Fertigkeiten gefragt wird, sondern nach der Zufriedenheit mit der Lehrveranstaltung sowie nach Verbesserungsvorschlägen. Siehe zu weiteren Informationen zu Lehrevaluationen z.B <ref>Heiner Rindermann: ''Lehrevaluation'', ISBN: 978-3941320079, 2. Auflage, Verlag empirische Pädagogik, Landau, 2009</ref>. Die Durchführung von Lehrevaluationen ist durch die jeweiligen Hochschulrahmengesetze vorgeschrieben. Eine elektronische Erfassung und Auswertung der Antworten ist ebenso möglich wie bei anderen Typen elektronischer Prüfungen, i.d.R. werden Fragen vom Typ Likert-Skala (z.B. von 1: trifft nicht zu bis 5: trifft voll zu) verwendet. Ein standardisierter Fragebogen für sämtliche Lehrveranstaltungen, dessen Beantwortung die Entwicklung von Qualität bzw. Zufriedenheit der Lernenden im Laufe der Zeit nachvollziehbar macht, ist i.d.R. durch die Evaluationsordnung einer Hochschule vorgegeben.
+
* '''Wissen um didaktische Methoden''': Passende Aufgabentypen und Einsatzszenarien reichern den methodisch-didaktischen Werkzeugkasten der Lehrenden an. Die Einbindung multimedialer Elemente erweitert dieses Repertoire indirekt sogar noch. Direktes Feedback erlaubt eine schnelle Reaktion (z. B. das Verwenden einer anderen Methode), falls die ursprüngliche Methode nicht zielführend war.  
  
Ein wesentliches Problem Papier-basierter Evaluationen ist die geringe Rücklaufquote. Durch elektronische Evaluationen und ihre Kopplung mit gleichzeitig stattfindenden E-Klausuren stellt z.B. die Medizinische Hochschule Hannover sicher, dass sämtliche Studierende teilnehmen können und die Rücklaufquote kontinuierlich hoch ist. Dies ist bei rein Papier-basierten Formen nicht zwingend der Fall, da auch die Meinung der Studierenden in die Evaluation einfließen sollen, die die Veranstaltung schon nicht mehr besuchen. Rein elektronische Evaluationen z.B. über das LMS sind ebenfalls schwierig, da auf diese Weise insbesondere technik-begeisterte Studierende angesprochen werden. Durch Kopplung von Klausur und Evaluation kann man sicherstellen, dass sämtliche Studierende, die ein Modul bestehen wollen, auch die Möglichkeit zur Evaluation erhalten und gleichzeitig technisch damit umgehen können, da sie dies auch für die Klausur beherrschen müssen.
+
* '''Lehre als Teamarbeit verstehen''': Es gibt Einsatzszenarien, in denen Lehrende und Studierende stärker zusammenarbeiten können oder die das gemeinsame Lernen fördern. Ein zeit- und ortsunabhängiges Angebots erleichtert diese Zusammenarbeit zudem. Schnelles Feedback hilft indirekt dabei, da Studierende z. B. durch vertieftes Lernen oder vermehrte Rückfragen und Lehrende z. B. durch Anpassung der Lehre reagieren können.
  
Beispiele für Systeme zur Unterstützung der Lehrevaluation:
+
* '''Methodenvielfalt''': Die verschiedenen Einsatzarten und Aufgabentypen erweitern die Auswahl der Lehrenden, ein Einsatz von Multimedia ebenso. Getippte Texte sind besser lesbar. Dies wirkt sich indirekt aus, da es das Stellen und Auswerten offener Aufgaben erleichtert, was Lehrende im handgeschriebenen Fall evtl. vermieden hätten.
* Einsatz von [http://www.lehrevaluation.de/ EvaSys] an der TU Clausthal
 
  
== Elektronische Klausurschränke ==
+
* '''Lernerzentrierung''': Studierende haben i. d. R. einen zeit- und ortsunabhängigen Zugriff auf E-Assessments. Zudem geben diese effizientes Feedback und besitzen eine hohe Auswertungsobjektivität, was für Lernerzentrierung spricht. In der Menge von Einsatzszenarien und Aufgabentypen kann jede/r eine bevorzugte Variante finden, was den Studierenden indirekt zugute kommt. Gleiches gilt für das Erstellen längerer Texte, was Studierende bevorzugt am Rechner tun
Eine Hilfe zur Vorbereitung auf reguläre (z.B. mündliche) Prüfungen sind elektronische Klausurschränke. Dabei handelt es sich um eine Sammlung bekannter Prüfungsfragen mit jeweils korrekten Antworten. Studierende tragen Fragen und Antworten z.B. per Gedächtnisprotokoll aus schriftlichen oder mündlichen Prüfungen zusammen und machen sie anderen Studierenden zur Prüfungsvorbereitung zugänglich. So können komplexe Sammlungen entstehen, die einen guten Einblick in das Themengebiet geben.
 
  
Wesentliches Merkmal und von den Studierenden ausdrücklich gewünscht ist, dass Lehrende und Prüfer keinen Zugriff auf diese Klausurschränke erhalten. Auf diese Weise erhoffen sie sich eine möglichst hohe Wiederholrate bei möglichst geringer Veränderung der Aufgaben. Lehrende erhalten somit aber auch keine Gelegenheit, Feedback zu geben oder auf Defizite oder fehlerhafte Antworten hinzuweisen. Einen solchen elektronischen Klausurschrank stellt z.B. die Hochschule Ostfalia auf Basis des Dokumentenmanagementsystems [http://www.alfresco.com/ Alfresco] für ihre Studierenden zur Verfügung.  
+
* '''Förderung der Kooperation unter Studierenden''': Einige Einsatzszenarien fördern das gemeinsame Lernen, da sie z. B. individuelle Aufgaben generieren, die gemeinsam zu lösen sind, siehe u. a. Kortemeyer & Riegler<ref>Gerd Kortemeyer, Peter Riegler: ''Large-Scale E-Assessments, Prüfungsvor- und -nachbereitung: Erfahrungen aus den USA und aus Deutschland'', in: Andrea Back, Peter Baumgartner, Gabi Reinmann, Rolf Schulmeister (Hrsg.): ''zeitschrift für e-learning – lernkultur und bildungstechnologie'', Themenheft E-Assessment, S. 8-22, Studienverlag, Innsbruck, 2010, [http://www.e-learning-zeitschrift.org/01_2010/kortemeyer-riegler.php Abstract]</ref>. Durch die Möglichkeit eines zeit- und ortsunabhängigen Zugriffs können sich Studierende auch außerhalb der Hochschule gemeinsam mit E-Assessments beschäftigen, was ihre Zusammenarbeit indirekt fördert.
  
Auf der anderen Seite versuchen die Lehrenden ebenfalls, ihre Prüfungsfragen geheim zu halten und vor Verbreitung zu schützen. Um diese möglichst oft wiederverwenden zu können, sammeln z.B. die Mitarbeiter vom Testcenter der Uni Duisburg/Essen das Notiz- bzw. Schmierpapier der Prüflinge nach der Klausur ein. So versuchen sie zu verhindern, dass Aufzeichnungen zu den Fragen den Klausurraum verlassen.
+
* '''Selbstreflexion''': Effizientes Feedback und hohe Auswertungsobjektivität helfen, Schwächen beim Lernen effektiv zu erkennen. Sobald dies geschehen ist, können die Lernenden zielgerichtet dagegen angehen. Unterschiedliche Einsatzszenarien tragen zu dieser Selbstreflexion indirekt bei, da ihr Feedback ein gewollter Nebeneffekt ist.  
  
Beispiele:
+
* '''Authentische Aufgabenstellung''': Multimedia wie z. B. Röntgenaufnahmen, Videos mit Tierverhalten oder Gesprächsaufzeichnungen in einer Fremdsprache sorgen für einen größeren Praxisbezug als bei Kopien auf Papier der Fall. Durch die Ortsunabhängigkeit ist es sogar möglich, E‑Assessment-Aufgaben direkt vor Ort bearbeiten zu lassen (z. B. auf mobilen Systemen) und so den Gegenstand der Betrachtung mit in die Aufgabenstellung einzubeziehen.
* [https://ecm.ostfalia.de/alfresco Elektronischer Klausurenschrank auf Basis von Alfresco] an der Hochschule Ostfalia (Zugriff nur für Studierende)
 
  
== Weitere Einsatzmöglichkeiten ==
+
== Qualität IT-gestützter Hochschullehre ==
* [[Diagnostisches Assessment]] (z.B. Einstufungs- oder Zulassungstests)
+
Bringt ein Einsatz von Technologien überhaupt eine Verbesserung der Hochschullehre, im Vergleich zur Durchführung ohne Technologiebeteiligung? DIN EN ISO 9241 gibt in Teil 11 die ''Leitsätze zur Gebrauchstauglichkeit von IT-Systemen'' an. Die darin für den jeweiligen Nutzungskontext genannten Leitkriterien lauten:
* [[Formatives Assessment]] (z.B. E-Übungen, Gemeinsames Lernen)
+
 
* [[Summatives Assessment]] (z.B. E-Klausuren, Vorher/Nachher-Messungen)
+
* Effektivität zur Lösung einer Aufgabe: Genauigkeit und Vollständigkeit, mit der ein Arbeitsergebnis erreicht wird.
* [[Einsatzszenarien|Einsatzszenarien allgemein]]
+
* Effizienz der Handhabung des Systems: Aufwand, der zur Zielerreichung benötigt wird.
 +
* Zufriedenheit der Beteiligten: Subjektive Bewertungen der Nutzenden.
 +
 
 +
Um die Eingangsfrage zu beantworten, werden die Leitsätze zur Gebrauchstauglichkeit auf den Nutzungskontext Hochschullehre (und insbesondere auf den Einsatz von E‑Assessments in Lehrveranstaltungen) übertragen: Effektivität und Effizienz beziehen sich auf das Ergebnis, während Effizienz und Zufriedenheit für den Prozess stehen. Das korrespondierende Element zu Effektivität und Effizienz des Einsatzes von E-Assessments wäre somit z. B. der Lernerfolg, während sich Effizienz und Zufriedenheit auf die Lehr-/Lernaktivitäten beziehen (insbesondere eine bestimmte Aktivität, nämlich die Anreicherung von Lehrveranstaltungen mit E-Assessments). Der gegenseitige Einfluss dieser Kriterien könnte wie folgt aussehen:
 +
 
 +
* '''Effektivität des Lernerfolgs''': Übereinstimmung des Lernergebnisses mit ursprünglichen Lernzielen. E-Assessments können die Effektivität steigern, da sie z. B. durch Identifikation individueller Schwächen oder als Hilfe zur Steuerung des Lernprozesses zu einem größeren Lernerfolg beitragen. Ein Einbeziehen von Vorwissen ermöglicht eine bessere Planung von Lehre, die Steuerung des Lernprozesses erlaubt ihre Anpassung an den aktuellen Lernstand, was am Ende zu einem größeren Lernerfolg führen kann.
 +
 
 +
* '''Effizienz bis zum Lernerfolg''': Zeitraum, um einen bestimmten Grad an Effektivität zu erreichen. Ein Lernprozess, der den gleichen Lernerfolg mit der gleichen Nachhaltigkeit usw. in kürzerer Zeit erzielt, ist effizienter und damit qualitativ besser einzuordnen als ein anderer. E‑Assessments haben i. d. R. keinen Einfluss auf die Dauer von Lehrveranstaltungen. Da sie aber direktes Feedback erlauben, können Studierende ihre Lücken schneller erkennen und Lehrende ihre Lehre zeitnah anpassen. Das kann sich positiv auf die Dauer auswirken, in der ein Teilergebnis erzielt wird.
 +
 
 +
* '''Effizienz einzelner Lehr-/Lernaktivitäten''' (unter Einsatz von E-Assessments): Die IT der E-Assessments verkürzt die Zeit bis zur Rückmeldung (verglichen mit manueller Auswertung), was schneller individuelle Schwächen identifiziert und damit zeitnah Gelegenheit zur Reaktion und/oder Nachbesserung einräumt.
 +
 
 +
* '''Zufriedenheit der Beteiligten''': Da Studierende aktiv am Lernerfolg mitarbeiten, kann sich ihre Zufriedenheit auf die Qualität ihres Lernens auswirken (siehe dazu Zimmer & Psaralidis<ref>Gerhard M. Zimmer, Elena Psaralidis: ''Der Lernerfolg bestimmt die Qualität einer Lernsoftware! Evaluation von Lernerfolg als logische Rekonstruktion von Handlungen.'', in: Schenkel, P., Tergan, S.-O. & Lottmann, A. (Hrsg.): ''Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand'', BW Bildung und Wissen: Nürnberg, 2000, S. 262-303.</ref>). Die Zufriedenheit der Lehrenden hingegen wirkt sich auf die "Teacher Factors" aus. Haben also verschiedene Lernprozesse die gleiche Effektivität und Effizienz, dann scheint derjenige hochwertiger, dessen Beteiligte zufriedener sind. E‑Assessments tragen indirekt zu dieser Zufriedenheit bei, da sie für Komfortgewinn und kürzere Antwortzeiten sorgen.
 +
 
 +
Damit sind Effektivität, Effizienz und Zufriedenheit mögliche Kriterien zur Beurteilung der Qualität von Hochschullehre beim Einsatz von E‑Learning-Elementen (wie z. B. E-Assessments).
 +
 
 +
== Einfluss von E-Assessments auf die Qualität IT-gestützter Hochschullehre ==
 +
Inwiefern können sich verschiedene Einsatzszenarien von E-Assessments auf Kritierien wie Effektivität, Effizienz und Zufriedenheit (und damit auf die Qualität der E‑Learning-gestützten Hochschullehre) auswirken? Mögliche Einflüsse sind in der folgenden Tabelle skizziert, eine kurze Beschreibung folgt.
 +
 
 +
[[Datei:EinflussEAEffEffZuf.png|450px|Vorstellbarer Einfluss des Einsatzes von E-Assessments auf die Qualitätskriterien einer IT-gestützten Hochschullehre]]
 +
 
 +
==== Diagnostische E-Assessments ====
 +
* Auswahltests unterstützen die Entscheidung für Studierende. Dies hat je nach Wahl der Auswahlkriterien (z. B. gute Lernende) einen indirekten Einfluss auf Effektivität und Effizienz von Hochschullehre, was sich indirekt auf die Zufriedenheit der Lehrenden niederschlagen kann.
 +
 
 +
* Zulassungstests stellen Vorwissen sicher und nehmen damit im schlimmsten Fall das Lernergebnis vorweg. Entsprechend positiv ist ihr Einfluss auf die Effektivität und damit die Effizienz, es zu erreichen. Dies sollte gleichzeitig die Zufriedenheit der Auswählenden erhöhen.
 +
 
 +
* Einstufungstests finden passende Veranstaltungen abhängig vom Vorwissen. Da die Studierenden folglich ein ähnliches Leistungsniveau haben, kann die Lehre darauf zugeschnitten sein, was sich in ihrer Effektivität niederschlagen sollte. Da Lehrende die Lehre so besser planen und Studierende gemäß ihres Niveaus fördern können, kann sich das indirekt positiv auf ihre Zufriedenheiten auswirken.
 +
 
 +
==== Formative E-Assessments ====
 +
* Elektronische Übungsaufgaben wirken sich insbesondere auf Effektivität und Effizienz aus. Sie zeigen, was bereits verstanden wurde. Entsprechend stark kann die Lehre angepasst werden, um einen gewissen Grad an Effektivität zu erreichen bzw. umso schneller kann zum nächsten Thema übergegangen werden, was effiziente Lehre begünstigt. Das Feedback zur Lernleistung sowie zur Planung der Lehre sollte sich indirekt positiv auf die Zufriedenheit der Beteiligten auswirken.
 +
 
 +
* Elektronische Quizzes wirken motivierend und wiederholen wichtige Inhalte. Somit können sich diese besser im Gedächtnis verankern, was sich positiv auf die Effektivität auswirken kann. Aufgrund ihres motivierenden Effekts wirken E-Quizzes oft positiv auf die Zufriedenheit der Studierenden.
 +
 +
* Audience Response Systeme beziehen die Studierenden direkt ein. Da ihr Feedback sofort in die Veranstaltung einfließt, müssen Lehrende nicht erst bis zur Bearbeitung von Übungsaufgaben warten, um Missverständnisse festzustellen, sondern können diese direkt berichtigen. Entsprechend effizient und effektiv kann die Wirkung sein. Lehrende sind i. d. R. zufrieden damit, sonst würden sie diese Systeme nicht einsetzen. Studierende können z. B. die Veranstaltung nach ihren Wünschen steuern, was ebenfalls indirekt zu ihrer Zufriedenheit beitragen mag.
 +
 
 +
==== Summative E-Assessments ====
 +
Sie wirken sich kaum auf Effektivität und Effizienz aus, da sie i. d. R. am Ende stattfinden und daher keinen Einfluss auf die Lehre oder ihr Ergebnis haben.
 +
 
 +
* E‑Klausuren haben aber dennoch den Vorteil, dass sie hohe Auswertungsobjektivität und eine Reduktion von Korrekturzeit und -aufwand mit sich bringen, was zumindest indirekt zufriedene Beteiligte verspricht.
 +
 
 +
* Scan-Klausuren sind ebenso zu betrachten.
 +
 
 +
* Vorher-/Nachher-Messungen sind akademisch geprägt und tragen damit eher zur Zufriedenheit der Lehrenden bei, wenn diese damit die Auswirkung ihrer Lehre genauer analysieren wollen.
 +
 
 +
==== Studienbegleitende E-Assessments ====
 +
* Online Self Assessments können Fehlvorstellungen von Studienfächern verringern, was die Abbruchquote reduziert und sich damit indirekt auf Effektivität und Effizienz eines Studiums auswirkt. Mehr Konformität zur Erwartung der Studierenden sollte ihre Zufriedenheit ebenfalls positiv beeinflussen.
 +
 
 +
* Progresstests zeigen die Entwicklung der Studierenden im Studienverlauf an und geben Feedback zum Lernfortschritt über Semester hinweg, auch wenn dieser gefühlt nicht vorhanden ist. Dies kann sich positiv in ihrer Zufriedenheit niederschlagen. Auch Lehrende können das Ergebnis indirekt nutzen, z. B. um den Studienverlauf zu planen, falls der Fortschritt geringer ausfällt als erwartet oder gar rückläufig ist.
  
 
== Literaturnachweise ==
 
== Literaturnachweise ==
 
<references />
 
<references />
 
{{Szenarien}}
 

Aktuelle Version vom 9. Juli 2015, 06:34 Uhr

Wie wirken sich E-Assessments auf die Hochschullehre aus? Wie wirkt generell der Einsatz beliebiger E-Learning-Elemente auf die Qualität von Hochschullehre? Kann man immer davon ausgehen, dass jedes E-Learning-Element in jedem Einsatzszenario immer auch einen positiven Einfluss hat? Die nachfolgenden Überlegungen versuchen, diese Fragen zu beantworten. Eine detailliertere Betrachtung ist im Artikel[1] in den Greifswalder Beiträgen zu finden.

Qualität von Hochschullehre

Qualität gibt laut Laut DIN EN ISO 9000 den Grad an, in dem eine Sache mit daran gestellten Anforderungen übereinstimmt. Betrachtet man also z. B. den Lernerfolg als Absicht von Hochschullehre, dann erscheint ihre Qualität umso höher, je stärker Lernergebnis und Lernziele übereinstimmen und je nachhaltiger das Gelernte abrufbar bleibt. Zwar ist laut Wissenschaftsrat[2] die Vermittlung von Erkenntnisfortschritt häufig ein Ziel der Hochschullehrenden; Staat, Geldgeber oder die Öffentlichkeit sehen aber eher das Erreichen eines Abschlusses oder die Zahl der Absolvent/inn/en als wesentliches Qualitätskriterium an. Weitere Ziele können aber auch z. B. die Befähigung zu wissenschaftlichem Arbeiten oder die Entwicklung von Soft-Skills wie Teamfähigkeit uvm. sein.

Um die Gesamtqualität des Einsatzes von E-Assessments beurteilen zu können, ist neben der Qualität von gewünschten Ergebnissen (identifiziert durch die benannten Ziele) auch die Qualität des (Hochschullehr-)Prozesses selbst zu betrachten. Nach Klinger[3] wird die Güte dieses Prozesses insbesondere durch die Lehrenden (Teacher Factors) und die Lehr-/Lernaktivitäten (Teaching & Learning Activities) bestimmt. Dabei sind Merkmale guter Lehrende u. a. eine gute Vorbereitung, Fachwissen in der jeweiligen Disziplin, das Wissen um didaktische Methoden, aber auch die Erkenntnis, dass Lehre als Teamarbeit zu verstehen ist. Qualitätsmerkmale von Lehr-/Lernaktivitäten können sein u. a. Methodenvielfalt, Lernerzentrierung, die Förderung von Kooperation und die Selbstreflexion von Studierenden, aber auch eine authentische Aufgabenstellung.

Qualität von E-Assessments

Faktoren, welche die Qualität von Assessments und E-Assessments, aber auch die Güte von Aufgaben beeinflussen können, wurden bereits im Rahmen von Prüfungsqualität beschrieben.

Einfluss von E-Assessments auf die Qualität der Hochschullehre

Wie wirkt sich nun aber ein E-Assessment in einem bestimmten Einsatzszenario zu einem bestimmten Zweck in einem bestimmten Fachgebiet auf mögliche Qualitätskriterien aus? Im Folgenden wurde versucht, mögliche Auswirkungen der Charakteristika von E-Assessments auf die vorab aufgeführten Qualitätsmerkmale von Hochschullehre (Teacher Factors und Teaching & Learning Activities) zu identifizieren. Das Ergebnis ist in der folgenden Tabelle angedeutet.

Möglicher Einfluss allgemeiner Charakteristika von E-Assessments auf Qualitätskriterien für Hochschullehre

E-Assessments haben das Potential, verschiedene Merkmale guter Hochschullehre in unterschiedlicher Weise zu unterstützen. Einige Beispiele folgen.

  • Vorbereitung von Lehrenden: Schnelles Feedback hilft, die kommende Veranstaltung zu planen, da es zeigt, was schon verstanden wurde. Verschiedene Einsatzszenarien vergrößern die Auswahlmöglichkeiten der Lehrenden und unterstützen die Vorbereitung damit ebenfalls. Ein zeit- und ortsunabhängiger Zugriff auf Aufgaben erleichtert deren Anpassung und Bereitstellung, die bessere Lesbarkeit von Texten hilft, Aussagen von Studierenden schneller zu beurteilen.
  • Fachwissen der jeweiligen Disziplin: Die breite Möglichkeit eines Einsatzes von IT sowie verschiedene Einsatzszenarien spielen dem Fachwissen indirekt zu, da Lehrende dadurch leichter passende Einsatzarten und -orte (z. B. Aufgaben direkt an Patient/inn/en im Bereich Medizin) auswählen können.
  • Wissen um didaktische Methoden: Passende Aufgabentypen und Einsatzszenarien reichern den methodisch-didaktischen Werkzeugkasten der Lehrenden an. Die Einbindung multimedialer Elemente erweitert dieses Repertoire indirekt sogar noch. Direktes Feedback erlaubt eine schnelle Reaktion (z. B. das Verwenden einer anderen Methode), falls die ursprüngliche Methode nicht zielführend war.
  • Lehre als Teamarbeit verstehen: Es gibt Einsatzszenarien, in denen Lehrende und Studierende stärker zusammenarbeiten können oder die das gemeinsame Lernen fördern. Ein zeit- und ortsunabhängiges Angebots erleichtert diese Zusammenarbeit zudem. Schnelles Feedback hilft indirekt dabei, da Studierende z. B. durch vertieftes Lernen oder vermehrte Rückfragen und Lehrende z. B. durch Anpassung der Lehre reagieren können.
  • Methodenvielfalt: Die verschiedenen Einsatzarten und Aufgabentypen erweitern die Auswahl der Lehrenden, ein Einsatz von Multimedia ebenso. Getippte Texte sind besser lesbar. Dies wirkt sich indirekt aus, da es das Stellen und Auswerten offener Aufgaben erleichtert, was Lehrende im handgeschriebenen Fall evtl. vermieden hätten.
  • Lernerzentrierung: Studierende haben i. d. R. einen zeit- und ortsunabhängigen Zugriff auf E-Assessments. Zudem geben diese effizientes Feedback und besitzen eine hohe Auswertungsobjektivität, was für Lernerzentrierung spricht. In der Menge von Einsatzszenarien und Aufgabentypen kann jede/r eine bevorzugte Variante finden, was den Studierenden indirekt zugute kommt. Gleiches gilt für das Erstellen längerer Texte, was Studierende bevorzugt am Rechner tun
  • Förderung der Kooperation unter Studierenden: Einige Einsatzszenarien fördern das gemeinsame Lernen, da sie z. B. individuelle Aufgaben generieren, die gemeinsam zu lösen sind, siehe u. a. Kortemeyer & Riegler[4]. Durch die Möglichkeit eines zeit- und ortsunabhängigen Zugriffs können sich Studierende auch außerhalb der Hochschule gemeinsam mit E-Assessments beschäftigen, was ihre Zusammenarbeit indirekt fördert.
  • Selbstreflexion: Effizientes Feedback und hohe Auswertungsobjektivität helfen, Schwächen beim Lernen effektiv zu erkennen. Sobald dies geschehen ist, können die Lernenden zielgerichtet dagegen angehen. Unterschiedliche Einsatzszenarien tragen zu dieser Selbstreflexion indirekt bei, da ihr Feedback ein gewollter Nebeneffekt ist.
  • Authentische Aufgabenstellung: Multimedia wie z. B. Röntgenaufnahmen, Videos mit Tierverhalten oder Gesprächsaufzeichnungen in einer Fremdsprache sorgen für einen größeren Praxisbezug als bei Kopien auf Papier der Fall. Durch die Ortsunabhängigkeit ist es sogar möglich, E‑Assessment-Aufgaben direkt vor Ort bearbeiten zu lassen (z. B. auf mobilen Systemen) und so den Gegenstand der Betrachtung mit in die Aufgabenstellung einzubeziehen.

Qualität IT-gestützter Hochschullehre

Bringt ein Einsatz von Technologien überhaupt eine Verbesserung der Hochschullehre, im Vergleich zur Durchführung ohne Technologiebeteiligung? DIN EN ISO 9241 gibt in Teil 11 die Leitsätze zur Gebrauchstauglichkeit von IT-Systemen an. Die darin für den jeweiligen Nutzungskontext genannten Leitkriterien lauten:

  • Effektivität zur Lösung einer Aufgabe: Genauigkeit und Vollständigkeit, mit der ein Arbeitsergebnis erreicht wird.
  • Effizienz der Handhabung des Systems: Aufwand, der zur Zielerreichung benötigt wird.
  • Zufriedenheit der Beteiligten: Subjektive Bewertungen der Nutzenden.

Um die Eingangsfrage zu beantworten, werden die Leitsätze zur Gebrauchstauglichkeit auf den Nutzungskontext Hochschullehre (und insbesondere auf den Einsatz von E‑Assessments in Lehrveranstaltungen) übertragen: Effektivität und Effizienz beziehen sich auf das Ergebnis, während Effizienz und Zufriedenheit für den Prozess stehen. Das korrespondierende Element zu Effektivität und Effizienz des Einsatzes von E-Assessments wäre somit z. B. der Lernerfolg, während sich Effizienz und Zufriedenheit auf die Lehr-/Lernaktivitäten beziehen (insbesondere eine bestimmte Aktivität, nämlich die Anreicherung von Lehrveranstaltungen mit E-Assessments). Der gegenseitige Einfluss dieser Kriterien könnte wie folgt aussehen:

  • Effektivität des Lernerfolgs: Übereinstimmung des Lernergebnisses mit ursprünglichen Lernzielen. E-Assessments können die Effektivität steigern, da sie z. B. durch Identifikation individueller Schwächen oder als Hilfe zur Steuerung des Lernprozesses zu einem größeren Lernerfolg beitragen. Ein Einbeziehen von Vorwissen ermöglicht eine bessere Planung von Lehre, die Steuerung des Lernprozesses erlaubt ihre Anpassung an den aktuellen Lernstand, was am Ende zu einem größeren Lernerfolg führen kann.
  • Effizienz bis zum Lernerfolg: Zeitraum, um einen bestimmten Grad an Effektivität zu erreichen. Ein Lernprozess, der den gleichen Lernerfolg mit der gleichen Nachhaltigkeit usw. in kürzerer Zeit erzielt, ist effizienter und damit qualitativ besser einzuordnen als ein anderer. E‑Assessments haben i. d. R. keinen Einfluss auf die Dauer von Lehrveranstaltungen. Da sie aber direktes Feedback erlauben, können Studierende ihre Lücken schneller erkennen und Lehrende ihre Lehre zeitnah anpassen. Das kann sich positiv auf die Dauer auswirken, in der ein Teilergebnis erzielt wird.
  • Effizienz einzelner Lehr-/Lernaktivitäten (unter Einsatz von E-Assessments): Die IT der E-Assessments verkürzt die Zeit bis zur Rückmeldung (verglichen mit manueller Auswertung), was schneller individuelle Schwächen identifiziert und damit zeitnah Gelegenheit zur Reaktion und/oder Nachbesserung einräumt.
  • Zufriedenheit der Beteiligten: Da Studierende aktiv am Lernerfolg mitarbeiten, kann sich ihre Zufriedenheit auf die Qualität ihres Lernens auswirken (siehe dazu Zimmer & Psaralidis[5]). Die Zufriedenheit der Lehrenden hingegen wirkt sich auf die "Teacher Factors" aus. Haben also verschiedene Lernprozesse die gleiche Effektivität und Effizienz, dann scheint derjenige hochwertiger, dessen Beteiligte zufriedener sind. E‑Assessments tragen indirekt zu dieser Zufriedenheit bei, da sie für Komfortgewinn und kürzere Antwortzeiten sorgen.

Damit sind Effektivität, Effizienz und Zufriedenheit mögliche Kriterien zur Beurteilung der Qualität von Hochschullehre beim Einsatz von E‑Learning-Elementen (wie z. B. E-Assessments).

Einfluss von E-Assessments auf die Qualität IT-gestützter Hochschullehre

Inwiefern können sich verschiedene Einsatzszenarien von E-Assessments auf Kritierien wie Effektivität, Effizienz und Zufriedenheit (und damit auf die Qualität der E‑Learning-gestützten Hochschullehre) auswirken? Mögliche Einflüsse sind in der folgenden Tabelle skizziert, eine kurze Beschreibung folgt.

Vorstellbarer Einfluss des Einsatzes von E-Assessments auf die Qualitätskriterien einer IT-gestützten Hochschullehre

Diagnostische E-Assessments

  • Auswahltests unterstützen die Entscheidung für Studierende. Dies hat je nach Wahl der Auswahlkriterien (z. B. gute Lernende) einen indirekten Einfluss auf Effektivität und Effizienz von Hochschullehre, was sich indirekt auf die Zufriedenheit der Lehrenden niederschlagen kann.
  • Zulassungstests stellen Vorwissen sicher und nehmen damit im schlimmsten Fall das Lernergebnis vorweg. Entsprechend positiv ist ihr Einfluss auf die Effektivität und damit die Effizienz, es zu erreichen. Dies sollte gleichzeitig die Zufriedenheit der Auswählenden erhöhen.
  • Einstufungstests finden passende Veranstaltungen abhängig vom Vorwissen. Da die Studierenden folglich ein ähnliches Leistungsniveau haben, kann die Lehre darauf zugeschnitten sein, was sich in ihrer Effektivität niederschlagen sollte. Da Lehrende die Lehre so besser planen und Studierende gemäß ihres Niveaus fördern können, kann sich das indirekt positiv auf ihre Zufriedenheiten auswirken.

Formative E-Assessments

  • Elektronische Übungsaufgaben wirken sich insbesondere auf Effektivität und Effizienz aus. Sie zeigen, was bereits verstanden wurde. Entsprechend stark kann die Lehre angepasst werden, um einen gewissen Grad an Effektivität zu erreichen bzw. umso schneller kann zum nächsten Thema übergegangen werden, was effiziente Lehre begünstigt. Das Feedback zur Lernleistung sowie zur Planung der Lehre sollte sich indirekt positiv auf die Zufriedenheit der Beteiligten auswirken.
  • Elektronische Quizzes wirken motivierend und wiederholen wichtige Inhalte. Somit können sich diese besser im Gedächtnis verankern, was sich positiv auf die Effektivität auswirken kann. Aufgrund ihres motivierenden Effekts wirken E-Quizzes oft positiv auf die Zufriedenheit der Studierenden.
  • Audience Response Systeme beziehen die Studierenden direkt ein. Da ihr Feedback sofort in die Veranstaltung einfließt, müssen Lehrende nicht erst bis zur Bearbeitung von Übungsaufgaben warten, um Missverständnisse festzustellen, sondern können diese direkt berichtigen. Entsprechend effizient und effektiv kann die Wirkung sein. Lehrende sind i. d. R. zufrieden damit, sonst würden sie diese Systeme nicht einsetzen. Studierende können z. B. die Veranstaltung nach ihren Wünschen steuern, was ebenfalls indirekt zu ihrer Zufriedenheit beitragen mag.

Summative E-Assessments

Sie wirken sich kaum auf Effektivität und Effizienz aus, da sie i. d. R. am Ende stattfinden und daher keinen Einfluss auf die Lehre oder ihr Ergebnis haben.

  • E‑Klausuren haben aber dennoch den Vorteil, dass sie hohe Auswertungsobjektivität und eine Reduktion von Korrekturzeit und -aufwand mit sich bringen, was zumindest indirekt zufriedene Beteiligte verspricht.
  • Scan-Klausuren sind ebenso zu betrachten.
  • Vorher-/Nachher-Messungen sind akademisch geprägt und tragen damit eher zur Zufriedenheit der Lehrenden bei, wenn diese damit die Auswirkung ihrer Lehre genauer analysieren wollen.

Studienbegleitende E-Assessments

  • Online Self Assessments können Fehlvorstellungen von Studienfächern verringern, was die Abbruchquote reduziert und sich damit indirekt auf Effektivität und Effizienz eines Studiums auswirkt. Mehr Konformität zur Erwartung der Studierenden sollte ihre Zufriedenheit ebenfalls positiv beeinflussen.
  • Progresstests zeigen die Entwicklung der Studierenden im Studienverlauf an und geben Feedback zum Lernfortschritt über Semester hinweg, auch wenn dieser gefühlt nicht vorhanden ist. Dies kann sich positiv in ihrer Zufriedenheit niederschlagen. Auch Lehrende können das Ergebnis indirekt nutzen, z. B. um den Studienverlauf zu planen, falls der Fortschritt geringer ausfällt als erwartet oder gar rückläufig ist.

Literaturnachweise

  1. Markus Schmees: E-Assessments und die Qualität von Hochschullehre, in: Greifswalder Beiträge zur Hochschullehre: Elektronische Prüfungsformen und E-Learning-Unterstützung für polyvalente Lehre, Ausgabe 4, Heft 1/2015, ISBN: 978-3-86006-429-0, Uni Greifswald, Greifswald, S. 7-23, 2015, Download als PDF
  2. Wissenschaftsrat: Empfehlungen zur Qualitätsverbesserung von Lehre und Studium, 2008 Download als PDF
  3. Melanie Klinger: Merkmale guter Hochschullehre: Definitionsversuche und Operationalisierbarkeit, In: Berufs und Wirtschaftspädagogik – online, Ausgabe 21, 2011 Download als PDF
  4. Gerd Kortemeyer, Peter Riegler: Large-Scale E-Assessments, Prüfungsvor- und -nachbereitung: Erfahrungen aus den USA und aus Deutschland, in: Andrea Back, Peter Baumgartner, Gabi Reinmann, Rolf Schulmeister (Hrsg.): zeitschrift für e-learning – lernkultur und bildungstechnologie, Themenheft E-Assessment, S. 8-22, Studienverlag, Innsbruck, 2010, Abstract
  5. Gerhard M. Zimmer, Elena Psaralidis: Der Lernerfolg bestimmt die Qualität einer Lernsoftware! Evaluation von Lernerfolg als logische Rekonstruktion von Handlungen., in: Schenkel, P., Tergan, S.-O. & Lottmann, A. (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand, BW Bildung und Wissen: Nürnberg, 2000, S. 262-303.