Qualitätssicherung

Wie wirken sich E-Assessments auf die Hochschullehre aus? Wie wirkt generell der Einsatz beliebiger E-Learning-Elemente auf die Qualität von Hochschullehre? Kann man immer davon ausgehen, dass jedes E-Learning-Element in jedem Einsatzszenario immer auch einen positiven Einfluss hat? Die nachfolgenden Überlegungen versuchen, diese Fragen zu beantworten. Eine detailliertere Betrachtung ist im Artikel in den Greifswalder Beiträgen zu finden.

Qualität von Hochschullehre

Qualität gibt laut Laut DIN EN ISO 9000 den Grad an, in dem eine Sache mit daran gestellten Anforderungen übereinstimmt. Betrachtet man also z. B. den Lernerfolg als Absicht von Hochschullehre, dann erscheint ihre Qualität umso höher, je stärker Lernergebnis und Lernziele übereinstimmen und je nachhaltiger das Gelernte abrufbar bleibt. Zwar ist laut Wissenschaftsrat die Vermittlung von Erkenntnisfortschritt häufig ein Ziel der Hochschullehrenden; Staat, Geldgeber oder die Öffentlichkeit sehen aber eher das Erreichen eines Abschlusses oder die Zahl der Absolvent/inn/en als wesentliches Qualitätskriterium an. Weitere Ziele können aber auch z. B. die Befähigung zu wissenschaftlichem Arbeiten oder die Entwicklung von Soft-Skills wie Teamfähigkeit uvm. sein.

Um die Gesamtqualität des Einsatzes von E-Assessments beurteilen zu können, ist neben der Qualität von gewünschten Ergebnissen (identifiziert durch die benannten Ziele) auch die Qualität des (Hochschullehr-)Prozesses selbst zu betrachten. Nach Klinger wird die Güte dieses Prozesses insbesondere durch die Lehrenden (Teacher Factors) und die Lehr-/Lernaktivitäten (Teaching & Learning Activities) bestimmt. Dabei sind Merkmale guter Lehrende u. a. eine gute Vorbereitung, Fachwissen in der jeweiligen Disziplin, das Wissen um didaktische Methoden, aber auch die Erkenntnis, dass Lehre als Teamarbeit zu verstehen ist. Qualitätsmerkmale von Lehr-/Lernaktivitäten können sein u. a. Methodenvielfalt, Lernerzentrierung, die Förderung von Kooperation und die Selbstreflexion von Studierenden, aber auch eine authentische Aufgabenstellung.

Qualität von E-Assessments

Faktoren, welche die Qualität von Assessments und E-Assessments, aber auch die Güte von Aufgaben beeinflussen können, wurden bereits im Rahmen von Prüfungsqualität beschrieben.

Einfluss von E-Assessments auf die Qualität der Hochschullehre

Wie wirkt sich nun aber ein E-Assessment in einem bestimmten Einsatzszenario zu einem bestimmten Zweck in einem bestimmten Fachgebiet auf mögliche Qualitätskriterien aus? Im Folgenden wurde versucht, mögliche Auswirkungen der Charakteristika von E-Assessments auf die vorab aufgeführten Qualitätsmerkmale von Hochschullehre (Teacher Factors und Teaching & Learning Activities) zu identifizieren. Das Ergebnis ist in der folgenden Tabelle angedeutet.

E-Assessments haben das Potential, verschiedene Merkmale guter Hochschullehre in unterschiedlicher Weise zu unterstützen. Einige Beispiele folgen.

• Vorbereitung von Lehrenden: Schnelles Feedback hilft, die kommende Veranstaltung zu planen, da es zeigt, was schon verstanden wurde. Verschiedene Einsatzszenarien vergrößern die Auswahlmöglichkeiten der Lehrenden und unterstützen die Vorbereitung damit ebenfalls. Ein zeit- und ortsunabhängiger Zugriff auf Aufgaben erleichtert deren Anpassung und Bereitstellung, die bessere Lesbarkeit von Texten hilft, Aussagen von Studierenden schneller zu beurteilen.

• Fachwissen der jeweiligen Disziplin: Die breite Möglichkeit eines Einsatzes von IT sowie verschiedene Einsatzszenarien spielen dem Fachwissen indirekt zu, da Lehrende dadurch leichter passende Einsatzarten und -orte (z. B. Aufgaben direkt an Patient/inn/en im Bereich Medizin) auswählen können.
• Wissen um didaktische Methoden: Passende Aufgabentypen und Einsatzszenarien reichern den methodisch-didaktischen Werkzeugkasten der Lehrenden an. Die Einbindung multimedialer Elemente erweitert dieses Repertoire indirekt sogar noch. Direktes Feedback erlaubt eine schnelle Reaktion (z. B. das Verwenden einer anderen Methode), falls die ursprüngliche Methode nicht zielführend war.

• Lehre als Teamarbeit verstehen: Es gibt Einsatzszenarien, in denen Lehrende und Studierende stärker zusammenarbeiten können oder die das gemeinsame Lernen fördern. Ein zeit- und ortsunabhängiges Angebots erleichtert diese Zusammenarbeit zudem. Schnelles Feedback hilft indirekt dabei, da Studierende z. B. durch vertieftes Lernen oder vermehrte Rückfragen und Lehrende z. B. durch Anpassung der Lehre reagieren können.

• Methodenvielfalt: Die verschiedenen Einsatzarten und Aufgabentypen erweitern die Auswahl der Lehrenden, ein Einsatz von Multimedia ebenso. Getippte Texte sind besser lesbar. Dies wirkt sich indirekt aus, da es das Stellen und Auswerten offener Aufgaben erleichtert, was Lehrende im handgeschriebenen Fall evtl. vermieden hätten.

• Lernerzentrierung: Studierende haben i. d. R. einen zeit- und ortsunabhängigen Zugriff auf E-Assessments. Zudem geben diese effizientes Feedback und besitzen eine hohe Auswertungsobjektivität, was für Lernerzentrierung spricht. In der Menge von Einsatzszenarien und Aufgabentypen kann jede/r eine bevorzugte Variante finden, was den Studierenden indirekt zugute kommt. Gleiches gilt für das Erstellen längerer Texte, was Studierende bevorzugt am Rechner tun

• Förderung der Kooperation unter Studierenden: Einige Einsatzszenarien fördern das gemeinsame Lernen, da sie z. B. individuelle Aufgaben generieren, die gemeinsam zu lösen sind, siehe u. a. Kortemeyer & Riegler. Durch die Möglichkeit eines zeit- und ortsunabhängigen Zugriffs können sich Studierende auch außerhalb der Hochschule gemeinsam mit E-Assessments beschäftigen, was ihre Zusammenarbeit indirekt fördert.

• Selbstreflexion: Effizientes Feedback und hohe Auswertungsobjektivität helfen, Schwächen beim Lernen effektiv zu erkennen. Sobald dies geschehen ist, können die Lernenden zielgerichtet dagegen angehen. Unterschiedliche Einsatzszenarien tragen zu dieser Selbstreflexion indirekt bei, da ihr Feedback ein gewollter Nebeneffekt ist.

• Authentische Aufgabenstellung: Multimedia wie z. B. Röntgenaufnahmen, Videos mit Tierverhalten oder Gesprächsaufzeichnungen in einer Fremdsprache sorgen für einen größeren Praxisbezug als bei Kopien auf Papier der Fall. Durch die Ortsunabhängigkeit ist es sogar möglich, E‑Assessment-Aufgaben direkt vor Ort bearbeiten zu lassen (z. B. auf mobilen Systemen) und so den Gegenstand der Betrachtung mit in die Aufgabenstellung einzubeziehen.

Qualität IT-gestützter Hochschullehre

Bringt ein Einsatz von Technologien überhaupt eine Verbesserung der Hochschullehre, im Vergleich zur Durchführung ohne Technologiebeteiligung? DIN EN ISO 9241 gibt in Teil 11 die Leitsätze zur Gebrauchstauglichkeit von IT-Systemen an. Die darin für den jeweiligen Nutzungskontext genannten Leitkriterien lauten:

• Effektivität zur Lösung einer Aufgabe: Genauigkeit und Vollständigkeit, mit der ein Arbeitsergebnis erreicht wird.
• Effizienz der Handhabung des Systems: Aufwand, der zur Zielerreichung benötigt wird.
• Zufriedenheit der Beteiligten: Subjektive Bewertungen der Nutzenden.

Um die Eingangsfrage zu beantworten, werden die Leitsätze zur Gebrauchstauglichkeit auf den Nutzungskontext Hochschullehre (und insbesondere auf den Einsatz von E‑Assessments in Lehrveranstaltungen) übertragen: Effektivität und Effizienz beziehen sich auf das Ergebnis, während Effizienz und Zufriedenheit für den Prozess stehen. Das korrespondierende Element zu Effektivität und Effizienz des Einsatzes von E-Assessments wäre somit z. B. der Lernerfolg, während sich Effizienz und Zufriedenheit auf die Lehr-/Lernaktivitäten beziehen (insbesondere eine bestimmte Aktivität, nämlich die Anreicherung von Lehrveranstaltungen mit E-Assessments). Der gegenseitige Einfluss dieser Kriterien könnte wie folgt aussehen:

• Effektivität des Lernerfolgs: Übereinstimmung des Lernergebnisses mit ursprünglichen Lernzielen. E-Assessments können die Effektivität steigern, da sie z. B. durch Identifikation individueller Schwächen oder als Hilfe zur Steuerung des Lernprozesses zu einem größeren Lernerfolg beitragen. Ein Einbeziehen von Vorwissen ermöglicht eine bessere Planung von Lehre, die Steuerung des Lernprozesses erlaubt ihre Anpassung an den aktuellen Lernstand, was am Ende zu einem größeren Lernerfolg führen kann.

• Effizienz bis zum Lernerfolg: Zeitraum, um einen bestimmten Grad an Effektivität zu erreichen. Ein Lernprozess, der den gleichen Lernerfolg mit der gleichen Nachhaltigkeit usw. in kürzerer Zeit erzielt, ist effizienter und damit qualitativ besser einzuordnen als ein anderer. E‑Assessments haben i. d. R. keinen Einfluss auf die Dauer von Lehrveranstaltungen. Da sie aber direktes Feedback erlauben, können Studierende ihre Lücken schneller erkennen und Lehrende ihre Lehre zeitnah anpassen. Das kann sich positiv auf die Dauer auswirken, in der ein Teilergebnis erzielt wird.

• Effizienz einzelner Lehr-/Lernaktivitäten (unter Einsatz von E-Assessments): Die IT der E-Assessments verkürzt die Zeit bis zur Rückmeldung (verglichen mit manueller Auswertung), was schneller individuelle Schwächen identifiziert und damit zeitnah Gelegenheit zur Reaktion und/oder Nachbesserung einräumt.

• Zufriedenheit der Beteiligten: Da Studierende aktiv am Lernerfolg mitarbeiten, kann sich ihre Zufriedenheit auf die Qualität ihres Lernens auswirken (siehe dazu Zimmer & Psaralidis). Die Zufriedenheit der Lehrenden hingegen wirkt sich auf die "Teacher Factors" aus. Haben also verschiedene Lernprozesse die gleiche Effektivität und Effizienz, dann scheint derjenige hochwertiger, dessen Beteiligte zufriedener sind. E‑Assessments tragen indirekt zu dieser Zufriedenheit bei, da sie für Komfortgewinn und kürzere Antwortzeiten sorgen.

Damit sind Effektivität, Effizienz und Zufriedenheit mögliche Kriterien zur Beurteilung der Qualität von Hochschullehre beim Einsatz von E‑Learning-Elementen (wie z. B. E-Assessments).

Einfluss von E-Assessments auf die Qualität IT-gestützter Hochschullehre

Inwiefern können sich verschiedene Einsatzszenarien von E-Assessments auf Kritierien wie Effektivität, Effizienz und Zufriedenheit (und damit auf die Qualität der E‑Learning-gestützten Hochschullehre) auswirken? Mögliche Einflüsse sind in der folgenden Tabelle skizziert, eine kurze Beschreibung folgt.

Diagnostische E-Assessments

• Auswahltests unterstützen die Entscheidung für Studierende. Dies hat je nach Wahl der Auswahlkriterien (z. B. gute Lernende) einen indirekten Einfluss auf Effektivität und Effizienz von Hochschullehre, was sich indirekt auf die Zufriedenheit der Lehrenden niederschlagen kann.

• Zulassungstests stellen Vorwissen sicher und nehmen damit im schlimmsten Fall das Lernergebnis vorweg. Entsprechend positiv ist ihr Einfluss auf die Effektivität und damit die Effizienz, es zu erreichen. Dies sollte gleichzeitig die Zufriedenheit der Auswählenden erhöhen.

• Einstufungstests finden passende Veranstaltungen abhängig vom Vorwissen. Da die Studierenden folglich ein ähnliches Leistungsniveau haben, kann die Lehre darauf zugeschnitten sein, was sich in ihrer Effektivität niederschlagen sollte. Da Lehrende die Lehre so besser planen und Studierende gemäß ihres Niveaus fördern können, kann sich das indirekt positiv auf ihre Zufriedenheiten auswirken.

Formative E-Assessments

• Elektronische Übungsaufgaben wirken sich insbesondere auf Effektivität und Effizienz aus. Sie zeigen, was bereits verstanden wurde. Entsprechend stark kann die Lehre angepasst werden, um einen gewissen Grad an Effektivität zu erreichen bzw. umso schneller kann zum nächsten Thema übergegangen werden, was effiziente Lehre begünstigt. Das Feedback zur Lernleistung sowie zur Planung der Lehre sollte sich indirekt positiv auf die Zufriedenheit der Beteiligten auswirken.

• Elektronische Quizzes wirken motivierend und wiederholen wichtige Inhalte. Somit können sich diese besser im Gedächtnis verankern, was sich positiv auf die Effektivität auswirken kann. Aufgrund ihres motivierenden Effekts wirken E-Quizzes oft positiv auf die Zufriedenheit der Studierenden.

• Audience Response Systeme beziehen die Studierenden direkt ein. Da ihr Feedback sofort in die Veranstaltung einfließt, müssen Lehrende nicht erst bis zur Bearbeitung von Übungsaufgaben warten, um Missverständnisse festzustellen, sondern können diese direkt berichtigen. Entsprechend effizient und effektiv kann die Wirkung sein. Lehrende sind i. d. R. zufrieden damit, sonst würden sie diese Systeme nicht einsetzen. Studierende können z. B. die Veranstaltung nach ihren Wünschen steuern, was ebenfalls indirekt zu ihrer Zufriedenheit beitragen mag.

Summative E-Assessments

Sie wirken sich kaum auf Effektivität und Effizienz aus, da sie i. d. R. am Ende stattfinden und daher keinen Einfluss auf die Lehre oder ihr Ergebnis haben.

• E‑Klausuren haben aber dennoch den Vorteil, dass sie hohe Auswertungsobjektivität und eine Reduktion von Korrekturzeit und -aufwand mit sich bringen, was zumindest indirekt zufriedene Beteiligte verspricht.

• Scan-Klausuren sind ebenso zu betrachten.

• Vorher-/Nachher-Messungen sind akademisch geprägt und tragen damit eher zur Zufriedenheit der Lehrenden bei, wenn diese damit die Auswirkung ihrer Lehre genauer analysieren wollen.

Studienbegleitende E-Assessments

• Online Self Assessments können Fehlvorstellungen von Studienfächern verringern, was die Abbruchquote reduziert und sich damit indirekt auf Effektivität und Effizienz eines Studiums auswirkt. Mehr Konformität zur Erwartung der Studierenden sollte ihre Zufriedenheit ebenfalls positiv beeinflussen.

• Progresstests zeigen die Entwicklung der Studierenden im Studienverlauf an und geben Feedback zum Lernfortschritt über Semester hinweg, auch wenn dieser gefühlt nicht vorhanden ist. Dies kann sich positiv in ihrer Zufriedenheit niederschlagen. Auch Lehrende können das Ergebnis indirekt nutzen, z. B. um den Studienverlauf zu planen, falls der Fortschritt geringer ausfällt als erwartet oder gar rückläufig ist.