Formatives Assessment

Um einen möglichst großen Lernerfolg zu produzieren, ist der Lernprozess kontinuierlich an Erfordernisse der Lernenden anzupassen. Eine formative Prüfung begleitet das Lernen dazu als Zwischenmessung und versucht, das bereits erzielte Lernergebnis festzustellen. Mit ihrer Hilfe kann z.B. ermittelt werden, welche Themen oder Aspekte bereits verstanden wurden und wo noch Lücken oder Unsicherheiten bestehen. Damit erhalten Lehrende eine Grundlage, um den Lernprozess besser zu steuern: sie können ihre Lehre stärker auf die Lernenden ausrichten und dabei gleichzeitig das Zeitmanagement optimieren. Im Hochschulbereich begleiten formative Prüfungen die Lehrveranstaltungen vor allem in Form von Übungen oder Tutorien.

Vor- und Nachbereitung von Lehrveranstaltungen

Die Übergänge von Szenarien zur Vor- und Nachbereitung von Lehrveranstaltungen sind fließend, da einer Veranstaltung i.d.R. eine frühere Veranstaltung vorangegangen ist. Die Nachbereitung einer Veranstaltung kann also leicht mit der Vorbereitung für die folgende Veranstaltung, die Vorbereitung ebenso mit der Nachbereitung der früheren Veranstaltung gekoppelt werden.

Vorbereitung

Ein Lehrender kann bereits vorab Fragen und Aufgaben zu den Themen stellen, die in einer folgenden Lehrveranstaltung durch genommen werden sollen. Das hat zwei Effekte: auf der einen Seite bereiten sich die Studierenden auf diese Weise stärker als bisher auf die Veranstaltung vor und machen sich bereits mit den kommenden Themen vertraut. Auf der anderen Seite erhält der Lehrende die Rückmeldung, welche der Inhalte bereits bekannt sind und verkürzt behandelt werden können und welche unbekannt sind und daher ausführlicher angesprochen werden sollten. Dieses Szenario versucht vorhandenes Vorwissen zu identifizieren und kann damit zur Planung und Steuerung der folgenden Veranstaltungen eingesetzt werden. Indem der Lehrende auf die so ermittelten Anforderungen eingeht, optimiert er gleichzeitig sein Zeitmanagement im Hinblick auf ein zu erwartendes Lernergebnis.

Nachbereitung & E-Übungen

<video type="youtube2" id="jzq92bHIJms" width="500" desc="Elektronische Übungen/Prüfungen an der Hochschule Ostfalia"/> Bei der klassischen Kombination aus Vorlesung und Übung bearbeiten Studierende Übungsaufgaben, um Inhalte einer früheren Veranstaltung zu vertiefen und sich ggf. zur Teilnahme an einer abschließenden Klausur zu qualifizieren. Anhand der erzielten Ergebnisse erhalten die Lehrenden Feedback, welche Inhalte bereits verstanden wurden und welche in einer der folgenden Veranstaltungen noch einmal wiederholt oder vertieft werden sollten. Die Bearbeitung von Übungsaufgaben erfolgt dabei regelmäßig, i.d.R. als Nachbereitung einer vorausgehenden Lehrveranstaltung.

Auf diese Weise kann der Wissensstand der Studierenden jeweils individuell ermittelt und bewertet werden. Ein wesentlicher Vorteil elektronischer Übungsaufgaben ist das schnelle Feedback. Studierende erhalten direkt die Rückmeldung, welche Fragen sie richtig oder falsch beantwortet haben und können - falls Inhalte unklar bleiben - diese in der folgenden Veranstaltung ansprechen. Lehrende hingegen bekommen bereits vor ihrer Veranstaltung einen Überblick über die Ergebnisse und können entsprechend reagieren, d.h. nicht-verstandene Inhalte wiederholen oder vertiefen bzw. zu Folgethemen übergehen, wenn Inhalte schneller als erwartet verstanden wurden. Bei "klassischen" Übungen hingegen vergehen i.d.R. ein bis zwei Wochen, bis Tutoren die Papier-basierten Abgaben kontrolliert, im Rahmen von Tutorien mit den Studierenden besprochen und die Lehrenden über die Ergebnisse informiert haben.

Durch den Einsatz elektronischer Verfahren kann man den Studierenden leichter als bisher die Möglichkeit einräumen, falsch gelöste Übungsaufgaben noch einmal zu bearbeiten (z.B. mit anderen Grundwerten) und so einen Teil der verloren gegangenen oder nicht erreichten Punkte zurückzugewinnen. Das motiviert Studierende stärker, sich ein zusätzliches Mal mit Inhalten zu beschäftigen, die sie zunächst nicht verstanden haben. Durch automatische Auswertung klappt dies sogar im Rahmen des normalen Übungszyklus. Bleibt dennoch etwas unklar, können die Studierenden diese Fragen zeit- und themennah in der folgenden Veranstaltung ansprechen. Das nebenstehende Video zeigt Einsatzmöglichkeiten dieses Szenarios.

Beispiele:

• Testkomponente des LMS LON-CAPA im Bereich der MINT-Fächer an der Hochschule Ostfalia
• CASUS-System zur fallbasierten Ausbildung von Tiermedizinern an der TiHo Hannover
• EASy-Plattform im Informatikstudium an der WWU Münster

Clicker & Audience Response Systems

Beispiel einer Abstimmungseinheit

Direkte Rückmeldungen aus dem Hörsaal sind eine konsequente Weiterentwicklung der im vorangehenden Abschnitt beschrieben elektronischen Übungsaufgaben. Sie ergeben sich aus der Anforderung, dass Lehrende bereits während einer Veranstaltung die Meinung der Studierenden einbeziehen oder Feedback zum Verständnis einholen möchten. Auf diese Weise können sie direkt reagieren und müssen nicht, wie im klassischen Übungsbetrieb üblich, auf die Auswertung von Übungsaufgaben und bis zur nächsten Veranstaltung warten.

Zu diesem Zweck ist es notwendig, den Hörsaal mit entsprechenden Feedback-Technologien wie den sog. "Clickern" (auch Audience oder Classroom Response Systems genannt) auszustatten. Im einfachsten Fall erhält jeder Sitzplatz eine Abstimmungseinheit, die z.B. wie bei der Fernsehsendung "Wer wird Millionär" verschiedene Auswahlmöglichkeiten bietet. Wer mobile Lösungen bevorzugt kann ein entsprechendes Set mitbringen und die einzelnen Einheiten vor der Lehrveranstaltung an die Studierenden austeilen. Der Lehrende gibt dann Aufgabe sowie mögliche Antworten vor und erhält die Zahl der abgegebenen Stimmen sowie das kumulierte Ergebnis auf einem Display. Studierende müssen auf diese Weise die Lehrveranstaltungen nicht nur passiv "konsumieren", sondern können sie aktiv mitgestalten. Verschiedene Szenarien sind für eine aktivierende bzw. interaktive Lehre denkbar:

• Veranstaltungssteuerung: In manchen Fächern, z.B. den Wirtschaftswissenschaften, existieren Probleme, für die es keine eindeutig richtige oder falsche Lösung gibt. Vielmehr stehen hier verschiedene Lösungswege zur Bewältigung gleichberechtigt nebeneinander. Die Studierenden können durch ihre Abstimmung im Hörsaal direkt signalisieren, welcher Weg im Rahmen der aktuellen Veranstaltung behandelt werden soll und tragen somit zur Veranstaltungssteuerung bei.

• Geschwindigkeitsregulation: Bei reinen Vorlesungen ist es für Dozenten oft schwer einzuschätzen, ob die Studierenden noch folgen können, bereits abgehängt sind oder sich langweilen, weil es zu langsam vorangeht. Der Einsatz von ARS gestattet, eine Einschätzung der Studierenden zur Geschwindigkeit zu erheben, z.B. als "schneller", "weiter so" oder "langsamer". Ihr Meinungsbild fungiert damit wie eine Fernbedienung für die Veranstaltung, auf die sich der Lehrende einstellen kann. Voraussetzung ist allerdings eine entsprechende Anpassungsfähigkeit des Lehrenden und Lehrstoff, der sich verkürzt oder ausgedehnt darstellen lässt.

• Reflexion der Inhalte: Wie beim Übungsbetrieb können Lehrende durch verschiedene Aufgaben herausfinden, welche Inhalte bereits verstanden wurden und wo Nachholbedarf besteht. Nachteil bei Übungen oder Tutorien ist, dass ihre Ergebnisse frühestens zur nächsten Veranstaltung zur Verfügung stehen. Wer nicht so lange warten will, kann bereits im Rahmen der Veranstaltung entsprechende Aufgaben stellen und erhält so die Möglichkeit, Verständnisprobleme direkt vor Ort (und mit dem zugehörigen Versuchsaufbau oder Foliensatz) zu beheben.

• Diskussion anregen: Ein beispielhafter Prozess, um mit Hilfe dieser Geräte die gemeinsame Beschäftigung mit den Inhalten und darüber das gemeinsame Lernen anzuregen, kann z.B. folgendermaßen aussehen:

1. Lehrender stellt Frage (z.B. "Wie viele Bundesländer grenzen an Niedersachsen?")
2. Abstimmung und Präsentation der Ergebnisse
3. Lehrender bittet Studierende, Antwort mit dem Nachbarn zu diskutieren
4. Abstimmung und Präsentation der Ergebnisse
5. Auflösung des korrekten Ergebnisses ("9")

• Gruppenarbeit fördern: Lehrende setzen explizit nur ein Gerät pro Gruppe Studierender ein, um so die Diskussion innerhalb dieser Gruppen zu fördern (oder weil nur wenige Geräte zur Verfügung stehen). Auf diese Weise muss die Gruppe ein Thema erst diskutieren, bevor die Gruppenmeinung dann als Ergebnis über das Gerät übermittelt werden kann.

• Gegenseitiges anonymes Bewerten: Studierende tun sich schwer damit, andere Studierende öffentlich schlecht zu bewerten. Das liegt zum einen daran, dass sie selbst eine positive Bewertung erwarten, zum anderen wollen sie die Erwartungen ihrer Kommilitonen erfüllen. So kann ein Lehrender z.B. im Rahmen eines Seminars ARS einsetzen, um studentische Präsentationen von anderen Studierenden bewerten zu lassen. Durch die gegebene Anonymität ist ihre Einschätzung objektiver als wenn sie sich öffentlich äußern müssten. Zudem steht der Lehrende auf diese Weise nicht als alleiniger Kritiker da.

• Zur Ruhe bringen: Zu Beginn einer Lehrveranstaltung sind Studierende häufig unruhig, packen ihre Sachen aus, richten ihre Plätze ein, begrüßen sich untereinander, tauschen Neuigkeiten aus, gleichen Ergebnisse ab uvm. I.d.R. dauert es eine Weile, bis sie soweit zur Ruhe gekommen und konzentriert sind, dass Lehrende mit den wesentlichen Inhalten beginnen können. Indem Lehrende zu Beginn einer Veranstaltung eine Startfrage mit Hilfe der ARS stellen, können sie dies beschleunigen. Durch Konzentration auf die Frage, Beantwortung über die Geräte und in Erwartung des Ergebnisses tritt die erwünschte Ruhe nämlich quasi als "Nebeneffekt" ein.

• Themenfreigabe durch Studierende: Möchten Lehrende ein Thema so lange und intensiv behandeln, bis ein Großteil der Studierenden dieses verstanden hat, können sie parallel zur Veranstaltung eine Abstimmung zum Verständnis starten. Über die Anzahl (und den Prozentsatz) der abgegebenen Stimmen können sie dann einschätzen, wie viele überzeugt sind, das Thema zu beherrschen, und wie viele noch nicht. Je nach Lehrziel kann das Thema dann so intensiv bearbeitet werden, bis genügend Studierende der Meinung sind, dass sie es hinreichend verstanden haben.

• Demographischer Einfluss: Manche ARS gestatten vor der Befragung eine Erhebung demographischer Faktoren. Auf diese Weise ist eine Anzeige von Eingaben abhängig von diesen Daten möglich. Lehrende können die Antworten so deutlich einfacher und schneller z.B. nach Geschlecht oder Alter unterscheiden und sie in die Veranstaltung einzubauen, als es alternativ durch Auszählung machbar wäre.

• Individuelle Aufgaben: Bei elektronischen Übungen wurde die Erfahrung gemacht, dass individualisierte Aufgaben eines gemeinsamen Typs das gemeinsame Lernen fördern, da sie einen Abgleich von Ergebnissen vermeiden. ARS können elektronische Übungen in den Hörsaal verlagern, ohne diesen komplett mit Rechnern ausstatten zu müssen. Bisher wurde das noch nicht realisiert - dennoch ist denkbar, dass ein Lehrender eine Aufgabe allgemein stellt, die Formel zur Berechnung in der Software hinterlegt und diese Software individuelle Grundwerte zur Berechnung an die Eingabegeräte versenden. Da bekannt ist, welche Eingabeeinheit welchen Wert erhalten hat, dürfte der Abgleich mit der korrekten Antwort realisierbar sein und dieses Szenario die Diskussion mit den Nachbarn um den Lösungsweg voranbringen.

• Teilnehmerlisten: I.d.R. erfolgt eine Abstimmung über ARS anonymisiert, worauf die Studierenden sehr großen Wert legen. Dennoch ist eine Individualisierung technisch machbar. So teilen Hochschulen wie die Uni Ulm bereits bei der Immatrikulation Geräte aus, die die Studierenden ihr gesamtes Studium behalten. Eine Erfassung der Geräte-ID und Speicherung zusammen mit der Matrikelnummer würde die Individualisierung von Abstimmungen zumindest technisch ermöglichen. Auf diese Weise ist es z.B. denkbar, durch einfachen Klick zu Beginn einer Veranstaltung Anwesenheitslisten zu erstellen, ohne dafür Blätter austeilen oder einsammeln zu müssen.

• Senat, Fakultäts-, Fachbereichsrat: Anonyme oder öffentliche Abstimmungen, wie sie in den Gremien der Hochschulen häufiger vorkommen, können ebenfalls elektronisch durchgeführt werden. Das spart Zeit beim Auszählen von Stimmen bzw. beim Abzählen von Handzeichen. Weil die Entscheidungen dieser Gremien i.d.R. Einfluss auf die Qualität der Ausbildung haben, trägt der Einsatz von ARS damit ebenfalls (indirekt) zur Verbesserung der Qualität bei.

Ein Einsatz solcher Systeme wurde u.a. von und erprobt und beschrieben. Weitere Versuche, bei denen Studierende per Mobiltelefon über Bluetooth an einer Abstimmung teilnehmen konnten, die in eine Präsentation integriert war, wurden z.B. als Power Blue Classroom Quiz im Rahmen einer Vorlesung an der Uni Osnabrück vorgenommen. Zudem beschreibt die TiHo Hannover den Einsatz des TED-Systems der Firma PowerVote. Eine Auflistung und Übersicht verschiedene Systeme ist in der Rubrik Audience Response Systeme im Bereich Technik zu finden.

Gemeinsames Lernen

Beispiel der Variation einer Aufgabe gleichen Typs

Um die Diskussion um Inhalte anzuregen ist es nötig, den unreflektierten Austausch von Ergebnissen auszuschließen. So lernen z.B. Studierende der MINT-Fächer insbesondere dann etwas, wenn sie sich über den Lösungsweg einer Aufgabe mit anderen austauschen (und nicht nur das Ergebnis weitergeben).

Dieses kann man durch das Bereitstellen von Übungsaufgaben unterstützen, die zwar den gleichen Grundtyp (und damit den gleichen diskutierbaren Lösungsweg), aber unterschiedliche und individuelle Grundwerte haben (siehe als Beispiel die Abb. rechts). Elektronische Unterstützung vereinfacht die Individualisierung entsprechender Aufgaben, die Vorgabe einer zugehörigen Berechnungsvorschrift macht zudem eine automatische Auswertung der individuellen Lösungen möglich.

Sobald Lernende z.B. im Rahmen des Übungsbetriebs diese individuellen Aufgaben erhalten, ist ein einfaches Austauschen von Ergebnissen mit anderen nicht möglich. Lernende sind auf diese Weise "gezwungen", sich mit den Inhalten und dem Lösungsweg der Aufgaben auseinander zu setzen. Denn diesen müssen sie verstehen, um ihn mit den eigenen Werten nachzuvollziehen und so auf die individuelle Lösung zu kommen. Das funktioniert insbesondere bei MINT-Fächern, da dort viele Berechnungsaufgaben vorkommen, deren Grundwerte z.B. per Zufall bestimmt werden können.

Systeme, die entsprechende Individualisierung unterstützen, sind:

• LMS LON-CAPA, z.B. eingesetzt in den MINT-Fächern an der Hochschule Ostfalia

Confidence-based Marking

Beim Confidence-based Marking wird neben der Antwort auf eine gestellte Aufgabe auch das Zutrauen des Prüflings in die eigene Antwort abgefragt. Dies erfolgt z.B. auf einer Skala, die von "unsicher/geraten" bis "sehr sicher" reicht. Auf diese Weise lässt sich auf das Verhältnis von Wissenslücken zu Fehlern im Lernprozess schließen. Denn eine falsche Antwort, die mehr oder weniger geraten wurde, hat eine andere Qualität, als wenn ein Prüfling von ihrer Korrektheit überzeugt ist. Während im ersten Fall der korrekte Sachverhalt noch nicht erlernt wurde, hat der Prüfling im zweiten Fall etwas Falsches gelernt - was auf Probleme im Lernprozess schließen lässt, der daraufhin zu analysieren und ggf. anzupassen ist.

Quizzes & Zwischentests

Motivierende Quizzes

Fragen zur Motivation und persönliche Einordnung am Beispiel To lie or not to lie?

Lehrende können Quizzes anbieten, die z.B. in Form kurzer, schnell zu bearbeitender Multiple-Choice-Tests wesentliche Inhalte einer vorangegangenen Veranstaltung aufgreifen. Quizzes sind i.d.R. freiwillig, teilnehmende Studierende bleiben anonym. Auf diese Weise werden zwei Dinge erreicht: auf der einen Seite können motivierte Lernende die besprochene Thematik noch einmal wiederholen, schnell überprüfen, ob sie wesentliche Inhalte verstanden haben und erhalten einen weiteren Ansatzpunkt zur Vertiefung. Auf der anderen Seite erhält ein Dozent durch die statistische Auswertung der Ergebnisse ein erstes und aufgrund der Anonymität und Freiwilligkeit ehrliches Feedback zum Verständnis bei den Lernenden.

Entsprechende Quizzes werden gerne angenommen, da sie motivierend wirken. Ein Feedback erfolgt unmittelbar im Anschluss, da korrekte Lösungen vorgegeben sind, die Auswertung der Antworten automatisiert erfolgt und keine Notenskala eingestellt werden muss. Zudem sind Quizzes für regelmäßige Veranstaltungen problemlos wiederverwendbar, da Kopieren oder Abschreiben der Fragen/Antworten aus vorangegangenen Semestern keinen Vorteil mit sich bringt – außer dass sich die Studierenden außerhalb der Veranstaltung noch einmal mit den Inhalten beschäftigen, was aber durch das Quiz gewünscht ist. Lehrende stellen den Studierenden mit solchen Quizzes einen zusätzlichen Kanal zur Aufnahme von Inhalten bereit, so dass diese den für sich sinnvollsten Kanal selbst aussuchen können.

Indem Fragen in zu vermittelnde Inhalte integriert werden, können sie die Aufmerksamkeit der Lernenden fesseln - diese also entsprechend motivieren, sich stärker mit den Inhalten auseinanderzusetzen. In gleicher Weise können sie helfen, Meinungen der Lernenden einzubeziehen, in den Lernkontext einzuordnen und entsprechend zu visualisieren. Beispiel dafür ist die Lerneinheit To lie or not to lie? der Open University (siehe Abb. rechts), die persönliche Einschätzungen den Philosophien von Kant, Bentham und Aristoteles gegenüberstellt.

Zwischentests in Selbstlerneinheiten

Ein Sonderfall sind reine E-Learning- oder Selbstlerneinheiten, die z.B. bei Fernuniversitäten oder im Blended Learning der klassischen Hochschullehre auftreten. Sie können helfen, Inhalte zu vertiefen oder bestimmte Teilaspekte aus Vorlesungen auszulagern. Ein Zusatzangebot mit E-Learning-Modulen hat insbesondere zwei Vorteile. Auf der einen Seite sprechen die Lehrenden damit einen weiteren Aufnahmekanal an und erhöhen somit die Wahrscheinlichkeit, dass Studierende die Inhalte verstehen. Auf der anderen Seite stehen Studierende beim Durcharbeiten nicht komplett alleine da, sondern werden durch die zugehörige Veranstaltungsreihe begleitet.

Bei solchen Selbstlerneinheiten ist es sinnvoll, den Lernenden Feedback zu geben, welche Inhalte bereits verstanden bzw. erlernt wurden und wo noch Schwächen sind. Zu diesem Zweck können Zwischentests eingesetzt werden, die thematisch und didaktisch an einzelne Lerneinheiten gekoppelt sind und diese z.B. abschließen. So erscheint es sinnvoll, weiterführende Lerneinheiten erst bearbeiten zu lassen, wenn vorangehende Inhalte durchgearbeitet und verstanden wurden. Passende Zwischentests können also z.B. genutzt werden, um den Zugang zu folgenden Lerneinheiten freizuschalten. Neben den Studierenden erhalten zudem die Lehrenden bzw. Autoren der Lerneinheiten ein Feedback und können damit Problembereiche identifizieren, auf die dann z.B. im Rahmen einer begleitenden Veranstaltung verstärkt eingegangen werden muss oder die vertieft werden sollten.

Weitere Einsatzmöglichkeiten

• Diagnostisches Assessment (z.B. Einstufungs- oder Zulassungstests)
• Summatives Assessment (z.B. E-Klausuren, Vorher/Nachher-Messungen)
• Qualitätssicherung (z.B. Progresstests, E-Lehrevaluation)
• Einsatzszenarien allgemein