Verankerung an den Hochschulen

Strukturelle Einführung

Drei Säulen zur Einführung von E-Prüfungen

In der Vergangenheit wurden z.B. der Aufbau von E-Learning-Infrastruktur oder die Einführung von Lernmanagementsystemen an Niedersächsischen Hochschulen gefördert. Ein Beispielprojekt ist das E-Learning Academic Network (ELAN), das technische und personelle Voraussetzungen vor Ort geschaffen sowie hochschulübergreifende Netzwerke aus E-Learning Akteuren aufgebaut hat. Für die Hochschullehre hatte dies folgende Konsequenz: E-Learning-Elemente wurden hochschulweit verfügbar und Lehrenden waren deshalb eher bereit, diese zur Anreicherung ihrer Veranstaltungen einzusetzen.

Ergebnisse eines erfolgreichen E-Learning-Projekts sind Erkenntnisse, Kontakte sowie eine etablierte Infrastruktur an der Hochschule. Zudem existieren Mitarbeiter vor Ort, die sich mit Technik, Organisation und Besonderheiten ihrer Hochschule auskennen. Ein solches Projekt ist somit solide Grundlage für weitere Einführungsaktivitäten. Drei Elemente haben sich dabei als wichtig in Einführungsprojekten herausgestellt: zuständige Ansprechpartner vor Ort, hochschulübergreifende Begleitung und beratende Experten im Hintergrund.

Die folgenden Abschnitte gehen näher auf diese Elemente ein, jeweils bezogen auf die Einführung von E-Assessments und E-Prüfungen. Ein Beispielprojekt, das genau diese Strategie verfolgt und eine entsprechende Einführung an den Niedersächsischen Hochschulen vorantreibt, ist das Niedersächsische Netzwerk für E-Assessments und E-Prüfungen (N2E2).

Ansprechpartner vor Ort

Ein Mitarbeiter direkt vor Ort kann die notwendige technische Infrastruktur einrichten und betreuen, individuelle fachspezifische Anforderungen abfragen, verschiedene Prüfungssysteme evaluieren, installieren und gemäß der Anforderungen der Hochschule anpassen oder entsprechend erweitern. Zudem kann er den Einsatz dieser Technologien an seiner Hochschule bewerben, Verwendungsmöglichkeiten und Szenarien, aufzeigen, Lehrende im Umgang mit den Systemen schulen und beraten, sie bei der Durchführung unterstützen und bei Fragen oder Problemen z.B. per Hotline zur Verfügung stehen.

Die Erfahrung zeigt, dass Hochschulmitarbeiter eher bereit sind, mit Kollegen vor Ort zu kooperieren als mit unbekannten (und womöglich externen) Dritten, deren Motivation zunächst unklar ist und die sie seltener zu Gesicht bekommen. Durch Einbindung von bzw. Zusammenarbeit mit etablierten Serviceeinrichtungen einer Hochschule, z.B. dem E-Learning-Kompetenz- oder Hochschulrechenzentrum, kann der Ansprechpartner zudem auf die Schaffung organisatorischer, rechtlicher und politischer Rahmenbedingungen hinwirken.

Hochschulübergreifende Begleitung

Bisher halten Hochschulen E-Assessment- oder E-Prüfungstechnologien zur Anreicherung der Lehre i.d.R. nicht flächendeckend vor. Dennoch gibt es einzelne Lehrende, die z.B. über langjährigen Einsatz in der eigenen Veranstaltung oder über Verbundprojekte bereits Erfahrungen damit gesammelt haben. Ein Beispiel ist das Projekt Projekt E-Übungen an der Hochschule Ostfalia.

Um dieses Wissen weiteren Lehrenden zur Verfügung zu stellen, bietet sich eine hochschulübergreifende Begleitung an. Diese steht als Bindeglied zwischen Experten sowie Interessenten und unterstützt bzw. erleichtert den Know-how-Transfer. Eine koordinierende Stelle kann z.B. die Aktivitäten an unterschiedlichen Standorten methodisch begleiten, Ansprechpartner und Experten vor Ort identifizieren, deren Erfahrungen einbeziehen, Erkenntnisse, Informationen und Best Practices sammeln, in Übersichten, Checklisten, Leitfäden oder Handbüchern aufbereiten und diese für sämtliche Beteiligten bereitstellen. Informationsveranstaltungen können Hochschullehrende auf den Nutzen von E-Prüfungen aufmerksam machen, Workshops zudem notwendige Kenntnisse zum angemessenen Einsatz in der Lehre vermitteln.

Darüber hinaus kann eine hochschulübergreifende Organisation weitere Fachexperten vorhalten. Will eine Hochschule nämlich den Einsatz von E-Assessments oder E-Prüfungen nur erproben, z.B. motiviert durch projektbezogene Anschubfinanzierung, rechnet es sich insbesondere für kleine Hochschulen nicht, diese Experten jeweils einzustellen. Diese Experten könnten u.a. unterstützen bei

• Software für Lehre, Studium und deren Management (z.B. Assessment-Systeme, Plugins, Anbindung an Prüfungsverwaltung)
• Rechtsfragen bei E-Klausuren (z.B. Erarbeiten eines Leitfadens, Anpassung der Prüfungsordnungen)
• Video- und Multimediatechnik (z.B. zur Integration in die verschiedenen Aufgabentypen)
• Einbindung in die landesweite Authentifizierungs- und Autorisierungsinfrastruktur

Expertennetzwerk im Hintergrund

Ein hochschulübergreifendes Expertennetzwerk besteht aus den Lehrenden, die bereits Erfahrungen mit dem Einsatz von E-Assessments und E-Prüfungen gemacht haben. Sie können unterstützen, beraten und ihr Know-how in Form von Best-Practice-Beispielen teilen. Im Rahmen weiterer Forschungsprojekte können die Experten neue Itemformen, Einführungs- und Einsatzstrategien entwickeln oder entsprechende Szenarien erweitern.

Ein solcher Verbund erleichtert darüber hinaus die Erprobung verschiedener Technologien und Szenarien, ohne dass eine Hochschule diese Komplettleistung alleine übernehmen muss. Damit profitiert jede Hochschule von Erfahrung und Ideen der anderen. Zudem gestattet dieser Ansatz den Aufbau und Zugriff von Kompetenz ohne Aufbau eines eigenen E-Prüfungszentrums.

Methodische Begleitung

Aufeinander aufbauende Einführungsphasen

Angenommen, eine Hochschule denkt über die Erprobung oder Einführung von E-Assessments und E-Prüfungen nach. Dann sollte sich diese in die generelle Prüfungsstrategie der Hochschule eingliedern. So gibt es Hochschulen, die z.B. Prüfungsfragen oder -themen explizit herausgeben, damit sich Studierende im Vorfeld damit beschäftigen und sich entsprechend vorbereiten können - da das zugehörige Wissen bezogen auf die Fragen genau das ist, was sie lernen sollen. Andere Hochschulen hingegen sehen Prüfungsfragen als geheim an und sorgen dafür, dass Studierende keine Notizen mit aus Prüfungen nehmen, um die Wiederverwendbarkeit der Fragen zu erhöhen und Fragesammlungen unter Studierenden zu vermeiden. Die Wahl einer geeigneten Metapher wie z.B. die Elektronisierung bereits in schriftlicher Form vorliegender Prüfungen kann darüber hinaus eine Einführung elektronischer Verfahren erleichtern.

Damit Lehrende E-Assessments und E-Prüfungen in ihre Lehrveranstaltungen integrieren können, ist eine entsprechende Infrastruktur notwendig. Diese besteht idealerweise aus zuverlässigen Technologien, qualifizierten Mitarbeitern für Betrieb, Erweiterung und Schulung sowie aus Lehrenden, die damit umgehen und bei Bedarf darauf zugreifen können. Ob diese Infrastruktur selbst aufgebaut, von externen Dienstleistern angemietet oder im Hochschulverbund gegenseitig bereitgestellt wird, ist den Hochschulen jeweils selbst überlassen.

Um diesen Prozess zu unterstützen, fungiert die bereits angesprochene hochschulübergreifende Begleitung (mittlere Säule des vorangehenden Abschnitts) als Bindeglied zwischen Experten und lokalen Mitarbeitern. Sie erleichtert den Know-how-Transfer zwischen diesen und versucht, die geeigneten Rahmenbedingungen herzustellen: Wissen und Erfahrung der Experten einbeziehen, Mitarbeiter vor Ort für die Komplexität des Themas sensibilisieren und qualifizieren sowie hochschulübergreifende Zusammenarbeit fördern. Zu dem Zweck wurde eine Methode entwickelt, die in der nebenstehenden Abbildung illustriert und in den folgenden Abschnitten beschrieben ist.

Bestandsaufnahme und Heranführung

An elektronischen Prüfungen sind verschiedene Personen mit jeweils unterschiedlichen Aufgaben beteiligt. Im ersten Schritt geht es deshalb darum, diese Personen an den einzelnen Standorten zu identifizieren und ihre jeweiligen Zuständigkeit abzufragen. Typischerweise sind folgende Rollen beteiligt:

• E-Learning- oder E-Prüfungs-Beauftragter (allgemeine Koordination)
• Dozenten und Übungsleiter (Einsatzszenarien, Erfahrungen)
• Hochschulrechenzentrum (Rechnerräume mit Ausstattung)
• LMS-Betreiber (Erweiterungen, Schnittstellen)
• Zuständige für Betrieb, Installation Administration neuer Software
• Netzbetrieb (mobiles WLAN, Prüfungsnetz)
• Prüfungsamt (Prüfungsordnungen)
• Betreiber des Prüfungsverwaltungssystems (Schnittstellen)
• Ausleihe/Verleihstelle (Tablet-PCs, Notebooks)
• Raumbüro (Prüfungsräume, Hörsäle, Ausstattung?)
• Personalstelle (Prüfungsaufsichten von Nichtfachleuten)
• Langzeitarchivierung (Hochschulbibliothek)
• Fremdsprachenzentrum (Sprachtests bereits im Einsatz?, Fragepools vorhanden?)
• Fachbereiche/Immatrikulationsamt (Tests zur Studienorientierung)
• Pädagogik (Erforschung von elektronischen Prüfungen, Messbarkeit etc.)

Darüber hinaus hat jede Hochschule ihre Besonderheiten, z.B. eine individuelle Ausstattung mit Rechnern und Rechnerräumen, bereits installierte und verwendete Assessment-Systeme, eigene Prüfungsverwaltungssysteme, typische Prüfungsverwaltungsprozess usw. Diese sind ebenfalls zu erfassen. Im nächsten Schritt können diese Informationen aufbereitet und als Übersicht über die technische, logistische und personelle Infrastruktur der Hochschule verbreitet werden. Dadurch entstehen zwei Mehrwerte: auf der einen Seite erleichtert dies das Auffinden von Zuständigkeiten, z.B. falls ein Lehrender neu an die Hochschule gewechselt ist. Auf der anderen Seite können die Rolleninhaber (z.B. der zuständige Mitarbeiter im Prüfungsamt) sehen, wer in der gleichen Rolle an einer anderen Hochschule tätig ist und sich so mit diesen besser austauschen.

Um die Erfahrung von Experten einbeziehen zu können, geht es in einem weiteren Schritt darum, diese und ihre Aktivitäten rund um E-Prüfungen zu ermitteln und ebenfalls aufzuführen.

Einführung und Verstetigung

Darauf aufbauend geht es um die konkrete Einführung sowie den weiteren Ausbau der Aktivitäten rund um E-Assessments und E-Prüfungen. Zunächst sind typische Einsatzgebiete an Hochschulen zu ermitteln und zu beschreiben. Sind die zugehörigen und Hochschul-individuellen Prüfungs(verwaltungs)prozesse identifiziert und in einzelne Aktivitäten aufgeschlüsselt (siehe z.B. Organisation und Durchführung), sind mögliche Integrationspunkte für technologische Unterstützung erkennbar.

Im nächsten Schritt geht es daher um Hilfestellung bei der Technik- oder Systemauswahl. Eine Auflistung verschiedener technologischer Systeme, die zur Unterstützung der jeweiligen Aktivitäten eingesetzt werden können, sowie deren Gegenüberstellung mit alternativen Systeme und jeweiliger Funktionalität sollen die Wahl erleichtern. Ein Beispiel bietet die Übersicht über den Funktionsumfang ausgewählter E-Prüfungssysteme.

Schließlich erfolgt eine inhaltliche Begleitung bei der Erprobung der Systeme. Testberichte und Anleitungen helfen bei der konkreten Entscheidung. Um die Zuverlässigkeit und den Umgang mit den Systemen kennen zu lernen, werden grundlegende Informationen zusammengestellt, Erfahrungsberichte und Best-Practice-Beispiele eingesammelt, aufbereitet und in Form von Checklisten und Leitfäden zur weiteren Verwendung bereitgestellt.

Ausbau und Kooperation

Sobald Systeme ausgewählt und erprobt wurden, geht es im Folgenden darum, sie an individuelle Anforderungen der Hochschule, des Fachbereichs oder des Einsatzgebiets anzupassen. Diese Anforderungen stammen aus dem Bedarf nach erweiterter Funktionalität, aus bereits existierenden Vorarbeiten, die einfließen sollen, oder entsprechen generellen Forderungen an alle Hochschulsysteme. Sollten entsprechende Systeme nicht individuell anpassbar sein, ist eine Rückmeldung an ihre Entwickler notwendig. Eine Mitarbeit im Entwicklerteam kann zudem dafür sorgen, dass Anforderungen niedersächsischer Hochschulen bei der Weiterentwicklung berücksichtigt werden.

Ein besonderer Punkt umfasst die Integration der Systeme in eine bereits existierende Hochschulsystemlandschaft. Häufig setzen Hochschulen im Rahmen ihrer Campus Management Strategie Prüfungsverwaltungssysteme wie z.B. HIS POS ein. Hier geht es darum, Mehrwerte zu erzielen, indem man neu eingesetzte E-Klausursysteme mit der Prüfungsverwaltung koppelt. Auf diese Weise ist es leichter als bisher möglich, Prüfungsdaten auszutauschen und Ergebnisse in die Verwaltungssysteme zurück zu spielen. Dies hilft zudem, Fehler bei der Datenübernahme zu vermeiden, die durch ein Eintragen in Listen und Abtippen derselben im Prüfungsamt auftreten können. Im Rahmen des Corporate Design können Hochschulen zudem großen Wert auf ein einheitliches Erscheinungsbild der Hochschulsysteme legen.

Schließlich ist die hochschulübergreifende Zusammenarbeit weiter zu fördern. So ist es z.B. möglich, fachliche Fragepools aufzubauen und diese im Lehrverbund auszutauschen sowie weiterzuentwickeln. Voraussetzung dafür sind allerdings angewandte Standards, die zu identifizieren bzw. neu zu entwickeln sind, und eine entsprechende Infrastruktur (wie z.B. Kataloge, Plattformen) ist bereitzustellen, die diesen Austausch unterstützt. Evtl. sind die eingesetzten E-Assessment-/E-Prüfungssysteme anzupassen, damit diese einen entsprechenden Im- und Export von Fragen oder Fragepools erlauben, insofern das bisher nicht vorgesehen ist.

Flankierende Maßnahmen

Die Schritte in den drei vorgestellten Phasen werden durch verschiedene Maßnahmen begleitet. Vor dem Hintergrund eines Know-how-Transfers von den Experten zu den interessierten Lehrenden, sind zunächst verschiedene Plattformen zur Unterstützung der Information und Kommunikation bereitzustellen. Diese sollen hochschulübergreifende Zusammenarbeit ermöglichen, die jeweiligen Ansprechpartner an den unterschiedlichen Standorten sowie ihre Kompetenzen aufführen, Grundlagen zu E-Assessments und E-Prüfungen beschreiben, Einsatzszenarien und Best-Practice-Beispiele darstellen sowie über aktuelle Ereignisse und Entwicklung rund um das Thema informieren. Zu dem Zweck wurden dieses Wiki und ein per RSS-Feed und Mail abonnierbares E-Prüfungs-Blog installiert.

Beteiligung an hochschulübergreifenden Projekten erlaubt, Erfahrungen und Ideen weiterer Hochschulen einzubeziehen. Ein Beispiel ist das Niedersächsische Netzwerk für E-Assessments und E-Prüfungen (N2E2), in dem erfahrene ELAN-Mitglieder als Konsortialpartner aktiv sind. Zudem ist es gelungen, weitere ELAN-Hochschulen, die bisher wenig Erfahrung in diesem Bereich haben, als Partnerhochschulen einzubeziehen und bei der Erprobung durch Installation eines jeweiligen Mitarbeiters vor Ort sowie einer Anschubfinanzierung zu unterstützen.

Schließlich geht es darum, über den Tellerrand hinaus zu schauen und wesentliche Erkenntnisse auf Tagungen oder Konferenzen zu veröffentlichen bzw. dort zu schauen, welche Ideen und Erfahrungen an Standorten außerhalb Niedersachsens gemacht werden.

Hochschulentwicklung

Hochschulen, die sich mit elektronischen Prüfungen beschäftigen, machen einen Entwicklungsprozess durch. Dieser kann zwar von Hochschule zu Hochschule verschieden sein, dennoch sind i.d.R. typische Elemente daran beteiligt. Nachfolgend ist beispielhaft eine mögliche Ausprägung eines solchen Prozesses beschrieben. Diese soll sowohl verschiedene Möglichkeiten für E-Prüfungen aufzeigen als auch die Veränderung und Weiterentwicklung von E-Prüfungssystemen nachvollziehbar machen.

Veränderte Ausgangssituation

An verschiedenen Standorten setzen einzelne Hochschullehrende bereits E-Prüfungen ein, um damit ihre Lehrveranstaltungen anzureichern. Häufig ist es aber eine veränderte Ausgangssituation, weshalb eine gesamte Hochschule über die Einführung von E-Prüfungen nachdenkt. Diese können z.B. eine Antwort sein auf zunehmende Prüfungszahlen, deren Ursachen wiederum in Modularisierung von Studiengängen, Wegfall der Wehrpflicht oder doppelten Abiturjahrgängen liegen.

Wunsch nach E-Unterstützung

Eine fortschreitende Automatisierung von Hochschulverwaltung und Lehrorganisation, z.B. durch Einsatz von Studierenden-, Prüfungsverwaltungs- oder Lernmanagementsystemen, sorgen für eine Reduktion von Aufwand sowie Komfortgewinn. An anderer Stelle entsteht hierbei natürlich neuer Aufwand, weil entsprechende Infrastrukturen aufzubauen, zu betreiben und zu pflegen sind. Die Idee liegt nahe, eine derartige E-Unterstützung auch für die Vorbereitung, Durchführung und Auswertung von Prüfungen einzusetzen.

Nachdenken über E-Klausuren

Durch Beschäftigung mit dem Thema stellen viele Hochschulen fest, dass die Durchführung von E-Klausuren großen Aufwand bedeutet: die Qualität der Aufgaben muss stimmen, Sicherheitskonzepte sind zu erneuern, die Technik muss zuverlässig sein, Prüfungsplätze sind bereitzustellen, Prüfungsordnungen sind anzupassen und vieles mehr. Zudem ist allgemein über Zweck und Wesen von Prüfungen nachzudenken. Die Reaktion darauf ist unterschiedlich: viele Hochschulen schreckt dieser Aufwand zunächst ab -- andere hingegen bekennen sich voll zu E-Klausuren, beseitigen mit Rückendeckung der Hochschulleitung und unterstützt durch hochschuleigene E-Learning-Abteilungen sämtliche Hindernisse, bauen entsprechende Testcenter auf (z.B. Uni Bremen, Uni Duisburg/Essen) oder arbeiten mit externen Dienstleistern zusammen (z.B. Medizinische Hochschule Hannover). Wieder andere tun sich zu gemeinsamen Einführungsprojekten zusammen, arbeiten gemeinsam an der Thematik und profitieren vom Know-how derer, die bereits Erfahrungen damit sammeln konnten.

Erkennen weiterer Einsatzmöglichkeiten

Bereits die Beschäftigung mit dem Thema trägt zur Qualitätsverbesserung bei, da bisherige Prüfungsprinzipien überdacht, diskutiert und Prüfungsaufgaben ggf. stärker an Lernzielen ausgerichtet werden. Zudem erfahren die Lehrenden, dass es neben E-Klausuren noch weitere Einsatzszenarien gibt, um Lehrveranstaltungen mit E-Prüfungen anzureichern und auf diese Weise die Lehre zu verbessern. Dazu zählen z.B. elektronische Übungen, Zwischentests, motivierende Quizzes, Audience Response im Hörsaal und vieles mehr. Beschreibungen weiterer Möglichkeiten finden sich im Abschnitt Einsatzszenarien.

Sammlung von Erfahrungen

Einordnung von Einsatzszenarien

Im nächsten Schritt sammeln die Hochschulen Erfahrungen mit verschiedenen Szenarien. Die Abb. rechts ordnet dazu verschiedene Einsatzszenarien in eine Matrix aus ihrer Relevanz für den Studienverlauf sowie die notwendige Umgebung ein. Hieran ist z.B. zu erkennen, dass benotete E-Klausuren als kritischer als andere Szenarien einzuordnen sind, da mehrmaliges Scheitern im schlimmsten Fall ein Studium beenden kann. Sie finden darum meistens in kontrollierter Umgebung statt. Freiwillige Quizzes hingegen haben i.d.R. keine Auswirkung auf den Studienverlauf. Studierende können sie beliebig oft (auch von zu Hause aus) durchführen, bis sie im günstigsten Fall die Inhalte verstanden haben.

Die Idee liegt nahe, dass Hochschulen und ihre Lehrenden zunächst mit weniger "gefährlichen" Szenarien beginnen. Auf diese Weise erlernen sie den Umgang mit eingesetzten Technologien, sammeln Erfahrungen im Erstellen passender Aufgaben und erhöhen die Akzeptanz unter den Studierenden. Sobald sich einfache Handhabbarkeit und Zuverlässigkeit der Technologien herausgestellt haben - insbesondere unter Berücksichtigung hoher paralleler Zugriffszahlen - ist ihre Verwendung auch in gefährlicheren Szenarien vorstellbar.

Rückbesinnung auf Startproblem

Schließlich erfolgt eine Rückbesinnung auf das Problem, das zu Beginn zum Nachdenken über E-Klausuren geführt hat: viele populäre Studiengebiete führen Massenveranstaltungen mit zahlreichen Studierenden durch. Entsprechend viele Prüfungen sind pro Semester abzunehmen. Häufig stehen aber keine z.B. 400 Rechnerarbeitsplätze zur Verfügung. Wollte man also E-Klausuren durchführen und hätte dafür einen Rechnerpool mit 50 Plätzen, wären pro Klausur 8 Durchläufe nötig. Diese sind aufwändig zu planen und zu organisieren. Zudem müssen Lehrende bereits vorab 8 gleichwertige - insbesondere gleich schwere - Klausuren erstellen. Externe Dienstleister, die dieses Problem durch ausreichend viel Hardware abfangen könnten, verursachen jedoch Kosten, die eine Hochschule evtl. nicht nachhaltig decken kann.

Um dennoch sämtliche Studierende in nur einem Durchlauf mit gleichen Aufgaben zu prüfen, denken Hochschulen über Scan-Klausuren nach. Diese werden mit Stift und Papier geschrieben und anschließend zur Analyse eingescannt. Statt einer elektronischen "Ausfüllhilfe" - jedoch ohne die zahlreichen multimedialen Mehrwerte - erhalten Lehrende so, was sie bereits von Anfang an gewünscht haben: elektronische Unterstützung bei der Klausurauswertung. Erste Studien, z.B. von der TU Clausthal, deuten zudem auf ein ausgewogenes Kosten/Nutzen-Verhältnis hin. Dies bestätigen auch Erfahrungen der Fernuni Hagen, die seit vielen Jahren Scan-Klausuren durchführt.