UNIBE.5

MEASURED (Phase 2)

Long Title: Media-rich Electronic Assessment with Secure Delivery (Phase 2)
Leading
Organization:
Universität Bern
Participating
Organizations:
ETH Zürich
Fachhochschule Nordwestschweiz
Domain: ELS
Status: finished
Start Date: 01.08.2010
End Date: 31.12.2011
Project Leader: S. Guttormsen
Deputy Project Leader: H. Hinterberger
Website: http://www.cta.ethz.ch/computerbased_assessment/sioux

MEASURED nutzte die anstehende Einführung von computerbasiertem Prüfen als Teil der eidgenössischen Abschlussprüfung des Medizinstudiums als Gelegenheit, um die im Projekt SIOUX erarbeiteten Grundlagen für die sichere Durchführung von elektronischen Prüfungen in einem neuen Kontext schweizweit anzuwenden, auszubauen und als qualitativ hochwertige und erprobte Lösung innerhalb der Schweizerischen Hochschullandschaft zu etablieren.

(siehe auch SIOUX (Phase 1), MEASURED 2 (Phase 3) und MEASURED 3 extension)

Resultate

Komponente Beschreibung
MEASURED Repository Demo-Prüfungsclient, Spezifikation Prüfungsdaten (XML Schmea), Zusammenfassung der Kandidatenbefragungen zur Benutzerfreundlichkeit
Source Code Auf Anfrage: cba-admin@iml.unibe.ch

Die anvisierte Architektur für ein flexibles und sicheres System zur Durchführung computerbasierter Prüfungen funktioniert. MEASURED konnte Anfang September 2011 nach nur einem Jahr Entwicklungszeit, unter Verwendung der SIOUX-Sicherheitsarchitektur und dem entsprechend modularisierten Backend, produktiv für eine multimediale, mehrsprachige, mehrtägige und schweizweite Parcours-Prüfung mit ca. 750 Kandidierenden eingesetzt werden. Es wurden mit MEASURED ausserdem zwei Testläufe in Zürich und Bern durchgeführt, so dass insgesamt schon über 1000 Kandidierende damit geprüft wurden. Die von SIOUX übernommene Technologie konnte vollständig eingebunden und um einen "Offline-Modus"(mit Sicherheitsvorbehalten) für die Durchführung an Prüfungslokalen ohne Netzwerk-Konnektivität erweitert werden. Sämtliche fachspezifischen inhaltlichen und strukturellen Anforderungen (z.B. die Einbindung von Videos und Tonaufnahmen) konnten im Frontend umgesetzt werden und die Bedienung führte auch bei Kandidierenden, welche zum ersten Mal mit der Prüfungsapplikation konfrontiert waren, zu keinerlei Fragen.
Der Nachweis, dass sich Stabilität und Sicherheit im Backend mit einem davon unabhängig und frei gestaltbaren Frontend kombinieren lässt, welches sich ganz an unterschiedlichen inhaltlichen Bedürfnissen ausrichten kann, ist somit erbracht.

Obwohl MEASURED nicht im Browser läuft, wurde bei allen Prüfungen der SEB (Safe Exam Browser) eingesetzt, um die Computer in einen "Kiosk"-Modus zu versetzen, welcher es den KandidatInnen erschwert, aus dem Prüfungsclient "auszubrechen".
Verschiedene Anstrengungen zur Erarbeitung von Richtlinien für die rekurssichere Durchführung von elektronischen Prüfungenin wurden unternommen, kamen jedoch mangels klarer Aussagen zur Rekurssicherheit von elektronischen Prüfungen basierend auf digitalen Signaturen nicht substantiell weiter. Die Standardisierung wird durch die unterschiedlichen Prüfungskulturen gebremst, weshalb eher eine Interoperabilität der Systeme und Datenformate anzustreben ist.


Ziele

MEASURED wird eine technische Lösung für summative Prüfungen entwickeln. Somit handelt es sich um ein Selektionsinstrument mit grosser Tragbreite, an das höchste Qualitätsansprüche gestellt werden müssen. Summative Prüfungen stellen punkto Messqualität, Standardisierung und verschiedener Aspekte der Prüfungssicherheit deutlich höhere Anforderungen als formatives Assessment. Für die Implementation sind deshalb

  • juristische Sicherheit (Rekursfähigkeit),
  • Robustheit gegenüber technischen Problemen sowie
  • Benutzerfreundlichkeit (Usability)

von grösster Wichtigkeit. Im Rahmen der Vorabklärungen ist klar geworden, dass SIOUX in Bezug auf juristische und technische Sicherheit den state-of-the-art repräsentiert und die optimale Basis für ein entsprechendes Prüfungssystem darstellt.
MEASURED soll ein auf dem Sicherheitskonzept von SIOUX basierendes System zur sicheren Durchführung von kritischen Prüfungen (summativ, high-stakes) sein, welches auf nationaler Ebene zum Einsatz kommt und interessierten Institutionen in diesem Bereich eine innovative, zuverlässige und flexible Lösung bieten kann.
Die bestehende Umsetzung der sicherheitsrelevanten Aspekte (digitale Signierung, ausfalltolerantes Antwortprotokoll) wird

  • modular verfügbar gemacht und
  • die betroffenen Prozesse optimiert.

Alle zur Durchführung benötigten Prüfungsdaten können in einem spezifizierten und gut dokumentierten XML-Format eingespielt werden, um die Verwendung mit unterschiedlichen Frageerstellungs-Tools zu ermöglichen. Dasselbe gilt für die Ausgabe der Resultate und deren Auswertung in Drittapplikationen.
Auf der Darstellungsseite liegt der Fokus auf einer modularen Erweiterung um neue Frage- und Antwortformate sowie multimediale und interaktive Inhalte, unter starker Berücksichtigung von Usability-Aspekten.

Nutzen

Computer-based Assessment (CBA) wird an allen Schweizer Hochschulen und Universitäten als positive Entwicklung begrüsst. Es ist nicht nur eine natürliche Weiterentwicklung von E-Learning, CBA verspricht auch einen bedeutenden Effizienzgewinn bei der Planung und Auswertung von Prüfungen. Zudem bietet CBA mehr Flexibilität in der Wissensabfragung, da dynamische Medien in die Prüfungsfragen eingebunden werden können.
Das SIOUX-Sicherheitskonzept für computerbasiertes Assessment wird technisch ergänzt und gefestigt, juristisch etabliert und als Teil einer erweiterten Prüfungsdurchführungs-Software für eine Vielzahl von anspruchsvollen Prüfungskontexten und -inhalten zugänglich gemacht.
Der zukünftige Einsatz dieser Software an eidgenössischen Prüfungen, den medizinischen Fakultäten sowie an der ETH verspricht einen langfristigen Unterhalt sowie kontinuierliche Verbesserungen und Innovationen.

Arbeitsschwerpunkte

  1. Klärung der juristischen Fragen und Etablierung eines computerbasierten Prüfungsstandards für die Schweiz:
    • Bedingungen für die Anerkennung digital signierter Prüfungsresultate als rechtssicheres Beweismittel im Rahmen eines Rechtsverfahrens (Gleichstellung mit Papierversion)
  2. Modularisierung von zentralen Modulen des SIOUX-Prototypen:
    • Modularisierung der Verschlüsselungsfunktionen des SIOUX-Prototypen (Weiterverwendung in zukünftigen computerbasierten Prüfungssystemen)
    • Spezifikation der einzelnen Module
    • Schnürung von Modulen zu funktionierenden und dem konkreten praktischen Kontext angepassten MEASURED-Versionen
  3. Flexible und multimediafähige Benutzerschnittstelle (User Interface):
    • Interaktions-Design; Anpassungen für spezifische Fragetypen und Medien-Inhalte/Formate
  4. Datensicherheit (Data Security):
    • Übernahme und Erweiterung der SIOUX-Sicherheitsaspekte
  5. Datenaufzeichnung (Data Recording):
    • Einsatz von digitalen Signaturen; Evaluation des Einsatzes der SuisseID im Rahmen von CBA; Überprüfungsmodul (Systemüberwachung, Problembehebung)
  6. Datenbindung (Data Binding):
    • neuer, XML-basierter Prüfungsdaten-Standard (für alle für eine Prüfung relevanten Daten; QTI-Erweiterung)

Back