ETHZ.1 |
SIOUX (Phase 1) |
Long Title: | Secure Integrated Online eXam (Phase 1) |
Leading Organization: |
ETH Zürich |
Other Partners: |
Zürcher Fachhochschule
Hochschule Luzern Fachhochschule Nordwestschweiz |
Domain: | ELS |
Status: | finished |
Start Date: | 01.10.2008 |
End Date: | 31.07.2010 |
Project Leader: | H. Hinterberger |
Website: | http://www.cta.ethz.ch/computerbased_assessment/sioux |
(siehe auch MEASURED (Phase 2), MEASURED 2 (Phase 3) und MEASURED 2 extension)
Das Püfungssystem SIOUX besteht aus drei verschiedenen Client-Applikationen:
Komponente | Beschreibung |
AuthorClient | dient der Autorenschaft zur Bewirtschaftung des Fragenpools und zur Zusammenstellung, Auswertung und Analyse der Prüfung (öffentlich) |
ExamClient | dient zur Durchführung der Prüfung und dazu die Resultate der Studierenden digital signiert an den SIOUX Server zu schicken (eingeschränkt verfügbar: ExamClient selber ist öffentlich, die Prüfungen können aber erst nach der Anmeldung bezogen werden; Zugang bei Markus Dahinden) |
Tactical Client and Control Center | dient den Examinatoren während der Prüfung zur Statusübersicht, indem für alle Probanden die individuellen Prüfungsstatusinformationen abgerufen werden können (nur für Examinatoren zugänglich) |
Source-Code Sioux V1.2.3 | Bezug über Hans Hinterberger oder Markus Dahinden. |
Mit SIOUX wurden folgende Ziele erreicht:
Die erfolgreiche Durchführung der Basisprüfung hat bestätigt, dass mit SIOUX ein quasi Referenzsystem
für Computer-basierte Leistungskontrollen geschaffen wurde, an dem sich zukünftige CB-Prüfungssysteme messen können.
Die Client-Server-Applikation bietet dabei speziell folgende Vorteile:
Mit einem Sioux-Server können 300 Studierende gleichzeitig praktisch ohne Wartezeiten geprüft werden.
Benutzerakzeptanz: Gemäss Umfragen würden über 70% der Studierenden zukünftige Online-Prüfungen wieder
mit SIOUX absolvieren wollen. Das intuitiv bedienbare User-Interface von SIOUX hilft den Studierenden
auch ausserhalb der gewohnten Lern-Umgebung wie z.B. eines LMS Prüfungen effizient und effektiv bearbeiten
zu können.
Während des Projekts wurden insgesamt 1470 unbenotete und 630 benotete Leistungskontrollen mit SIOUX durchgeführt (270 davon
im Rahmen der high-stake Basisprüfung).
Auf eine AAI-Anbindung wurde verzichtet, da es sich bei SIOUX nicht um eine Webapplikation handelt
und einige Hochschulen auf den Internetzugang während der Prüfung komplett verzichten wollen, was eine
Authentifizierung durch einen externen Server verunmöglichen würde.
Im Rahmen von ICT- und Programmier-Lehrveranstaltungen unterrichten wir jedes Jahr rund 1100 Studierende. Die problembasierte Unterrichtsform und die hohen Studierendenzahlen erfordern ein effizientes und effektives Prüfungssystem. Wir haben dazu einen problembasierten Fragetyp entwickelt, der die automatische Korrektur zulässt. Um den administrativen Aufwand zu reduzieren, ist es unser Ziel, die Prüfungssessionen computergestützt durchzuführen. Dazu zählen wir
Bekannte Learning Management Systeme (LMS) wie z.B. OLAT, Ilias, Moodle oder Blackboard und spezialisierte Prüfungssysteme wie z.B. Questionmark Perception sind aus technischer Sicht nur unter Einschränkungen für sichere Prüfungen geeignet, da die Sicherheitsanforderungen nicht garantiert oder nicht dokumentiert werden (und stellen somit die Rekursfähigkeit einer Prüfung in Frage). Diesen Systemen fehlt eine digitale Signierung der Resultate, um nachträgliche Manipulation systematisch zu erkennen. Zudem verfügen sie über viele Funktionen, welche für das Prüfungsmanagement nicht benötigt werden und somit aus prüfungstechnischer Sicht die Sicherheit und Zuverlässigkeit negativ beeinflussen können.
Mit diesem Projekt wollen wir diese Lücke schliessen. Wir schaffen ein Online-Prüfungssystem, welches den kompletten Prüfungs-Lifecycle umfasst. Der SIOUX Application Server bildet das zentrale Element dieses Systems und stellt Schnittstellen für die Fragenpool-Bewirtschaftung, sowie die Zusammenstellung, Durchführung, Korrektur und Auswertung der Online-Prüfungen zur Verfügung. Für den Zugriff auf den SIOUX Server werden SIOUX Clients eingesetzt, welche je nach Anwendung (Durchführen von Online-Prüfungen respektive Prüfungsadministration) nur auf bestimmte Schnittstellen des SIOUX Servers zugreifen können.
SIOUX ist so konzipiert, dass es den verschiedenen Sicherheitsansprüchen und Anforderungen von Studierenden, Dozierenden und Hochschulen genügt:
Für die Studierenden steht das subjektive Vertrauen in das Online-Prüfungssystem im Zentrum. Dieses wird einerseits beeinflusst durch die lückenlose Verfügbarkeit des Systems (Hardware und Software) und andererseits durch die Transparenz der Datenverarbeitung ("Werden meine Daten unverändert gespeichert?"). Zudem soll das System verschiedene Arten der Leistungsrückmeldung unterstützen, so dass die Studierenden neben selektiven Prüfungen auch ihren aktuellen Wissensstand im Rahmen von formativen Tests feststellen können.
Die Dozierenden sind an einem effizienten Prüfungssystem interessiert, welches sich in die bestehende Struktur der Lehrveranstaltung integrieren lässt. Dabei muss sichergestellt sein, dass unbefugte Personen keinen Zugriff auf den Fragenpool erhalten und dass die Systemintegrität während einer Prüfung systematisch überwacht wird. Zudem soll das System die Resultate automatisch korrigieren und mit der grafischen Auswertung der Prüfungen ein wichtiges Instrument für die qualitative und inhaltliche Evaluation der Lehrveranstaltung zur Verfügung stellen.
Die Hochschule kann sich bei SIOUX auf ein System verlassen, welches einen mit e-banking oder e-voting Applikationen vergleichbaren Sicherheitsstandard aufweist. Dadurch ist sichergestellt, dass die zwischen Client und Server ausgetauschten Datenpakete jederzeit und systematisch auf deren Vollständigkeit und Identität hin untersucht werden. Eine nachträgliche Modifikation der Daten muss ausgeschlossen werden können (entscheidend im Falle eines Rekurses). Ziel dieses Projekts ist auch das Verfassen von Richtlinien zur sicheren und zuverlässigen Ausstattung und Konfiguration der Server- und Clientinfrastruktur. Da SIOUX als OpenSource Software entwickelt wird, werden auch die Sicherheitskritischen Systemkomponenten offen gelegt und detailliert dokumentiert. Dadurch wird eine detaillierte Risikoanalyse möglich, welche für die Anpassung respektive Erweiterung der institutionsspezifischen Prüfungsreglemente grundlegend wichtig ist.
Im Rahmen der AAA e-Infrastruktur wird ein zentraler SIOUX Server in Betrieb genommen, welcher den beteiligten Hochschulen zur Verfügung steht. Diese zentralisierte Infrastruktur ermöglicht den Aufbau von gemeinsam genutzten Fragenpools, welche institutionsübergreifend aufgebaut und bewirtschaftet werden können.