Ein zentrales Online-Prüfungssystem, dem Studierende und Dozierende vertrauen können - das und noch viel mehr bietet SIOUX. Entwickelt als Open-Source-Software, entspricht das Prüfungssystem höchsten Sicherheitsstandards, vergleichbar mit eBanking- oder eVoting-Systemen. Es ermöglicht die sichere Erstellung, Durchführung und Auswertung von eAssessments. So wird SIOUX den unterschiedlichen Anforderungen von Studierenden, Dozierenden sowie der Hochschulen gerecht.

(siehe auch MEASURED (Phase 2), MEASURED 2 (Phase 3) und MEASURED 2 extension)

Resultate

Das Püfungssystem SIOUX besteht aus drei verschiedenen Client-Applikationen:

Komponente	Beschreibung
AuthorClient	dient der Autorenschaft zur Bewirtschaftung des Fragenpools und zur Zusammenstellung, Auswertung und Analyse der Prüfung (öffentlich)
ExamClient	dient zur Durchführung der Prüfung und dazu die Resultate der Studierenden digital signiert an den SIOUX Server zu schicken (eingeschränkt verfügbar: ExamClient selber ist öffentlich, die Prüfungen können aber erst nach der Anmeldung bezogen werden; Zugang bei Markus Dahinden)
Tactical Client and Control Center	dient den Examinatoren während der Prüfung zur Statusübersicht, indem für alle Probanden die individuellen Prüfungsstatusinformationen abgerufen werden können (nur für Examinatoren zugänglich)
Source-Code Sioux V1.2.3	Bezug über Hans Hinterberger oder Markus Dahinden.

Mit SIOUX wurden folgende Ziele erreicht:

• Erhöhung der Ausfallsicherheit durch den Einsatz einer Server-Client-Applikation anstelle einer Webapplikation;
• Rechtsgültige Aufzeichnung des Prüfprozesses mittels digitalen Signaturen und Laufnummern (Resultate werden vollständig und unverändert zur Korrektur verwendet);
• Maximierung der Usability durch den Einsatz einer hoch-spezialisierten Prüfungsumgebung (reduzierte kognitive Belastung der Studierenden während der Computer-basierten Prüfung; erhöhte Reliabilität des Pruüfungsresultats);
• Kollaborative Bewirtschaftung des Prüfungsfragenpools (genaue Kontrolle der Zugriffe auf die Fragen dank Benutzerverwaltung; kein Emailversand von Prüfungen mehr zum Korrekturlesen);
• Objektive Leistungsmessung durch automatische Prüfungskorrektur und formative Lernerfolgskontrollen mit individualisiertem Feedback (Korrekturprozess belegbar und nachvollziehbar durch Musterlösung; dadurch Reduktion der Anzahl der Prüfungseinsichten);
• Optimierte Ablaufstrukturen für Computer-basierte Prüfungen.

Die erfolgreiche Durchführung der Basisprüfung hat bestätigt, dass mit SIOUX ein quasi Referenzsystem für Computer-basierte Leistungskontrollen geschaffen wurde, an dem sich zukünftige CB-Prüfungssysteme messen können.
Die Client-Server-Applikation bietet dabei speziell folgende Vorteile:

1. digitale Signierung der Datenpakete;
2. Bearbeitung der Prüfung nach dem Start auch ohne Verbindung zum SIOUX-Server;
3. Maximierung von Geschwindigkeit und Skalierbarkeit durch das Herunterladen der gesamten Prüfung;

Mit einem Sioux-Server können 300 Studierende gleichzeitig praktisch ohne Wartezeiten geprüft werden.
Benutzerakzeptanz: Gemäss Umfragen würden über 70% der Studierenden zukünftige Online-Prüfungen wieder mit SIOUX absolvieren wollen. Das intuitiv bedienbare User-Interface von SIOUX hilft den Studierenden auch ausserhalb der gewohnten Lern-Umgebung wie z.B. eines LMS Prüfungen effizient und effektiv bearbeiten zu können.
Während des Projekts wurden insgesamt 1470 unbenotete und 630 benotete Leistungskontrollen mit SIOUX durchgeführt (270 davon im Rahmen der high-stake Basisprüfung).
Auf eine AAI-Anbindung wurde verzichtet, da es sich bei SIOUX nicht um eine Webapplikation handelt und einige Hochschulen auf den Internetzugang während der Prüfung komplett verzichten wollen, was eine Authentifizierung durch einen externen Server verunmöglichen würde.

Ausblick

Mit dem Institut für Medizinische Lehre (IML) der Universität Bern wurde das gemeinsame Projekt "MEASURED" gestartet. MEASURED basiert auf einem erweiterten SIOUX-Backend und ergänzt dieses durch ein neu entwickeltes und mittels Multimedia-Elementen erweitertes User-Interface.
Ausserdem sind geplant:

1. Kleinere Erweiterungen am Author-Client (teilrichtige Korrekturen in der Musterlösung zulassen);
2. Optimierung des sliding-window im Exam-Client (Kürzen der Aufgabennamen, dadurch soll die permanente Anzeige aller Aufgaben ermöglicht werden);
3. Weitere Betreuung der FHNW, Unterstützung bei möglichen CB-Leistungskontrollen;
4. Weiterer Einsatz von SIOUX im Rahmen der LV "Einsatz von Informatikmitteln" an der ETH Zürich, 300 Studierende (Aufbau Fragenpool, Durchführung und Auswertung der LK).

Ausgangslage

Im Rahmen von ICT- und Programmier-Lehrveranstaltungen unterrichten wir jedes Jahr rund 1100 Studierende. Die problembasierte Unterrichtsform und die hohen Studierendenzahlen erfordern ein effizientes und effektives Prüfungssystem. Wir haben dazu einen problembasierten Fragetyp entwickelt, der die automatische Korrektur zulässt. Um den administrativen Aufwand zu reduzieren, ist es unser Ziel, die Prüfungssessionen computergestützt durchzuführen. Dazu zählen wir

• den Aufbau und Unterhalt des Fragenpools,
• das Zusammenstellen der Prüfung, sowie
• die Durchführung,
• Korrektur und
• Auswertung der Prüfung.

Ziele dieses Projekts

Bekannte Learning Management Systeme (LMS) wie z.B. OLAT, Ilias, Moodle oder Blackboard und spezialisierte Prüfungssysteme wie z.B. Questionmark Perception sind aus technischer Sicht nur unter Einschränkungen für sichere Prüfungen geeignet, da die Sicherheitsanforderungen nicht garantiert oder nicht dokumentiert werden (und stellen somit die Rekursfähigkeit einer Prüfung in Frage). Diesen Systemen fehlt eine digitale Signierung der Resultate, um nachträgliche Manipulation systematisch zu erkennen. Zudem verfügen sie über viele Funktionen, welche für das Prüfungsmanagement nicht benötigt werden und somit aus prüfungstechnischer Sicht die Sicherheit und Zuverlässigkeit negativ beeinflussen können.

Mit diesem Projekt wollen wir diese Lücke schliessen. Wir schaffen ein Online-Prüfungssystem, welches den kompletten Prüfungs-Lifecycle umfasst. Der SIOUX Application Server bildet das zentrale Element dieses Systems und stellt Schnittstellen für die Fragenpool-Bewirtschaftung, sowie die Zusammenstellung, Durchführung, Korrektur und Auswertung der Online-Prüfungen zur Verfügung. Für den Zugriff auf den SIOUX Server werden SIOUX Clients eingesetzt, welche je nach Anwendung (Durchführen von Online-Prüfungen respektive Prüfungsadministration) nur auf bestimmte Schnittstellen des SIOUX Servers zugreifen können.

SIOUX ist so konzipiert, dass es den verschiedenen Sicherheitsansprüchen und Anforderungen von Studierenden, Dozierenden und Hochschulen genügt:

Für die Studierenden steht das subjektive Vertrauen in das Online-Prüfungssystem im Zentrum. Dieses wird einerseits beeinflusst durch die lückenlose Verfügbarkeit des Systems (Hardware und Software) und andererseits durch die Transparenz der Datenverarbeitung ("Werden meine Daten unverändert gespeichert?"). Zudem soll das System verschiedene Arten der Leistungsrückmeldung unterstützen, so dass die Studierenden neben selektiven Prüfungen auch ihren aktuellen Wissensstand im Rahmen von formativen Tests feststellen können.

Die Dozierenden sind an einem effizienten Prüfungssystem interessiert, welches sich in die bestehende Struktur der Lehrveranstaltung integrieren lässt. Dabei muss sichergestellt sein, dass unbefugte Personen keinen Zugriff auf den Fragenpool erhalten und dass die Systemintegrität während einer Prüfung systematisch überwacht wird. Zudem soll das System die Resultate automatisch korrigieren und mit der grafischen Auswertung der Prüfungen ein wichtiges Instrument für die qualitative und inhaltliche Evaluation der Lehrveranstaltung zur Verfügung stellen.

Die Hochschule kann sich bei SIOUX auf ein System verlassen, welches einen mit e-banking oder e-voting Applikationen vergleichbaren Sicherheitsstandard aufweist. Dadurch ist sichergestellt, dass die zwischen Client und Server ausgetauschten Datenpakete jederzeit und systematisch auf deren Vollständigkeit und Identität hin untersucht werden. Eine nachträgliche Modifikation der Daten muss ausgeschlossen werden können (entscheidend im Falle eines Rekurses). Ziel dieses Projekts ist auch das Verfassen von Richtlinien zur sicheren und zuverlässigen Ausstattung und Konfiguration der Server- und Clientinfrastruktur. Da SIOUX als OpenSource Software entwickelt wird, werden auch die Sicherheitskritischen Systemkomponenten offen gelegt und detailliert dokumentiert. Dadurch wird eine detaillierte Risikoanalyse möglich, welche für die Anpassung respektive Erweiterung der institutionsspezifischen Prüfungsreglemente grundlegend wichtig ist.

Nutzen für das AAA-Netzwerk

Im Rahmen der AAA e-Infrastruktur wird ein zentraler SIOUX Server in Betrieb genommen, welcher den beteiligten Hochschulen zur Verfügung steht. Diese zentralisierte Infrastruktur ermöglicht den Aufbau von gemeinsam genutzten Fragenpools, welche institutionsübergreifend aufgebaut und bewirtschaftet werden können.