UNISG.2

QualiAss (Phase 2)

Long Title: Qualitätsunterstützung für Prüfungen und Assessments (Phase 2)
Leading
Organization:
Universität St. Gallen
Participating
Organizations:
Fachhochschule Nordwestschweiz
Other
Partners:
ETH Zürich
Domain: ELS
Status: finished
Start Date: 01.12.2009
End Date: 30.11.2010
Project Leader: C. Meier

Wird QualiAss den Spung in den Püfungsalltag schaffen? Damit die Nutzung eines qualitativen Unterstützungssystems für die Entwicklung von Prüfungen durch Dozierende praktisch erprobt werden kann, wird in Phase 2 ein Offline-Demonstrator erstellt und getestet. Das Dozierenden-Feedback wird zeigen, ob die Bedienbarkeit als genügend einfach und der Nutzen als gross genug beurteilt werden, damit ein solches neues Werkzeug Einzug in die Prüfungs-Praxis finden kann.

Siehe auch Phase 1 und Phase 3.

Resultate

Die folgenden Dokumente und der Demonstrator wurden während der Phase 2 des Projektes erarbeitet:

Komponente Beschreibung
Demonstrator Funktionsfähiger Demonstrator zur Applikation (.zip, 2.3 MB)
Evaluation Dokumentation der Evaluationsergbnisse aus den Tests mit dem Demonstrator (.pdf, 270 KB)
Dokumentation Dokumentation zum Demonstrator (.pdf, 90 KB)
Datenmodell Dokumentation zum Datenmodell (.pdf, 246 KB)
Nutzungsszenarien Übersicht zu den Nutzungsszenarien für die ausprogrammierte Applikation (.pdf, 74 KB)
Fachliche Spezifikation Fachliche Spezifikation zur Implementierung des Projekts Quali Ass (Phase 3)(.pdf, 1.6 MB)

Das Gesamtkonzept wurde wie folgt weiterentwickelt:

  • Entwicklung einer sehr schlanken, fokussierten und lokal auf einem Rechner betriebenen Unterstützungsumgebung;
  • entsprechende Anpassungen des Technik-Konzepts;
  • Fokussieren der Applikation auf das Erstellen von schriftlichen Prüfungen (Auswertung/Korrektur wird nur insofern unterstützt, dass die Applikation beim Anlegen von Prüfungsaufgaben zugleich auch komplex formatierte Musterlösungen und Korrekturhinweise ermöglichen soll);
  • genauere Formulierung der Nutzungsszenarien für die zu entwickelnde Applikation;
  • Detaillierung des Rollout-Konzepts (Nutzung und Verbreitung v.a. im Rahmen der hochschuldidaktischen Ausbildung).

Aufgrund der positiven Rückmeldungen von Dozierenden während der Tests an UNISG, ETHZ und FHNW wird die Erstellung der entsprechenden vollfunktionsfähigen Applikation in einer 3. Projekt-Phase angestrebt.


Ziele

In Phase 2 des Vorhabens werden folgende Ziele verfolgt:

  • Entwicklung eines offline-Demonstrators zur Unterstützung von Dozierenden bei der Erstellung und Überarbeitung von schriftlichen Prüfungen
  • Testen des offline-Demonstrators an der HSG und an Partner-Hochschulen
  • Evaluation der Testergebnisse
  • Entscheidung bezüglich Fortsetzung des Vorhabens mit gegebenenfalls
    • Weiterentwicklung der Nutzungsszenarien (z.B. Einsatz im Rahmen der hochschuldidaktischen Ausbildung)
    • Detaillierung der Nutzeranforderungen und Spezifikation eines zu entwickelnden Systems
    • Antragstellung für die Fortführung in Phase 3 (Realisierung)

Die Machbarkeitsstudie in Phase 1 hat einerseits gezeigt, dass an allen Partnerhochschulen eine Qualitätsverbesserung der Prüfungspraxis angestrebt wird und aus hochschuldidaktischer Sicht Bedarf für eine Unterstützung der Prüfungsgestaltung besteht.
Andererseits ist die Akzeptanz der Dozierenden eine unverzichtbare Voraussetzung fuür die erfolgreiche (sprich nachhaltige) Einführung eines neuen Werkzeugs. Ohne einen entsprechenden Demonstrator, an dem die Nutzung erprobt werden kann, sind keine verlässlichen Aussagen zum Nutzenpotenzial und der tatsächlichen Akzeptanz durch die Dozierenden möglich.

Vorgehen

Ausgehend von diesen Überlegungen soll in der Projektphase 2 - auf der Grundlage des bereits entwickelten Mock-Ups - zunächst ein dezentral zu nutzender Offline-Demonstrator umgesetzt werden. Als technische Basis kann dabei z.B. auf Office-Applikationen zurückgegriffen werden (z.B. MS Excel in Kombination mit MS Word).
Ein solcher Zwischenschritt auf dem Weg zu einer Online-Lösung verspricht verschiedene Vorteile:

  • Flexible Entwicklung
  • Verringerung von Koordinationskosten
  • Verringerung des Risikos.

Folgende Schritte sind vorgesehen:

  1. Konkretisierung des didaktischen Unterstützungsangebots
  2. Technische Umsetzung des Demonstrators
  3. Testen des Demonstrators mit Mitarbeitenden und Dozierenden, sowie Externen im Rahmen eines Workshops an der ETHZ
  4. Evaluation (Potential, Usability, Nutzen, Mehrwert, Akzeptanz, Tragähigkeit des Gesamtkonzepts)
  5. Review (Gesamtbewertung, Verbesserungsmassnahmen, Entscheid zu einer ev. Phase 3)

Sollte aus der Phase 2 resultieren, dass keine Umsetzung als Online-Untersützungswerkzeug erfolgen soll, können die Ergebnisse der bis dahin geleisteten Arbeiten dennoch weiter genutzt werden:

  • Einsatz des Demonstrators im Rahmen von hochschuldidaktischen Schulungen
  • Fortführung der Weiterentwicklung des Vorhabens als studentisches Projekt

Back