Medizinische Informatik
Elektronisches Prüfungsmanagement in der Medizin
Das Institut für Medizinische Informatik und Biomathematik der Universität Münster
entwickelt in Kooperation mit dem Studiendekanat der Medizinischen Fakultät ein Programm zur
elektronischen Erstellung und Bewertung von Prüfungsfragen. Mithilfe dieses Systems können
Klausuren individuell zusammengestellt und gedruckt bzw. an Arbeitsplatzrechnern absolviert werden. Das
Programm bietet die automatische Prüfungsauswertung und das Erstellen individueller
Leistungsnachweise. Das vorliegende Paper bietet einen kurzen Überblick.
Das System wird so konzipiert, dass
auch andere Fakultäten es benutzen können. Falls Sie auf die weitere Ausgestaltung des Systems
Einfluss nehmen möchten, freuen wir uns über Ihre Anregungen. Bitte nehmen Sie mit uns Kontakt
auf.
Nutzergruppen: Es existieren folgende
Nutzergruppen:
Autor einer Prüfungsfrage: Der Autor erstellt eine oder mehrere Prüfungsfragen.
Reviewer (Begutachter) einer Prüfungsfrage:
Der Reviewer prüft eine Prüfungsfrage auf Korrektheit und bewertet diese.
Fachkoordinator: Der Fachkoordinator ist für die Erstellung von Fragen innerhalb eines Faches
verantwortlich.
Modul-Koordinator: Aus den Klausuren
der Fach-Koordinatoren wird die Modul-Klausur automatisch zusammengesetzt. Sollten dem Modulkoordinator
einige Fragen nicht passen, so kann er Rücksprache mit dem Fachkoordinator nehmen, der dann
entsprechend andere Fragen in die Klausur einbaut. Diese Rolle ist optional und wird nur besetzt falls einige
Fächer in einem Modul organisiert sind.
Prüfungs-Koordinator: Der Prüfungs-Koordinator
ist derjenige, der Klausuren auch individuell zusammenstellen kann, etwa nach Fach oder Block, um so auch ein
Nachschreiben nur in bestimmten Teilgebieten zu ermöglichen.
Personalmanager:
Der Personalmanager hat die Aufgabe, einen Autor, einen Reviewer, einen Fachkoordinator oder einen
Modulkoordinator zu authentifizieren.
Administrator: Der Administrator
pflegt das System.
Studierender: Der Studierende meldet sich für die
von ihm zu absolvierenden Prüfungen im Internet an. Er absolviert seine Prüfungen entweder
handschriftlich oder an einem Arbeitsplatzrechner.
Auswahl der beteiligten
Personen: Der Prüfungskoordinator, üblicherweise ein Mitarbeiter des Studierendensekretariats,
kann für jedes Fach/Modul zunächst entscheiden, ob überhaupt eine Begutachtung der zu
erstellenden Prüfungsfragen stattfinden soll. Hat er sich für ein Reviewverfahren entschieden, so
hat er die Wahl zwischen einer rein internen und einer zusätzlichen externen Beurteilung. Ein
Reviewverfahren wird als intern bezeichnet, wenn die Prüfungsfragen ausschließlich von
Mitarbeitern des eigenen Universitätsklinikums bewertet werden. Werden die Prüfungsfragen auch
von Angehörigen anderer Universitätskliniken begutachtet, spricht man von einem externen
Reviewverfahren. Sowohl beim internen als auch beim externen Reviewverfahren hat der
Prüfungskoordinator die Wahl zwischen einer fachinternen und einer modulinternen Begutachtung. Bei
der fachinternen Begutachtung werden die Prüfungsfragen von Reviewern begutachtet, die dem gleichen
Fach angehören wie der Autor der Prüfungsfrage. Bei der modulinternen Begutachtung erfolgt die
Bewertung durch Reviewer, die einem der Fächer des Moduls angehören für welches die
Prüfungsfrage erstellt wurde.
Nun ist festzulegen
wie viele interne (i > 0) und wie viele externe Reviews (e >= 0) eine Prüfungsfrage durchlaufen soll. Hat
sich der Prüfungskoordinator für fachinterne Reviews entschieden, so wird i vom Fachkoordinator
festgelegt. Hat er sich für interne Reviews nach Modul entschieden, so wird i vom Modulkoordinator
festgelegt. Hat sich der Prüfungskoordinator für externe Reviews nach Fach entschieden, so wird e
vom Fachkoordinator festgelegt. Hat er sich für interne Reviews nach Modul entschieden, so wird e vom
Modulkoordinator festgelegt.
Im nächsten Schritt
sucht der Prüfungskoordinator die Modulkoordinatoren aus. Dabei informiert er sie über die Anzahl
der in ihrem Modul benötigten Prüfungsfragen und die Deadline bis zu der die Modulkoordinatoren
die Klausur für ihr Modul zusammengestellt haben müssen. Ist ein Fach nicht in ein Modul
eingebettet wählt der Prüfungskoordinator direkt die Fachkoordinatoren aus und informiert diese
über die Anzahl der benötigten Prüfungsfragen und ihre Deadline. Die Benennung eines
Modulkoordinators entfällt. Ist ein Fach in einem Modul organisiert selektieren die Modulkoordinatoren
die gewünschten Fachkoordinatoren, welche über die Anzahl der benötigten
Prüfungsfragen und ihre Deadline informiert werden.
Die Fachkoordinatoren wählen Autoren
und Reviewer aus. Die Autoren werden über die Anzahl der von ihnen zu erstellenden
Prüfungsfragen und die Deadline informiert. Für jede Frage ist vom Fachkoordinator ein Thema
vorgegeben, um Überschneidungen zu vermeiden.
Die Reviewer werden
über die Anzahl der (internen) Reviews und die Reviewdeadline benachrichtigt.
Erstellung der Prüfungsfragen:
Die Autoren können zu dem vorgegebenen
Thema bis zu fünf Subthemen angeben. Zunächst können lediglich Multiple Choice Fragen
mit positiver oder negativer Einfachauswahl erstellt werden. Eine
spätere Erweiterung um andere Fragetypen ist vorgesehen. Eine Prüfungsfrage
besteht aus einem Fragestamm, der Fragestellung, den Antwortmöglichkeiten, der richtigen Antwort, der
Begründung der richtigen Antwort und optional aus einer oder mehreren Bildern mit entsprechenden
Bildunterschriften.
Reviewverfahren:
Sobald
eine Prüfungsfrage erstellt wurde, werden die entsprechenden Reviewer benachrichtigt. Das Aussuchen
der Reviewer erfolgt randomisiert. Ist ein Reviewer gleichzeitig Autor erhält er seine eigenen
Prüfungsfragen nicht. Den Reviewern ist der Autor einer Frage nicht bekannt. Ebenso weiß der
Autor nicht wer seine Prüfungsfragen begutachtet.
Die Reviewer bewerten die drei Kriterien “inhaltliche Relevanz“, “orthographische und
grammatikalische Qualität“ und “didaktische Qualität“. Zu jedem Kriterium
können sie einen zusätzlichen Kommentar abgeben.
Es
existieren drei Möglichkeiten für den weiteren Arbeitsablauf:
-
Die Frage ist sehr gut und wird direkt in den Fragenpool übernommen.
-
Die Frage ist gut. Der Autor wird gebeten kleinere Änderungen vorzunehmen. Anschließend
wandert die Frage in den Fragenpool.
- Die Frage ist eher
schlecht. Der Autor wird aufgefordert, die Frage zu korrigieren. Die Frage durchläuft daraufhin erneut den
Review-Prozess.
Erstellung und Absolvierung der Klausur:
Der
Fachkoordinator erstellt unter Zuhilfenahme der neu erstellten und von bereits im Fragenpool vorhandenen
Prüfungsfragen die Klausur für sein Fach. Die Modulklausuren werden automatisch erstellt. Aus
den Modulklausuren werden die Klausuren für das entsprechende klinische Semester erstellt.
Auch individuelle Prüfungen
in einzelnen Fächern oder Blöcken sind möglich. Es besteht die Möglichkeit, die
Klausur auszudrucken oder die Klausur an Arbeitsplatzrechnern zu absolvieren. Die Auswertung der Klausuren
erfolgt vollautomatisch, ebenso das Drucken der individuellen Leistungsnachweise.
Beteiligte Wissenschaftler:
| 
