TOOLBOX ZUR EValuation der rettungskräfte-ausbildung

Eine systematisch durchgeführte Evaluation basiert nicht auf subjektiven Einschätzungen einzelner Personen, sondern bietet belastbare Fakten über die Qualität von Lehrveranstaltungen. Der standardisierte Ablauf einer Evaluation führt zu einer hohen Vergleichbarkeit der Ergebnisse untereinander.

 

 

 

 

Unter Evaluation verstehen wir in FIRE die Beschreibung und Bewertung der Rettungskräfte-Ausbildung. Dafür werden Daten erhoben, ausgewertet und interpretiert.

Eine Evaluation zeigt, was schon gut läuft und wo noch Verbesserungspotenzial besteht. Bei mehreren durchgeführten Evaluationen ist ein Vergleich zwischen verschiedenen Lehrveranstaltungen oder die Betrachtung einer Entwicklung über die Zeit möglich.

Schritt 1
Schritt 1

Vorbereitung

Eine solide Datengrundlage sorgt für aussagekräftige Ergebnisse. Deshalb ist es wichtig, gute Messinstrumente (i.d.R. Fragebögen) zur Hand zu haben. In FIRE haben wir bereits einige Evaluations-Fragebögen speziell für den Feuerwehrkontext entwickelt. Diese geben Aufschluss über unterschiedliche Dimensionen der Ausbildungsqualität, z.B. Dozentenverhalten oder Anforderungsniveau. Zuerst muss der passende Fragebogen ausgewählt werden.

Damit alles reibungslos funktioniert, sollte die Datenerhebung gut vorbereitet sein. Hier finden Sie eine Checkliste:

Checkliste Vorbereitung & Erhebung

Schritt 2
Schritt 2

Erhebung der Daten

Die Datenerhebung findet am Ende einer Lehrveranstaltung statt. Falls eine Prüfung vorgesehen ist, findet die Erhebung vor der Prüfung statt. Eine Prüfungsevaluation (FIRE-P) findet nach der Prüfung aber vor Bekanntgabe der Ergebnisse statt.

Um zur Teilnahme an der Evaluation zu motivieren, sollte der Zweck der Evaluation erklärt werden. Die Teilnehmenden sollen erkennen, dass ihre Rückmeldung wertgeschätzt wird und einen positiven Effekt hat (z.B. Verbesserung der Lehrqualität, Lernmöglichkeit für das Dozententeam, Anerkennung für gute Lehre).

Für weitere Informationen siehe die Checkliste unter Schritt 1.

 

Schritt 3
Schritt 3

Auswertung

Für die Auswertung der Fragebögen gibt es feste Regeln, z.B. in welcher Reihenfolge die einzelnen Werte aufsummiert werden oder wie mit fehlenden Werten umzugehen ist. So ist sichergestellt, dass immer die gleichen Ergebnisse herauskommen – unabhängig davon, wer die Fragebögen ausgewertet hat. Man spricht hier von Auswertungsobjektivität. Für die FIRE-Fragebögen gibt es Auswertungshilfen zur Unterstützung der statistischen Auswertung und Ergebnisbögen zur Übersichtlichen Darstellung der Ergebnisse.

Anleitung Auswertung

Schritt 4
Schritt 4

Interpretation

Erst wenn alle Ergebnisse vorliegen, sollte mit der Interpretation und Einordnung begonnen werden.

Zunächst schaut man sich die berechneten Mittelwerte an. Bei der inhaltlichen Interpretation der Mittelwerte helfen die Skalenbeschreibungen. Anhand der folgenden Leitfragen lassen sich die Werte besser einordnen:

  • Liegen die absoluten Werte jeweils im unteren, mittleren oder oberen Bereich der Skala?
  • Wie liegen die Werte relativ zueinander? Wo liegen Stärken bzw. Schwächen?
  • Wie liegen die Werte im Vergleich zu vorherigen oder anderen Lehrveranstaltungen?


Danach folgt in der Regel die Frage: Warum ist die Bewertung so ausgefallen, wie sie ausgefallen ist? Um diese Frage zu beantworten, sollten die Ergebnisse nach Möglichkeit immer mit den Teilnehmerinnen und Teilnehmern besprochen werden. Auch offene Kommentare können hier wichtige Anhaltspunkte bieten.

Schritt 5
Schritt 5

Konsequenzen

Der Evaluationsprozess ist mit der Auswertung und Interpretation der Ergebnisse nicht beendet. Nun geht es darum, praktischen Nutzen aus den Ergebnissen zu ziehen.

  • Bei sehr guten Evaluationsergebnissen sollten die Verantwortlichen - in der Regel das Dozententeam - die entsprechende Wertschätzung erfahren. Bei weniger guten Ergebnissen sollte nicht nach Schuldigen gesucht werden. Vielmehr sollte der Fokus darauf liegen, wie in zukünftigen Lehrveranstaltungen bessere Ergebnisse erzielt werden können und welche Unterstützung dafür ggf. notwendig ist.
  • Auf Basis der Evaluationsergebnisse sollten konkrete Ziele für kommende Lehrveranstaltungen formuliert werden. Anhand welcher Maßnahmen können Stärken ausgebaut werden und Schwächen abgebaut werden? Welche Anregungen der Teilnehmenden können umgesetzt werden?
  • Der Evaluationsprozess wird in kommenden Lehrveranstaltungen erneut durchgeführt. So kann überprüft werden, ob die getroffenen Maßnahmen den gewünschten Erfolg bringen.