Evaluationszwecke und -fragen
Evaluationszwecke und -Fragen in den Standards
Eine der größten Gefahren beim Evaluieren ist, dass wir den Fokus verlieren und zu sehr in die Breite gehen. Eine unfokussierte Evaluation kann mal einen interessanten Zufallstreffer landen, aber sie wird vermutlich nicht nützlich sein.
Die Notwendigkeit, einen Zweck festzulegen und schriftlich festzuhalten, findet sich dementsprechend auch gleich in zwei der DeGEval Evaluationsstandards:
N 2 Klärung der Evaluationszwecke
Es soll deutlich bestimmt sein, welche Zwecke mit der Evaluation verfolgt werden, so dass die Beteiligten und Betroffenen Position dazu beziehen und die Evaluierenden einen klaren Arbeitsauftrag verfolgen können.
Quelle: https://www.degeval.org/degeval-standards/kurzfassung/
G 3 Beschreibung von Zwecken und Vorgehen
Zwecke, Fragestellungen und Vorgehen der Evaluation, einschließlich der angewandten Methoden, sollen so genau dokumentiert und beschrieben werden, dass sie nachvollzogen und beurteilt werden können.
Quelle: https://www.degeval.org/degeval-standards/kurzfassung/
Evaluierungszwecke und -Fragen im Überblick
In diesem Video gebe ich einen Überblick über typische Evaluierungszwecke und stelle ein paar Tools und Techniken für die Formulierung guter Evaluierungsfragen vor.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von Vimeo.
Mehr erfahren
Hier sind die Folien zum Video zum Download:
Hilreiche Tools
Die Evaluation Audience Checklist
Der allererste Nützlichkeits-Standard aus den Standards für Evaluation der DeGEval zeigt: Damit eine Evaluation nützlich sein kann, müssen wir ein klares Bild von den Beteiligten und Betroffenen haben.
N 1 Identifizierung der Beteiligten und Betroffenen
Die am Evaluationsgegenstand oder an der Evaluation Beteiligten sowie die von Evaluationsgegenstand oder Evaluation Betroffenen sollen vorab identifiziert werden, damit deren Interessen und Informationsbedürfnisse geklärt und so weit wie möglich bei der Anlage der Evaluation berücksichtigt werden können.
Quelle: https://www.degeval.org/degeval-standards/kurzfassung/
Im Video stelle ich die Evaluation Audience Checklist vor, die in “Program Evaluation” von Fitzpatrick et al. erschienen ist. Sie eine Reihe von typischen Stakeholder-Gruppen ab und gibt die Möglichkeit, strukturiert zu ergründen, welche davon in einem bestimmten Evaluationsprojekt eine Rolle spielen, und welches Interesse oder welche Interessen diese Gruppe hat.
Die Checkliste kann dabei helfen, sich zu Beginn einer Evaluation ein klareres Bild über die wichtigen Stakeholder zu machen. Da sich Stakeholder im Laufe einer Evaluation verändern können, sollte man die Liste im Prozess unbedingt im Blick behalten und zwischendurch kritisch prüfen.
Außerdem ist zu bedenken, dass eine einfache Liste noch lange nicht ausreicht, um die Motivlagen und die (Informations-) Bedürfnisse beteiligter Stakeholder ausreichend zu verstehen. Eine Checkliste kann in dem Sinne nur der Anfang eines Dialogs mit den wichtigsten Stakeholdern sein, die unbedingt gehört werden sollten, wenn man ihnen gerecht werden möchte.
Zum Download:
Reflektion (optional):
Falls du aktuell an einem Evaluationsprojekt beteiligt bist: Nimm dir bitte einen kurzen Moment Zeit und reflektiere mithilfe der Checkliste, ob du ein klares Bild von der Zielgruppe deiner Evaluation hast. Die DeGEval schlägt in der Langfassung der Standards diese Leitfragen zur Reflektion vor:
- Wer ist an der praktischen Umsetzung des Evaluationsgegenstandes beteiligt?
- Wer soll durch den Evaluationsgegenstand direkt oder indirekt erreicht werden (Zielgruppen und deren soziales Umfeld)?
- Wer ist verantwortlich für die Konzeption und die Gestaltung des Evaluationsgegenstandes?
- Wer hat über die Zukunft des Evaluationsgegenstandes zu entscheiden?
Du musst für diese Reflektion nicht unbedingt genau entlang der Checkliste arbeiten. Sie kann dir aber hilfreiche Impulse geben, mithilfe derer du dir ein umfassenderes Bild deiner Zielgruppen erarbeiten kannst.
Wenn du magst, mach dir Notizen dazu und bringe deine Beobachtungen und/oder Fragen mit ins nächste Webinar.
Die CDC Checklist for Assessing Your Evaluation Questions
Jede Evaluation sollte eine oder mehrere übergeordnete Fragen haben, die sie zu beantworten sucht.
Ohne übergeordnete Fragen fehlt der Evaluation der Fokus und es bleibt dem Zufall überlassen, ob die Ergebnisse hilfreich sind.
Die Formulierung guter Evaluationsfragen ist jedoch mitunter eine ziemliche Herausforderung. Vielleicht kennst du die Problematik aus dem Studium, wo du für deine Abschlussarbeit eine Forschungsfrage formulieren musstest? Die Anforderungen an Evaluationsfragen sind denen an Forschungsfragen ziemlich ähnlich, es gibt aber auch ein paar Unterschiede.
Die CDC Checklist ist ein Tool, das dir bei der Überprüfung der Qualität von Evaluierungsfragen helfen kann.
Sie enthält eine Sammlung von Kriterien, die für jede einzelne Evaluationsfrage mit “Ja” beantwortet werden sollten.
Zum Download: