WAS IST EIGENTLICH EIN EVALUATIONSANSATZ?
Das Thema der DeGEval-Jahrestagung 2020 „Kommunikation – Verständigung und Sprache in der Evaluation“ hat mich auch ein halbes Jahr danach noch nicht ganz losgelassen. Immer wieder bin ich in den letzten Monaten über Ungenauigkeiten und Inkonsistenzen unserer Fachsprache gestolpert. Und immer wieder habe ich gemerkt, wie negativ sich das auf unsere Arbeit auswirkt.
Zum Thema Fachsprache gab es am 18.9.2020 eine Keynote von Wolfgang Beywl, Seniorprofessor an der Pädagogischen Fachhochschule Nordwestschweiz. Er stellte heraus, dass eine konsistente und reflektierte Fachterminologie nicht nur für unseren fachlichen Austausch als Evaluator*innen und Evaluationsforscher*innen untereinander eine wichtige Voraussetzung ist. Sie bietet darüber hinaus auch eine Basis für die Kommunikation über Evaluation mit Menschen außerhalb des Fachbereichs, zwingt uns zu mehr Genauigkeit und damit auch zu mehr Fairness. Wolfgang Beywls Keynote endete folgerichtig mit seinem Plädoyer dafür, dass wir die Evaluationsfachsprache weiter systematisieren und normieren müssen.
Ein Themenbereich, in dem mir dieser Mangel an Systematik und Reflektion besonders häufig begegnet, ist der Bereich der Evaluationsansätze. Oder sollte ich Evaluationsmethoden sagen? (Achtung, nur falls Sie nicht bis zum Ende lesen wollen: Nein! Methoden sind was ganz anderes!)
Was ist ein Evaluationsansatz?
Der Begriff „Evaluationsansatz“ wird sehr unterschiedlich verwendet. Ganz allgemein verstehen wir darunter die Vorgehensweise in einer Evaluation. „Evaluationsdesign“ meint aus meiner Sicht genau das gleiche – genau so, wie die englischen Begriffe „evaluation approach“ und „evaluation design“ synonym verwendet werden.
Reinhard Stockmann und Wolfgang Meyer verstehen unter Evaluationsansatz das gesamte Untersuchungsdesign einer Evaluation mitsamt den Erhebungs- und Auswertungsmethoden und den Evaluationsprozess drumherum von der Planungsphase bis hin zur Verwertung der Ergebnisse.
In der Realität hat also jede Evaluation einen Evaluationsansatz mit all den von Stockmann und Meyer beschriebenen Elementen. Diesen Ansatz kann und sollte man selbstverständlich klar benennen: ganz vorläufig in einem Angebot, detaillierter in einem Inception Report, und noch genauer und maximal transparent im Methoden-Kapitel des Endberichts.
Dieses Verständnis teilen viele in der Evaluations-Community, es gibt aber auch alternative Verwendungen des Begriffs. So sprechen manche von einem „Evaluationsansatz“, meinen aber nur das Untersuchungsdesign, oder nur den Evaluationsprozess. Andere sprechen von einer „Evaluationsmethode“, und meinen damit das, was wir hier als Design bezeichnen.
Warum sollte ich den Evaluationsansatz immer klar benennen?
Ein klar definierter Evaluationsansatz hilft dabei…
- dass alle Beteiligten ein gemeinsames Verständnis von der Aufgabe entwickeln,
- dass für alle Seiten Transparenz darüber herrscht, wie die Evaluation zu ihren Ergebnissen, Schlussfolgerungen und Empfehlungen gelangt,
- dass die Einhaltung von Qualitätskriterien des jeweiligen Ansatzes – sofern vorhanden – für alle überprüfbar ist,
- dass nicht bei jeder Evaluation das Rad immer neu erfunden wird, sondern auf Bewährtes aufgebaut werden kann,
- dass alle Beteiligten die Möglichkeit haben, Einzelaspekte der Evaluation klar benennen zu können und somit eine effiziente Kommunikation über Evaluation ermöglicht wird – sowohl zwischen Auftraggeber*in und Auftragnehmer*in, also auch intern bei den Beteiligten einer Evaluation.
Welche Evaluationsansätze gibt es überhaupt, und wie kann man sie anwenden?
Es gibt grundsätzlich so viele Evaluationsansätze, wie es Evaluationen gibt. Denn jede Evaluation – und damit auch jedes Evaluationsdesign – ist anders. Aber natürlich gibt es darüber hinaus Schemata für Evaluationsansätze, die wir in unzähligen Publikationen kennenlernen können.
Recht bekannt sind z.B.: The Most Significant Change Approach. Die Kontributionsanalyse. Die theoriebasierten Ansätze. Experimentelle und quasi-experimentelle Ansätze. Partizipative Ansätze. Developmental Evaluation. Empowerment Evaluation. Utilization-focused Evaluation… Eine schöne Übersicht findet sich bei betterevaluation.org. Wenn man weiß, wonach man sucht, kann man teilweise auch im deutschsprachigen eval-wiki fündig werden.
Die publizierten Evaluationsansätze können Orientierung geben bei der Durchführung einer Evaluation. Wir können einen solchen Ansatz anwenden, oder uns zumindest danach richten. Wenn wir uns auf einen publizierten Ansatz beziehen, ermöglichen wir mehr Transparenz und damit Fairness. Denn durch so eine Referenz ermöglichen wir es Anderen, unser Vorgehen anhand von ganz bestimmten Standards zu überprüfen, die zum jeweiligen Ansatz definiert sind.
Aber: Die publizierten Ansätze bilden oft nur einen Teil von den Elementen ab, die für mich zu einem vollständigen Evaluationsansatz dazu gehören, und machen zu anderen Elementen gar keine Angaben.
Ein kurzes Beispiel: Experimentelle Ansätze und quasi-experimentelle Ansätze folgen ziemlich klar formulierten Regeln: Ein echtes Experiment muss ganz bestimmten wissenschaftlichen Kriterien z.B. zur randomisierten Zuordnung der Untersuchungseinheiten genügen. Wenn wir also sagen, dass wir einem experimentellen Ansatz folgen, dann ist doch einigermaßen klar, was das für unser Untersuchungsdesign bedeutet. Aber wie sich das auf die Planungsphase der Evaluation auswirkt, und vor allem auch auf die Verwertung der Ergebnisse – das ist damit noch völlig offen.
Wenn ich mich nun in der Beschreibung eines konkreten Evaluationsansatzes also auf einen publizierten Ansatz berufe, dann sollte ich immer auch deutlich machen, wie ich diesen interpretiere, wie ich ihn an den jeweiligen Kontext anpasse, wie ich ihn ergänze oder mit anderen Ansätzen kombiniere.
Was sollte die Beschreibung eines Evaluationsansatzes beinhalten?
Ein Evaluationsansatz macht nach der Definition von Stockmann und Meyer zunächst Angaben zum Evaluationsprozess, der in mehrere Phasen unterteilt werden kann. Bei Stockmann und Meyer gliedert sich der Prozess in Planung, Durchführung und Verwertung. Es gibt auch andere Prozessbeschreibungen, in denen die einzelnen Phasen etwas anders unterteilt sind – geschenkt. Der Punkt ist: Der Prozess einer Evaluation beginnt mit der Entscheidung, eine Evaluation durchzuführen – und endet mit der Verwertung der Ergebnisse. Und dieser ganze Prozess wird idealerweise mit einem Evaluationsansatz geplant und gestaltet.
Neben dem Evaluationsprozess sollte die Beschreibung eines Evaluationsansatzes/Evaluationsdesigns auch Angaben zum Untersuchungsdesign beinhalten. Die publizierten Ansätze sind hier sehr unterschiedlich genau. Manche Ansätze funktionieren nur mit bestimmten Methoden (z.B. beinhaltet Most Significant Change per Definition narrative Interviews), während andere Ansätze komplett Methoden-unspezifisch sind (z.B. die Nutzen-fokussierte Evaluation nach Michael Quinn Patton). Wenn ich mich also auf einen publizierten Ansatz berufe, der bezüglich des Untersuchungsdesigns vage bleibt, muss ich immer sehr genau angeben, was das Untersuchungsdesign in meinem speziellen Fall ausmacht.
Das Untersuchungsdesign umfasst im Einzelnen Angaben zu verschiedenen Methoden:
- Datenerhebung: Hiermit ist gemeint, dass Daten gesammelt und generiert werden. Typische Erhebungsmethoden sind eine Literatur-/Dokumentenrecherche, Interviews, Umfragen und Fokusgruppendiskussionen.
- Datenaufbereitung: Die Datenaufbereitung umfasst sämtliche Arbeitsschritte, die nötig sind, um die Rohdaten (z.B. der Audio-Aufzeichnung eines Interviews oder einem ausgefüllten Fragebogen) analysieren zu können: Transkription, Beseitigung von Fehlern/Falscheinträgen usw.
- Datenauswertung: Bei der Datenauswertung werden die Daten systematisch analysiert. Das Ergebnis einer Auswertung kann z.B. sein, dass Texte nach einem Kategorien-/Code-Schema bearbeitet worden sind (bei qualitativen Daten), oder dass quantitative Daten statistisch analysiert wurden.
- Dateninterpretation: In diesem letzten Schritt werden die ausgewerteten Daten mit Blick auf die Evaluationsfragen und auf ggf. im Vorhinein entwickelte Bewertungskriterien interpretiert.
Und was ist der Unterschied zwischen Evaluationsansätzen und Evaluationsmethoden?
Die beiden Begriffe „Ansätze/Designs“ und „Methoden“ geraten in der Evaluationspraxis manchmal durcheinander. Manchmal begegnet mir z.B. der Begriff „Evaluationsmethode“. Beim Lesen merke ich dann, dass damit nichts anderes gemeint ist als das, wie wir oben den Begriff „Evaluationsansatz“ definiert haben. Alltagssprachlich kann man das machen. Aber: Evaluation ist eine Form der angewandten empirischen Sozialforschung. Darum würde ich diesen Begriff ganz streichen und lieber – weil viel genauer! – von Methoden im Evaluationskontext nur dann sprechen, wenn es um die Erhebung und Auswertung von Daten geht.
Evaluationsansätze…
…sind Fahrpläne für die Durchführung einer Evaluation,
…sollten Angaben zum Evaluationsprozess von der Planungsphase bis hin zur Verwertung der Ergebnisse beinhalten,
…gehen oft auf ganz konkrete Autor*innen zurück, die diese Ansätze wesentlich geprägt oder sogar entworfen haben und ihnen teilweise auch ihren Namen geben (z.B. „Developmental Evaluation nach M.Q. Patton“; „Kontributionsanalyse nach Mayne“),
…sind, wenn sie publiziert sind, oft in der Evaluationspraxis entstanden.
Methoden...
…sind planmäßige wissenschaftliche Verfahren, um zu einem bestimmten Ziel zu gelangen,
…haben meist ihren Ursprung in der empirischen Sozialwissenschaft,
…können sich auf die Erhebung von Daten und auf die Auswertung von Daten beziehen,
…können sich auf die Arbeit mit qualitativen Daten (z.B. Texte, Bilder, Videos…) und die Arbeit mit quantitativen Daten (Zahlen) beziehen.
Welche Evaluationsansätze sollte ich kennen?
Es gibt kein Standard-Curriculum der wichtigsten Evaluationsansätze. Jedes Lehrbuch zu Evaluation trifft seine eigene Auswahl. Und da die Evaluation ein sehr lebendiges und Praxis-nahes Feld ist, werden die vorhandenen Evaluationsansätze auch laufend weiterentwickelt und angepasst – und um neue Ansätze ergänzt. Es gibt zig, wenn nicht hunderte verschiedene Ansätze.
Außerdem haben wir immer die Freiheit, publizierte Ansätze zu verändern, zu kombinieren, oder ganz neue Ansätze zu definieren. Es kann ebenso sinnvoll sein, sich in einer Evaluation nicht auf einen publizierten Ansatz zu stützen, sondern einen ganz eigenen Weg zu beschreiten. Wichtig ist hier nur, dass die einzelnen Elemente des Ansatzes klar benannt und begründet werden.
Wir können also nicht alle Evaluationsansätze kennen. Aber:
Evaluator*innen sollten…
…benennen können, mit welchen Ansätzen sie in der Vergangenheit gearbeitet haben,
…darüber hinaus auch ein paar publizierte Ansätze zumindest grob kennen, damit sie deren Anwendung – sofern die Ansätze zu Zielen und Fragen einer Evaluation passen – z.B. im Rahmen von Angeboten vorschlagen können,
…eine klare Vorstellung davon haben, was ein publizierter Ansatz potentiell beinhaltet, um klarer mit Kolleg*innen und mit Auftraggeber*innen darüber kommunizieren zu können.
Auftraggeber*innen von Evaluation sollten…
…benennen können, mit welchen Ansätzen sie in der Vergangenheit gearbeitet haben,
…darüber hinaus auch ein paar publizierte Ansätze zumindest grob kennen, damit sie deren Anwendung – sofern die Ansätze zu Zielen und Fragen einer Evaluation passen – z.B. im Rahmen von Ausschreibungen vorschlagen können,
…eine klare Vorstellung davon haben, was ein Ansatz potentiell beinhaltet, um intern und extern klarer darüber kommunizieren zu können.