Definitionen: Was ist Evaluation?

Vielleicht kennst du solche Situationen. Du unterhältst dich mit deinem Nachbarn oder mit deiner Großtante über deine Arbeit, und dabei fällt der Begriff “Evaluation”.

Der Nachbar arbeitet bei einem Finanzdienstleister im Controlling – “ist das nicht was ganz ähnliches?”

Die Großtante erinnert sich an ihre Studienzeit, und dass sie bei manchen Veranstaltungen ganz am Ende einen “Evaluationsbogen” ausfüllen musste. Das ist also auch Evaluation – oder nicht?

Und vielleicht fragen am Ende auch noch die Kinder, was es mit Evaluation eigentlich auf sich hat…

Wie diese Situationen zeigen, ist der Begriff “Evaluation” sehr vielschichtig und wird in verschiedenen Kontexten unterschiedlich verwendet. In diesem Kursabschnitt definieren wir Evaluation als Anwendungsfall empirischer Sozialforschung und legen fest, welche Merkmale Evaluation dementsprechend hat – und was nicht dazu gehört.

Definitionen

Aus den unzähligen Definitionen von Evaluation möchte ich dir in diesem Kursabschnitt zwei vorstellen, die oft zitiert werden und die die wesentlichen Merkmale von Evaluation in unserem Verständnis umfassen.

Diese Definition enthält ein paar wichtige Elemente – hier meine Gedanken dazu:

Auch hier möchte ich gerne die wichtigsten Elemente hervorheben:

Evaluationsgegenstände

Was genau können wir alles evaluieren? Rossi/Lipsey/Freeman nennen “social programmes”; Michael Scriven nennt ganz allgemein “things” als möglichen Gegenstand einer Evaluation. Tatsächlich gibt es eine enorme Bandbreite. Ich nenne hier einige typische Evaluationsgegenstände.

Achtung – Begriffe wie “Projekt” und “Programm” sind nicht einheitlich definiert. Viele Organisationen haben ihre eigene Terminologie, die nicht unbedingt dieser Darstellung entsprechen muss. Wichtig ist aus Evaluationsperspektive, dass die Merkmale des jeweiligen Evaluationsgegenstands bekannt sind, um einen geeigneten Ansatz, geeignete Methoden usw. wählen zu können.

1. Evaluation von Projekten

Bei der Evaluation eines Projekts steht ein klar definiertes Projekt im Fokus. Projekte haben in der Regel…

• klar definierte Ziele, die den Bedürfnissen der Zielgruppe/n entsprechen
• einen klar definierten Umsetzungsplan mit Inputs, Aktivitäten/Maßnahmen usw., um die Ziele zu erreichen
• klar definierte Zielgruppen
• jeweils einen Zeitpunkt für Projektbeginn und Projektende
• ein bestimmtes Budget bzw. endliche Ressourcen
• eine klare Verteilung von Aufgaben/Verantwortung unter den Projektdurchführenden

Projekte können sehr unterschiedlich groß sein. Manche Organisationen gestalten ihre Projekte grundsätzlich so, dass sie eine gewisse Größe haben; andere (v.a. im zivilgesellschaftlichen Bereich) haben viele sehr kleine Projekte mit unterschiedlichen Partnern.

Allgemein kann gesagt werden, dass Projekte in der Regel die kleinstmögliche Evaluierungseinheit darstellen und – verglichen mit anderen Evaluationsgegenständen – meist weniger komplex sind.

2. Evaluation von Programmen

Es gibt keine allgemeingültige Definition des Begriffs “Programm”. Eine Möglichkeit, Programme zu definieren, ist diese:

• Programme fassen mehrere Projekte zusammen (z.B. als “Regionalprogramm”)
• Es gibt zwar formale Zeitpunkte für Programmbeginn und Programmende; in der Realität handelt es sich aber um Aktivitäten, die über einen langen Zeitraum hinweg immer weiter fortgeführt werden.
• Programme sind komplexer als “einfache” Projekte, da sie eine größere Anzahl an Zielen, Zielgruppen, Aktivitäten usw. umfassen.

Programme sind nach dieser Definition also unterm Strich größer und komplexer als Projekte. Je nach Evaluationszeitpunkt, Datenlage etc. sind Vorher-Nachher-Vergleiche in Programmen oft schwieriger als in Projekten. Auch die Analyse von Wirkungen ist bei Programmen aufgrund ihrer Komplexität eine große Herausforderung.

3. Evaluation von Organisationen

Die Analyse von Organisationen kann dabei helfen, ein tiefes Verständnis für die Stärken, Schwächen, Chancen und Herausforderungen einer Organisation zu gewinnen. Darum können auch Organisationen selbst, ebenso wie Projekte und Programme, Gegenstand von Evaluation sein.

Organisationsevaluationen können sich auf Themen wie Struktur, Arbeitsweise, Führung, Kultur, Ressourcenallokation und Zielerreichung konzentrieren. Die Ergebnisse können Verbesserungspotenziale aufdecken und eine Grundlage für strategische Anpassungen sein, wodurch letztlich die die Effizienz und Effektivität der Organisation gesteigert werden kann.

4. Metaevaluation

In einer Metaevaluation ist der Evaluationsgegenstand, wieder Name schon vermuten lässt, eine Evaluation! Meist werden mehrere Evaluationen in den Blick genommen und auch miteinander verglichen. Wir schauen uns dabei konkret die Qualität von Evaluierungsberichten an. Oft betrachten wir in einer Metaevaluation neben den Evaluierungsberichten auch Evaluierungsprozesse und Strukturen.

Sonderfall: Querschnittsevaluation/Evaluationssynthese

Vor allem größere Organisationen nutzen Evaluation gerne, um Querschnittsthemen systematisch zu untersuchen. Das können so unterschiedliche Themen wie beispielsweise Menschenrechte oder Gender sein. Oft wird in Querschnittsevaluationen auch ein bestimmter Projektansatz/ein Instrument in verschiedenen Kontexten/Ländern analysiert. Oder die Querschnittsevaluation nimmt einen bestimmten Sektor in den Blick, z.B. alle Projekte einer Organisation im Bereich der Berufsbildung.

Konkret werden bei Querschnittsevaluationen mehrere Evaluationen als Datengrundlage herangezogen, auf der eine übergeordnete Frage beantwortet werden soll (z.B. “Die Erfolgsfaktoren entwicklungspolitischer Bildungsarbeit beruhend auf der Analyse von 15 Einzel-Evaluationen”).

Querschnittsevaluationen sind in der Regel Schreibtischstudien (desk studies).

Unterformen von Evaluation

Der Begriff der Evaluation kann auf verschiedene Art und Weise weiter differenziert werden. Drei wichtige Möglichkeiten sind die Unterschiedung danach, MIT WELCHEM ZIEL eine Evaluation stattfindet, WANN sie stattfindet, und mit welcher PERSPEKTIVE sie stattfindet.

Diese Differenzierungen können auch auf die oben genannten Evaluationsgegenstände angewendet werden, wobei aber nicht alle Kombinationen sinnvoll oder möglich sind.

1. Formativ oder summativ?

Je nach Evaluationsziel kann eine Evaluation formativ oder summativ sein. In der Praxis weisen viele Evaluationen auch Elemente von beiden Formen auf. Es kann aber sehr hilfreich sein, den Schwerpunkt einer Evaluation zu identifizieren, um eine Überfrachtung zu vermeiden.

• Formative Evaluationen sollen eine Grundlage bilden für die Entwicklung eines neuen Programms (/Projekts/Intervention/Maßnahme) oder für die Anpassungen eines bereits laufenden Programms. Formative Evaluationen zielen in der Regel auf das Lernen ab. Ein typischer formativer Evaluationsansatz ist die Developmental Evaluation nach Michael Quinn Patton.
• Summative Evaluationen sind demgegenüber eher als zusammenfassende Analyse zu verstehen und nicht zwingend an konkrete (Weiter-)Entwicklungen gebunden. Summative Evaluationen dienen häufig der Rechenschaftslegung.

2. Wann? Ex-ante, mid-term, final, ex-post

Je nach Evaluationszeitpunkt unterscheidet man zwischen ex-ante, mid-term, finalen und ex-post Evaluierungen. Die genauen Begrifflichkeiten können in verschiedenen Organisationskontexten variieren, aber die dahinter stehenden Konzepte bleiben die gleichen. 
Es gibt Überschneidungen zwischen dem Begriffspaar “summativ/formativ” und den hier genannten Begriffen. Während ex-ante und mid-term Evaluationen immer formativ sind, können finale und ex-post Evaluationen jeweils beides sein. Beispielsweise kann eine finale Evaluation schwerpunktmäßig der Rechenschaftslegung gegenüber dem Geldgeber dienen – dann haben wir es mit einer summativen Evaluation zu tun. Wenn die finale Evaluation demgegenüber die Grundlage für einen Folgeantrag sein soll, sprechen wir eher von einer formativen Evaluation.

• Bei der ex-ante Evaluation (auch: Machbarkeitsstudie) wird ein Programm (auch Projekt/Intervention/Maßnahme) evaluiert, noch bevor es erstmalig umgesetzt worden ist. Hier liegt der Fokus also auf der Analyse und Bewertung eines Konzepts. In manchen Förderzusammenhängen ist die ex-ante Evaluation vom Geldgeber vorgeschrieben. Im Rahmen der ex-ante Evaluation können je nach Erkenntnisinteresse die Bedarfe, Umsetzbarkeit, erwartete Effektivität und Wirksamkeit sowie Effizienz überprüft werden.
• Von einer mid-term Evaluation (auch: Zwischenevaluation, Halbzeitevaluation) sprechen wir dann, wenn bereits ein gewisser Teil des Programms implementiert worden ist, das Programmende aber noch nicht erreicht ist. Typischerweise finden diese Evaluationen ca. in der Mitte der Implementierung statt. Zu diesem Zeitpunkt kann nur ansatzweise überprüft werden, ob Ziele erreicht worden sind und welche Wirkungen eine Maßnahme hat. Darum ist die mid-term Evaluation in der Regel formativ ausgerichtet, d.h. dass Ergebnisse und Empfehlungen im weiteren Programmverlauf direkt in der Steuerung umgesetzt werden.
• Die finale Evaluation findet gegen Ende eines Programms, oder auch kurz danach, statt. Sie kann sowohl eine summative als auch eine formative Perspektive einnehmen. Wenn die Evaluationsergebnisse z.B. direkt in die Planung einer Folgemaßnahme einfließen, dann haben wir es mit einer formativen finalen Evaluation zu tun. Wenn das Programm einen klaren Abschluss gefunden hat und die Ergebnisse nicht unmittelbar in anstehende Planungs- und Entscheidungsprozesse einfließen, dann ist die Evaluation eher als summativ zu bezeichnen.
• Von einer ex-post Evaluation sprechen wir, wenn zwischen Programmende und Evaluation einige Zeit vergangen ist – meist mehrere Jahre. Ex-post Evaluationen sind besonders stark darin, langfristige Wirkungen aufzuzeigen und die Nachhaltigkeit von Maßnahmen zu überprüfen. Diese Form der Evaluation kann theoretisch formativ und summativ sein; meist hat sie aber eher einen summativen Fokus.

3. Mit welcher Perspektive? Extern, intern, Selbstevaluation

Evaluationen können intern und extern durchgeführt werden.

Evaluation ist NICHT…

• Monitoring. Evaluation und Monitoring sind eng miteinander verbunden; darum sprechen wir ja häufig auch von M&E, PME (Planung, Monitoring und Evaluation), MEAL (Monitoring, Evaluation, Accountability and Learning)… So kann z.B. ein gutes Monitoringsystem eine wichtige Grundlage für einen Evaluationsansatz sein. Und wenn gute Monitoringdaten vorhanden sind, fließen diese in der Regel auch in die Evaluation ein. Aber während Monitoring für sich genommen der kontinuierlichen (Zwischen-)Zielüberprüfung dient und immer eine unmittelbare Steuerung nach sich ziehen sollte, hat die Evaluation einen weiteren Fokus. Monitoring fragt: Sind wir noch auf dem richtigen Weg – und falls nicht, wie müssen wir umsteuern? Evaluation fragt: Inwieweit haben wir unser Ziel erreicht oder können wir unser Ziel (noch) erreichen?

• Controlling/Rechnungsprüfung. Auch wenn wir uns beim Thema Effizienz manchmal die Kosten eines Programms anschauen, ist Evaluation ganz klar von Controlling und Rechnungsprüfung zu unterscheiden. Diese Aufgaben erfordern ein deutlich anderes Wissen und Kompetenzen als die Evaluation.

• Grundlagenforschung. Die Unterscheidung von Evaluation und Grundlagenforschung ist gar nicht so einfach, da viele Evaluator*innen gleichzeitig auch Wissenschaftler*innen sind und beide Bereiche – wenn möglich – miteinander verbinden. Die Intentionen von Evaluation und Grundlagenforschung sind jedoch deutlich grundsätzlich verschieden. Wie wir vorhin gesehen haben, zielt die Evaluation darauf ab, ganz konkrete Projekte und Programme zu bewerten. Der Zweck des generierten Wissens sollte also bei jeder Evaluation von Anfang an klar definiert sein. Grundlagenforschung ist demgegenüber ein Beitrag für einen allgemeineren wissenschaftlichen Diskurs, dessen Ziel nicht so klar definiert ist. Außerdem nehmen wir in der Evaluation immer auch eine Bewertung des Evaluationsgegenstands nach bestimmten Kriterien vor. Eine solche Bewertung findet in der Grundlagenforschung in der Regel nicht statt.

Quellen

Für diesen Kursabschnitt habe ich verwendet…

Kromrey, Helmut (2007): Wissenschaftstheoretische Anforderungen an empirische Forschung und die Problematik ihrer Beachtung in der Evaluation. – Oder: Wie sich die Evaluationsforschung um das Evaluieren drückt. In: ZfEv Zeitschrift für Evaluation 6 (1), S. 113-123.

Rossi, Peter H.; Lipsey, Mark W.; Freeman, Howard E. (2007): Evaluation. A systematic approach. 7. ed., [Nachdr.]. Thousand Oaks, Calif. [u.a.]: Sage Publ.

Scriven, Michael (1991): Evaluation thesaurus. 4. ed. Thousand Oaks, Calif. [u.a.]: Sage Publ.

Silvestrini, Stefan (2011): Ex-ante-Evaluation. Ein Planungsansatz für die Entwicklungszusammenarbeit. Münster: Waxmann.

Zum weiterlernen (optional):

In diesem Text von Lars Balzer und Wolfgang Beywl findest du eine Definition von Evaluation mit den Kernelementen “wissenschaftlich”, Dienstleistung”, und “Werten und Bewerten”, die ich auch sehr hilfreich finde. Überhaupt kann ich das Lehrbuch wärmstens empfehlen, auch über das Feld der Bildungsevaluation hinaus.