PME-Lieblingsbücher (#1)
Von Anna von Werthern
In der Reihe „Lieblingsbücher“ stellen Expert*innen aus den Bereichen Planung, Monitoring und Evaluation jeweils drei Bücher vor, die ihnen ganz besonders wichtig sind. Die Bücher können einen ganz expliziten PME-Bezug haben, dürfen aber natürlich auch darüber hinausgehen.
Den Anfang macht Anna von Werthern, Evaluationsberaterin bei von werthern & knödler | evaluationsberatung und Expertin für Theoriebasierte Evaluation (TBE). Zur TBE gibt sie gemeinsam mit Elisa Knödler regelmäßig ein Webinar ("Theoriebasierte Evaluation TO GO") beim PME-Campus.
Die Herausforderung, eine Antwort auf diese Frage zu finden, beginnt für mich gleich mit den ersten beiden Worten der Frage – wie sollen bloß all die inspirierenden Monografien, Sammelbände, Zeitschriftenreihen und Artikel, die ich bisher zum Thema Evaluation gelesen habe, zu nur einem besonders inspirierenden Buch eingedampft werden?
Nun, ich mache es kurz – die Wahl fiel auf „The Science of Evaluation. A Realist Manifesto“ von Pawson (2013). Dies hat mehrere Gründe: Zunächst mal finde ich es, ganz im Sinne der Frage, sehr inspirierend. Das Buch bietet einen Blickwinkel auf Evaluation, der über den durchschnittlichen „Evaluations-Tellerrand“ hinausgeht und Evaluation – überspitzt ausgedrückt – nicht rein funktionalistisch als rationales Werkzeug eines ROI-Prozesses einordnet (ROI=Returns On Investment). Vielmehr stellt der Autor Evaluation bzw. seine Perspektive auf Evaluation auf ein philosophisches Fundament, so wie er es auch gemeinsam mit Tilley in seinem Werk „Realistic Evaluation“ (1997) getan hat. Weiterhin hat Pawson elementare Themenfelder im Blick: Die Komplexität der Realität, die es in Evaluationen zu berücksichtigen gilt sowie die Mechanismen als entscheidende, unsichtbare Kraft hinter Veränderungen im menschlichen Verhalten.
Neben den Inhalten gibt es für mich auch noch weitere Gründe, dieses Buch zu lesen bzw. weiterzuempfehlen. Pawson ist eine wichtige Stimme in der internationalen Evaluationscommunity und bildet als Europäer damit ein entscheidendes Gegengewicht zu den dominierenden nordamerikanischen Stimmen der Evaluation. Das ist mir nicht aus Prinzip ein Anliegen, aber ich hatte in den ca. anderthalb Jahrzehnten, in denen ich mich bereits mit Evaluation befasse, doch immer wieder Fragezeichen in den Augen, warum der Großteil der wirklich spannenden und progressiven Evaluationsliteratur aus dem angloamerikanischen Raum kommt und Europa hier sozusagen den etwas lahmeren Gaul gibt. Dabei gibt es selbstverständlich auch hier exzellente Köpfe in der Evaluationscommunity, sowohl in Europa als auch im deutschsprachigen Raum! Last but not least liefern mir die Denkansätze von Pawson auch für meine Arbeit mit der Theoriebasierten Evaluation (TBE) immer wieder wertvolle Impulse.
Pawson, Ray (2013): The Science of Evaluation: A Realist Manifesto. SAGE.
Diese Frage konnte ich für mich ohne lange zu überlegen beantworten: „evaluiert“ von Balzer & Beywl! Das Buch verspricht auf seinem Cover ein Planungsbuch für Evaluationen im Bildungsbereich zu sein und aus meiner Perspektive wird Wort gehalten. Das Buch leistet mir, die ich im Bildungsbereich beheimatet bin, immer wieder gute Dienste und hat mittlerweile viele bunter Einmerker.
Der Mehrwert generiert sich für mich auf unterschiedlichen Ebenen: Zum einen schlage ich ab und an nach, wenn ich selbst aktiv an einem Evaluationsprozess beteiligt bin, ob beratend oder im operativen Geschäft, zum anderen ziehe ich es gerne als Quelle heran, wenn ich Workshops oder Vorträge vorbereite, die sich dezidiert mit konkreten (Planungs-)Prozessen von Evaluation im Bildungsbereich befassen oder empfehle es in entsprechenden Beratungsfällen als praktikable Einstiegslektüre.
Damit man sich abseits der Schilderung meiner subjektiven Wertbeimessung auch den Inhalt etwas konkreter vorstellen kann, hier ein kurzer Überblick: Nach dem obligatorischen Einstieg ins Thema und einer Verortung in der Evaluationslandschaft, befassen sich die Autoren entlang eines idealtypischen Evaluationsprozesses mit Bestimmung des Evaluationsgegenstandes und der interessierten Akteure, der Rolle der Evaluierenden und mit dem Abstecken der Evaluationszwecke und -fragestellungen. Es geht weiterhin um die Festlegung von Bewertungskriterien, die Auswahl von Erhebungsdesign und -methoden, die Durchführung der Erhebungen und sie Auswertung der Daten. Abgerundet wird der Inhalt mit einem Teil zur Berichterstattung und einem Kapitel zu einem ganz fundamentalen Kriterium einer erfolgreichen Evaluation: Der Nutzung der Ergebnisse.
Das Buch ist für mich ein Allrounder, für Newbies ebenso geeignet wie für erfahrende Praktiker:innen. Es eignet sich zum Durchlesen in einem Rutsch, wenn man sich einen Gesamtüberblick über einen Evaluationsprozess im Bildungsbereich verschaffen möchte, ebenso wie zum Nachschlagen einzelner Punkte als Handlungsanleitung oder Inspiration im konkreten Bedarfsfall.
Balzer, Lars, und Wolfgang Beywl (2015): evaluiert. Planungsbuch für Evaluationen im Bildungsbereich. hep Verlag.
Was mein Evaluations-Spezialthema – die Theoriebasierte Evaluation (TBE) – angeht, bin ich ein Glückskind, denn es ist gleichzeitig auch mein Lieblingsthema!
Mit diesem Evaluationsansatz, den ich eher als eine Art Herangehensweise bezeichnen würde, arbeite ich nicht nur in der Praxis sehr gerne, vielmehr habe ich mich auch auf wissenschaftlicher Ebene intensiv mit ihm auseinandergesetzt.
Das Ergebnis findet sich unter dem Titel „Theoriebasierte Evaluation. Entwicklung und Anwendung eines Verfahrensmodells zur Programmtheoriekonstruktion“. Neben dem von mir entwickelten Modell zur Programmtheorieentwicklung ist für mich die die umfängliche Aufarbeitung des state of the art in Gestalt der nationalen wie internationalen Literatur zur TBE das Herzstück des Buches. Nach einer Begriffsklärung werden die Entwicklungslinien aufgezeigt, daran anschließend bin ich auf den Theoriebegriff im Allgemeinen bzw. die Differenzierung dessen in Alltagstheorien, Theorien mittlerer Reichweite, „großen Theorien“ und Programmtheorien eingegangen. Weiterhin ist das Kausalitätsverständnis in der TBE Thema, ebenso wie die Grundannahmen und die unterschiedlichen Konzepte der TBE. Nicht fehlen darf natürlich ein Fazit zu Mehrwert und Limitationen der Theoriebasierung, ebenso wie die Erörterung der Programmtheorie – bildet diese doch den Kern der TBE in der Umsetzung. Analog zur TBE habe ich mir hier zunächst die Terminologien und zentralen Konzepte angesehen, um dann darauf zu kommen, wie eine Programmtheorie überhaupt entsteht.
Abseits des für mich persönlich nicht hoch genug einzuschätzenden Lerneffekts durch meine eigene Lesezeit während des Schreibprozesses, ist das Buch mir auch jetzt noch häufig als punktuelles Nachschlagewerk dienlich. Es eignet sich meines Erachtens demnach auch zum Querlesen, zumindest in den meisten Kapiteln. Wer sich zusätzlich noch ein Bild machen will, das nicht von der TBE-begeisterten Autorin selbst lanciert ist, ist herzlich eingeladen, die Rezensionen von Prof. Dr. Wolfgang Beywl und Prof. Dr. Wolfgang Meyer, zweier von mir sehr geschätzten Koryphäen der deutschsprachigen Evaluationscommunity, heranzuziehen. 🙂
von Werthern, Anna (2020): Theoriebasierte Evaluation: Entwicklung und Anwendung eines Verfahrensmodells zur Programmtheoriekonstruktion. Springer.
Vielen Dank für die spannenden Einschätzungen! Sie geben Lust zu lesen, und dafür ist im Moment gerade die richtige Jahreszeit 🙂