Evaluatives Denken weitertragen: Das ist Evaluationsberatung
Interview mit Dr. Anna von Werthern und Dr. Elisa Knödler
Evaluation wird klassischerweise von einer Partei in Auftrag gegeben, und eine zweite Partei führt die Evaluation durch. Daneben gibt es aber noch zahlreiche andere Modelle; und eines möchten wir Ihnen in diesem Blogbeitrag vorstellen: Das der Evaluationsberatung. Im Interview mit Evelyn Funk berichten Dr. Anna von Werthern und Dr. Elisa Knödler davon, wie sie ihre Auftraggeber*innen rund um das Thema Evaluation beraten und wie sie mit Widerständen gegen Evaluation umgehen. Das Interview wurde schriftlich geführt.
Evelyn: Liebe Anna, liebe Elisa – vielen Dank, dass ihr euch die Zeit nehmt für ein Interview. Bitte stellt euch doch ganz kurz vor, damit alle Blogleser*innen wissen, mit wem sie es zu tun haben!
Elisa: Sehr gerne. Erst einmal vielen Dank für deine Interviewanfrage! Ich bin Elisa Knödler. Ich habe Pädagogik mit Schwerpunkt „Bildung und Beruf“ im Bachelor dual in Baden-Württemberg studiert und kam dann für den Master in Bildungsforschung und -management an die LMU in München. Seitdem arbeite ich an der LMU, zuerst als wissenschaftliche Hilfskraft, später dann als wissenschaftliche Mitarbeiterin. 2018, direkt nach unserer Promotion, haben wir uns dann ausgegründet.
Anna: Ja, vielen Dank auch von mir! Ich bin Anna von Werthern und ich habe Erziehungswissenschaften, Psychologie und Interkulturelle Kommunikation an der LMU in München, mit einem kleinen Ausflug zwischendurch an die Uni Florenz, studiert. Seit Ende meines Studiums bin ich an der LMU als wissenschaftliche Mitarbeiterin beschäftigt und, genau, wie Elisa schon erzählt hat, haben wir uns kurz nach unserer Promotion im Bereich Evaluation gemeinsam selbstständig gemacht.
Evelyn: Wie seid ihr zur Evaluation, bzw. zu dem Themenfeld Evaluation gekommen?
Anna: Nun, ich würde eher sagen, dass die Evaluation zu mir kam. Sie hat sich so nach und nach in mein Leben geschlichen - meine erste Berührung mit dem Thema Evaluation hatte ich als studentische Hilfskraft vor mittlerweile fast 15 Jahren. Damals fragte mich eine Kommilitonin, ob ich nicht Zeit und Lust hätte, bei der Lehrveranstaltungsevaluation (LVE) unter der Leitung des Studiendekans mitzumachen. Das tat ich auch, und ein paar Jahre später saß ich dann mit über 10 000 LVE-Bögen und ordnerweise Dokumenten an meiner Magisterarbeit zum Thema LVE. Besonders spannend fand ich schon damals den Blick hinter die Kulissen der Evaluation an der LMU, der mir durch Interviews mit den entsprechenden Akteuren ermöglicht wurde. Nach dem Abschluss bekam ich direkt einen Job an unserer Fakultät im Bereich der Lehrer*innenbildung angeboten und organisierte nebenher weiterhin die LVE. 2012 konnten wir diese im Zuge des Aufbaus eines Studienbüros an unserer Fakultät endlich institutionalisieren. Zeitgleich übernahm ich im hochschuldidaktischen Weiterbildungszentrum der LMU (PROFiL) die Projektevaluation eines großangelegten QPL-Projekts. Bei PROFiL bin ich heute noch und konnte dort abseits der erwähnten Projektevaluation noch viele weitere spannende Evaluationsthemen platzieren – zum Beispiel haben Elisa und ich eva|lab aufgebaut, eine LMU-weite Beratungsstelle rund um das Thema Evaluation. Und nicht zu guter Letzt haben wir uns, wie schon erwähnt, kurz nach unserer Promotion selbstständig gemacht.
10.000 Bögen der Lehrveranstaltungsevaluation als Einstieg ins Thema Evaluation
Ich erinnere mich auf jeden Fall gut daran, als es „Klick“ gemacht hat und ich der Evaluation quasi verfallen bin - das war während der Zeit meiner Magisterarbeit, im Rahmen derer ich mich das erste Mal intensiv mit Evaluation, ihrer Historie und den theoretischen Ansätzen dahinter befasst habe, und das Potential von Evaluation sowie ihre gesamtgesellschaftliche Relevanz erkannt habe.
Elisa: Ich kam im Rahmen meines Masters an der LMU und quasi durch Anna zur Evaluation. Nach meinem Dualen Studium habe ich meinen Master an der LMU in Bildungsforschung und -management begonnen. Dort habe ich mich gleich im ersten Semester als Hilfskraft für die Lehrveranstaltungsevaluation an der Fakultät für Psychologie und Pädagogik beworben, war somit in den Fängen der Evaluation unter der damaligen Leitung meines späteren Doktorvaters als Studiendekan und eben Anna als wissenschaftliche Mitarbeiterin. Ich habe bei den beiden dann auch im Multiplikatoren-Projekt zum Thema Evaluation meine Masterarbeit geschrieben und darauf aufbauend meine Dissertation – spätestens da war es auch um mich geschehen.
Bis vor ein paar Monaten war ich an der Fakultät für Psychologie und Pädagogik der LMU für alle Belange rund um die Evaluation zuständig. Dort habe ich im Rahmen meiner Promotion den Evaluationsprozess neu aufgesetzt und in diesem Zuge auch das Erhebungsinstrument neu konstruiert, validiert und implementiert. Spannend dabei waren vor allem die riesigen geschachtelten Datensätze, welche ich über die Jahre selbst erhoben und gepflegt hatte – dabei konnte ich einiges an statistischen Berechnungen und Modellen anwenden. Seit 2016 arbeite ich zusammen mit Anna bei PROFiL, dem Weiterbildungszentrum der LMU, und habe eva|lab, die Beratungsstelle für alle Lehrende der LMU aufgebaut. Dort haben Anna und ich festgestellt, wie viel Bedarf es rund um das Thema Evaluation gibt und wie dankbar die Personen sind, Ansprechpartnerinnen zu haben, welche sie in ihrem Vorhaben beratend unterstützen und begleiten. Ja, und unter anderem deswegen haben wir die von werthern & knödler | evaluationsberatung gegründet.
"Aber seien wir mal ehrlich: Letztendlich will jede*r wissen, ob ihr/sein Vorhaben/Programm funktioniert, und bestenfalls auch WARUM."
Elisa Knödler
Evelyn: Gab es einen Schlüsselmoment in euren Biografien – einen Moment, in dem ihr gedacht habt: ‚So, hier gibt es so große Widerstände gegen Evaluation, das darf nicht sein, und ich nehme jetzt den Kampf auf‘?
Elisa: Widerstände begegnen uns immer wieder – ich würde aber nicht sagen, dass sie für uns der Grund bzw. die Motivation waren, uns für Evaluation „einzusetzen“. Ich sehe das auch nicht als Kampf, vielmehr wollen wir Beteiligte an die Hand nehmen und ihnen mit unserer Unterstützung zeigen, was Evaluation zu bieten hat, welchen Mehrwert und welchen Nutzen sie hat. Ein Schlüsselmoment für uns und unsere Entscheidung, uns wirklich vollkommen dem Thema zu widmen, war aber vor allem die enorme Nachfrage. Nicht nur im universitären Kontext, sondern auch in der freien Wirtschaft wird Evaluation wie eine Sau durchs Dorf getrieben – wenn auch mit diversen Bezeichnungen. Aber seien wir mal ehrlich: Letztendlich will jede*r wissen, ob ihr/sein Vorhaben/Programm funktioniert, und bestenfalls auch WARUM. Wenn es nicht nur darum geht, weiter finanziert zu werden, sondern auch eine Weiterentwicklung angestrebt wird, kommt spätestens da Evaluation – explizit häufig TBE (<3) – ins Spiel.
Anna: Hier kann ich mich Elisa nur anschließen. Die Schlüsselmomente in meiner „Evaluationsbiografie“ und – ich denke, auch in unserer gemeinsamen Evaluationsgeschichte – haben weniger mit den Widerständen gegenüber Evaluation zu tun, als mit der Sinnhaftigkeit, die wir in ihr sehen. Dass es Widerstände gegen Evaluation gibt, ist nicht nur allseits bekannt, sondern aus meiner Sicht auch sehr nachvollziehbar. Viel zu oft wird Evaluation auch heute noch mit Kontrolle und Legitimation in Form von gesichtslosen Zahlen gleichgesetzt und im Rahmen eines Projekts oder in einer Organisation Personen als zusätzliches To Do zu ihren eigentlichen Aufgaben aufoktroyiert. Wir sehen es als Teil eines jeden Auftrags – wie es Elisa so schön formuliert hat –, die Akteure an die Hand zu nehmen und ihnen zu zeigen, welches Potential Evaluation hat und wie man mittels einer passgenauen Evaluation einen nachhaltigen Mehrwert für den Evaluationsgegenstand - und im besten Fall noch darüber hinaus - erzeugen kann.
"Evaluation wird nicht selten als „kleine“ Zusatzaufgabe einer Person hingeschoben, mit dem Anspruch, diese dann ohne großen Zeitaufwand und Hintergrundwissen mit zu erledigen – qualitativ hochwertig versteht sich. Was dann dabei raus kommt oder eben nicht, wissen wir alle."
Elisa Knödler
Evelyn: Bitte beschreibt doch noch mal genauer, auf welche Widerstände gegen Evaluation ihr schon so gestoßen seid. Warum haben Menschen Berührungsängste? Ist das nur die oft zitierte Angst vor Kontrolle, oder spielen da noch andere Dinge mit rein?
Elisa: Vieles davon hatten wir ja bereits angesprochen. Ich glaube, ganz oft spielen da Überforderung und Zeitmangel mit rein. Evaluation wird nicht selten als „kleine“ Zusatzaufgabe einer Person hingeschoben, mit dem Anspruch, diese dann ohne großen Zeitaufwand und Hintergrundwissen mit zu erledigen – qualitativ hochwertig versteht sich. Was dann dabei raus kommt oder eben nicht, wissen wir alle. So leicht ist diese Aufgabe dann doch nicht. Evaluation ist sehr generisch und auch fachgebietsübergreifend. Von daher braucht es ein gewisses Grundlagenwissen im Feld der Evaluation – natürlich kombiniert mit Fachwissen aus dem jeweiligen Politikfeld. Nicht zu leugnen ist natürlich der ambivalente Ruf unserer lieben Evaluation – dieser kommt ja auch nicht von ungefähr. Es ist tatsächlich ein Problem, dass Evaluation nicht selten als Legitimationsinstrument „ausgenutzt“ wird – dahinter sehe ich aber eher ein strukturelles Problem. Um Kosten zu sparen, Ressourcen wegzurationalisieren bzw. den Erfolg eines Projekts oder Programms nachzuweisen, wird Evaluation mit vorgeschrieben – durchgeführt wird sie – wenn überhaupt – ganz am Schluss und meist eher schlecht als recht.
Evelyn: Erlebt ihr es so, dass Evaluation in allen Politikfeldern, mit denen ihr Berührungspunkte habt, als Legitimationsinstrument ausgenutzt wird? Oder gibt es da je nach Sektor Unterschiede?
Elisa: Spontan würde ich sagen, dass die Funktion der Evaluation weniger vom Politikfeld als von der Person(-engruppe), die für die Evaluation zuständig ist, abhängt. Ob Evaluation als ein Legitimationsinstrument genutzt oder gar missbraucht wird, hängt vom Interesse der Nutzer*innen und häufig leider auch von den vorhandenen Ressourcen (finanziell und zeitlich) ab. Natürlich ist Legitimation auch ein Nebenprodukt, das es zu erfüllen gilt, wir haben allerdings selten erlebt, dass Evaluation allein zur Legitimation durchgeführt bzw. eingesetzt wird. Da wir hauptsächlich im Bildungssektor unterwegs sind, haben wir das Glück - und das ist wirklich erfüllend - dass viele ein intrinsisches Interesse daran haben, wirklich heraus zu finden, wie und warum ein Programm (nicht) funktioniert. Und dann sind sie bei uns an der richtigen Stelle.
Anna: Ich kann Elisa hier nur voll und ganz zustimmen - wir haben bislang tatsächlich kaum Fälle gehabt, in denen eine Evaluation nur der Legitimation diente. Aber unsere Stichprobe ist dahingehend wahrscheinlich auch ein wenig verzerrt, da sich an uns natürlich vorrangig die engagierten Akteure wenden, die mehr von der Evaluation wollen, als sie nur als legitimatorisches Feigenblatt einzusetzen. Ob es dahingehend jedoch nach Politikfeld Unterschiede gibt… - das vermag ich abschließend so nicht einzuschätzen und darüber möchte ich mir auch kein spekulatives Urteil erlauben. Im Bildungssektor, in dem wir uns sehr gut auskennen, haben wir, wie gesagt, ein rein funktionales Evaluationsverständnis im Sinne von Legitimation selten erlebt und diese Erfahrung hat sich auch in anderen Sektoren wie z. B. in der freien Wirtschaft bestätigt. Grundsätzlich ist Legitimation ja aber kein verwerfliches Evaluationsziel, solange die Evaluation dahinter professionell durchgeführt wird und valide Daten liefert.
Evelyn: Ich würde gerne noch etwas mehr über eure Arbeitsweise erfahren. Ihr nennt euch dezidiert Evaluationsberatung - was hat es damit auf sich?
Evaluationsberatung: Den Bäumen beim Wachsen zusehen
Anna: Ähnlich wie die Evaluation an sich, schlich sich auch das Thema Beratung ein wenig durch die Hintertür zu uns. Zunächst haben wir beide im operativen Bereich – sprich mit der Organisation und Durchführung von LVE an der Fakultät für Pädagogik und Psychologie der LMU München – begonnen. Durch unsere Arbeit bei PROFiL, dem Weiterbildungszentrum der LMU, waren wir in einem Umfeld, in dem neben Weiterbildung auch Beratung angeboten wird. Hier waren wir lange mit der Projektevaluation gut ausgelastet und haben im Backoffice hin und wieder mal andere Aufgaben, die mit Evaluation zu tun hatten, übernommen. Irgendwann trudelten immer mehr konkrete Anfragen von LMU-Mitarbeiter:innen aus den unterschiedlichsten Fächern oder auch der Verwaltung bei uns ein, ob wir nicht mal eine Art Beratung zu diesem oder jenem konkreten Evaluationsanliegen geben könnten. Sofern wir Kapazität dafür hatten, sind wir dem gerne nachgekommen und haben dabei festgestellt, dass es uns unglaublichen Spaß macht, evaluationsmäßig in ganz unterschiedlichen Kontexten unterwegs zu sein und dort eben nicht nur kurz reinzugehen, was abzuliefern und wieder rauszugehen, sondern begleiten zu können, im besten Falle überzeugen zu können und mitzubekommen, wie aus einem von uns gesäten Evaluationssamen ein zartes Evaluationspflänzchen wird. Und dann heißt es den Bäumen beim Wachsen zusehen 🙂 –im Ernst – wir haben uns im Laufe unserer doch nun schon einigen Jahre der Evaluationstätigkeit viel damit auseinandergesetzt, was denn der Unterschied zwischen Evaluation und Evaluationsberatung ist und haben festgestellt, dass uns Evaluationsberatung nicht nur richtig viel Freude macht, sondern wir auch viel von unserer persönlichen Überzeugung in puncto Sinnhaftigkeit von Evaluation mit „reingeben“ und nachhaltig arbeiten können. Last but not least lässt sich der in diesem Interview ja bereits angesprochene „Dauerbrenner“ des Widerstands oder der Skepsis gegenüber Evaluation damit erfahrungsgemäß ganz gut einfangen. Nachdem wir das dann in Gestalt von eva|lab begonnen haben umzusetzen, folgte kurz darauf die Ausgründung unseres Unternehmens.
Elisa: In diesem Kontext wurden wir in den letzten Jahren natürlich immer wieder mit den unterschiedlichsten Anliegen, Rahmenbedingungen und Umfeldern betraut, oft haben wir dabei auch festgestellt, dass häufig noch ganz andere Anliegen abseits von Evaluation an uns herangetragen werden und wir uns deshalb in Bezug auf unseren Beratungsstil positionieren wollen. Deshalb haben wir zum Beispiel im letzten Jahr die Weiterbildung „Systemische Beratung“ absolviert. Dieses Wissen und vor allem die Herangehensweise und Fragetechnik hilft uns in Beratungsgesprächen enorm weiter. Denn wir sehen Beratung durchaus als eine Art Profession, für die es Qualifikationen und Kompetenzen bedarf.
Evelyn: Wie läuft denn so eine Evaluationsberatung bei euch üblicherweise ab?
Elisa: So à la Customer Journey? Also ganz grundsätzlich kommen Personen mit den unterschiedlichsten Anliegen auf uns zu – von einem einfachen Feedback zu einem bereits entwickelten Fragebogen bis hin zur evaluativen Begleitung eines Gesamtprozesses – was dann eher in Richtung Organisationsentwicklung geht – war wirklich schon alles dabei.
Anna: Häufig kommen die Kund*innen mit noch nicht so klar umrissenen Vorhaben und Ideen zu uns. Unser erster Schritt ist es, die tatsächlichen Ziele und Bedarfe gemeinsam herauszuarbeiten. Je nach Anfrage schauen wir dann – gemeinsam und in stetiger Absprache – wie und an welchen Stellen wir unterstützen können, das gewünschte Evaluationsziel (selbst) zu erreichen.
Elisa: Eigentlich wollen wir vor allem den Auftraggeber*innen beratend zur Seite stehen und sie in ihrem Evaluationsvorhaben begleiten. Wenn evaluatives Denken von Beginn an in ein Programm einfließt oder in einer Organisation vorhanden ist und die Stakeholder wirklich wissen wollen, was aus welchem Grund wie (nicht) funktioniert, nur dann können Vorhaben nachhaltig wirksam werden. Nur wenn die Stakeholder selbst in der Lage sind, Prozesse und ihre Mechanismen zu verstehen und diese zu implementieren, kann Evaluation ihr Potenzial entfalten und auch nachhaltig nutzbar gemacht werden. Werden Mehrwert und Nutzen verstanden, können etwaige Veränderungen auch langfristig implementiert werden. Der Aufwand amortisiert sich dann recht schnell, wenn das gewonnene Wissen auf zukünftige Projekte und deren Planung übertragen wird. Und dadurch dass die Auftraggeber:innen selbst als Expert:innen fungieren und entscheiden, was situational und kontextbezogen eine notwendige Veränderung darstellt, nehmen wir ihnen auch die Hemmungen und Ängste vor diesem Thema.
Evelyn: Was glaubt ihr denn, wie sich die Nachfrage nach Evaluationsberatung und auch Evaluation weiter entwickeln wird?
Anna: Wir sind von der gesamtgesellschaftlichen Relevanz von Evaluation überzeugt und erleben neben dem allgemein bekannten Evaluationsboom – oder wie Dahler-Larsen so schön sagte: „we live in the age of evaluation“ –, dass die Nachfrage nach qualitativ hochwertiger Evaluation steigt, die mehr ist als ein nach außen präsentables Datenkonglomerat. Und auch die Evaluationsberatung im Speziellen wird sehr gut angenommen und wir hoffen natürlich, dass das so bleibt und sich dieser Ansatz mit seinen Stärken im Gegensatz zum klassischen, operativen Evaluationsgeschäft auch noch weiter verbreitet. Natürlich können wir das und machen das bei Bedarf auch mal, es ist jedoch nach unserer Erfahrung weitaus weniger nachhaltig und verbraucht unterm Strich auch mehr monetäre Ressourcen – denn ein:e Evaluator:in muss immer wieder eingekauft werden, eine Evaluationsberatung im besten Fall nur einmal. Doch auch abseits dieses Aspekts hat es in unseren Augen einen Mehrwert, die Akteure selbst zu befähigen. Hier vielleicht noch ein übergeordneter Punkt zu denen, die Elisa eben angeführt hat: Indem wir versuchen, evaluatives Denken weiterzutragen und Evaluationshandwerk zu vermitteln, leisten wir im Idealfall mittels unserer Beratung along the way einen kleinen Beitrag zur Professionalisierung von Evaluation.
Evelyn: Könnt ihr den Leser*innen des PME-Blogs abschließend noch ein paar Tipps geben, was sich in der Evaluationsberatung besonders bewährt hat?
Elisa: Gerne. Ad hoc und in aller Kürze würden wir allen, die mit Evaluation zu tun haben, folgende Punkte ans Herzen legen:
- Evaluation in jedem Projekt/Programm von Beginn an mitdenken
- Alle relevanten Beteiligten in den Prozess einbeziehen und damit Partizipation ermöglichen
- Mehrwert und (Prozess-)Nutzen von Evaluation verdeutlichen durch transparente Kommunikation
Evelyn: Danke euch für das Interview!