Warum es an der Zeit ist, unsere Evaluierungsberichte zu verbessern
Interview mit chris Lysy
Der Evaluationsbericht ist ein heißes Eisen. Wir stecken wahnsinnig viel Arbeit in dieses Format - und doch landet es oft mehr oder weniger ungelesen in irgendeiner Schublade. Chris Lysy, der bekannt ist für seine Comics zu M&E-Themen, hat dem Evaluationsbericht ein sehr lesenswertes Buch gewidmet: The Reporting Revolution: A little book for researchers and evaluators who give a sh*t. Für den PME-Blog hat Evelyn Funk ihn dazu interviewt.
Evelyn Funk: Vielen Dank, dass du dir die Zeit nimmst und mit mit über dein neues Buch sprichst! Was genau hat dich dazu gebracht, das Buch zu schreiben? Gab es einen bestimmten Moment, in dem dir klar wurde, dass du es schreiben willst – oder war es ein längerer Prozess?
Chris Lysy: Ich blogge und unterrichte seit weit über einem Jahrzehnt zu den verschiedensten Themen. Irgendwann ist mir aufgefallen, dass ich das Thema Reporting etwas anders angehe als andere das tun. Diese Herangehensweise hatte ich bis dahin allerdings nirgendwo offiziell festgehalten. Es gab nur einzelne Blogbeiträge und ich habe viele meiner Ideen in Gesprächen oder in Trainings weitergegeben. Wenn man aber ein Buch schreibt, dann hat man das Gefühl, dass man etwas ganz offiziell macht. Da steht jetzt alles drin. Und das Buch kann nun eine Grundlage sein für die Gespräche, die wir miteinander führen
„Wollen wir bessere Berichte schreiben, weil wir an unsere Arbeit glauben? Wollen wir, dass unsere Arbeit geteilt und genutzt wird? Es wird uns niemand dazu zwingen, bessere Berichte zu schreiben, aber wir werden zunehmend unsichtbar. Wir haben keine Stimme, wenn wir nicht das Produkt verbessern, das wir unseren Auftraggebern liefern.“
Chris Lysy
Evelyn: Ist die Qualität von Evaluationsberichten denn überhaupt ein Problem? Warum sollten wir uns ausgerechnet mit besserem Reporting auseinandersetzen?
Chris: In M&E ist der Bericht das Produkt unserer Arbeit. Wir liefern dieses Produkt, wenn wir einen Vortrag vor Vorstandsmitgliedern halten, oder wenn wir einen großen, langen Bericht verschicken. Das, was unsere Auftraggeber*innen von uns sehen, ist das, was wir produzieren. Und oft sehen sie nur das. Es ist aber nicht gleichzusetzen mit der Arbeit, die wir machen. Sie sehen vielleicht mal kurz, dass wir eine Gruppendiskussion machen, oder eine Umfrage. Aber am Ende kaufen sie den Bericht, sie kaufen unsere Empfehlungen, unsere Erkenntnisse – und wir liefern ihnen das in diesem wirklich langen, langweiligen Format. Hier und da gibt es Nachfrage nach besseren Berichten, die interessanter sind. Aber unterm Strich beschwert sich niemand so wirklich. Und darum machen wir einfach so weiter wie immer. Das wird aber dann zu einem Problem, wenn wir als Evaluator*innen unsere Arbeit nicht in einer Form abliefern, in der sie gelesen, verarbeitet, genutzt werden kann. Wir müssen selbst entscheiden: Wollen wir bessere Berichte schreiben, weil wir an unsere Arbeit glauben? Wollen wir, dass unsere Arbeit geteilt und genutzt wird? Es wird uns niemand dazu zwingen, bessere Berichte zu schreiben, aber wir werden zunehmend unsichtbar. Wir haben keine Stimme, wenn wir nicht das Produkt verbessern, das wir unseren Auftraggebern liefern.
Evelyn: Wenn Menschen versuchen den Status Quo zu verändern, dann kommen die Inspiration, die Tools und die Methoden häufig irgendwo von außen. Während ich dein Buch las, habe ich mich gefragt: Woher kommt deine Inspiration?
Chris: Das hat viel mit meiner eigenen Suche nach Sinn in Bezug auf meine Karriere zu tun. Ich habe mit Datenerhebungen angefangen, kam dann zur Evaluation. Gleichzeitig habe ich mich aber auch mit technischen Themen wie Softwareentwicklung und Coding beschäftigt. Und dann bin ich zum Design gekommen, also Webdesign, User Experience Design. Ich bin also zwischen verschiedenen Feldern hin und hergesprungen und habe dort viel Inspiration bekommen. Am besten passt aber der Vergleich von unserem Feld mit der Nachrichtenbranche. Durch das Internet nehmen Menschen heute anders Informationen auf als noch vor 20 Jahren. Die Menschen lesen keine Zeitungen mehr, sondern laden sich Apps runter oder gehen online. Die Nachrichtenbranche hat sich darum in den letzten 20 Jahren extrem verändert, weil sie sich verändern musste. Das ist in der Forschung und in der Evaluation so noch nicht passiert. Wir können aber sehr viel von den Entwicklungen im Journalismus lernen. Ein zweites Feld, von dem wir viel lernen können, ist User Experience Design. Die ersten Webseiten im Internet waren ziemlich hässlich und nicht funktional. Mit der Zeit hat man dann rausgefunden, dass man mit den Nutzer*innen sprechen und erforschen muss, wie sie diese Webseiten eigentlich genau nutzen. Auch wenn die zugrundeliegende Technik, das „Backend“, gut funktioniert – es zählt am Ende, was die Nutzer*innen damit machen. In der Evaluation funktioniert die zugrundeliegende Wissenschaft gut, aber wir haben uns mit den Nutzer*innen noch nicht ausreichend beschäftigt.
"Wir sollten nicht all unsere Energie in einen einzigen Bericht stecken in der Erwartung, dass wir damit alle möglichen Zielgruppen erreichen.“
Chris Lysy
Evelyn: Was schlägst du konkret vor, wie wir das Problem von mangelhaften Berichten angehen können?
Chris: Zunächst einmal müssen wir alle verstehen, dass wir nicht den einen Bericht für alle Zielgruppen schreiben können. Das wird nicht funktionieren, es ist unmöglich. Natürlich müssen wir dokumentieren, was wir in einer Evaluation getan haben, und dafür brauchen wir einen langen Bericht. Aber wir sollten nicht all unsere Energie in einen einzigen Bericht stecken in der Erwartung, dass wir damit alle möglichen Zielgruppen erreichen. Wir müssen uns vielmehr fragen: Wer sind die eigentlichen Nutzer*innen? Oft sind es drei Gruppen. Die Entscheider*innen mit wenig Zeit, die nur die wichtigsten Erkenntnisse wollen, die Highlights. Dann die „Öffentlichkeit“, also Menschen, die sich nur für kleine Ausschnitte unserer Arbeit interessieren – und wir müssen rausfinden, welche Ausschnitte das sind, damit wir z.B. passende Infografiken entwerfen können. Und dann gibt es noch eine mittlere Gruppe zwischen den Entscheider*innen und der Öffentlichkeit, die wir mit einer Kurzfassung oder einer Präsentation erreichen können.
Evaluationsergebnisse sind oft für drei verschiedene Zielgruppen relevant - nicht alle können wir mit einem einzigen Berichtsformat ansprechen. (Abbildung: Chris Lysy)
Evelyn: Wenn ich diese Zielgruppen definiert habe – wie komme ich von da aus zu einem passenden Berichtsformat?
Chris: Wir müssen unser Mindset, unser Verständnis von unserer eigenen Arbeit verändern. Wir können uns in eine echte Person hineinversetzen: Wie würde sie das erleben, was wir mit ihr teilen? Denk nicht über all die wichtigen Dinge nach, die du als Evaluatorin mit ihr teilen möchtest. Denke lieber über die Person nach und was bei ihr ankommt.
Evelyn: Wie schaffen wir diesen Perspektivwechsel denn ganz konkret? Mit welcher Technik arbeitest du da?
Chris: Aus dem User Experience Design kommt die Avatar- oder Persona-Methode. Die Grundidee ist, dass wir nicht mehr über Zielgruppen als Gruppen nachdenken, sondern als eine Person. Wenn es z.B. um die Gruppe der Lehrer*innen geht, dann stellen wir uns eine Lehrerin ganz konkret vor. Wir geben ihr einen Namen, vielleicht Sarah, und notieren dann, was wir alles über sie wissen. Und wenn wir dann auf unseren Bericht schauen, dann tun wir das wie in einem Rollenspiel durch die Augen von Sarah. Was macht Sarah, wenn sie den Bericht öffnet? Schließt sie ihn direkt wieder, weil er nichts mit ihren Aufgaben und ihren Problemen zu tun hat? Und was leitet sich daraus ab? Wie muss ich mein Reporting verändern, wenn ich Sarah erreichen will? Es macht auch Spaß, jemand anderem die Aufgabe zu geben, sich in Sarah einzudenken und deinen Bericht mit dieser Brille zu kommentieren. Diese Technik wenden wir regelmäßig in meiner Information Design Academy an.
Evelyn: Vielleicht ist Sarah kritischer, als die Kolleg*innen es sein könnten?
Chris: Genau. Möglicherweise ist Sarah offener und kann darum ein ehrlicheres Feedback geben.
Für eine gezieltere Kommunikation rund um Evaluation können wir Avatare erarbeiten (Abbildung: Chris Lysy in "The Reporting Revolution" (2022).
Evelyn: Du erwähntest vorhin verschiedene Medien und Formate. Sarah braucht vielleicht eine Infografik. Aber die meisten Evaluator*innen sind keine Design-Profis, die mal eben schnell eine Infografik machen können.
Chris: Es gibt aber viele gute Tools wie z.B. Canva, die viele Vorlagen bieten. Dadurch wird der ganze Reporting-Prozess vor allem für kürzere Formate wie Infografiken oder Präsentationen stark vereinfacht und beschleunigt. Einfache Infografiken sind damit schnell erstellt, wenn man sich nicht verkünstelt. Für die Visualisierung von Daten bin ich von Excel auf Programme wie Flourish und DataWrapper umgestiegen, die eigentlich für den journalistischen Bereich gedacht waren.
Evelyn: Das sind ja alles sehr visuelle Programme, bei denen wir viel weniger Text nutzen als im typischen Evaluierungsbericht. Welche Rolle spielen Visualisierungen denn aus deiner Sicht insgesamt? Visualisieren wir genug – und falls nicht, was müssen wir tun um das zu verändern?
"Auch wenn deine Visualisierung nicht die allerbeste ist, macht es doch einen Unterschied, wenn du deinen Leser*innen damit einen visuellen Zugang zu deinen Inhalten gibst.“
Chris Lysy
Chris: Wir müssen mehr visualisieren. Wenn du heute ins Internet gehst, dann ist jede Webseite, jeder einzelne Artikel, voll mit Bildern. Fast wie in einem Comic. Wenn du aber einen Evaluierungsbericht in die Hand nimmst, sind dort nur noch Wörter, und das fühlt sich nicht richtig an. Es macht den Menschen Angst. Es entspricht nicht dem, wie wir Informationen aufnehmen und verarbeiten. Darum brauchen wir Visualisierungen. Und auch wenn deine Visualisierung nicht die allerbeste ist, macht es doch einen Unterschied, wenn du deinen Leser*innen damit einen visuellen Zugang zu deinen Inhalten gibst.
"Wir werden nicht eines Tages aufwachen und plötzlich arbeiten wir alle mit Diagrammen und Grafiken – wir müssen den Prozess irgendwie vorantreiben. Und wenn wir nicht darauf drängen, wird es nicht passieren. Es braucht eben auch Revolutionen, damit Fortschritt möglich ist."
Chris Lysy
Evelyn: Abschließend würde ich gerne noch ganz kurz auf den Titel deines Buchs zu sprechen kommen: The Reporting Revolution. Revolutionen sind ja normalerweise chaotisch und gefährlich, oft rollen Köpfe. Welche Gefahren siehst du bei der Revolution, die du vorschlägst?
Chris: Ich war mir bei dem Buchtitel nicht sicher, denn: Ja, Revolutionen sind oft schrecklich. Aber bei den Herausforderungen, über die wir sprechen, braucht es eben ein bisschen mehr als nur eine natürliche Entwicklung. Wir werden nicht eines Tages aufwachen und plötzlich arbeiten wir alle mit Diagrammen und Grafiken – wir müssen den Prozess irgendwie vorantreiben. Und wenn wir nicht darauf drängen, wird es nicht passieren. Es braucht eben auch Revolutionen, damit Fortschritt möglich ist.
Evelyn: Vielen Dank. Du hast das letzte Wort an die Leser*innen des PME-Blogs!
Chris: Wenn wir versuchen unser Reporting zu verändern ist eine der größten Herausforderungen, dass wir kein kreatives Selbstvertrauen haben. Wir haben das in unserer akademischen Ausbildung oft verloren. Die Idee, dass wir Dinge neu erschaffen können, ist einfach nicht mehr da. Für viele Leute ist das der größte Kampf. Wir sollten aber nicht zu hart mit uns selbst sein. Es ist in Ordnung, wenn das Ergebnis nicht so gut aussieht, wie du es gerne hättest. Dafür gibt es unendlich viele Gründe, und man braucht einfach Übung. Also: Übe und kreiere, sei stolz auf deine Arbeit und teile sie mit der Welt.
Evelyn: Vielen Dank für das Interview, lieber Chris!
"Es ist in Ordnung, wenn das Ergebnis nicht so gut aussieht, wie du es gerne hättest. Übe und kreiere, sei stolz auf deine Arbeit und teile sie mit der Welt."
Chris Lysy
Vielen Dank, dass Ihr dieses spannende Thema aufgegriffen habt! Ein sehr wichtiger Impuls, ich werde die Anregungen von Chris gerne mitnehmen.
Vielen Dank für dein Feedback! Du findest in Chris’ Blog sehr viele ganz konkrete Vorschläge für ein besseres Reporting, die oft leicht umzusetzen sind. Vor allem im Bereich Visualisierung.
Viel Spaß damit und viele Grüße, Evelyn