Sehen können, wozu man die ganzen Erhebungen macht – Ergebnisse von Evaluationen mit Dashboards visualisieren und nutzbar machen
Interview mit Sebstian Ottmann
Dashboards sind eine Form von interaktiver Visualisierung, die auch in Planung, Monitoring und Evaluation gut einsetzbar sind. Im Interview berichtet Sebastian Ottmann, Leiter des Kompetenzzentrums Wirkungsorientierung in der Sozialen Arbeit am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und Autor des Blogs „Soziale Wirkung“, worin die Potentiale und Herausforderungen von Dashboards liegen, und welche Erfahrungen er bei der Visualisierung von qualitativen Daten gemacht hat.
Evelyn Funk: Dashboards sind im Bereich PME noch nicht weit verbreitet, du hast sie aber schon im Kontext der wissenschaftlichen Projektbegleitung eingesetzt. Haben die Auftraggeber explizit danach gefragt, oder ging die Idee eher von dir aus?
Sebastian Ottmann: Der Impuls ging eher von uns aus. Ich hatte mich mit Datenvisualisierung auseinandergesetzt und bin so zu Dashboards gekommen. In diesem Projekt trieb uns immer wieder die Frage um, wie man Ergebnisse so aufbereiten kann, dass sie von pädagogischen Fachkräften vor Ort genutzt werden. So eine direkte Nutzung ist nur möglich, wenn Ergebnisse zeitnah und gut aufbereitet vorliegen. Auch ist eine Interaktivität wichtig, also das die Fachkräfte auch unterschiedliche Auswertungen (z. B. nach Jahren) abrufen können. Da das ein klassischer PDF-Report nur bedingt leisten kann, haben wir vorgeschlagen, Dashboards zu nutzen.
Evelyn: Du hast dazu ja schon einen ganzen Beitrag in der Zeitschrift für Evaluation verfasst – aber kannst Du für unsere Leser*innen trotzdem kurz zusammenfassen, was ein Dashboard ist?
Sebastian: Ein Dashboard ist eine kompakte Darstellung von Ergebnissen in Form von Visualisierungen auf einer Internetseite oder in einem Softwareprogramm. Die zugrundeliegenden Daten sind hier zusammengefasst und so aufbereitet, dass sie schnell zugänglich sind. Es gibt für die Nutzer auch Möglichkeiten, die Daten je nach Interesse weiter zu analysieren, z.B. sich bestimmte Werte für Regionen oder Berichtsjahre ausweisen zu lassen.
Ein beispielhaftes Dashboard für ein Evaluationsprojekt (Quelle: Sebastian Ottmann)
Evelyn: Was meinst du, was könnten Dashboards im Bereich von M&E leisten?
Sebastian: Im Evaluationskontext sehe ich den Nutzen bei formativen Evaluationen, die projektbegleitend durchgeführt werden. Aber auch im Monitoring-Bereich können Dashboards gut genutzt werden, weil man darüber regelmäßig Ergebnisse an Fachkräfte in Projekten zurückspielen kann. So können Fachkräfte die Erkenntnisse besser in ihre tägliche Arbeit einbinden. Derzeit wird das oft mit einem regelmäßigen Bericht gelöst. Das ist aber ein statisches Dokument. Der Vorteil eines Dashboards ist, dass Ergebnisse darin kompakter aufbereitet sind, dass es schneller zugänglich ist, und dem Mitarbeitenden diese Daten direkt zur Verfügung stehen.
Evelyn: Kannst du uns mehr zur konkreten Anwendung Deines Dashboards in der Praxis berichten?
„Es kam gut an, dass man einfach mal sehen kann, wofür man diese ganzen Erhebungen eigentlich macht.“
Sebastian Ottmann
Sebastian: In unserem Projekt ging es um Maßnahmen für Jugendliche im Hinblick auf ihre Berufsausbildung. Diese Maßnahmen werden im Jahresrhythmus durchgeführt. Wir haben die Kompetenzen am Anfang und am Ende des Programms erhoben. Mit dem Dashboard können Fachkräfte in den Einrichtungen sich die Ergebnisse dieser Erhebungen direkt anschauen. Sie können analysieren, ob die Verläufe in ihrer eigenen Einrichtung anders sind, als beispielsweise in anderen Einrichtungen oder verglichen mit einer Region insgesamt bzw. ob die Verläufe sich in den verschiedenen Erhebungsjahren unterscheiden. Daran kann sich dann eine fachlich-inhaltliche Diskussion anknüpfen: Warum sind die Ergebnisse unterschiedlich? Müssen wir auf bestimmte Verläufe mit pädagogischen Interventionen reagieren? Wir haben bis jetzt positives Feedback bekommen. Es kam u. a. gut an, dass man einfach mal sehen kann, wofür man diese ganzen Erhebungen eigentlich macht. In Teambesprechungen haben die Fachkräfte dann damit gearbeitet und Schlussfolgerungen abgeleitet.
Evelyn: Euer Dashboard ist ja nicht öffentlich – kannst du uns ein anderes Dashboard aus dem Evaluationskontext empfehlen, damit wir das mal selbst ausprobieren können?
Sebastian: Dieses Dashboard von einer britischen NGO ist aus meiner Sicht ein ganz gutes Beispiel (man muss ein bisschen runterscrollen):
Screenshots eines Dashboards mit Monitoringdaten von der britischen NGO Street League (https://www.streetleague.co.uk/our-purpose/our-impact/)
Evelyn: Was müsste ich denn machen, wenn ich mich selbst mal an einem Dashboard versuchen wollte?
Sebastian: Es kommt drauf an, wie tief du in das Thema einsteigen möchtest. Es gibt PowerBI und Tableau, wo man sich daran versuchen und recht schnell ein erstes kleines Dashboard einrichten kann. Einiges ist in Excel möglich, z.B. eine Darstellung von Daten für verschiedene Jahre. Man kann auch sehr tief einsteigen und Programmiersprachen nutzen, z.B. Shiny in R. Das hängt natürlich davon ab, was man braucht. Wenn das Dashboard umfangreicher wird lohnt es sich auch, technische Unterstützung zu holen. In dem Projekt, von dem ich gerade erzählt habe, haben wir mit Excel gearbeitet und darin ganz viele Inhalte geschützt, so dass die Nutzer sie nicht verändern konnten. In anderen Zusammenhängen habe ich auch schon mit R gearbeitet.
Anita Meyer-Eppler: Ist der Prozess, in dem ein Dashboard erarbeitet wird, zu vergleichen mit dem klassischen Reporting?
Sebastian: Wenn es um die Entwicklung von Dashboards geht ist es total wichtig, Nutzer von Anfang an einzubinden. Das schlechteste Dashboard ist das, das ein Evaluator im stillen Kämmerlein und ohne Feedback von den Nutzern zusammenbaut. Ganz konkret muss geklärt sein, was mit dem Dashboard genau gemacht werden soll, welche Fragen damit beantwortet werden sollen, und was sich daraus für die Form ableitet. Es empfiehlt sich, einen Prototyp zusammenzubauen und in regelmäßigen Feedback-Schleifen weiter zu überarbeiten. Ich habe die Erfahrung gemacht, dass Fachkräfte sich daran gerne beteiligen. Obwohl es für sie ein zusätzlicher Aufwand zum Alltagsgeschäft ist, sehen sie einen Mehrwert darin.
Anita: In Dashboards werden ja meist quantitative Daten visualisiert. Wir interessieren uns in Planung, Monitoring und Evaluation natürlich auch für die Visualisierung von qualitativen Daten. Wie sieht denn die Arbeit mit qualitativen Daten im Bereich der sozialen Arbeit und Wirkungsanalyse aktuell aus? Wird hier wirksam mit Visualisierungen gearbeitet?
Sebastian: Ich sehe da keine großen Unterschiede zwischen Berichten in der sozialen Arbeit und Berichten in anderen Politikfeldern. Allgemein beobachte ich, dass sehr wenig visualisiert wird, wenn qualitative Daten zugrunde liegen. Am gängigsten ist immer noch die Darstellung von Zitaten.
„Mein Standpunkt ist, dass man qualitative Daten quantifizieren muss, wenn sie schnell und gut durchdringbar sein sollen.“
Sebastian Ottmann
Anita: Woran könnte das liegen?
Sebastian: Ich erinnere mich an eine Diskussion auf einer Jahrestagung der Gesellschaft für Evaluation (DeGEval), wo die Frage aufkam, ob es überhaupt noch den Grundprinzipien von qualitativer Sozialforschung entspricht, wenn man qualitatives Material quantifiziert und dann visualisiert. Mein Standpunkt ist, dass man qualitative Daten quantifizieren muss, wenn sie schnell und gut durchdringbar sein sollen. Man sollte eben bedenken, dass gerade Auftraggeber nicht die Zeit haben, sich durch ewig lange Abschlussberichte zu lesen. Man hofft das als Evaluator, aber die Realität sieht anders aus. Ich erinnere mich an die Aussage eines Referatsleiters einer Bundesbehörde, dass er oft Anfragen des Ministeriums beantworten muss, um mit den Ergebnissen von Modellprojekten etwas zu belegen. Da wird dann eben eine Zahl benötigt, eine verdichtete Information. Man sollte daher auch qualitative Daten so verdichten und visualisieren, dass Zusammenhänge schnell erfasst und geteilt werden können.
Anita: Welchen Tipp geben Sie Evaluatoren auf den Weg, die sich ganz allgemein darin verbessern wollen, ihre Ergebnisse visuell aufzubereiten?
Sebastian: Ich kann jedem wirklich nur empfehlen, sich mit Datenvisualisierung zu beschäftigen. Dadurch kann man lernen, seine Ergebnisse eingängiger aufzubereiten und damit wirksamer zu werden. Ich würde mich dabei an die grundlegenden Prinzipien der Gestaltung halten. Ein Buch wie „Storytelling mit Daten“ durchzuarbeiten, kann schon sehr weit tragen. Dabei sollte man sich als Evaluator von dem Gedanken verabschieden, dass man eine Abschlusspräsentation macht, einen Bericht, der für alle Zielgruppen ausreicht. Man muss sich immer Gedanken über die Zielgruppen und den Inhalt den man vermitteln möchte machen. Es zeigt sich in der Praxis, dass ich für Fachkräfte etwas detaillierter präsentieren kann, für Entscheider hingegen muss ich die wichtigsten Ergebnisse zusammenfassen.
Anita: Wir danken für das Gespräch!
„Als Evaluator sollte man sich von dem Gedanken verabschieden, dass man eine Abschlusspräsentation macht, einen Bericht, der für alle Zielgruppen ausreicht.“
Sebastian Ottmann
Danke für den verständlichen, praxisnahen Beitrag. Ich bin durch den Newsletter von suprsports auf Sie gekommen.