Gute Ausschreibungen
Wenn bei uns freiberuflichen Evaluator*innen eine Email mit dem Wörtchen „Ausschreibung“ im Betreff eingeht, siegt wohl bei den meisten von uns die Neugier: Wir lassen alles stehen und liegen und schauen direkt rein, was denn da wohl ausgeschrieben wird. Vielleicht ist das unser nächster Auftrag?
So verschieden die Akteure sind, die externe Evaluationen durchführen lassen, so verschieden sind auch die entsprechenden Ausschreibungen (auch „Terms of Reference“, „Leistungsbeschreibung“…). Ich habe schon ziemlich viel gesehen. Das Spektrum reicht von kryptischen Kurzmemos bis hin zu umfangreichen Unterlagen, die aus mehreren Dokumenten mit ausführlichsten Angaben z.B. zu Evaluationsdesign und -methoden bestehen. Die meisten Ausschreibungen liegen irgendwo dazwischen.
Eine gute Ausschreibung ist ein zentrales Element einer guten Evaluation. In meinem Online-Kurs „Gut evaluieren (lassen) – Schritt für Schritt“, der am 13. Januar 2021 startet, ist die Ausschreibung natürlich auch Thema. In der Vorbereitung habe ich ein paar Thesen zu guten Ausschreibungen aufgestellt und bin sehr gespannt, ob Sie diese mit mir teilen, ob Sie die Dinge ganz anders sehen – oder ob Sie noch Thesen ergänzen können. Ich erhebe hier überhaupt keinen Anspruch auf Vollständigkeit und freue mich, wenn noch ein paar Ideen dazukommen.
Dieser Text ist an die Seite der Auftraggeber*innen gerichtet, aber ich bin mir ganz sicher, dass meine Kolleg*innen auf Seite der Auftragnehmer*innen auch eine starke Meinung zu den Punkten haben werden.
Je vollständiger die Ausschreibung, desto besser die Angebote.
Potentielle Auftragnehmer*innen brauchen möglichst viele Informationen darüber, was in einer Evaluation verlangt wird. Je mehr sie über das Evaluationsprojekt wissen, desto individueller können sie ihr Angebot darauf zuschneiden. Die Angebote werden bei einer möglichst vollständigen Ausschreibung außerdem besser miteinander vergleichbar sein, was den Auftraggeber*innen die Entscheidungsfindung und Auftragserteilung deutlich vereinfacht.
Eine vollständige Ausschreibung ist außerdem eine Geste der Fairness gegenüber den Bewerber*innen. Nur wenn alle Fakten auf dem Tisch liegen, können Interessierte fundiert entscheiden, ob sie den Anforderungen überhaupt entsprechen und ob es sich für sie lohnen kann, ein Angebot zu erarbeiten.
Dabei sollten Sie aber auch offene Fragen thematisieren. Denn zum Zeitpunkt einer Ausschreibung gibt es in der Regel noch viele Unsicherheiten bzgl. Zielen, Fragen, Ansätzen, Methoden usw. Es hilft ungemein, wenn transparent ist, wo noch Punkte offen sind und bei welchen dieser Punkte es Gestaltungsfreiräume für die potentiellen Auftragnehmer*innen gibt.
Je klarer das Ziel einer Evaluation ist, desto besser können die Evaluator*innen einen Beitrag dazu leisten, dass dieses Ziel erreicht wird.
Oft sind Evaluationen ein fester Bestandteil des Programmzyklus und werden dann einfach initiiert, weil es so im Plan steht – aber daraus leitet sich noch kein richtiges Ziel ab. Um die Ziele Ihrer Evaluation festzulegen, können Sie sich mit den folgenden Fragen beschäftigen:
- Zu welchen Entscheidungsfindungen soll das generierte Wissen beitragen?
- Gibt es übergeordnete strategische Fragestellungen, zu deren Beantwortung die Evaluation beitragen soll? Z.B. die Übertragung eines Ansatzes auf einen anderen Kontext/Region/Zielgruppe; die Ausweitung oder Verringerung (oder sogar komplette Einstellung) eines Ansatzes je nach Erfolg oder Misserfolg…
- Gibt es konkretere operative Fragestellungen, die Input durch die Evaluation benötigen? Z.B. die Anpassung von Programmkomponenten während der Laufzeit oder perspektivisch für die nächste Programmphase…
- Welchem Zweck dient die Evaluation – dem Lernen, der Legitimation oder der Kontrolle? („Warum machen wir das?“)
- Eine Evaluation kann Legitimation anstreben. Ganz klassisch ist damit Rechenschaftslegung gegenüber Geldgeber*innen gemeint. Legitimation kann aber durchaus auch als Rechenschaft gegenüber Partnern und Zielgruppen verstanden werden.
- Unser aller Lieblingsziel: Evaluation bedeutet Lernen. Es ist eine extrem hilfreiche Übung, die Lernziele in der Planungsphase einer Evaluation genauer zu definieren. Welche strategischen Entscheidungen stehen an, für die die Evaluation Daten liefern soll? Welche operativen Entscheidungen hängen von den Evaluationsergebnissen ab? Wer sind die Zielgruppen des Lernens?
- Manchmal ist auch Kontrolle ein Ziel von Evaluation. In diesem Zusammenhang ist darunter oft ein einfacher Realitätsabgleich zu verstehen. Passiert in der Maßnahme auch wirklich das, was wir geplant haben? Wenn es Abweichungen gibt – wie sind diese zu erklären.
Je mehr Klarheit Sie über die Ziele der Evaluation und ihre möglichen Konsequenzen haben, desto fokussierter können Ihre Evaluationsfragen formuliert werden. Desto nützlicher kann die Evaluation am Ende sein.
Die Evaluierungsfragen sollten immer mit größter Sorgfalt ausgewählt werden. Zu jeder Frage gilt es kritisch zu überprüfen: Inwieweit ist eine Antwort auf diese Frage notwendig, um die Ziele der Evaluation erreichen zu können? Je weniger Fragen gestellt werden, desto besser können die Evaluator*innen am Ende auf jede einzelne Frage eingehen.
Ich gehe hier nicht weiter auf das Thema ein, weil ich mich zu Evaluationsfragen hier und hier schon ausführlich geäußert hab.
Ein paar Gedanken dazu finden sich außerdem bei meiner Kollegin Michaela Raab, und zwar hier: https://www.developblog.org/2020/09/know-what-you-need-to-know.html und hier: https://www.developblog.org/2019/12/less-is-more-also-in-evaluation.html#more
Je umfangreicher das Evaluationsprojekt, desto umfangreicher der Ausschreibungsprozess.
Bei komplexen oder besonders großen Evaluationsprojekten empfiehlt sich ein mehrstufiger Ausschreibungsprozess. So können z.B. in einem ersten Schritt grundsätzliche Qualifikationen abgefragt werden, um eine Vorauswahl zu treffen. Erst in einem zweiten Schritt wird dann um die Abgabe technischer Angebote gebeten. Eine solche Vorgehensweise zeugt von Respekt gegenüber den Bewerber*innen, da sie nur dann Zeit in ein Angebot investieren, wenn sie tatsächlich die Mindestanforderungen erfüllen und so als Auftragnehmer*innen in Frage kommen.
Je genauer Ihre Vorgaben bezüglich des Budgets, desto besser können Sie die eingereichten finanziellen Angebote miteinander vergleichen.
Wenn es ein Maximal-Budget gibt, sollten Sie das unbedingt nennen. So ermöglichen Sie es allen Interessierten, realistisch abzuschätzen, ob sie die geforderten Leistungen zu ihren Preisen erbringen können oder eben nicht.
Wichtige Angaben bzgl. des Budgets sind außerdem:
- Ist die Umsatz-Steuer im Maximal-Budget enthalten?
- Sind Reisekosten im Budget enthalten?
- Werden Reisekosten als Pauschale oder gegen Vorlage von Belegen genau abgerechnet?
- Gelten für Reisekosten die Bestimmungen des Bundesreisekostengesetzes?
Exkurs: Was kostet eigentlich eine externe Evaluation?
Der Preis einer externen Evaluation wird im Wesentlichen von drei Faktoren bestimmt: Von der Anzahl an Arbeitstagen, von möglicherweise erforderlichen Reisen zu Zwecken der Datenerhebung, und vom Tagessatz der beauftragten Evaluator*innen.
- Anzahl an Arbeitstagen: Bei einer typischen Evaluation müssen Sie mit mindestens 15 Arbeitstagen rechnen. Je nach Anzahl und Komplexität der Fragestellungen können es auch deutlich mehr sein.
- Reisekosten: Die Reisekosten können Sie gut selbst überschlagen. Bei Kosten für Übernachtungen und ggf. Tagegeld können Sie sich am Bundesreisekostengesetz und der entsprechenden Verwaltungsvorschrift orientieren: http://www.verwaltungsvorschriften-im-internet.de/bsvwvbund_24102019_D630201103.htm
- In die Berechnung eines Tagessatzes fließen Berufserfahrung und besondere Kenntnisse und Fähigkeiten ein. Außerdem müssen Evaluator*innen unter anderem Urlaubs- und Krankheitstage und Akquise mit in ihr Honorar einpreisen. So beginnen Tagessätze für Evaluator*innen mit Wohnsitz in Deutschland in der Regel bei 400 EUR; für Expert*innen mit mehrjähriger Berufserfahrung müssen Sie mit mindestens 500 EUR rechnen.
Welche Prinzipien guter Ausschreibungen können Sie ergänzen? Wo gehen Sie mit mir mit – was sehen Sie anders?