Wirkungsmessung kann auch in fragilen Kontexten funktionieren

Solche Kontexte sind oft gewaltoffen und ermöglichen somit nichtstaatlichen Akteuren die Anwendung von Gewalt. Dann ist das Risiko häufig höher, dass Maßnahmen der EZ entweder gänzlich ohne Wirkung bleiben oder gar die Situation verschlimmern. Nicht oder wenig wirksame Maßnahmen verursachen hohe Opportunitätskosten. Sie binden Mittel, die anderswo in effektive Projekte hätten investiert werden können. Diese Kosten trägt letztlich die Bevölkerung an anderem Orte, der zum Beispiel eine Maßnahme im Bereich der Wasserversorgung vorenthalten bleibt.

Negative Wirkungen

Besonders problematisch sind jedoch negative Wirkungen, etwa wenn die Ressourcen der Geber Verteilungskämpfe zwischen ethnischen Gruppen vertiefen oder neu entfachen. Die Legitimität des Staats kann weiter untergraben werden, falls bei der Bevölkerung unter anderem der Eindruck entsteht, dass sich Staatsbedienstete an Entwicklungsvorhaben bereichern oder aber ausschließlich mit zivilgesellschaftlichen Akteuren zusammengearbeitet wird und so Parallelstrukturen entstehen (siehe Seite 58–59). Außerdem können lokale Machthaber*innen EZ-Maßnahmen „besteuern“: Entwicklungsorganisationen bezahlen dann direkt oder indirekt Schutzgelder, damit sie überhaupt ihre Projekte umsetzen können.

Risiken minimieren

Um diese Risiken zu minimieren, ist es unabdingbar, die Wirkungen von Interventionen auch in fragilen Staaten so gut wie möglich zu evaluieren. Die folgenden vier Maßnahmen können helfen.

1. Trotz aller Hindernisse ist es in fast allen Fällen möglich, anspruchsvolle Evaluierungen durchzuführen. So zeigt eine Meta-Analyse der internationalen Evaluierungsaktivitäten in Afghanistan, dass zwischen 2008 und 2018 dort 32 rigorose Evaluierungen von Entwicklungsorganisationen durchgeführt wurden. Dies ist zwar gemessen an den insgesamt nach Afghanistan geflossenen Mitteln deutlich zu wenig. Gleichzeitig zeigen diese Erfahrungen, dass auch methodisch anspruchsvolle Wirkungsevaluierungen in hochfragilen Kontexten möglich sind. Ein Großteil dieser Wirkungsmessungen fand in Kooperation mit Forschungseinrichtungen statt, was das hohe – und leider noch oftmals ungenutzte – Potenzial der Zusammenarbeit zwischen Entwicklungsorganisationen und der Forschung im Feld rigoroser Wirkungsevaluierungen verdeutlicht (siehe Seite 84–86, Themenschwerpunktbericht Fragilität).
2. Es ist immer möglich, anstelle komplexer Wirkungsmessungen weniger anspruchsvolle Performance Audits durchzuführen. Diese untersuchen, wie ein Vorhaben gemanagt wurde, ob die anvisierten Outputs erbracht wurden und ob es zumindest plausibel ist, dass Wirkungen hätten erzielt werden können. So konnten etwa US-amerikanische Performance Audits feststellen, dass viele Vorhaben der US-amerikanischen Zusammenarbeit wirkungslos waren, weil sie nicht einmal die angestrebten Ziele auf Output-Ebene erreichten.
3. Es gibt innovative Ansätze zur Datenerhebung (siehe Seite 60–61, Themenschwerpunktbericht Fragilität) wie eine Datenbank der deutschen EZ in Afghanistan, in der alle Outputs deutscher Vorhaben inklusive georeferenzieller Daten erhoben werden. Das ebenfalls von der deutschen EZ betriebene Risk Management Office stellte regelmäßig aktualisierte lokale Konfliktanalysen zur Verfügung, die internationale und lokale Fachleute vor Ort erstellten. Weiterhin wurden auf Distriktebene repräsentative Umfragen durchgeführt. In der Zusammenschau dieser drei Datenquellen lassen sich Rückschlüsse auf Trends und Wirkungen der EZ ziehen.
4. Ein sehr hilfreiches, aber leider noch viel zu selten eingesetztes Instrument sind länderbezogene systematische Reviews, welche geberübergreifend vorliegende Evaluierungsevidenz zusammenfassen. Sie identifizieren alle vorhandenen Evaluierungen in einem fragilen Land, die bestimmten Kriterien wie Sprache, Publikationsjahr und methodische Qualität genügen, und wertet diese in Bezug auf bestimmte inhaltliche Kriterien aus. Solche systematischen Länderreviews bieten eine objektive, transparente und replizierbare Zusammenfassung von allem, was zur Wirksamkeit der EZ in einem fragilen Land bekannt ist. Sie sind ein wirksames und nötiges Korrektiv zu anekdotischen Befunden und dogmatischem Wunschdenken und dienen der gerade in fragilen Kontexten oft besonders anspruchsvollen Koordination und Arbeitsteilung unterschiedlicher Geber.

Beispiel: Meta-Analyse zu Afghanistan

Ein prominentes Beispiel für einen solchen Länderreview ist die 2020 vom BMZ in Auftrag gegebene Meta-Analyse zu Afghanistan, die 148 Studien berücksichtigt. Die Auswertung ergab, dass Interventionen in den Bereichen Gesundheit, Bildung, Wasser und Existenzsicherung einigermaßen effektiv waren. Maßnahmen zu guter Regierungsführung, Frauenrechten und Stabilisierung zeigten jedoch nur sehr selten Wirkung. Daher sollten EZ-Organisationen Vorhaben in solchen schwierigen Bereichen nur dann durchführen können, wenn sie plausibel begründen können, wieso ihre Vorhaben besser und effektiver wären als all die bislang wirkungslosen Vorhaben. Zudem sollten sie zunächst nur als Pilot durchgeführt und mit einem soliden Monitoring- und Evaluierungssystem begleitet werden. Weil länderbezogene systematische Reviews die Erfahrungen aller Geber in einem jeweiligen Kontext zusammenfassen, können sie eben auch geberübergreifend Rechenschaftslegung und Lernprozesse stärken. Es wäre daher wünschenswert, wenn sich die internationale Gebergemeinschaft verpflichten würde, für alle fragilen Kontexte regelmäßig systematische Reviews zu erstellen. Besonders angesichts der jüngeren Entwicklungen in Afghanistan oder Mali sollte dieses pragmatische und kostengünstige Instrument gerade in fragilen Staaten deutlich öfter und auch früher eingesetzt werden.