Evaluierung und dann? Was passiert mit den Evaluierungsempfehlungen des DEval?
Evaluierung ist in der deutschen Entwicklungszusammenarbeit (EZ) fest etabliert. Wir am DEval evaluieren sie seit mehr als zehn Jahren auf einer strategischen Ebene und haben unsere Ergebnisse in mehr als 60 Evaluierungsberichten publiziert. Selbstverständlich ist es unser Ziel, dass Politik und Praxis unsere Erkenntnisse nutzen. Wir möchten mit unseren Evaluierungen einen Beitrag dazu leisten, die deutsche EZ wirksamer, wirtschaftlicher und nachhaltiger zu gestalten. Den Veränderungsbedarf, den unsere Evaluierungen dafür identifizieren, formulieren wir in Empfehlungen an unterschiedliche Adressaten. Wenn wir wissen wollen, was sich durch unsere Evaluierungen verändert, müssen wir also in Erfahrung bringen, was mit diesen Empfehlungen geschieht.
Was passiert nach einer Evaluierung?
Große internationale EZ-Organisationen haben für sich festgelegt, wie sie die Umsetzung von Evaluierungsempfehlungen nachverfolgen. So gibt die Steuerungsebene nach der Veröffentlichung eines Evaluierungsberichts häufig in einer Stellungnahme oder „management response“ an, ob sie die an sie gerichteten Empfehlungen teilt und was sie plant, um diese umzusetzen. In einigen Organisationen wird anschließend auch systematisch nachverfolgt, wie die Empfehlungen umgesetzt werden. Bei diesem Monitoring steht häufig die Rechenschaftslegung im Vordergrund.
Rechenschaft ja, aber nicht nur
Gemeinsam mit dem BMZ haben wir am DEval internationale Beispiele guter Praxis passgenau in das Evaluierungssystem der deutschen EZ integriert und dafür ein Verfahren für die Umsetzungsplanung und das Umsetzungsmonitoring von DEval-Evaluierungsempfehlungen entwickelt, das bis Anfang 2023 pilotiert wurde. Es ist in der BMZ-Leitlinie „Evaluierung in der Entwicklungszusammenarbeit“ verankert und dient sowohl der internen als auch der externen Rechenschaftslegung. Daher dokumentiert es zum einen für unsere eigenen Bedarfe (z.B. für die Weiterentwicklung von Evaluierungen und ihrer Empfehlungen), inwiefern unsere Empfehlungen zu Veränderungen führen. Zum anderen legt es für die Adressaten der Evaluierung dar, inwiefern unsere Empfehlungen von den Verantwortlichen für den Evaluierungsgegenstand in Wert gesetzt werden.
Wir möchten diese doppelte Rechenschaftsfunktion weiterentwickeln, denn wir sehen ein großes Lernpotenzial im Monitoring der Umsetzung von Empfehlungen. Es verrät uns viel darüber, wovon es abhängt, ob Empfehlungen umgesetzt werden. Für beide Zwecke, Rechenschaftslegung und Lernen, haben wir eine Synthese des Umsetzungsmonitorings zu den ersten zehn im Umsetzungsmonitoring analysierten Evaluierungen durchgeführt.
Umsetzungsplanung und Umsetzungsmonitoring von DEval-Evaluierungsempfehlungen
Nachdem das DEval einen Evaluierungsbericht inklusive Empfehlungen vorlegt hat, entscheiden die Adressaten der Empfehlungen im Rahmen der Umsetzungsplanung,
- inwieweit sie die Empfehlungen teilen,
- welche Schritte sie unternehmen, um sie umzusetzen,
- wer für die Umsetzung verantwortlich ist und
- bis wann diese erfolgen soll.
Dies geschieht unter anderem im Rahmen einer Umsetzungsplanungssitzung. Das BMZ ist für die Umsetzungsplanung verantwortlich, die seit jeher für alle DEval-Evaluierungen verpflichtend ist, die Empfehlungen enthalten.
Anderthalb bis zwei Jahre nach der Umsetzungsplanung führt das DEval ein Umsetzungsmonitoring durch. Darin wird für jede Empfehlung analysiert, inwieweit sie zu den anvisierten Veränderungen geführt hat. Als Bewertungsgrundlage werden die in der Umsetzungsplanung festgelegten Schritte und die in der jeweiligen Evaluierung formulierten Empfehlungen herangezogen. Dabei werden nur die zumindest teilweise geteilten Empfehlungen betrachtet. Nicht geteilte Empfehlungen werden nicht weiterverfolgt. Das Umsetzungsmonitoring wird seit 2020 für alle DEval-Evaluierungen durchgeführt, die Empfehlungen enthalten.
Was empfiehlt das DEval?
Das DEval hat in den zehn untersuchten Evaluierungen abhängig von Gegenstand, Fragestellung und Vorgehen der Evaluierung Veränderungen in unterschiedlichen Bereichen oder Handlungsfeldern empfohlen. Besonders häufig wurden Veränderungen in der Standard- und Prozessdefinition und in der Planung und Implementierung von EZ-Maßnahmen angeregt. Verbesserungsbedarfe wurden häufig aber auch im Hinblick auf Analyse, Monitoring und Evaluierung sowie auf strategische und konzeptionelle Prozesse identifiziert.
Abbildung 2 Von Empfehlungen addressierte Handlungsfelder
Teilen die Adressaten die Empfehlungen des DEval?
Die Adressaten der Empfehlungen teilten mehr als zwei Drittel der Empfehlungen (123 von 175) entweder vollständig oder in Bezug auf einzelne Aspekte („teilweise geteilt“), bei den meisten Evaluierungen lehnten sie nur wenige Empfehlungen ab. Es ist aber nicht immer ein schlechtes Zeichen für eine Empfehlung, wenn die Adressaten sie nicht teilten. Es gibt unterschiedliche legitime Gründe, eine Empfehlung abzulehnen, auch wenn sie fundiert und evidenzbasiert ist, z.B. eine divergierende Prioritätensetzung. Zu einigen Empfehlungen, die sich an mehrere Akteure richteten, gab es verschiedene Rückmeldungen der unterschiedlichen Adressaten(„uneinheitlich“). In einer Evaluierung wurden zu fünf Empfehlungen nicht dokumentiert, inwiefern sie geteilt werden.
Abbildung 3 Anzahl geteilter und abgelehnter Empfehlungen
Wovon hängt es ab, ob Evaluierungsempfehlungen umgesetzt werden?
Es ist es aktuell aufgrund der noch begrenzten Datenbasis nicht abschließend möglich, den in dieser Synthese ermittelten Grad des Teilens und der Umsetzung zu bewerten. Aus der Zusammenschau der Eigenschaften von Empfehlungen und ihrem Grad der Umsetzung und insbesondere auch aus den Aussagen der Adressaten im Umsetzungsmonitoring lassen sich aber einige förderliche Faktoren ableiten.
Abbildung 5 Einflussfaktoren auf die Auseinandersetzung mit Empfehlungen
Diese Faktoren helfen zu verstehen, wie die Umsetzung von Empfehlung und damit die Nützlichkeit von Evaluierungen gesteigert werden kann. Förderlich ist beispielsweise ein wechselseitiges Verständnis der Evaluierenden und Adressaten dafür, welche (Arten von) Empfehlungen relevant sind. Positiv wirken sich auch klare Verantwortlichkeiten für die Umsetzung und Bezüge der Empfehlungen zu aktuellen Veränderungsprozessen und Rahmenbedingungen aus. Auch die Reflexion der Ressourcenimplikationen von Empfehlungen beziehungsweise die Bereitstellung der notwendigen Ressourcen zeigen positive Effekte. Die für die Umsetzung von Empfehlungen förderlichen Faktoren finden sich also bei den Evaluierungen und auf Seiten der Adressaten der Empfehlungen.
Umsetzungsmonitoring als Chance zum Lernen
Die erste Synthese des Umsetzungsmonitorings haben wir auf der DEval-Homepage veröffentlicht. Dies dient zum einen der Rechenschaftslegung unserer eigenen Arbeit. Wir möchten damit aber auch die gefundenen Lernpotenziale anderen Akteur*innen zugänglich machen. Somit erfüllt unsere passgenaue Entwicklung von Umsetzungsplanung und -monitoring die Ansprüche an Transparenz, Lernen und Rechenschaftslegung. Darüber hinaus möchten wir mit der Veröffentlichung auch andere Organisationen anregen, in die Nachverfolgung von Empfehlungen und deren Umsetzung zu investieren und das darin liegende Lernpotenzial zu nutzen.
Autor*innen
