Meta-Evaluierung Effizienz
In Zeiten globaler Krisen und anhaltender Mittelkürzungen steigt der Druck, vorhandene Ressourcen gezielter und effizienter einzusetzen. Das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) hat untersucht, ob die deutsche Entwicklungszusammenarbeit (EZ) die Effizienz ihrer Maßnahmen angemessen evaluiert und als wie effizient die Evaluierungen die Maßnahmen bewerten.
Entwicklungsgelder sollen nicht nur zweckentsprechend und wirksam, sondern auch wirtschaftlich bzw. effizient eingesetzt werden. Bei der effizienzorientierten Gestaltung von Entwicklungsmaßnahmen können Evaluierungen eine wichtige Rolle spielen. Mit ihrem Evaluierungssystem besitzt die deutsche EZ ein wirkmächtiges Instrument, um Evidenz für die entwicklungspolitische Steuerung und Umsetzung zu generieren. Gerade auch im Vergleich mit anderen Politikfeldern verfügt das Evaluierungssystem der EZ insgesamt über eine zweckmäßige Arbeitsteilung, etablierte Standards und transparente Leitlinien. Diese ermöglichen ein hohes Maß an Qualität und Unabhängigkeit bei projektbezogenen und strategischen Evaluierungen.
Hintergrund
Die Bewertung der Wirtschaftlichkeit von Maßnahmen ist Teil der Evaluierung der deutschen EZ. Durch Entwicklungspolitik möchte das BMZ Armut, Hunger und Ungleichheiten reduzieren sowie Frieden, Stabilität und Sicherheit fördern. Das Ministerium will wirtschaftliche Zusammenarbeit für nachhaltiges und gerechtes Wachstum ermöglichen und strategische Allianzen für globale Lösungen und multilaterale Zusammenarbeit stärken. Um diese Ziele zu erreichen und entwicklungspolitische Veränderungen zu unterstützen, sollte das BMZ seine Mittel nicht nur zweckmäßig und wirksam, sondern auch wirtschaftlich einsetzen. Inwieweit dies in der Praxis erfolgreich gelingt, gilt es unabhängig zu prüfen. Eine systematische Form der Erfolgsbewertung von Maßnahmen bildet die Evaluierung. Ein einschlägiges Evaluierungskriterium der EZ-Evaluierung ist die Effizienz. Das Effizienzkriterium beschreibt, inwieweit eine Maßnahme ihre Ergebnisse in wirtschaftlicher und zeitgerechter Weise erreicht. Doch nicht nur die Maßnahmen sollen einer regelmäßigen Erfolgsbewertung unterzogen werden, auch die Qualität der Evaluierung selbst gilt es regelmäßig zu überprüfen.
Ziele
Die vorliegende Evaluierung fördert die Transparenz über die Effizienz von Entwicklungsmaßnahmen und trägt zur Weiterentwicklung von deren Evaluierung bei. Die Ergebnisse, Schlussfolgerungen und Empfehlungen der Evaluierung sollen das BMZ und die Durchführungsorganisationen inhaltlich und methodisch dabei unterstützen, die Evaluierungspraxis im Hinblick auf die Effizienz von Entwicklungsmaßnahmen zu stärken. Darüber hinaus soll die Evaluierung die strategische und operative Ausrichtung der deutschen Entwicklungszusammenarbeit unterstützen. Um diese Zwecke zu erfüllen, verfolgt die Evaluierung zwei Ziele:
- Bewertung der Qualität der Evaluierung zur Effizienz von Entwicklungsmaßnahmen;
- Auseinandersetzung mit den Ergebnissen zur Effizienz von Entwicklungsmaßnahmen, einschließlich einer Bewertung der Effizienz und deren internen/externen Einflussfaktoren
Methoden
Die Evaluierung nutzt ein integriertes Design aus einer Meta-Evaluierung und einer Evaluierungssynthese. Die Meta-Evaluierung – mitunter auch als „Evaluierung der Evaluierung“ bezeichnet – führt das DEval durch, um den Evaluierungsprozess zu verbessern, die Stärken und Schwächen von Evaluierungen systematisch zu reflektieren und die zukünftige Evaluierungsarbeit voranzubringen. Die Evaluierungssynthese widmet sich – im Sinne einer Querschnittsauswertung – den inhaltlichen Befunden der Evaluierungen zur Effizienzmessung und -bewertung. Die Grundlage der Synthese bilden eine KI-gestützte qualitative Inhaltsanalyse der Evaluierungsberichte und über die Berichte hinausgehende Sekundärdaten. Im Rahmen einer statistischen Modellierung werden textbasierte und durch KI-Modelle identifizierte Merkmale aus den Evaluierungsberichten mit Daten zu den Maßnahmen (z.B. Projekttyp, -volumen, -dauer) und öffentlich verfügbaren Sekundärdaten (z.B. zum Wirtschaftswachstum, Bevölkerungsgröße) zusammengeführt.
Kontakt
Dr. Martin Noltze
Telefon: +49 (0)228 336907-934
E-Mail: martin.noltze@DEval.org
Dr. Sven Harten
Telefon: +49 (0)228 336907-950
E-Mail: sven.harten@DEval.org