Schaffung von Voraussetzungen für Wirkungsmessung

Das DEval wurde gebeten den Planungsprozess der ersten Maßnahmen innerhalb des Schwerpunkts ‚nachhaltige Wirtschaftsentwicklung‘ zu unterstützen und Evaluierungsexpertise (‚evaluative thinking‘) einzubringen. Das übergeordnete Ziel der Einbindung des DEval war hierbei die Wirkungsorientierung des Programms zu stärken und somit verbesserte Voraussetzungen zur Wirkungsmessung und Evaluierung auf Programmebene zu schaffen.

In der Zusammenarbeit wurde sich auf drei Bereiche konzentriert:

1. Unterstützung bei der Planung eines kohärenten Programms durch die gemeinsame Erarbeitung von Wirkungsmodellen auf Modul- und Programmebene;
2. Begleitende Erhebung von Daten zur Ausgangssituation, um diese als Grundlage für eine spätere (Wirkungs-) Evaluierung des Programms nutzen zu können;
3. Bei Bedarf Unterstützung der Entwicklung von Monitoringsystemen oder anderen Instrumenten zur Erhebung von (Monitoring-)Daten.

Nachdem Myanmar – das ehemalige Burma – mehr als zwei Jahrzehnte von einem Militärregime beherrscht wurde, unternahm das Land seit 2011 erste Schritte eines Demokratisierungsprozesses. Folglich haben viele multilaterale und bilaterale Geber entschieden, die seit vielen Jahren unterbrochene Entwicklungszusammenarbeit mit Myanmar wieder aufzunehmen, so auch Deutschland. Bereits Ende 2012 begannen erste Maßnahmen der technischen Zusammenarbeit (TZ). 2014 und 2015 kamen weitere Vorhaben der technischen und finanziellen Zusammenarbeit (FZ) hinzu. Sowohl die TZ als auch die FZ sind unter anderem im Schwerpunktbereich Nachhaltige Wirtschaftsentwicklung tätig, insbesondere in den Sektoren Berufsbildung, Privatsektorentwicklung, Finanzsektorentwicklung und Qualitätsinfrastruktur.

Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat die Wiederaufnahme der deutsch-myanmarischen bilateralen Zusammenarbeit 2012 als einmalige Gelegenheit erkannt, um Aspekten wie Kohärenz und Wirkungsorientierung erhöhte Aufmerksamkeit zu schenken. Die Rahmenbedingungen in Myanmar wurden aus den folgenden Gründen als Besonders erachtet:

• Zum Zeitpunkt der Wiederaufnahme der EZ gab es keinerlei bestehende Geberaktivitäten im Bereich der Entwicklungszusammenarbeit. Dementsprechend konnte die Ausgangssituation im Land ohne jegliche Interventionen zu untersucht werden (Baseline), um diese Untersuchung einige Jahre später zu wiederholen und dann zu vergleichen bzw. zu messen, welche Veränderungen aufgrund welcher Maßnahmen, eingetroffen sind (Wirkungsmessung und Attribution).
• In vielen Partnerländern bestehen vielfältige, historisch gewachsene Portfolien und Kooperationen. Zum Zeitpunkt des Wiedereinstiegs in Myanmar konnte das deutsche Portfolio jedoch gänzlich neu und aufeinander abgestimmt, geplant und konzeptioniert werden. So sollten Erfahrungen aus anderen Kontexten für die Planung und Durchführung eines kohärenten, wirkungsorientierten und auf die Bedarfe der Partner zugeschnittenen Programms berücksichtigt werden.
• Im Sinne der Aid Effectivenss Agenda bot sich Entwicklungspartnern die Möglichkeit ihre Schwerpunkte und Maßnahmen von vornerein zu koordinieren und abgestimmt zu planen und implementieren.

In Absprache mit den involvierten Stakeholdern hat das DEval einen theoriebasierten Ansatz gewählt, um “evaluative thinking” und die Schaffung von Voraussetzungen für eine Wirkungsevaluierung bereits in die Planungsphase des Programms einzubetten. Dieser Ansatz umfasste die gemeinsame Entwicklung einer Programmtheorie sowie von Wirkungsmodellen auf Programm- und Projektebene. Dadurch konnte ein gemeinsames Verständnis von Zielen und zugrunde liegenden kausalen Mechanismen des Programms als Ganzem sowie der einzelnen, dazugehörigen Projekte entwickelt werden.

Für jede intendierte Veränderung im Wirkungsmodell wurden Indikatoren entwickelt, daraus Informationsbedarfe abgeleitet und Überlegungen angestellt, mit Hilfe welcher existierenden Daten diese bedient werden könnten oder – falls es keine Daten vorliegen – mit welchen Instrumenten diese erhoben werden können.

Diese Informationen werden primär benötigt, um die Ausgangssituation zu erfassen und damit im weiteren Verlauf Veränderungen über die Zeit zu messen, aber auch um als Grundlage für evidenzbasierte Entscheidungen in der Planung und Steuerung des Programms und der Projekte zu dienen. Zur Erhebung dieser Daten hat das DEval einen Mixed-Method-Ansatz mit der Erhebung von Primär und Sekundärdaten gewählt. So wurde eine landesweite, standardisierte Befragung von KMU, eine standardisierte Befragung von Personal von Banken sowie semi-strukturierte qualitative Interviews mit Schlüsselpersonen (d.h. mit direkt und indirekt involvierten Durchführenden und Betroffenen sowie unabhängigen Experten) durchgeführt. Eine umfangreiche Literaturrecherche erweiterte die erhobenen Daten mit ergänzenden Informationen aus Sekundärquellen.

Im zweiten Schritt wurde für die Durchführung der Wirkungsevaluierung ein Längsschnitt-Design – beginnend mit einer Baseline-Studie – ausgewählt, um die systematische Erhebung vergleichbarer Daten vor, während und nach der Programm-Implementierung zu gewährleisten. Die erhobenen Daten bzw. Informationen können natürlich auch zu Zwecken des Monitorings bzw. der Programmsteuerung verwendet werden.