Seiteninhalt
Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit

Voraussetzungen für Wirkungsevaluierung in Myanmar

Nachdem Myanmar (ehem. Burma) mehr als zwei Jahrzehnte von einem Militärregime beherrscht wurde, verzeichnet das Land seit 2011 erste Schritte eines Demokratisierungsprozesses. Folglich haben viele multilaterale und bilaterale Geber entschieden, die seit vielen Jahren unterbrochene Entwicklungszusammenarbeit mit Myanmar wieder aufzunehmen, so auch Deutschland. Ende 2012 begannen bereits erste Maßnahmen der technischen Zusammenarbeit (TZ). In 2014 und 2015 kamen weitere Vorhaben der technischen und finanziellen Zusammenarbeit (FZ) hinzu. Sowohl die TZ als auch die FZ sind unter anderem im Schwerpunktbereich Nachhaltige Wirtschaftsentwicklung tätig, hierbei insbesondere in den Sektoren Berufsbildung, Privatsektorentwicklung, Finanzsektorentwicklung und Qualitätsinfrastruktur.

Im letzten Jahrzehnt konnte man einen Anstieg des Interesses an und der Nachfrage nach Wirkungsevaluierungen sowohl in Geber- als auch in Empfängerländern von Entwicklungszusammenarbeit feststellen. Die Qualität und Robustheit von Informationen, die durch eine Evaluierung bereitgestellt werden, hängt generell stark von der Verfügbarkeit von Daten ab und davon, welche Designs und Methoden daran anknüpfend verwendet werden können. Qualitativ hochwertige und gründliche Wirkungsevaluierung ist dementsprechend nur möglich, wenn Evaluierung und Datenerhebung von Beginn an so in den Programmzyklus einbezogen wurden, dass bestimmte Voraussetzungen gegeben sind. Dazu gehören eine kohärente und gut dokumentierte Programmlogik und die Generierung von Baseline- und Monitoring-Daten.

Aufgabe des DEval

Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat die Wiederaufnahme der deutsch-myanmarischen bilateralen Zusammenarbeit 2012 als einmalige Gelegenheit erkannt, der Wirkungsevaluierung im deutsch-myanmarischen Programm zur Nachhaltigen Wirtschaftsentwicklung eine besondere Rolle zuzuschreiben. Daraufhin wurde das DEval gebeten, „evaluative thinking“ und Evaluierungsexpertise in den gesamten Planungsprozess einzubringen, mit dem Ziel, von Beginn der Implementierung an die Voraussetzungen für eine Wirkungsevaluierung auf Programmebene zu schaffen. Zuerst beriet und unterstützte das DEval das BMZ und die beteiligten Durchführungsorganisationen bei der Entwicklung der Programmtheorie und der Wirkungsmodelle auf Projektebene als Teil hiervon. Dies hatte zum Ziel, ein umfassendes und schlüssiges Verständnis der geplanten Ergebnisse zu schaffen und zu klären, welche Aktivitäten und kausalen Mechanismen zu bestimmten erwarteten Ergebnissen führen sollen. Anschließend wurde erwägt, durch welche Indikatoren diese Ergebnisse gemessen werden können. Im zweiten Schritt wurde für die Durchführung der Wirkungsevaluierung ein Längsschnitt-Design – beginnend mit einer Baseline-Studie – ausgewählt, um die systematische Erhebung vergleichbarer Daten vor, während und nach der Programm-Implementierung zu gewähren. Die erhobenen Daten können auch dazu dienen, Informationen bereitzustellen, wenn Entscheidungen getroffen werden müssen.

Da alle Erhebungsinstrumente dem Längsschnitt-Design entsprechend Panel-Daten generieren sollen, finden 2016 und 2017 Folgeerhebungen statt. Nach Ende der Implementierung des deutsch-myanmarischen Programms für Nachhaltige Wirtschaftsentwicklung 2019 wird das DEval die Wirkungsevaluierung durchführen, wofür die Baseline-Studie als Vergleichsgrundlage dienen wird.

Zudem können Lernerfahrungen generiert werden, die für die Weiterentwicklung von Standards für die wirkungsorientierte Planung von Vorhaben in der Entwicklungszusammenarbeit und für die Gewährleistung angemessener Voraussetzung für eine Wirkungsevaluierung wertvoll sein können.

Der Beitrag des DEval umfasst folgende Tätigkeiten

  • Unterstützung der Projektteams bei der Entwicklung von Wirkungsmodellen und wirkungsorientierten Indikatoren.
  • Durchführung einer umfassenden Baseline-Studie (und Folgeerhebungen).
  • Bei Bedarf Training und Kapazitätsstärkung von Partnern im Bereich M&E.

Elemente der Baseline-Studie und Stand der Erhebungen

  • Expertenpanel: : Zwischen Ende 2013 und Anfang 2015 wurden im Rahmen einer ersten Erhebungswelle 59 qualitative Experteninterviews für die Bereiche Privat- und Finanzsektorentwicklung, Berufsbildung sowie Qualitätsinfrastruktur durchgeführt.
  • Bankenstudie: Im Mai 2014 wurde eine standardisierte, quantitative Befragung mit 57 MitarbeiterInnen der Managementebene aus den 19 nationalen Banken durchgeführt.
  • Quantitative Befragung von kleinen und mittelständischen Unternehmen (KMU): Die erste Phase (Blockscreening zur Erstellung einer vollständigen Liste von Firmen in bestimmten Bereichen notwendig wegen der Unvollständigkeit von Registern, Pretest des Fragebogens etc.) wurde im November 2014 abgeschlossen. Von Dezember 2014 bis März 2015 fand die Hauptphase statt, in der ca. 2.500 KMU in 11 myanmarischen Städten befragt wurden. Die Ergebnisse dieses Surveys wurden im Oktober 2015 im DEval SME Survey Report veröffentlicht und sind hier zugänglich.
  • Die Ergebnisse von Expertenpanel, Bankenstudie und SME Survey sind im Baseline-Bericht für das Deutsch-Myanmarische Programm für Nachhaltige Wirtschaftsentwicklung, der Anfang 2016 veröffentlicht wurde, zusammengetragen.
  • Eine Folgeerhebung ist für Ende 2016/2017 geplant. Die abschließende Wirkungsevaluierung ist 2019 angesetzt, nach der Implementierung des Länderprogramms.
Stand: November 2016

Bildergalerie