DEval und sein Umfeld
Eines der ersten Projekte, die das DEval nach seiner Gründung im Sommer 2012 in Angriff nahm, war die „Ausgangserhebung zum DEval und seinem Umfeld“. Mit ihr wurde die Basis erhoben, um später ermitteln zu können, inwieweit das DEval seine selbstgesteckten Ziele erreicht. Zudem wurde das DEval vom Bundesentwicklungsministerium beauftragt, den Stand der Evaluierungspraxis in der deutschen Entwicklungszusammenarbeit zu analysieren.
Zuverlässige Aussagen zur Wirksamkeit der Entwicklungszusammenarbeit (EZ) sind wichtig für die Rechenschaftslegung auch gegenüber den Steuerzahlern; Informationen dazu, was in der EZ wirkt, ermöglichen es zudem, Programme und Projekte der EZ künftig besser zu planen und zu steuern. Ermittelt werden diese Informationen über Evaluierungen. Um in Erfahrung zu bringen, wie es um die Qualität der Evaluierungspraxis in der deutschen EZ steht, hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) Anfang 2007 eine sogenannte Systemprüfung in Auftrag gegeben.
Als Ergebnis dieser Prüfung wurden Empfehlungen ausgesprochen, wie die untersuchten Entwicklungsorganisationen ihre interne Evaluierungspraxis verbessern können. Zudem wurde die Gründung eines unabhängigen Evaluierungsinstituts angeraten. Diese Empfehlung wurde 2012 mit der Gründung des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) umgesetzt.
In einer seiner ersten Studien hat das DEval die Ausgangslage in der Evaluierung der deutschen EZ zum Zeitpunkt der Gründung des Instituts untersucht und die Wahrnehmung durch sein Umfeld ermittelt. Das diente der strategischen Ausrichtung des Instituts. Zudem sollte die Studie die nötigen Basisdaten liefern, um später zu erkennen, welche Veränderungen die Arbeit des Instituts bewirkt hat. Außerdem wurde analysiert, inwiefern die Empfehlungen aus der 2007/2008 durchgeführten Systemprüfung umgesetzt wurden. Die Studie wurde 2015 abgeschlossen.
Ergebnisse und Empfehlungen
- Die Evaluierungspraxis in der deutschen Entwicklungszusammenarbeit hat sich in den vergangenen Jahren deutlich weiterentwickelt.
-
Die Empfehlungen aus der Systemprüfung haben dazu beigetragen, die Aufgeschlossenheit gegenüber Evaluierungen zu erhöhen und die Institutionalisierung voranzutreiben. So wurden in den Organisationen der Entwicklungszusammenarbeit nicht nur entsprechende Richtlinien erarbeitet und Prozesse standardisiert, sondern auch mehr Personalressourcen für Evaluierung bereitgestellt.
- Da die Evaluierungsberichte nur selten vollständig veröffentlicht werden, stehen die gewonnenen Erkenntnisse häufig nur denjenigen zur Verfügung, die direkt am Projekt beteiligt sind.
-
Ein wichtiges Ziel von Evaluierungen ist aber, durch Lerneffekte zur Verbesserung der Vorhaben insgesamt beizutragen. Um dieses Potenzial auszuschöpfen, sollte eine Kultur des „transparenten Lernens“ geschaffen werden.
- In den Evaluierungen wird die verfügbare Bandbreite an Methoden oft nicht ausgenutzt.
-
Zudem sollte darauf geachtet werden, Partner systematisch in den Evaluierungsprozess einzubeziehen. Hier bestehen noch erhebliche Unterschiede zwischen den Organisationen.
Ziele der Evaluierung
Die Studie umfasste zwei Untersuchungsbereiche. Ziel des ersten Untersuchungsbereiches war es, dem DEval einen Referenzpunkt für seine angestrebten Ziele zu ermöglichen. Davon ausgehend sollen zu einem späteren Zeitpunkt jene Veränderungen und Wirkungen erfasst werden, die auf die Arbeit des DEval zurückzuführen sind. Darüber hinaus dienen die Ergebnisse dem Institut als Standortbestimmung und fließen in seine strategische Planung ein.
Ziel des zweiten Untersuchungsbereiches war es, ein Umsetzungsmonitoring der Handlungsempfehlungen der letzten „Systemprüfung“ durchzuführen: Als „Systemprüfung“ gilt hierbei die in den Jahren 2007/ 2008 von Axel Borrmann (Hamburgisches WeltWirtschaftsInstitut) und Reinhard Stockmann (CEval) durchgeführte Studie Evaluation in der deutschen Entwicklungszusammenarbeit, die im Auftrag des BMZ die Evaluierungspraxis deutscher EZ-Organisationen untersuchte und in der Handlungsempfehlungen zu deren Verbesserung ausgesprochen wurden. Das DEval wurde seinerseits vom BMZ mandatiert, die Umsetzung dieser Handlungsempfehlungen zu überprüfen. Darüber hinaus war es Ziel, den aktuellen Stand der Evaluierungspraxis zu erfassen.
Hintergrund
Das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) nahm im Sommer 2012 seine Arbeit auf. Eines der ersten Projekte, die durchgeführt wurden, war die „Ausgangserhebung zum DEval und seinem Umfeld“, die sich mit dem Institut und den Akteuren, mit denen es interagiert, auseinandersetzt. Die Studie umfasste daher zwei sich ergänzende Untersuchungsbereiche:
• Der erste Teil ist eine Erhebung zur Ausgangslage des DEval und etablierte eine Baseline zu den selbstgesteckten Zielen des Instituts.
• Der zweite Teil ist eine Untersuchung des Evaluierungssystems der deutschen Entwicklungszusammenarbeit (EZ), die ihrerseits auf einer früheren Erhebung gründet.
Methoden
Im ersten Untersuchungsbereich waren die Handlungsfelder und damit verbundene Zielsetzungen des DEval Gegenstand der Untersuchung: Zu Projektbeginn waren zwei Bereiche des DEval – „Strategische Evaluierungen“ und „Methodenforschung“ – operativ. Ausgehend vom Gesellschaftsvertrag wurde in einem konsultativen Prozess festgelegt, welche Wirkungen das DEval in welchen Handlungsfeldern erzielen möchte. Als Ausgangssituation bzw. Vergleichszeitraum für die ermittelten langfristigen zehn Ziele gelten die Jahre 2009 bis 2012, d.h. ein Zeitraum von vier Jahren unmittelbar vor der Arbeitsaufnahme des DEval.
Im Rahmen des zweiten Untersuchungsbereichs führte das DEval ein Umsetzungsmonitoring dazu durch, ob und in welchem Umfang die Umsetzung der in der „Systemprüfung“ ausgesprochenen Handlungsempfehlungen erfolgte. Die Auswertungen erfolgten aggregiert auf der Ebene von Akteursgruppen (Durchführungsorganisationen, politische Stiftungen und andere zivilgesellschaftliche Organisationen). Ergänzend folgten tiefergehende Untersuchungen zur Evaluierungspraxis verschiedener Akteure der deutschen EZ, um deren Entwicklung und aktuellen Stand zu erfassen. Dieser Einblick trägt zu einem verbesserten Verständnis des DEval-Umfeldes bei, in dem sich das neue Institut verorten muss, um Wirkungen zu erzielen.
Team
- Dr. Kim Lücking Senior-Evaluatorin - Teamleitung
- Heike Steckhan Evaluatorin
- Simon Freund Ehemals Evaluator DEval
- Simon Bettighofer Ehemals Evaluator DEval
Kontakt
Dr. Kim Lücking
Telefon: +49 (0)228 336907-991
E-Mail: kim.luecking@DEval.org
Dr. Martin Bruder
Telefon: +49 (0)228 336907-970
E-Mail: martin.bruder@DEval.org
Publikationen
- Policy Brief: „Systemprüfung" – Ein Impulsgeber für die Evaluierungspraxis in der deutschen Entwicklungszusammenarbeit?
- Policy Brief: "System Review" - a Catalyst for Better Evaluation Practice in German Development Cooperation?
- Evaluierungspraxis in der deutschen Entwicklungszusammenarbeit
- Erhebung zur Ausgangslage des DEval und seines Umfeldes