Monitoring & Evaluierung in der Entwicklungszusammenarbeit

A. Die neue Herausforderung: Stärkere Ausrichtung der Entwicklungspolitik auf Wirkungen

Mit der Millenniumserklärung des Jahres 2000 und den daraus hervorgegangenen Millenniums-Entwicklungszielen (MDGs) haben sich die Mitgliedstaaten der Vereinten Nationen konkrete Ziele im Kampf gegen die weltweite Armut gesetzt und damit die Orientierung der Staatengemeinschaft auf die Wirkungen der internationalen Entwicklungszusammenarbeit (EZ) forciert. Wirkungen beschreiben dabei die direkt oder indirekt aus einer Maßnahme resultierenden beabsichtigten oder unbeabsichtigten Veränderungen auf der Ebene der Entwicklungsziele.

Seit dem Ende des letzten Jahrhundert sind viele Studien veröffentlicht worden, welche auf der Basis mikro- und makroökonomischer Daten einen negativen Eindruck bezüglich des Beitrags der EZ zur Entwicklung des Empfängerlandes (= Partnerlandes) vermitteln; ihre Wirksamkeit – also das Ausmaß, in dem die Ziele der EZ und damit entwicklungspolitische Wirkungen voraussichtlich erreicht werden bzw. bereits erreicht worden sind – wird noch nicht als ausreichend zur Realisierung der MDGs eingestuft. Daher hat die internationale Gebergemeinschaft (also die Gesamtheit der multi- und bilateralen Geber) zusammen mit den Partnerländern aufbauend auf den Konferenzen

  • von Monterrey 2002 zur Finanzierung der MDGs,
  • von Rom 2003 zu Harmonisierung und Alignment (Ausrichtung) sowie
  • von Marrakesch 2004 zum ergebnisorientierten Entwicklungsmanagement (2007 untermauert in einem Roundtable in Vietnam)
in der Paris Declaration on Aid Effectiveness von März 2005 und der Accra Agenda for Action (AAA) von Oktober 2008 bekräftigt, dass die Erreichung der MDGs nicht nur eine Steigerung des Volumens, sondern auch eine signifikante Erhöhung der Wirksamkeit der EZ erfordert. Diese Entwicklung ist durch die Finanzkrise erheblich forciert worden: Die geringeren finanziellen Mittel sollen wirksamer eingesetzt werden. Um eine möglichst große Wirksamkeit der EZ zu erreichen, müssen – so die Botschaft der internationalen Konferenzen – wesentliche „Effektivitätsprinzipien“ bei der praktischen EZ beachtet werden, die als Grundvoraussetzung zur Erreichung der MDGs gesehen werden. Dazu zählen die Stärkung der Eigenverantwortung (Ownership) der Partnerländer, die Ausrichtung der Unterstützung an den Strukturen und Prioritäten der Partnerländer (Alignment), die Harmonisierung der Geberaktivitäten (Harmonisation), die Fokussierung auf Wirkungen einschließlich der Anstrengungen, die Wirkungen zu messen (Managing for Development Results, MfDR) und schließlich die gegenseitige Rechenschaftspflicht auf Geber und Partnerseite (Mutual Accountability).

B. Das Zielsystem

Die Wirksamkeit einer Maßnahme wird dadurch bestimmt, welcher Zielerreichungsgrad erreicht ist. Damit stellt die Zielfunktion von entwicklungspolitischen Maßnahmen die Grundlage der Wirksamkeitsanalysen dar. In der Regel unterscheidet man in der EZ eine in der Planungsphase festgelegte Zielstruktur, die aus mindestens drei Sprossen besteht. Die unterste Sprosse bilden die der Entwicklungsmaßnahme direkt zugeordneten Ziele, die mittlere Sprosse die übergeordneten entwicklungspolitischen Ziele (zu deren Erfüllung die Entwicklungsmaßnahme nur indirekt beiträgt) und die oberste Sprosse die strategischen Ziele. Strategische Ziele weisen einen langfristigen Charakter auf und werden axiomatisch durch die Politik des betreffenden Landes und/oder der Geber vorgegeben (in Bhutan wird bspw. das Glück eines jeden Einzelnen in den Vordergrund gestellt und der Erfolg des Landes mit einem „Happinessindex“ gemessen). Strategische Ziele sind also nicht aus anderen Zielen abgeleitet. Unterhalb der Ebene der strategischen Ziele befinden sich die übergeordneten entwicklungspolitischen Ziele, die in der Regel einen mittel- bis langfristigen Charakter aufweisen und nicht speziell nur für die betrachtete Maßnahme festgelegt sind. Diese Ziele sind häufig auf der makroökonomischen oder gesellschaftlichen Ebene platziert (in der entwicklungspolitischen Praxis werden bspw. – neben Wachstums- und Umweltzielen – vor allem die Millennium Development Goals (MDGs) verwendet). Aus den übergeordneten entwicklungspolitischen Zielen werden dann für die einzelnen Maßnahmen direkt zugeordnete Ziele abgeleitet. Sie bezeichnen den unmittelbaren Wirkungsansatz der jeweiligen Maßnahme.

Bei komplexeren Vorhaben kann es darüber hinaus eine größere Anzahl von Sprossen auf der Zielleiter geben. Sowohl auf der Ebene der direkt zugeordneten als auch der übergeordneten Ziele finden sich in den meisten Projekten und Programmen zahlreiche Verästelungen. Sind einzelne der den Maßnahmen zugeordneten Ziele einander kausal über- bzw. untergeordnet, handelt es sich um eine vertikale Struktur innerhalb der betreffenden Zielebene. Stehen die zugeordneten Ziele hingegen nebeneinander, d.h. spiegeln keine kausale Abhängigkeitsbeziehung wider, liegt eine horizontale Zielstruktur vor. In komplexen Entwicklungsmaßnahmen überlagert sich in der Regel die vertikale mit der horizontalen Struktur der direkt zugeordneten Ziele.

C. Die Bedeutung von Indikatoren für die Erfassung von Ergebnissen

Bei entwicklungspolitischen Zielen handelt es sich meist um Nutzenformulierungen für bestimmte Zielgruppen, die man nicht direkt messen kann. So muss bspw. die meist als übergeordnetes Ziel eingestufte Armutsreduzierung mit Hilfe von geeigneten Messgrößen so operationalisiert werden, dass Aussagen über den Grad der Armutsminderung getroffen werden können. Die Operationalisierung erfolgt in der Regel mit Hilfe von Indikatoren. Ein Indikator kann eine quantitative oder qualitative Variable sein, mit der man einfach und zuverlässig die Veränderungen messen kann, die von Maßnahmen ausgelöst werden. Mit Hilfe der Indikatoren lassen sich dann die Veränderungen widerspiegeln, die durch die Entwicklungsmaßnahme induziert worden sind. Insofern sind Indikatoren operationalisierte Beschreibungen eines Ziels. Dazu müssen die jeweiligen Indikatoren mit Angaben zu ihrer angestrebten Erreichung (= Anspruchsniveaus bzw. Wertbestückung der Indikatoren) versehen werden. Diese Anspruchsniveaus beruhen häufig auf Vergleichswerten (benchmarks), die in ähnlich gelagerten Fällen bereits erreicht worden sind und jetzt als Referenzgröße (best practices) dienen.

Bei der Formulierung von Indikatoren sollten generell die sogen. „SMART-CCR“-Anforderungen erfüllt werden. Indikatoren sollten demnach spezifisch (specific), messbar (measurable), erreichbar (achievable), relevant (relevant) und zeitnah zur Verfügung stehen (timely). Darüber hinaus sollten sie klar formuliert (clear), vergleichbar (comparable) und realistisch (realistic) sein.

D. Die wirkungsorientierte Planung von Projekten: Projektplanungs- und Wirkungsketten-Analysen

Die oben beschriebene Zielstruktur einschließlich der dazugehörigen Indikatoren ist Bestandteil einer größeren Wirkungskette, in der es eine Reihe aufeinander aufbauender Kausalbeziehungen gibt. Es handelt sich dabei um die logische Verknüpfung von Ressourcen, Aktivitäten, Leistungen, deren Nutzung und die daraus resultierenden Wirkungen. In der EZ unterscheidet man den sog. Logical Framework- (Logframe-) und den Wirkungskettenansatz als Planungsverfahren. In beiden Ansätzen wird in strukturierter und systematischer Weise aufgeführt, was von dem Entwicklungsvorhaben erwartet wird. Gleichzeitig wird ein Projektdesign erstellt, das Angaben zu den hierbei getroffenen Annahmen und den hiermit verbundenen Risiken enthält. Die faktisch geplante Ebene eines Vorhabens sind die Ressourcen, die Aktivitäten und die Leistungen, deren Einsatz zu der weiterführenden Ebene der (angestrebten) Erreichung von direkt zugeordneten Ziele und – über diese – von übergeordneten entwicklungspolitischen Zielen beitragen soll.

Diese Grundstruktur gilt für alle Formen von Entwicklungsmaßnahmen, seien es Projekte, Programme, Strategien oder Politiken, und für alle Institutionen in der EZ (z.B. UN, Weltbank, IWF, EU, etc.). Erst durch die systematische und strukturierte Auflistung zeitlich unterschiedlich anfallender Schritte und Effekte kann Transparenz bei allen in die Entwicklungsmaßnahme involvierten Verantwortungsträgern (stakeholder) geschaffen und die Entwicklungsmaßnahme in der Praxis erfolgreich implementiert werden. Unterschiedlich ist lediglich, was von den einzelnen entwicklungspolitischen Durchführungsorganisationen zu den einzelnen Elementen der Wirkungskette gerechnet wird und welche Begriffe hierfür verwendet werden. Auf internationaler Ebene werden vom Entwicklungshilfeausschuss (DAC) der OECD bspw. die übergeordneten Ziele als goals und die direkt zugewiesenen Ziele als objectives definiert; die Europäische Kommission hingegen verwendet die Begriffe overall objective (anstelle von goals) und purpose (anstelle von objectives). Unabhängig von diesen begrifflichen Feinheiten muss die hier dargestellte Grundstruktur stets an die spezifischen entwicklungspolitischen Vorhaben, an die Sprachregelungen der Geber sowie an die Anforderungen der durchführenden Organisation der EZ-Maßnahme angepasst werden. Konfligierende Ziele, die z.B. das Resultat neuerer Entwicklungen sowohl in den betrachteten Geber- als auch Partnerländern sein können, können – bei jeweils unabhängiger Planung - nicht ausgeschlossen werden. Sie müssen dann im Sinne der vorne angeführten fünf Effektivitätsprinzipien aufeinander abgestimmt werden.

E. Wirkungsorientiertes Monitoring

Um feststellen zu können, ob und in welchem Umfang die in der Planung aufgeführten Größen (konkretisiert durch ihre Indikatoren) auf den einzelnen Entscheidungsstufen eingetreten sind, sollte eine Maßnahme nicht erst nach ihrer Fertigstellung, sondern bereits während ihrer Umsetzung kontinuierlich überprüft werden. Selbst wenn die final angestrebten Resultate zu diesem Zeitpunkt noch nicht vollständig erfasst werden können, sollte noch während der Laufzeit der betrachteten Maßnahme durch einen Soll-Ist-Vergleich überprüft werden, ob sich ein Vorhaben hinsichtlich seiner geplanten Ergebnisse auf dem richtigen Weg befindet. Einen solchen Soll-Ist-Vergleich nennt man Monitoring. Monitoring ist insofern ein „kontinuierlicher Prozess der systematischen Datensammlung zu spezifischen Indikatoren, um Leitung und Hauptbeteiligte eines laufenden EZ-Projekts über die erzielten Fortschritte und die erreichten Ziele sowie über die Verwendung bereitgestellter Mittel zu informieren“ (OECD-DAC 2009:35-36).

Die benötigten Daten und Informationen für die Kategorien Ressourcen, Aktivitäten und Leistungen können dabei meist aus maßnahmeninternen Unterlagen, bspw. der betrieblichen Kostenrechnung oder der Produktionsstatistik, entnommen werden. Anders sieht es mit Wirkungsinformationen und daten oberhalb der Leistungsebene aus: Sie müssen in der Regel außerhalb der intern verfügbaren Unterlagen ermittelt werden, und diese Ermittlung ist häufig mit enormen Schwierigkeiten verbunden. Zu den klassischen Methoden der Datenerhebung, die beim Monitoring zum Zuge kommen können, gehören vor allem Fragebögen, Interviews, Dokumentenanalyse, Beobachtung, Tests zur Überprüfung fachlicher Qualifikationen sowie Feedback-Workshops. Die letztlich unter Berücksichtigung der Rahmenbedingungen gewählte Methode sollte auf jeden Fall sicherstellen, dass das vorhandene Potential für die Gewinnung „guter“ Daten maximal ausgeschöpft wird. Gleichzeitig sollte darauf geachtet werden, dass die Datengewinnung nicht mit Kosten belastet ist, die den vorgegebenen finanziellen Rahmen für das Monitoring im Rahmen des betrachteten Vorhabens sprengen.

Angesichts der Tatsache, dass Monitorer häufig mit Sekundärdaten oder Ergebnissen arbeiten müssen, die nicht von ihnen persönlich erhoben bzw. erstellt wurden, müssen sie diese zumindest einschätzen, einordnen und zuordnen können. Folgende Punkte sind dabei wichtig:

  • Die Monitorer sollten die ihnen vorgelegten Daten/Ergebnisse kritisch hinterfragen (z.B. wurde die Zielpopulation richtig ausgewählt? Wurden die Daten in der Stadt oder auf dem Land erhoben? Wie viele Männer und Frauen wurden befragt? Wurden die richtigen Fragen gestellt? Konnten Suggestivfragen vermieden werden?). Erst dann können die Monitorer die Daten/Ergebnisse richtig interpretieren und den in der Planung formulierten Wirkungen gegenüberstellen.
  • Den Monitorern muss die Größe der Stichprobe bekannt sein, damit sie Statistiken auswerten können (z.B. was sagt das Ergebnis „1/3 der befragten Personen benutzen Kondome“ aus oder „15% der Schulabgänger in Region A finden einen besseren Job?)
  • Die Monitorer sollten Fehler aufdecken können. Dafür müssen sie die dargestellten Ergebnisse durch einfaches Beobachten, durch Nachrechnen und/oder durch Prüfung der Quellen verifizieren. Erfahrungen haben nämlich gezeigt, dass Daten ab und an von Datensammlern manipuliert werden, wenn die zu befragenden Personen in nur schwer erreichbaren Gebieten leben.
Falls die Ergebnisse aus der Datenauswertung Handlungsbedarf zur Korrektur nicht erwünschter oder zu geringer Wirkungen aufzeigen, gilt es, mit allen Programmbeteiligten die weitere Durchführung zu besprechen und erst danach anzupassen. Die regelmäßige Revision der Relevanz, Effizienz und Effektivität der Handlungen sollte also mit einer regelmäßigen Anpassung der Aktivitäten, Methoden und Verfahren der zugrundeliegenden Maßnahme einhergehen, um die gesetzten bzw. veränderten Ziele zu erreichen. Eine abschließende Bewertung der Ergebnisse ist in der Regel aber nicht Bestandteil des Monitorings. Dies erfolgt erst im Rahmen einer Evaluierung.

F. Die Evaluierung von Entwicklungsmaßnahmen

Die entwicklungspolitische Bewertung einer EZ-Maßnahme erfolgt in einer Evaluierung. Die Prüfungskriterien der Entwicklungshilfe-Institution der OECD, der DAC, haben sich in der entwicklungspolitischen Debatte weitgehend durchgesetzt und bilden mittlerweile international die Evaluierungsgrundlagen von Entwicklungsvorhaben. Jede Bewertung einer bestimmten entwicklungspolitischen Maßnahme sollte demzufolge die Kriterien Relevanz, Effektivität, Effizienz, Übergeordnete entwicklungspolitische Wirkungen und Nachhaltigkeit einbeziehen. Vom BMZ wurde zusätzlich noch das Kriterium Kohärenz, Komplementarität & Koordination eingeführt.

Die Inhalte dieser sechs Kriterien lassen sich wie folgt beschreiben:

(Zur Vergrößerung bitte anklicken)

Das Kriterium Kohärenz, Komplementarität & Koordination ist vor allem bei Programm- und L änderevaluierungen, insbesondere bei Gemeinschaftsfinanzierungen, wichtig. Bei Projektevaluierungen kann auf die Anwendung dieses Kriteriums hingegen in der Regel verzichtet werden.

Zur Beurteilung des Vorhabens nach den Kriterien Relevanz, Effektivität, Effizienz und Übergeordnete entwicklungspolitische Wirkungen als auch zur abschließenden Gesamtbewertung der entwicklungspolitischen Wirksamkeit wird in der deutschen EZ eine sechsstufige Skala verwandt. Die Skalenwerte sind wie folgt belegt:

(Zur Vergrößerung bitte anklicken)

Die Gesamtbewertung auf der sechsstufigen Skala wird aus einer projektspezifisch zu begründenden Gewichtung aller fünf Einzelkriterien gebildet. Die Stufen 1-3 der Gesamtbewertung kennzeichnen im Prinzip ein „erfolgreiches“, die Stufen 4-6 ein „nicht erfolgreiches“ Vorhaben.

Darüber hinaus hat das DAC mehrere Prinzipien (quality standards) definiert, die für die Bewertung laufender und abgeschlossener Aktivitäten gelten und bei der Durchführung von Evaluierungen eingehalten werden sollten. Zu ihrer Begründung wird häufig angeführt, dass nur bei ihrer Einhaltung Evaluierungen auch wirklich in der Lage sind, die geforderte Rechenschaftspflicht zu erfüllen und dem angestrebten institutionellen Lernen gerecht zu werden (so dass streng genommen auch nur bei ihrer Einhaltung von Evaluierung gesprochen werden darf). Nicht nur das DAC, sondern auch viele bi- und multilaterale Geber haben mehrere Prinzipien definiert, die für die Bewertung laufender und abgeschlossener Aktivitäten gelten und bei der Durchführung von Evaluierungen eingehalten werden sollten. In ihrem Mittelpunkt steht vor allem die Forderung nach Unabhängigkeit der Evaluierer, ohne die nach allgemein gültiger Auffassung keine objektive und damit letztlich auch verwertbare Evaluierung stattfinden kann.

G. Akzeptanz von Monitoring und Evaluierung

Der internationale Druck, die Wirksamkeit der EZ zu erhöhen und mit geeigneten Verfahren von Monitoring und Evaluierung nachzuweisen, ist in den letzten Jahren rapide gestiegen. Dies trifft insbesondere auf die Geberländer zu, die gegenüber ihren Steuerzahlern eine Rechtfertigungspflicht haben. Bei den Partnerländern werden Monitoring und Evaluierung trotz der internationalen Konferenzen häufig noch als reine Kontrollinstrumente gesehen, die Auskunft über die Qualität einzelner Personen, Institutionen und Organisationen geben sollen, auf deren Basis über die weitere Unterstützung entschieden wird. Die eigentliche Idee von Monitoring und Evaluierung als Managementwerkzeug, mit dem Lernerfahrungen aus der Vergangenheit abgeleitet und auf zukünftige Vorhaben in der EZ übertragen werden können, haben bis dato noch nicht alle Akteure der EZ verinnerlicht. Pflicht der Geberländer ist es, die Akzeptanz von Monitoring und Evaluierung zu erhöhen. Dies hat mehrere Gründe: Da unter anderem der Nachweis von Wirkungen nur mit einer intensiven Datensammlung einhergeht, die ohne die starke Mithilfe der Partnerländer nicht zu bewerkstelligen ist, ist es erforderlich, die Partner stark miteinzubeziehen. Durch die Mitwirkung an Monitoring und Evaluierung werden Kapazitäten entwickelt, die auch in zukünftigen Vorhaben von großem Nutzen sein können. Ob und in welchem Ausmaß Monitoring und Evaluierung akzeptiert werden, hängt allerdings davon ab, wie Monitoring und Evaluierung kommuniziert wird. Auch ist entscheidend, wie entwicklungspolitische Ziele formuliert sind. Schwere (teils unrealistische) Ziele, bei denen die Gefahr groß ist, dass sie nicht erreicht werden, können dazu führen, dass Daten nicht richtig gesammelt und analysiert werden. Eine fehlerhafte Datenerhebung und analyse kann allerdings auch auftreten, wenn die Fähigkeiten der involvierten Akteure nicht mit den für Monitoring und Evaluierung nötigen Fähigkeiten übereinstimmen.

Literaturhinweise:

  • Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung, Referat 120 (2006), Evaluierungskriterien für die deutsche bilaterale EZ: Eine Orientierung für Evaluierungen des BMZ und der Durchführungsorganisationen, Bonn (Juli) 2006. URL: http://www.bmz.de/de/zentrales_downloadarchiv/erfolg_und_kontrolle/evaluierungskriterien.pdf, download 10.3.2011;
  • Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) (2008), Wirkungsorientiertes Monitoring - Leitfaden für die Technische Zusammenarbeit, Eschborn;
  • Hemmer, H.-R. (2010), Wirksamkeit und Evaluierung der Entwicklungszusammenarbeit auf der Projektebene, in: Faust, J. / Neubert, S. (Hrsg.), Wirksamere Entwicklungspolitik - Befunde, Reformen, Instrumente. Entwicklungstheorie und Entwicklungspolitik, Band 8, Baden-Baden;
  • OECD-DAC Network on Development Evaluation (Hrsg.) (2009), Glossar entwicklungspolitischer Schlüsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes Management, Paris, OECD, URL: http://www.oecd.org/dataoecd/40/7/43184177.pdf, download 10.3.2011;
  • The World Bank (2005), The Logframe Handbook. A Logical Framework Approach to Project Cycle Management, Washington D.C., World Bank.
Hans-Rimbert Hemmer

Felipe Isidor Serrano

Sarah Linde

Compartir