31.07.2017 | Von Martina Benz

„Neue Normalität“

Das äthiopische Projektgebiet Merhabete der Stiftung Menschen für Menschen (MfM) ist sechs Jahre nach Projektende extern evaluiert worden (2015). Das Fazit: „Viele Projektanstöße sind heute neue Normalität“. Jochen Currle, der Evaluationsverantwortliche, berichtet von seinen Eindrücken.

Currle
Jochen Currle (zweiter von links) im Gespräch mit einem äthiopischen Gutachter, einer Projektverantwortlichen (zweite von rechts) sowie der Trainerin für einen Praxiskurs im Entwerfen und Herstellen von Kleidern in der MfM-Projektregion Abuna Gindeberet, welche er 2014 für MfM evaluierte. Foto: Rupert Weber

DIE STIFTUNG: Sie haben das ehemalige MfM-Projektgebiet Merhabete evaluiert und sich dadurch intensiv mit der Arbeit der Stiftung befasst. Was ist Ihr Eindruck?
Jochen Currle: Insgesamt hat sich in Merhabete eine sehr gute Dynamik entwickelt und die Maßnahmen wurden gut implementiert. Ein Defizit sehe ich an manchen Stellen in der Berücksichtigung von den Wünschen und Kapazitäten der Menschen und in der Institutionalisierung der Maßnahmen. Was ich damit meine: Im Krankenhaus von Merhabete war ich begeistert, wie toll dieses betrieben, geleitet und weiter ausgebaut wird. Hier stimmt der institutionelle Hintergrund und das Management ist gut. Bei einem von MfM konstruierten Treppenbauwerk, das einen einmaligen Zugang von mehreren Hochland-Dörfern zum zentralen Markt darstellt hingegen zeigt sich ganz klar was passiert, wenn bei großen Infrastrukturprojekten die institutionelle Verankerung auf dörflicher Ebene fehlt: Die Treppe wurde erbaut, damit die Menschen sicher einen steilen Abhang zum Markt hinabsteigen können. Doch inzwischen ist sie in keinem guten Zustand mehr, da die Verantwortung für deren Erhalt vorab nur ungenügend geklärt wurde. Teils wird hierauf noch zu wenig Augenmerk gerichtet. Wenn Reparaturen notwendig werden, sind die Distriktverwaltung schnell überfordert und die lokale Bevölkerung ratlos.

DIE STIFTUNG: Halten Sie die internen Monitoring-Maßnahmen von MfM für geeignet, um solche Defizite aufzudecken?
Currle: Es ist wichtig zu schauen, wo ich in der Projektdurchführung stehe und MfM macht das sehr gut. Die halbjährlichen und jährlichen Evaluierungen der Stiftung sind aber vor allem Controllingberichte und stark operativ geprägt. Die Thematik der Institutionalisierung ist nicht wirklich Teil davon. Es geht mehr darum, was in den Projekten selbst erreicht werden soll und inwiefern man damit erfolgreich ist. Zum Beispiel, wie viele Brunnen geplant waren und wie viele gebaut worden sind. Wirkungsevaluation aber untersucht, ob das, was gemacht wurde, über die konkreten Maßnahmen hinaus zu einer positiven Veränderung geführt hat. Welche Veränderungen beispielsweise in der ländlichen Entwicklung erreicht wurden. Die MfM-Berichte, die mir 2015 für das Projektgebiet Merhabete vorlagen, waren noch stark Output-orientiert, doch hier hat sich inzwischen viel weiterentwickelt. MfM prüft nun stärker Zielsetzungen und auch Wirkung.

DIE STIFTUNG: Ist eine externe Evaluation dann überhaupt noch notwendig?
Currle: Es ist immer sinnvoll, dass jemand Externes auf ein Projekt schaut, weil er andere Sachen sieht. Interne sind doch leichter geneigt, Dinge zu bestätigen, die man sich vorgenommen hatte und nachsichtig zu sein. Das ist menschlich.

DIE STIFTUNG: 2009 fand direkt nach Beendigung des Projektes eine erste externe Evaluation durch ein äthiopisches Unternehmen statt. Inwiefern haben Ihre Ergebnisse 2015 mit den Ergebnissen dieser Endevaluation übereingestimmt?
Currle: Die Studie 2009 ist, wie auch meine Evaluation, sehr positiv ausgefallen und es gab große Übereinstimmungen. Allerdings bin ich etwas vorsichtiger, wenn es darum geht konkrete Zahlen zu verwenden. Die Statistiken sind oft doch sehr löchrig und geschönt.

DIE STIFTUNG: Wie gehen Sie bei Ihrer Evaluation vor?
Currle: In der Regel lese ich die vorhandenen Dokumente und Monitoringberichte, halte Rücksprache mit den Projektverantwortlichen bei MfM und versuche ein Wirkungsschema zu erstellen. Ich schaue hierfür, welches übergreifende Ziel verfolgt wurde und wie. Dann entwickle ich Wirkungsindikatoren, um es greifbar zu machen. In Merhabete war das große Ziel, die Lebensbedingungen nachhaltig zu verbessern. Hierfür wurde auf fünf Säulen aufgebaut: Frauen, Bildung, Gesundheit, ökologische sowie ökonomische Umstände. Typische Gesundheitsindikatoren sind zum Beispiel Kindersterblichkeit oder Durchfallerkrankungen. Im Bereich Bildung die Zahl der Schulabbrecher. Manchmal kann man solche Zahlen auch ganz gut mit den Statistiken anderer Distrikte vergleichen, doch das ist eher selten. Meistens schaue ich, wie sich die Indikatoren im Laufe der Jahre verändert haben. Nicht für alle Indikatoren kriege ich belastbares Material, aber ich versuche es.

DIE STIFTUNG: Sie sagten aber, sie nutzten auch qualitative Indikatoren, um sich nicht zu sehr auf Zahlen zu stützen. Wie kann man sich das vorstellen?
Currle: In Merhabete habe ich einen Workshop mit Vertretern der Dörfer gemacht und wir haben gemeinsam Kriterien für ein gutes Leben festgelegt: Gesundheit, Einkommen, Transportmittel, etc. Dann habe ich die Menschen gefragt, wie sich diese Bereiche auf einer Skala von eins bis zehn in den letzten 25 Jahren entwickelt haben – zum Beispiel das Einkommen. Das ergibt dann einen qualitativen Verlauf ohne konkrete Einkommenszahlen. Eine subjektive Einschätzung der Einkommensentwicklung in der Region, die einen besseren Eindruck vermittelt als eine unvollständige Statistik das könnte.

DIE STIFTUNG: Wie und an wen kommunizieren Sie Ihre Ergebnisse?
Currle: Die Kommunikation nach außen übernimmt MfM selbst. Ich erstelle – noch im Feld – eine Präsentation für das Projektmanagement und die lokale Distriktverwaltung. Dann findet eine Präsentation mit anschließender Diskussion im Project Coordination Office in Addis Abeba statt und nach Fertigstellung des Berichts eine weitere Präsentation mit Diskussion im Stiftungsbüro in München oder Wien. Im Bericht, der für Merhabete 46 Seiten plus 76 Seiten Anhang umfasste, ist meine Arbeit sehr umfangreich dokumentiert. Er enthält die von mir erstellte Wirkungsmatrix, meinen Untersuchungsplan, meine täglichen Interviewnotizen sowie die kontaktierten Personen.

DIE STIFTUNG: Können Sie abschließend noch ein paar allgemeine Hinweise zum Thema Monitoring geben?
Currle: Evaluation kann der Kontrolle dienen oder den Zweck haben, sich nach außen besser zu verkaufen. Das höchste Ziel sollte aber immer der Lerneffekt sein. Hierfür sollte schon bei der Projektplanung mit möglichst vielen Beteiligten gemeinsam festgelegt werden, was für die Menschen wichtig ist und wie das erreicht werden kann. Beispielsweise der bessere Zugang zu Wasser durch den Bau von Brunnen. Das Durchführungsmanagement wiederum ist eine andere Ebene. Hier geht es beim Monitoring um die konkreten Maßnahmen, zum Beispiel wie viele Brunnen tatsächlich gebaut worden sind. Es geht darum, was die Mitarbeiter für die Umsetzung brauchen und ob ihnen das zur Verfügung steht. Beispielsweise ob es Materialengpässe oder ähnliches gibt. Das hat MfM definitiv schon sehr gut drauf.

Einen ausführlicheren Einblick in die Evaluationsmaßnahmen der Stiftung Menschen für Menschen erhalten Sie in der Ausgabe 04/2017 von DIE STIFTUNG.

 

 

 

 

 

Zur Person: Jochen Currle ist im Bereich landwirtschaftliche Entwicklung assoziierter Berater des Beratungsbüros „Fakt“. Er führt unter anderem externe Evaluationen für staatliche und nichtstaatliche Organisationen durch.

Artikel teilen