Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
Stabsstelle Unternehmensentwicklung
Wirtschaftlichkeit der Vorhaben
Querschnittsauswertung – Hauptbericht
Im Auftrag der GIZ durchgeführt von externen Evaluator*innen
Impressum
Als Bundesunternehmen unterstützt die GIZ die deutsche Bundesregierung bei der Erreichung ihrer Ziele in
der Internationalen Zusammenarbeit für nachhaltige Entwicklung.
Als Stabsstelle Evaluierung der GIZ untersteht sie organisatorisch direkt dem Vorstand und ist vom operati-
ven Geschäft getrennt. Diese Organisationsstruktur stärkt ihre Unabhängigkeit. Die Stabsstelle Evaluierung
ist mandatiert, zur Entscheidungsfindung evidenzbasierte Ergebnisse und Empfehlungen zu generieren, ei-
nen glaubwürdigen Wirkungsnachweis zu erbringen und die Transparenz zu den Ergebnissen zu erhöhen.
f
Evaluator/innen:
Dr. Felipe Isidor-Serrano, Mainlevel Consulting AG
Tatjana Mauthofer, Mainlevel Consulting AG
Lukas von Petersdorff-Campen, Mainlevel Consulting AG
Lena Siemon Marques, Mainlevel Consulting AG
Tim Kalmey, Mainlevel Consulting AG
Autor/innen des Evaluierungsberichts:
Felipe, Isidor-Serrano, Mainlevel Consulting AG
Tatjana Mauthofer, Mainlevel Consulting AG
Consulting:
Mainlevel Consulting AG
Ludwig-Erhard-Straße 14, 65760 Eschborn
T +49 69 153240920
I: https://www.mainlevel.
Konzeption, Koordination und Management
Dorothea Giesen-Thole, GIZ Stabsstelle Evaluierung,
Senior-Fachkonzeptionistin Team der Stabsstellenleitung
Cornelia Skokov, GIZ Stabsstelle Unternehmensentwick-
lung, Senior-Fachkonzeptionistin Gruppe Qualität und
Nachhaltigkeit
Verantwortlich:
Albert Engel, GIZ, Leiter Stabsstelle Evaluierung
Elke Winter, Gruppenleiterin Qualität und Nachhaltigkeit
Herausgeberin:
Deutsche Gesellschaft für
Internationale Zusammenarbeit (GIZ) GmbH
Sitz der Gesellschaft
Bonn und Eschborn
Friedrich-Ebert-Allee 32 + 36
53113 Bonn, Deutschland
T +49 228 4460-0
F +49 228 4460 - 1766
I www.giz.de/evaluierung
www.youtube.com/user/GIZonlineTV
www.facebook.com/gizprofile
https://twitter.com/giz_gmbh
Design/Layout etc.:
DITHO Design GmbH, Köln
Druck und Vertrieb:
GIZ, Bonn
Gedruckt auf 100 % Recyclingpapier, nach FSC-
Standards zertifiziert.
Bonn 2020
Das vorliegende Dokument ist auf der GIZ-Website
als pdf-Download verfügbar unter
www.giz.de/evaluierung. Anfragen nach einer ge-
druckten Ausgabe richten Sie bitte an
3
Inhalt
Stellungnahme
Management Response
Evaluierungsbericht
1 Gegenstand und Ziele ..................................................................................................................................... 9
1.1 Gegenstand der Querschnittsauswertung ................................................................................................... 9
1.2 Ziele der Querschnittsauswertung ............................................................................................................... 9
1.3 Nutzer*innen der Ergebnisse und Kriterien ............................................................................................... 10
2 Ausgangslage ................................................................................................................................................ 11
2.1 Notwendigkeit einer Begriffsschärfung ...................................................................................................... 11
2.2 Arbeitsdefinition zur Durchführung der Untersuchung ............................................................................... 11
3 Begriffsschärfung .......................................................................................................................................... 12
4 Methodisches Vorgehen ............................................................................................................................... 15
4.1 Untersuchungsdesign – ein Überblick ....................................................................................................... 15
4.2 Datengrundlage ......................................................................................................................................... 17
4.3 Limitationen ............................................................................................................................................... 19
5 Beschreibung der Stichprobe ....................................................................................................................... 20
5.1 Allgemeine Ergebnisse der internen Berichte ........................................................................................... 20
5.2 Übersicht vergebener Codes ..................................................................................................................... 22
6 Ergebnisse der empirischen Untersuchung ............................................................................................... 23
6.1 Orientierungsgebende Kriterien bei der Planung ...................................................................................... 25
6.2 Orientierungsgebende Kriterien bei der Implementierung ......................................................................... 28
6.3 Orientierungsgebende Kriterien bei der Bewertung .................................................................................. 38
7 Ranking der Kriterien auf Basis der Sekundärdatenauswertung .............................................................. 42
8 Empfehlungen zur Operationalisierung: Leitfragen ................................................................................... 43
9 Weitere Empfehlungen .................................................................................................................................. 47
9.1 Berücksichtigung der Kriterien bei der Erstellung einer Kurzstellungnahme ............................................. 47
9.2 Berücksichtigung der Kriterien bei der Erstellung eines Modulvorschlags ................................................ 48
9.3 Berücksichtigung der Kriterien bei der Berichterstattung .......................................................................... 48
9.4 Berücksichtigung der Kriterien bei der Evaluierung ................................................................................... 49
9.5 Weitere Denkanstöße aus der Diskussion mit der Referenzgruppe .......................................................... 52
Anhang ............................................................................................................................................................... 53
4
Stellungnahme
Die GIZ will, dass die Vorhaben, die sie für ihre unterschiedlichen Auftraggeber durchführt, ihre Ziele wirt-
schaftlich erreichen. Auf Vorschlag der Task Force Wirtschaftlichkeit hatte der Managementkreis die Stabsstel-
len Unternehmensentwicklung und Evaluierung beauftragt, gemeinsam eine Analyse des Evaluierungskriteri-
ums Effizienz zu veranlassen, die auf das Anliegen zur Herleitung eines GIZ Wirtschaftlichkeitsbegriffs ein-
zahlt. Begleitet wurde die Querschnittauswertung von einer Referenzgruppe. Evaluator/innen der Mainlevel
Consulting AG haben die Querschnittauswertung Wirtschaftlichkeit der Vorhaben durchgeführt und den Bericht
verfasst. Er gibt ausschließlich deren Meinung und Wertung wieder.
Grundlage der Analyse bildeten GIZ-Projektevaluierungen im BMZ-Geschäft, externe Projektevaluierungen von
Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit , Europäischer Union und Department for
International Development und externe Prüfungen durch BMZ und Europäischer Union sowie Dokumente zum
Auftragsverfahren im BMZ-Geschäft und zum Wirtschaftlichkeitsverständnis von Bundesministerium für wirt-
schaftliche Zusammenarbeit und Entwicklung (BMZ), Ausschuss für Entwicklungshilfe der Organisation für wirt-
schaftliche Zusammenarbeit und Entwicklung, Bundesrechnungshof und Europäischer Rechnungshof,.
Neue Kriterien für Wirtschaftlichkeit von Vorhaben wurden induktiv generiert, während die empirische Überprü-
fung von bestehenden Kriterien für Wirtschaftlichkeit von Vorhaben deduktiv erfolgte. Auf Basis der identifizier-
ten Erfolgsfaktoren erfolgte eine Operationalisierung und Leitfragenentwicklung. Gemäß dem Vorschlag der
externen Evaluator*innen wurden projektphasenspezifische Kriterien entwickelt, um nicht nur Vorhaben wirt-
schaftlich bewerten (im Rahmen von Evaluierungen), sondern auch wirtschaftlich planen (Modulvorschläge,
Kurzstellungnahmen) und anschließend wirtschaftlich umsetzen (Berichterstattung) zu können. Die Kriterien
wurden mit Hilfe von Erfolgsfaktoren weiter präzisiert und mit passenden Leitfragen hinterlegt. Um die Anwend-
barkeit in der Praxis zu sichern, wurden die Leitfragen von den externen Evaluator*innen im Workshop mit der
Referenzgruppe validiert.
Erstmals liegen nun evidenzbasierte Kriterien für Planung, Durchführung und Bewertung von Vorhaben, die
sich für GIZ-durchgeführte Vorhaben als erfolgskritisch für eine positive Wirtschaftlichkeitsbeurteilung erwiesen
haben, vor. Die Querschnittauswertung liefert auch Erkenntnisse für die Begriffsschärfung von Wirtschaftlich-
keit. Sie verwendet nach Analyse entsprechender Grundlagendokumente für die wirtschaftliche Zielerreichung
den Begriff der Transformationseffizienz, die sowohl die Produktionseffizienz, das Verhältnis von Input (Kosten)
zu Leistungen (Outputs), als auch die Allokationseffizienz, das Verhältnis von Input (Kosten) zu Wirkungen
(Outcome), umfasst.
Der Managementkreis der GIZ hat die Querschnittauswertung als ausgesprochen hilfreich bewertet, sowohl um
den Wirtschaftlichkeitsbegriff zu schärfen als auch um ihn zu operationalisieren. Den herausgearbeiteten Emp-
fehlungen ist er in allen wesentlichen Aspekten gefolgt. Die Ergebnisse tragen dazu bei, die Wirtschaftlichkeit
von Vorhaben sowohl in der Konzeption als auch in der Durchführung zu stärken und damit mittelbar zu besse-
ren Bewertungen zu führen. Damit unterstützt die Querschnittauswertung die weitere Stärkung der Wirtschaft-
lichkeit der von der GIZ durchgeführten Vorhaben.
5
Management Response
Die Management Response zeigt den Umgang der GIZ mit den Erkenntnissen und Empfehlungen aus der
Querschnittauswertung. An der Erarbeitung des Maßnahmenplans waren neben den Stabsstellen Unterneh-
mensentwicklung und Evaluierung der Bereich Europa, Mittelmeer, Zentralasien (mandatiert von den operati-
ven Bereichen), der Fach- und Methodenbereich und der Bereich Auftraggeber- und Geschäftsentwicklung be-
teiligt. Die Querschnittauswertung und der Maßnahmenplan zur Umsetzung der Empfehlungen wurde mit dem
Managementkreis der GIZ diskutiert.
Erkenntnisse für die Begriffsschärfung von Wirtschaftlichkeit werden bei der Erarbeitung einer einheitlichen Be-
griffsdefinition von Wirtschaftlichkeit in der GIZ für alle Phasen eines Projekts (Planung - Durchführung - Be-
wertung) genutzt. Ein Definitionsvorschlag für den Wirtschaftlichkeitsbegriff der GIZ wird von der Stabstelle Un-
ternehmensentwicklung erarbeitet und dem Managementkreis vorgelegt. Die Ergebnisse der Studie werden im
Dialog mit dem BMZ nicht nur zur Externen Qualitätskontrolle, sondern auch zum Wirtschaftlichkeitsverständ-
nis und zum Effizienzkriterium thematisiert. Die Diskussion mit dem BMZ zu einem gemeinsamen Wirtschaft-
lichkeitsverständnis soll fortgeführt werden.
Mit der Umsetzung von Empfehlungen der Querschnittauswertung zur Anpassung von Prozesshilfen wurde
bereits begonnen: Die Arbeitshilfen für Kurzstellungnahmen und Prüfungen sowie die internen Erläuterungen
zu BMZ-Handreichungen bzgl. Modulvorschlag und Berichterstattung werden im Sinne einer handlungsleiten-
den Konkretisierung unter Nutzung der Ergebnisse der Querschnittauswertung ergänzt. Darüber hinaus wer-
den die Ergebnisse der Querschnittauswertung bei der Ergänzung der Leitfragen zu Wirtschaftlichkeit im Rah-
men der Qualitätssicherung genutzt. Weiter wird die Anpassung der Evaluierungsfragen im Evaluierungskrite-
rium Effizienz der Zentralen Projektevaluierungen im BMZ-Geschäft geprüft.
Die Kriterien, Erfolgsfaktoren und Leitfragen für die Wirtschaftlichkeit von Vorhaben sollen in zwei Jahren ggf.
überprüft werden. Veränderungen durch die Einführung der Kosten-Output-Zuordnung und Prognose können
dann sichtbar gemacht und genutzt werden. Nach einem Jahr erfolgt ein Monitoring der Umsetzung der Maß-
nahmen im Rahmen des Management Response Systems Qualitätsentwicklung.
6
Evaluierungsbericht
Dr. Felipe Isidor-Serrano
Tatjana Mauthofer
7
Abkürzungsverzeichnis
BMZ Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung
BMU Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit
BRH Bundesrechnungshof
DFID Department for International Development
EU Europäische Union
EuRH Europäischer Rechnungshof
EZ Entwicklungszusammenarbeit
FZ Finanzielle Zusammenarbeit
GIZ Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH
MA Mitarbeiter*innen
OECD Organisation for Economic Cooperation and Development
PEV Projektevaluierung (dezentrale)
QSA Querschnittsauswertung
STS EVAL Stabsstelle Evaluierung
STS UE Stabsstelle Unternehmensentwicklung
TZ Technische Zusammenarbeit
VfM Value-for-Money
ZPE Zentrale Projektevaluierung
8
Tabellenverzeichnis
Tabelle 1: Übersicht Hintergrundmaterialien zur Begriffsschärfung .................................................................... 12
Tabelle 2: Arbeitsdefinition .................................................................................................................................. 14
Tabelle 3: Übersicht interne Berichte .................................................................................................................. 17
Tabelle 4: Übersicht externe Berichte ................................................................................................................. 17
Tabelle 5: Übersicht weitere Berichte ................................................................................................................. 18
Tabelle 6: Übersicht Hintergrundmaterialien zur Begriffsschärfung .................................................................... 18
Tabelle 7: Notendurchschnitt der internen Evaluierungsberichte im BMZ-Geschäft im Kriterium Effizienz nach
Regionen ............................................................................................................................................................. 20
Tabelle 8: Notendurchschnitt der externen Evaluierungsberichte im BMU-Geschäft im Kriterium Effizienz nach
Regionen ............................................................................................................................................................. 20
Tabelle 9: Notendurchschnitt der internen Evaluierungsberichten im BMZ-Geschäft im Kriterium Effizienz nach
Sektoren .............................................................................................................................................................. 21
Tabelle 10: Effizienzrahmen der Planung, Implementierung und Bewertung ..................................................... 23
Tabelle 11: Partizipative Planung ....................................................................................................................... 25
Tabelle 12: Erkenntnisse aus (Vor)Studien ........................................................................................................ 26
Tabelle 13: Beschreibung der Nutzung von Lernerfahrungen ............................................................................ 27
Tabelle 14: Orientierungsgebende Kriterien bei der Planung auf einen Blick ..................................................... 28
Tabelle 15: Nutzung eines Monitoringsystems ................................................................................................... 28
Tabelle 16: Nutzung von Synergien .................................................................................................................... 30
Tabelle 17: Wissensmanagement ....................................................................................................................... 31
Tabelle 18: HR Management .............................................................................................................................. 32
Tabelle 19: Kommunikation von Verantwortlichkeiten ........................................................................................ 33
Tabelle 20: Partnermanagement und -nähe ....................................................................................................... 35
Tabelle 21: Maßnahmen zur Verringerung von Risiken ...................................................................................... 36
Tabelle 22: Orientierungsgebende Kriterien bei der Implementierung auf einen Blick ....................................... 37
Tabelle 23: Definition von Effizienz/Wirtschaftlichkeit ......................................................................................... 38
Tabelle 24: Kostenzuordnungen ......................................................................................................................... 39
Tabelle 25: Beschreibung der Vorteilhaftigkeit von Entscheidungen .................................................................. 40
Tabelle 26: Orientierungsgebende Kriterien bei der Bewertung auf einen Blick ................................................. 41
Tabelle 27: Ranking der Kriterien ....................................................................................................................... 42
Tabelle 29: Effizienzkriterien – Erfolgsfaktoren – Leitfragen für Planung, Durchführung und Bewertung auf
einen Blick ........................................................................................................................................................... 43
Tabelle 30: Vorgegebene Anforderungen für Wirtschaftlichkeit in der Kurzstellungnahme ................................ 47
Tabelle 31: Rahmen zur Berücksichtigung der Produktionseffizienz – GIZ ........................................................ 49
Tabelle 32: Rahmen zur Berücksichtigung der Allokationseffizienz – GIZ ......................................................... 50
Tabelle 33: Dokumentenübersicht Begriffsschärfung ......................................................................................... 57
Tabelle 34: Vorläufige Analysekriterien .............................................................................................................. 60
Tabelle 35: Analyseraster inkl. finaler Analysekriterien………………………………………………………..……..69
Abbildungsverzeichnis
Abbildung 1: Methodisches Vorgehen im Überblick ........................................................................................... 15
Abbildung 2: Übersicht der Codes für interne und externe Berichte ................................................................... 22
Abbildung 3: MaxQDA Codebaum……………………………………………………………………………………...61
9
1 Gegenstand und Ziele
1.1 Gegenstand der Querschnittsauswertung
Die Mainlevel Consulting AG (Mainlevel) wurde im März 2019 von den GIZ-Stabsstellen Evaluierung und Un-
ternehmensentwicklung beauftragt, eine Querschnittsauswertung auf Basis einer umfassenden Sekundärda-
tenrecherche durchzuführen, die darauf abzielt, tiefgreifende Erkenntnisse zur Wirtschaftlichkeit von Vorhaben
der Gesellschaft für Internationale Zusammenarbeit GmbH (GIZ) zu erlangen. Dank einer breiten Datenlage an
internen und externen Berichten sollten verlässlich fördernde und hindernde Faktoren und Pfade zur Effizienz
von Projekten identifiziert und Kriterien zur Operationalisierung erstellt sowie Empfehlungen für ein handlungs-
leitendes Wirtschaftlichkeitsverständnis in der GIZ formuliert werden.
Gegenstand der Querschnittsauswertung waren folgende Sekundärdatenquellen:
• 174 interne GIZ-Projektevaluierungen der Jahre 2015–2018: Es handelt sich um dezentral beauftragte
Projektevaluierungen (PEV; 2015-2017) und zentrale Projektevaluierungen (ZPE; ab 2018)
• 62 externe Projektevaluierungen verschiedener Geber: Berichte des Bundesministeriums für Umwelt
(BMU), des Departments for International Development Großbritanniens (DFID) und der Europäischen
Union (EU)
• 5 externe Qualitätskontrollen des BMZ zu Wirtschaftlichkeit (Jahre 2013–2018)
• 5 EU-Wirtschaftsprüfungen
• 1 Sonderuntersuchung des BMZ zu „Wirtschaftlichkeit in der Konzeptionsphase von PV“
• Weitere Hintergrunddokumente
1.2 Ziele der Querschnittsauswertung
Die Querschnittsauswertung hatte zum Ziel, eine Begriffsschärfung sowie eine Operationalisierbarkeit für Wirt-
schaftlichkeit bzw. Effizienz herbeizuführen. Als Ergebnis der Untersuchung wurden daher ein geschärftes Be-
griffsverständnis und konkrete Kriterien und Anhaltspunkte erwartet. Dabei sollte zwischen verschiedenen Pro-
jektphasen unterschieden werden, um nicht nur Vorhaben wirtschaftlich zu planen (Modulvorschläge, Kurzstel-
lungnahmen), sondern auch anschließend umsetzen zu können (Berichterstattung). Schließlich sollten diese
auch als wirtschaftlich bewertet werden können (gutes Abschneiden bei den Evaluierungen und externen Prü-
fungen). Konkret wurden folgende Ziele vereinbart:
Operationalisierung von Faktoren und Pfade für Effizienz von Projekten (Werden die Ziele wirtschaftlich
erreicht?):
• Identifikation von
o Stärken und Schwächen der Effizienz der untersuchten Projekte
o übergreifenden Erfolgsfaktoren1 für die Effizienz von Projekten
o Handlungsempfehlungen zum Erhalt bzw. zur Steigerung der Effizienz in Projekten
o Beispielen von Vorhaben mit guter Bewertung der Effizienz mit den dahinterliegenden Fakto-
ren
o Beispiele methodisch guter Effizienzmessung
1 Auf Basis der Analyse der vorhandenen Sekundärdaten konnten nur Erfolgs- aber keine Misserfolgsfaktoren identifiziert werden, da in den untersuchten Berichten lediglich ein
Fehlen bestimmter Erfolgsfaktoren mit einer schlechteren Effizienzbewertung einhergingen.
10
• Erarbeitung von Kriterien, die handlungsleitend sind, um Vorhaben effizient/wirtschaftlich zu planen. Ins-
besondere sollen die Empfehlungen dazu beitragen, die formalen Vorgaben des BMZ hinsichtlich Wirt-
schaftlichkeit zu erfüllen (Vorlage Kurzstellungnahme, Modulvorschlag, Berichterstattung), und denjeni-
gen, die diese Dokumente erstellen, die entsprechende Orientierung ermöglichen.
• Erarbeitung von Empfehlungen, die handlungsleitend sind, um Vorhaben effizient/wirtschaftlich durchzu-
führen. Insbesondere sollen die Empfehlungen dazu beitragen, Entscheidungen für die Steuerung von
Vorhaben nach Wirtschaftlichkeitsüberlegungen vornehmen und die verwendeten Evaluierungskriterien
erfüllen zu können.
• Erarbeitung von Kriterien, die handlungsleitend für die Evaluierung des Effizienzkriteriums sind.
Begriffsschärfung des Wirtschaftlichkeitsverständnisses in Projekten:
• Darstellung und Analyse des den Dokumenten (s.o. Gegenstand) zugrunde liegenden Wirtschaftlichkeits-
verständnisses und Überblick über existierende Definitionen
• Definitionsempfehlung für ein handlungsleitendes Wirtschaftlichkeitsverständnis
1.3 Nutzer*innen der Ergebnisse und Kriterien
Nutzer*innen der identifizierten Faktoren für die Wirtschaftlichkeit von Projekten sind vor allem die Mitarbei-
ter*innen (MA) der GIZ im In- und Ausland, die Projekte planen, durchführen und evaluieren. Der Fokus liegt
daher auf einer praxisorientierten Lösung. Handlungsleitend war vor allem folgende Kontrollfrage: Erhalten die
MA der GIZ eine einfache Orientierung für den gesamten Projektzyklus Planung, Durchführung und Evaluie-
rung? Die Wirtschaftlichkeitskriterien und die Empfehlungen für ein Wirtschaftlichkeitsverständnis sind zudem
für die STS UE und EVAL als auch für das BMZ von Interesse, um ein gemeinsames Begriffsverständnis zur
Wirtschaftlichkeit zu etablieren.
11
2 Ausgangslage
2.1 Notwendigkeit einer Begriffsschärfung
Es besteht Konsens darüber, dass es sowohl in der GIZ als auch zwischen GIZ und BMZ kein einheitliches
Verständnis zum Wirtschaftlichkeitsbegriff gibt. Dies wurde von beiden Stabsstellen in Vorgesprächen sowie
von Teilnehmer*innen der Referenzgruppensitzungen am 07.03.2019 und 10.05.2019 bestätigt. Untersuchun-
gen der letzten Jahre kamen ebenso zu diesem Ergebnis. Zum einen stellten die von der GIZ beauftragten
Meta-Evaluierungen, die Projektevaluierungen (PEV) aus den Jahren 2014/2015 und 2015/2016 nach ihrer
methodischen Qualität untersuchten, fest, dass das OECD-DAC-Kriterium Effizienz deutlich am schwächsten
abschnitt. Es „besteht scheinbar teils kein klares grundlegendes Verständnis der PEV-Teams darüber, was „Ef-
fizienz“ bedeutet und wie sie gemessen werden kann.“ (vgl. GIZ 2016)2. Zum anderen wurden diese Ergeb-
nisse von der Externen Qualitätskontrolle des BMZ in den Jahren 2017 und 2018 untermauert.
Eine Sonderuntersuchung zum Thema Wirtschaftlichkeit in der Konzeptionsphase von Programmvorschlägen
(Syspons 2015) zeigte, dass Wirtschaftlichkeitsanalysen in der Vorbereitungsphase nur sehr eingeschränkt
erfolgen. Die GIZ bewegt sich zudem in einem Spannungsfeld zwischen den Auffassungen zum Wirtschaftlich-
keitsverständnis der OECD, des BMZ und des Rechnungshofs. Im Rahmen dieses Auftrags sollten daher aktu-
elle Entwicklungen und Ausarbeitungen zum Thema Wirtschaftlichkeit von verschiedenen Akteuren dokumen-
tiert und Unterschiede aufgezeigt werden sowie Empfehlungen für ein handlungsleitendes Wirtschaftlichkeits-
verständnis ausgesprochen werden.
2.2 Arbeitsdefinition zur Durchführung der Untersuchung
Das Gutachter*innen-Team und die Verantwortlichen der Stabsstellen etablierten in Vorgesprächen und der
Referenzgruppensitzung einen ersten gemeinsamen Nenner hinsichtlich des Effizienz- und Wirtschaftlichkeits-
begriffs, der auf folgenden Eckpunkten basiert: Die GIZ versteht Effizienz grundsätzlich als Transformationseffi-
zienz und unterscheidet zwischen Produktionseffizienz und Allokationseffizienz 3. Daran wurde im Rahmen des
Auftrags festgehalten.
2 Auszug aus der Meta-Evaluierung der Projektevaluierungen PEV 2014–2015, durchgeführt von Syspons GmbH.
3 Palenberg (2011). Tools and Methods for Evaluating the Efficiency of Development Interventions. Bonn, Germany, S. 8.
Die Transformationseffizienz (Werden die Ziele durch die Entwicklungsmaßnahme wirtschaftlich
erreicht?) misst die Angemessenheit der für eine Entwicklungsmaßnahme eingesetzten Ressour-
cen im Hinblick auf die damit erzielten Resultate. Innerhalb der Transformationseffizienz wird wei-
terhin zwischen zwei Formen unterschieden:
(1) Das Verhältnis von Input (Kosten) zu Leistungen (Outputs) ist die Produktionseffizienz.
(2) Das Verhältnis von Input (Kosten) zu Wirkungen (Outcome) ist die Allokationseffizienz.
12
3 Begriffsschärfung
Der Fokus auf die Transformationseffizienz ist im Rahmen einer Wirtschaftlichkeitsbetrachtung in der internati-
onalen EZ gängiger Standard, der auch von OECD/DAC empfohlen wird (siehe unten). Auch seitens des BMZ
wird die Überprüfung der Transformationseffizienz seit der Veröffentlichung des Dokuments „Evaluierung aus
einem Guss“ im Jahr 2006 als verbindlicher Rahmen für Effizienzbewertungen von deutschen Vorhaben vorge-
geben. Dieses Dokument, das unter der Federführung des BMZ gemeinsam mit GIZ und KfW entwickelt
wurde, zielte darauf ab, die Evaluierungsbemühungen deutscher EZ-Organisationen zu harmonisieren, d.h.
seit 2006 sollten – im Idealfall – Effizienzbewertungen rein auf der Überprüfung der Transformationseffizienz
basieren.
Der Fokus auf die Transformationseffizienz hat mehrere Gründe. Zum einen fördert dieser Fokus die internatio-
nale Vergleichbarkeit von Maßnahmen (auch unterschiedlicher Geberorganisationen). Zum anderen sind Wirt-
schaftlichkeitsaspekte wie aus der Privatwirtschaft mit Schwerpunkt auf Sparsamkeit oder Profitabilität aus poli-
tischen und ethischen Gründen nicht angemessen und werden der Rollenvielfalt der GIZ nicht gerecht. Da die
GIZ sich in einem Spannungsfeld zwischen unterschiedlichen Auftraggebern, Mittlern und Zielgruppen bewegt
und i.d.R. Durchführungsorganisation und Partner ist und auch häufig selbst als Auftraggeber auftritt, greifen
bspw. reine Sparsamkeitsaspekte zu kurz. Vielmehr ist für Wirtschaftlichkeit in der EZ das „bestmögliche“ Ver-
hältnis von Mitteleinsatz und angestrebten Wirkungen entscheidend (siehe unten).
Auf Basis einer umfassenden Literaturstudie wurden existierende Definitionen analysiert. Dafür wurden zahlrei-
che für die Begriffsschärfung relevante Hintergrunddokumente von der GIZ bereitgestellt. Die folgende Tabelle
gibt einen Überblick über die Anzahl der Dokumente. Eine detaillierte Auflistung der Dokumente sowie Kurzbe-
schreibungen in Stichpunkten sind in Anhang I zu finden.
Zur Ableitung einer GIZ-Arbeitsdefinition war es wichtig, existierende Definitionen in den oben aufgelisteten
Dokumenten4 zu berücksichtigen und dafür Sorge zu tragen, dass die Begriffsschärfung nicht im Widerspruch
zu bestehenden Ansätzen und Definitionen in GIZ- und BMZ-Dokumenten steht und gleichzeitig ein inhaltlich
gemeinsamer Nenner beschrieben wird. Im Folgenden sind Beispiele von wichtigen Definitionen aufgelistet, die
in ähnlicher Form auch in vielen anderen Berichten der deutschen und internationalen EZ verwendet werden.
4 Die genaue Auflistung der Dokumente ist in Anhang I.
Tabelle 1: Übersicht Hintergrundmaterialien zur Begriffsschärfung
HIN
TE
RG
RU
ND
Hintergrundmaterialien zur Begriffsschärfung Anzahl
Dokumente zur Projektplanung 9
Dokumente zur Projektimplementierung 4
Dokumente zur Projektevaluierung 8
Dokumente zur methodischen Angemessenheit Effizienz 8
(Konzept-) Papiere 10
Zusätzliche Informationen 2
Summe 41
13
Auch wenn sich die Definitionen inhaltlich sehr ähneln, gibt es einen großen Interpretationsspielraum, was un-
ter Effizienz (bzw. Transformationseffizienz) zu verstehen ist bzw. subsumiert werden soll. In der nachfolgen-
den Tabelle wird daher eine mögliche Arbeitsdefinition vorgestellt, die dazu beitragen soll, den Effizienzbegriff
weiter zu schärfen. Zusätzlich zur Analyse bestehender Definitionen wurde auf Basis der identifizierten Effi-
zienzkriterien in allen Phasen des Projektzyklus ein gemeinsamer Nenner identifiziert, der als Grundlage für
eine GIZ-Arbeitsdefinition herangezogen wurde (siehe dazu auch Kapitel 6).
Efficiency: The extent to which the intervention delivers, or is likely to deliver, results in an economic
and timely way. Note: “Economic” is the conversion of inputs (funds, expertise, natural resources,
time, etc.) into outputs, outcomes and impacts, in the most cost-effective way possible, as compared
to feasible alternatives in the context. “Timely” delivery is within the intended timeframe, or a
timeframe reasonably adjusted to the demands of the evolving context. This may include assessing
operational efficiency (how well the intervention was managed). (OECD / DAC Evaluation Criteria
Definitions 2019)
Efficiency: A measure of how economically resources/inputs (funds, expertise, time, etc.) are
converted to results. (Evaluierungskriterien für die deutsche bilaterale Entwicklungszusam-
menarbeit. Eine Orientierung für Evaluierungen des BMZ und der Durchführungsorganisatio-
nen 2006 & OECD / DAC Glossary of Key Terms in Evaluation and Results Based Management
2009)
Efficiency measures the outputs – qualitative and quantitative – in relation to the inputs. It is an
economic term which is used to assess the extent to which aid uses the least costly resources pos-
sible in order to achieve the desired results. This generally requires comparing alternative approaches
to achieving the same outputs, to see whether the most efficient process has been adopted. (BMZ
Evaluation Division: Evaluation Working Paper “Tools and Methods for Evaluating the Effi-
ciency of Development Interventions” 2009)
Ökonomisches Prinzip: Nach dem ökonomischen Prinzip (auch Wirtschaftlichkeitsprinzip, Rational-
prinzip) dürfen knappe Mittel nicht verschwendet werden. Wirtschaftliches Handeln ist dann gegeben,
wenn verschiedene Handlungsoptionen aufgezeigt und anhand des ökonomischen Prinzips ausge-
wertet werden. Das ökonomische Prinzip verlangt, dass das bestmögliche Verhältnis zwischen Out-
put (Nutzen, Ertrag) und Input (Kosten, Aufwand) anzustreben ist. Wirtschaftlichkeit ist dann gege-
ben, wenn dieses Verhältnis besonders vorteilhaft ist. (GIZ-Ansätze zur Bewertung der Wirtschaft-
lichkeit von Vorhaben der Technischen Zusammenarbeit 2016)
Wirtschaftlichkeit: Wirtschaftlichkeit ist das günstigste Verhältnis zwischen dem verfolgten Zweck
einer Maßnahme und den eingesetzten Mitteln. Dabei wird zwischen dem Maximalprinzip (mit einem
bestimmten Mitteleinsatz ist das bestmögliche Ergebnis zu erzielen) und dem Minimalprinzip (ein
bestimmtes Ergebnis ist mit möglichst geringem Mitteleinsatz zu erzielen – Sparsamkeitsprinzip) un-
terschieden. (Bundesrechnungshof – Anforderungen an Wirtschaftlichkeitsuntersuchungen fi-
nanzwirksamer Maßnahmen nach § 7 Bundeshaushaltsordnung 2013)
14
Tabelle 2: Arbeitsdefinition
Wirtschaftlichkeit im GIZ-Kontext
Im Kontext der von der GIZ durchgeführten Vorhaben geht es bei der Wirtschaftlichkeit um die
Transformationseffizienz, also um die wirtschaftliche Zielerreichung, die sich in zwei Formen unter-
scheiden lässt:
1) Das Verhältnis von Input (Kosten) zu Leistungen (Outputs) ist die Produktionseffizienz.
2) Das Verhältnis von Input (Kosten) zu Wirkungen (Outcome) ist die Allokationseffizienz.
Gemäß dem ökonomischen Prinzip ist Wirtschaftlichkeit gegeben, wenn Nutzen und Kosten in ei-
nem bestmöglichen Verhältnis stehen. Im GIZ-Kontext bedeutet Wirtschaftlichkeit, dass bei gegebe-
nem Ressourceneinsatz die bestmöglichen Leistungen und Wirkungen erzielt und Verschwendun-
gen vermieden werden. Alle Maßnahmen, die sich positiv auf das Verhältnis zwischen Inputs und
Outputs auswirken, erhöhen die Produktionseffizienz. Alle Maßnahmen, die sich positiv auf das
Verhältnis zwischen Inputs und Outcomes auswirken, erhöhen die Allokationseffizienz.
Auf Grundlage der Querschnittsauswertung können folgende Aussagen getroffen werden:
Dieses Verhältnis kann in der Planungsphase vor allem dann positiv beeinflusst werden, wenn
✓ Planungsprozesse partizipativ erfolgen, in denen zielgruppenspezifische Perspektiven be-
rücksichtigt und Transparenz gefördert werden;
✓ Erkenntnisse aus Vorstudien (z.B. Baseline-Studien, Bedarfs- und Machbarkeitsanalysen)
genutzt werden können;
✓ Lernerfahrungen aus der Vergangenheit (z.B. zwischen Projektphasen) oder anderen EZ-
Vorhaben genutzt werden können.
Dieses Verhältnis kann in der Implementierungsphase positiv beeinflusst werden, wenn
✓ Monitoringsysteme (zur regelmäßigen Überprüfung der Kosten, Aktivitäten und Wirkungen)
aufgebaut und genutzt und ausreichend M&E-Ressourcen bereitgestellt werden können;
✓ Synergien (mit anderen Vorhaben, Gebern und Stakeholdern) genutzt werden können;
✓ Strukturen für ein Wissensmanagement aufgebaut sowie Wissen disseminiert und instituti-
onalisiert werden können;
✓ das HR-Management des Vorhabens einen Instrumentenmix aus AMAs und nationalen
Mitarbeitenden nutzen, Projektmitarbeitende regelmäßig qualifizieren und Personalfluktua-
tion eindämmen kann;
✓ Maßnahmen ergriffen werden können, die eine klare Kommunikation von Verantwortlich-
keiten und Rollen im Stakeholderumfeld sicherstellen;
✓ die Managementstruktur des Vorhabens so aufgestellt werden kann, dass sie an den Er-
wartungshaltungen des Partners ausgerichtet ist und eine größtmögliche soziale und räum-
liche Nähe zulässt;
✓ ein Risikomanagementsystem aufgebaut werden kann, das Risiken und potenzielle Maß-
nahmen klar beschreibt, die an Organisationen und nicht an Einzelpersonen ausgerichtet
sind.
Im Rahmen der Bewertungsphase wird zur Verbesserung der Qualität der Effizienzanalyse gera-
ten, neben den oben genannten Aspekten zusätzlich zu analysieren,
✓ welche Definition bzw. welches Verständnis von Wirtschaftlichkeit zugrunde gelegt wurde;
✓ wie die Kosten auf die unterschiedlichen Posten verteilt wurden (z.B. mithilfe des follow-
the-money-approach)
✓ ob vereinzelt die Vorteilhaftigkeit von Entscheidungen begründet werden konnte;
✓ inwieweit quantitative und qualitative Daten trianguliert werden konnten.
15
4 Methodisches Vorgehen
Mit den Verantwortlichen beider Stabsstellen wurde vereinbart, das methodische Vorgehen in dem Hauptbe-
richt nur kurz zu beschreiben. Ausführliche Beschreibungen zum methodischen Vorgehen befinden sich im
Inception Report.
4.1 Untersuchungsdesign – ein Überblick
Gemäß der Leistungsbeschreibung für diesen Auftrag sollte die Ableitung der Kriterien zur Operationalisierung
von Wirtschaftlichkeit bzw. Effizienz auf einer umfassenden Sekundärdatenauswertung basieren. Im Mittel-
punkt der Auswertungen standen die Berichte der seit 2015 durchgeführten internen und externen PEV und
der seit 2017 durchgeführten Zentralen Projektevaluierungen (ZPE). Detaillierte Informationen zu der Auswahl
der zu analysierenden Dokumente (z.B. zusätzliche GIZ Dokumente und externe Berichte von anderen Organi-
sationen) und der Stichprobengröße sind in Kapitel 3.4 bereitgestellt. Das folgende Schaubild (Abbildung 1)
fasst das methodische Vorgehen zusammen. Zwar sieht dieses Schaubild auf den ersten Blick komplex aus.
Heruntergebrochen auf die verschiedenen Phasen dieses Auftrags (Inception-Phase, Implementierungsphase
und Validierungsphase) wird allerdings schnell deutlich, dass die einzelnen Schritte und definierten Meilen-
steine logisch aufeinander aufbauen. Die Vorgehensweise stellt einen pragmatischen Ansatz dar, ein geschärf-
tes Begriffsverständnis und konkrete Kriterien und Anhaltspunkte zur Operationalisierung von Wirtschaftlichkeit
bzw. Effizienz abzuleiten.
Das Gutachter*innen-Team verfolgte dabei, gemäß der wissenschaftlichen Praxis, einen sowohl induktiven als
auch deduktiven Ansatz. So wurden neue Kriterien induktiv generiert, während die empirische Überprüfung von
bestehenden Kriterien deduktiv erfolgte. In dem folgenden Schaubild (Abbildung 1) sind die einzelnen (Ana-
Abbildung 1: Methodisches Vorgehen im Überblick
16
lyse-)Schritte blau (gekennzeichnet durch die Pfeile) und die dazugehörigen Meilensteine grün markiert. Ver-
einfacht ausgedrückt gibt es folgende Kausalkette: Mithilfe vorläufiger Kriterien zur Operationalisierbarkeit von
Wirtschaftlichkeit wurden Analyseinstrumente entwickelt, die die Grundlage der empirischen Analyse bildeten.
Die empirische Analyse diente zum einen dazu, die vorläufigen Analysekriterien zu überprüfen und weiterzu-
entwickeln und zum anderen, weitere Kriterien zu identifizieren, um auf dieser Basis validierte Qualitätskriterien
und ein geschärftes Begriffsverständnis abzuleiten. Um die Dokumente auswerten und die Ergebnisse ver-
gleichbar machen zu können, musste die Querschnittsanalyse der von der GIZ zur Verfügung gestellten Doku-
mente kriteriengeleitet erfolgen. Dies stellte allerdings eine besondere Herausforderung dar, weil ja gerade die
Querschnittsanalyse dazu beitragen sollte, die wichtigsten Kriterien zur Operationalisierbarkeit von Wirtschaft-
lichkeit bzw. Effizienz abzuleiten. Aus diesem Grund wurde bei der Ableitung der finalen Kriterien sowohl ein
deduktiver als auch induktiver Ansatz gewählt. Die vorläufigen Analysekriterien sind in Anhang II aufgeführt.
Ausgangspunkt der methodischen Überlegungen war zudem, dass die verschiedenen Phasen im Projektzyklus
(Planungs-, Implementierungs- und Evaluierungsphase) mit unterschiedlichen Herausforderungen und Anfor-
derungen an eine Effizienzbetrachtung einhergehen. Schon früh im Prozess hatte sich herausgestellt, dass es
aufgrund der Heterogenität der GIZ-Vorhaben nicht möglich sein wird, einheitliche Kriterien für die unterschied-
lichen Phasen des Projektzyklus (Planung, Implementierung und Evaluierung) zu entwickeln, die zudem für alle
Sektoren, Kontexte und Regionen die gleiche Wichtigkeit besitzen. Daher wurde gemeinsam mit beiden Stabs-
stellen entschieden, projektphasenspezifische Kriterien zu entwickeln, um nicht nur Vorhaben wirtschaftlich
bewerten (im Rahmen von Evaluierungen), sondern auch wirtschaftlich planen (Modulvorschläge, Kurzstellung-
nahmen) und anschließend wirtschaftlich umsetzen (Berichterstattung) zu können.
Im Analyseraster in Anhang IV sind die projektphasenspezifischen Fragestellungen (Analysekriterien) für alle
Phasen des Projektzyklus dargestellt. Im Fokus der Fragestellungen standen Überlegungen zur Erreichung
einer hohen Produktions- und Allokationseffizienz in allen Phasen des Projektzyklus. Zusätzlich wurde ein
Codebaum in MAXQDA genutzt (Details zum Programm siehe Box), um Faktoren, Muster/Pfade und Lerner-
fahrungen offen und systematisch erfassen zu können. Dabei wurden zunächst deduktiv Codes gebildet, um
Berichte entlang der oben aufgelisteten, untersuchungsleitenden Fragestellungen zu kodieren und systema-
tisch auszuwerten (siehe erster Codebaum in Anhang III. Dieser Codebaum wurde induktiv während der Ana-
lyse durch weitere Codes ergänzt, um neue Faktoren und Aspekte aufzugreifen. Die Analysen anhand des
Analyserasters wurden von allen Teammitgliedern gleichzeitig vorgenommen, was eine simultane Auswertung
der Berichte in allen vorliegenden Sprachen und eine zeitnahe Abstimmung über gemachte Lernerfahrungen
bei der Auswertung sicherstellte. Darüber hinaus wurden vereinzelt sogenannte Cross-Checks durchzuführen,
um auf Basis eines „Vier-Augen-Prinzips die subjektive Komponente bei der Auswertung so gering wie möglich
zu halten (→ Evaluator*innen-Triangulation). Die Ergebnisse der quantitativen Analysen für interne und externe
Berichte wurden zunächst getrennt und deskriptiv analysiert und mit STATA statistisch ausgewertet.
MAXQDA ist ein computergestütztes Programm zur qualitativen Datenanalyse, welches eine syste-
matische Organisation und Auswertung von größeren Datenmengen ermöglicht.
Dabei können zum einen Textpassagen zu passenden Kategorien und Unterkategorien hinzugefügt
werden. Zum anderen ermöglicht das Programm eine Quantifizierung der qualitativen Analyse. So
lassen sich Häufigkeitstabellen und Diagramme für die Häufigkeiten von Codes erstellen.
Letztlich erleichtert MAXQDA zudem die Kooperation von Gutachterinnen und somit die For-
scher*innen-Triangulation, da mehrere Personen simultan an einer Datei arbeiten können und die
jeweiligen Daten später in einer Datei zusammengeführt werden können.
17
Die Entwicklung und Validierung der unten aufgeführten Leitfragen zur angemessenen Berücksichtigung
der empirisch hergeleiteten Effizienzkriterien und Erfolgsfaktoren erfolgte in zwei Schritten:
1) auf Basis der identifizierten Erfolgsfaktoren hat das Gutachter*innen-Team erste Operationalisie-
rungsideen entwickelt, die die Grundlage für die ersten Leitfragen darstellten.
2) diese Leitfragen wurden schließlich der Referenzgruppe vorgestellt und im Rahmen eines
gemeinsamen Workshops überarbeitet, um dem besonderen GIZ-Kontext besser Rechnung zu tragen.
4.2 Datengrundlage
Tabelle 3 zeigt einen Überblick über die internen Projektevaluierungsberichte. 104 der Berichte waren in deut-
scher Sprache verfasst, 65 in englischer, zwei in spanischer und drei in französischer Sprache. Die regionale
und sektorielle Verteilung der internen Evaluierungsberichte wird in Kapitel 5 beschrieben.
Evaluierungen anderer Geber bzw. Auftraggeber (EU, BMU, DFID) waren ebenfalls Bestandteil der Quer-
schnittsauswertung. Tabelle 4 zeigt einen Überblick der externen Projektevaluierungsberichte. 43 Berichte wa-
ren in Deutsch verfasst, 15 in Englisch und jeweils 2 in Französisch und Spanisch. Alle verfügbaren Berichte
wurden bereitgestellt, wobei hier die Grundgesamtheit nur zum Teil bestimmt werden konnte. Während es sich
bei den Berichten des BMU, der externen Qualitätskontrolle des BMZ sowie der Sonderuntersuchung Wirt-
schaftlichkeit des BMZ um Vollerhebungen handelt, ist die Grundgesamtheit der Evaluierungen weiterer Geber
(EU und DFID) nicht bekannt und es handelt sich – statistisch gesprochen – um ein sogenanntes „Conve-
nience Sample“.
Tabelle 3: Übersicht interne Berichte
INT
ER
N
Interne Projektevaluierungsberichte Anzahl
PEV 2015/16 61
PEV 2017/18 98
ZPE 2018/2019 15
SUMME 174
Tabelle 4: Übersicht externe Berichte
EX
TE
RN
Externe Projektevaluierungsberichte Anzahl
BMU 42
EU 10
DFID 10
Summe 62
18
Wie erwähnt, zielt diese Untersuchung zudem darauf ab, den Begriff der Wirtschaftlichkeit zu schärfen. Die Be-
griffsschärfung erfolgte in zwei Schritten: Zum einen wurde eine Literaturstudie durchgeführt, um existierende
Definitionen zu erfassen. Zum anderen wurden die finalen orientierungsgebenden Fragestellungen in allen
Phasen des Projektzyklus in einem zweiten Schritt dazu genutzt, Wirtschaftlichkeit greifbarer zu machen (siehe
Kapitel 7).
EX
TE
RN
Weitere Berichte zur Inhaltsanalyse Anzahl
EU-Wirtschaftsprüfung 5
Externe Qualitätskontrolle des BMZ 5
Sonderuntersuchung Wirtschaftlichkeit des BMZ 1
Summe 11
Tabelle 5: Übersicht weitere Berichte
Tabelle 6: Übersicht Hintergrundmaterialien zur Begriffsschärfung
HIN
TE
RG
RU
ND
Hintergrundmaterialien zur Begriffsschärfung Anzahl
Dokumente zur Projektplanung 9
Dokumente zur Projektimplementierung 4
Dokumente zur Projektevaluierung 8
Dokumente zur methodischen Angemessenheit Effizienz 8
(Konzept-) Papiere 10
Zusätzliche Informationen 2
Summe 41
19
4.3 Limitationen
Bei der vorliegenden Studie handelt es sich um eine Schreibtischstudie auf der Grundlage von Sekundärdaten.
Dies bot die Möglichkeit, umfassend Stärken und Schwächen in Bezug zu Wirtschaftlichkeit aus einer Vielzahl
von Berichten zu untersuchen. Jedoch gab es auch Einschränkungen und Herausforderungen, die es zu be-
achten gilt.
Intersubjektive Vergleichbarkeit des Bewertungs- und Kodierverhaltens: Bei qualitativen Inhaltsanalysen be-
steht stets die Gefahr, dass Personen des Gutachter*innen-Teams denselben Sachverhalt unterschiedlich in-
terpretieren und bewerten. Während einer intensiven Vorbereitungsphase wurden Maßnahmen getroffen, die
dem bestmöglich entgegenwirken sollten. So wurde das Analyseraster partizipativ im Team erstellt und getes-
tet. Die ersten Berichte wurden gemeinsam kodiert und bewertet, um ein möglichst homogenes Verständnis zu
erhalten. Das Gutachter*innen-Team stand zudem stets im engen Austausch, um bei Unsicherheiten gemein-
sam Lösungen zu finden. Eine statistische Überprüfung der durch die Gutachter*innen vergebenen Bewertun-
gen zu den einzelnen Analysekriterien zeigt zudem, dass die Bewertungen sehr ausgewogen waren und es
innerhalb des Gutachter*innen-Teams bei der Kriterienbewertung keinen besonderen Hang zur „Milde oder
Härte“ gab.
Endogenität: Die Ergebnisse dieser Studie basieren auf den zur Verfügung gestellten Dokumenten und Berich-
ten. Wenn in diesen Sekundärquellen etwas nicht dokumentiert wurde, war es für das Gutachter*innen-Team
nicht sichtbar und konnte somit nicht berücksichtigt werden. Es kann nicht ausgeschlossen werden, dass be-
stimmte Aspekte, die entscheidend für die Wirtschaftlichkeit von Projekten sind, nicht ausreichend dargestellt
wurden und somit nicht ausreichend in den finalen Kriterien widergespielt werden konnten. Diese „Lücken“
konnten allerdings teilweise geschlossen werden, indem die Ergebnisse der Berichtsanalysen mit den Analy-
seergebnissen der anderen Datenquellen trianguliert und weitere bedeutende Kriterien/Erfolgsfaktoren ent-
sprechend ergänzt wurden.
Begrenzte Aussagekraft der Evaluierungsberichte für Planungsphase: Die analysierten Projektevaluierungsbe-
richte geben nur begrenzt Aufschluss zu Wirtschaftlichkeitsüberlegungen in der Planungsphase. Modulvor-
schläge und Fortschrittsberichte wären möglicherweise geeignetere Datenquellen gewesen, um valide Hin-
weise zu hindernden und fördernden Faktoren in der Planung zu erhalten. Diese zusätzliche Analyse hätte al-
lerdings den Rahmen dieses Auftrags gesprengt.5 Daher wurde gemeinsam mit beiden Stabsstellen entschie-
den, die vorläufigen Analysefragen für die Planungsphase für nur 20 % der Berichte zu beantworten. Textpas-
sagen, die Hinweise zu fördernden und hindernden Faktoren in der Planungsphase beinhalteten, wurden na-
türlich weiterhin in MAXQDA kodiert. Zudem wurden zur Identifizierung von Planungskriterien weitere Sekun-
därdokumente analysiert (Externe Qualitätskontrollen 2013–2018, Sonderuntersuchung (2015), EU Wirt-
schaftsprüfung sowie Hintergrunddokumente der Planungsphase (siehe Anhang I).
Heterogenität der Dokumente: Die zu untersuchenden Berichte umfassen ein breites Spektrum von Ländern,
Regionen, thematischen Sektoren und Interventionsbudgets. Es war nur begrenzt möglich, spezifische Aspekte
der unterschiedlichen Projekttypen im Analyseraster zu integrieren. Kontextspezifische Faktoren, die die Wirt-
schaftlichkeit der einzelnen Projekte beeinflussten, wurden daher stattdessen in der induktiven Analyse erfasst
und analysiert.
5 Es sei an dieser Stelle allerdings darauf hingewiesen, dass Modulvorschläge und Fortschrittsberichte den Evaluator*innen im Rahmen der PEV und ZPE vorlagen und man
davon ausgehen kann, dass entsprechende Informationen in den Evaluierungsbericht mit eingeflossen sind.
20
5 Beschreibung der Stichprobe
5.1 Allgemeine Ergebnisse der internen Berichte
Im Folgenden werden die allgemeinen und phasenunabhängigen Ergebnisse der Analyse der internen Be-
richte vorgestellt. Von den 174 Projekten (internen Evaluierungsberichten) haben 22 % der Projekte bei dem
Effizienzkriterium die Note 1,53 % die Note 2,13 % die Note 3, 11 % die Note 4 und 1 % der Projekte die Note
5 erhalten.
Der Notendurchschnitt variiert in den verschiedenen Regionen von 2,0 bis 2,3. Die Unterschiede sind somit
marginal. Auf diesem guten Niveau schneidet die Region Mittelmeer und Mittlerer Osten am schlechtesten ab,
am besten die die Region Lateinamerika. Die folgende Tabelle zeigt einen entsprechenden Überblick.
Tabelle 7: Notendurchschnitt der internen Evaluierungsberichte im BMZ-Geschäft im Kriterium Effizienz nach Regionen
Region Anzahl Projekte Bewertung
(Arithmetisches Mittel)
Asien Pazifik 24 2,29
Europa, Kaukasus, Zentralasien 23 2,26
Lateinamerika/ Karibik 16 2,00
Mittelmeer und Mittlerer Osten 21 2,29
Subsahara Afrika 56 2,16
Überregional 34 2,06
Summe / Durchschnitt 174 2,17
Tabelle 8: Notendurchschnitt der externen Evaluierungsberichte im BMU-Geschäft im Kriterium Effizienz nach Regionen
Region Anzahl Projekte Bewertung
(Arithmetisches Mittel)
Asien Pazifik 20 2,60
Europa, Kaukasus, Zentralasien 7 2,09
Lateinamerika/ Karibik 5 1,88
Mittelmeer und Mittlerer Osten 2 2,05
Subsahara Afrika 6 2,57
Überregional 2 1,90
Summe / Durchschnitt 42 2,36
21
Der Notendurchschnitt variiert stärker in den verschiedenen Sektoren von 1,59 bis 3,50. Es ist aber zu berück-
sichtigen, dass in einigen Fällen die untersuchte Fallzahl sehr klein sind und die Bewertung daher mit Vorsicht
zu genießen ist. Die folgende Tabelle zeigt einen entsprechenden Überblick.
Tabelle 9: Notendurchschnitt der internen Evaluierungsberichten im BMZ-Geschäft im Kriterium Effizienz nach Sektoren
Sektor Anzahl Projekte Bewertung
(Arithmetisches Mittel)
Berufliche Bildung und Arbeitsmarkt 11 1,73
Bildung und Jugend 4 2,75
Demokratie, Rechtsstaat, Gender 16 2,50
Dezentralisierung, Stadt- und Regionalent-
wicklung 10 2,00
Energie 9 2,22
Finanzsysteme und Versicherung 3 1,67
Gesundheit 16 2,25
Klimawandel 2 3,50
Krisen, Konflikte, Katastrophen 4 2,25
Ländliche Entwicklung und Agrarwirtschaft 26 2,08
Migration 1 3,00
Öffentliche Finanzen und Verwaltung 11 2,00
Politikfeldübergreifend 4 2,00
Privatwirtschaftsförderung 14 2,50
Soziale Sicherung 3 2,00
Umweltpolitik, Ressourceneffizienz 7 2,43
Verkehr 1 2,00
Wald und Biodiversität 7 2,43
Wasser und Abwasser, Wasserressourcen 17 1,59
Wirtschaftspolitik 6 2,33
Zusammenarbeit mit der Wirtschaft 2 3,00
Summe/Durchschnitt 174 2,17
22
Zudem kann festgehalten werden, dass der Projektwert keinen Einfluss auf die Effizienzbewertung hat. Ein
sehr ähnliches Bild zeigt sich auch bei der Projektdauer. Statistisch gesprochen gibt es in beiden Fällen eine
sogenannte „Null-Korrelation“ (-0,02 und 0,05).
Auch hat die Analyse gezeigt, dass Projekte, die im Rahmen von ZPE bewertet wurden, grundsätzlich besser
benotet wurden als die im Rahmen von PEV (1,93 vs. 2,19).6
5.2 Übersicht vergebener Codes
Für die qualitative Datenanalyse wurde das Software Programm MAXQDA angewendet. Dazu wurden die
oben genannten Dokumente in das Programm eingespeist und anhand der vorläufigen Analysekriterien für die
jeweiligen Planungsphasen analysiert. Insgesamt wurden 1449 Codings bei der Durchsicht der internen und
890 bei der Durchsicht der externen Berichte erstellt. Abbildung 2 zeigt, dass die meisten Codes für Kriterien
bei der Implementierung erstellt wurden. Die absolute Anzahl an Codings sollte allerdings nicht überbewertet
werden, da die verschiedenen Codegruppen auch stets „offene Fragen“ beinhalteten, in denen allgemeine för-
dernde und hindernde Faktoren festgehalten werden konnten. In jedem Fall wird deutlich, dass sich die Quer-
schnittsauswertung auf eine beachtenswerte Menge an qualitativen Daten stützt.
6 Allerdings ist dieses Ergebnis vor dem Hintergrund, dass nur wenige ZPEs vorlagen (n=17), erst einmal mit Vorsicht zu genießen.
Abbildung 2: Übersicht der Codes für interne und externe Berichte
Intern
Extern
23
6 Ergebnisse der empirischen Untersuchung
Ein zentrales Ergebnis dieser Untersuchung sind orientierungsgebende Kriterien, die in den verschiedenen
Projektphasen von GIZ-Mitarbeitenden für Wirtschaftlichkeitsüberlegungen angewendet werden könnten. Ta-
belle 10 fasst die orientierungsgebenden Kriterien, die sich aus den verschiedenen Projektphasen ergaben,
sowie die empirisch ermittelten Erfolgsfaktoren für die Effizienz von Projekten zusammen. Die Formulierung
der Erfolgsfaktoren ist neutral gehalten, d.h. es gibt in der nachfolgenden Tabelle keine Aussage darüber, in
welchem Ausmaß die identifizierten Erfolgsfaktoren in der GIZ umgesetzt oder berücksichtigt wurden. In der
empirischen Analyse hat sich „lediglich“ herausgestellt, dass ihre (Nicht-)Berücksichtigung einen Einfluss auf
die Effizienzbenotung in den PEV und ZPE hatte. Grundsätzlich ist auch zu beachten, dass die Phasenzuord-
nung der Kriterien, Erfolgsfaktoren und Leitfragen nicht zwingend für deren Anwendung gilt, sondern sie ergab
sich lediglich aus der Analyse der Dokumente.
Tabelle 10: Effizienzrahmen der Planung, Implementierung und Bewertung
EFFIZIENZKRITERIEN IN DER PLANUNG Erfolgsfaktoren
✓ Nutzung von Lernerfahrungen
Kontexterfahrung
Wissenstransfer zwischen Phasen
Innovations- und Lernprozesse
✓ Partizipative Planung
Partizipative Vorbereitung von Maßnahmen
Berücksichtigung von Zielgruppenperspektiven
Transparenz und Ownership
✓ Nutzung von Erkenntnissen aus Vorstu-
dien
Verbesserte Datenlage durch Baseline-Studien
Nachfrageorientierung durch Bedarfs- und Mach-
barkeitsanalysen
Gezielter Einsatz von technischen Studien
(ZUSÄTZLICHE) EFFIZIENZKRITERIEN IN
DER IMPLEMENTIERUNG Erfolgsfaktoren
✓ Nutzung eines Monitoringsystems
Ausreichende M&E Ressourcen
(Personal und Barmittel)
Orientierung durch das Monitoring für die Anpas-
sung von Maßnahmen zur Verbesserung von Leis-
tungen
Grundlage für die Überzeugung von Entschei-
dungsträgern.
✓ Nutzung von Synergien
Synergien mit anderen GIZ-Vorhaben
Synergien mit anderen Gebern
Synergien mit anderen deutschen Organisationen
Synergien innerhalb der deutschen EZ
✓ Verantwortlichkeiten
im Stakeholderumfeld
Beschreibung der Rollen und Verantwortlichkeiten
Nutzung von “Geberforen“
(Starke) Einbeziehung von Partnern bei Problemen
Bereitstellung einer Kommunikationsplattform
24
Im Folgenden werden die potenziellen und orientierungsgebenden Effizienzkriterien für die Planung, Imple-
mentierung und Bewertung im Detail vorgestellt und diskutiert. Da diese Kriterien prinzipiell sowohl für die Pro-
duktions- als auch Allokationseffizienz gelten und in den zur Verfügung gestellten (internen und externen) Be-
richten meist nicht weiter differenziert wurden, empfiehlt das Gutachter*innen-Team, alle Kriterien in allen Pha-
sen zu berücksichtigen und „mitzudenken“ und entweder in Beziehung zu den Outputs (Produktionseffizienz)
oder zu den Outcomes (Allokationseffizienz) zu setzen. Die in den jeweiligen Projektphasen allokierten Krite-
rien stellen aus Sicht des Gutachter*innen-Team jeweils zusätzliche, relevante Kriterien dar, die speziell für
diese jeweilige Projektphase gelten. Im Folgenden werden für alle Kriterien die Ergebnisse der quantitativen
Auswertungen (statistische Analysen) und qualitativen Auswertungen (MAXQDA Kodierungen und weitere In-
haltsanalysen) vorgestellt, kontrastiert und zusammengefasst. Zudem werden übergreifende Erfolgsfaktoren
der Effizienz gelistet und durch Beispiele veranschaulicht. Schließlich werden Empfehlungen und Operationali-
sierungsideen für jedes Kriterium ausgesprochen.
✓ Maßnahmen zur Verringerung von Risi-
ken
Abstimmung mit anderen Gebern (Stakeholdern)
Ausrichtung der Risikomaßnahmen an Organisati-
onen (und nicht Einzelpersonen)
Klare Beschreibung der Risiken; Risiken monitoren
und Handlungen ableiten
✓ HR Management
Prüfung der Angemessenheit der Personalfixkos-
ten
Prüfung der stärkeren Einbeziehung von nationa-
lem Personal bei gleicher Qualifikation
Adäquater Instrumentenmix
Fachliche Qualifikation des eingesetzten Perso-
nals
Vorausschauende Personalplanung zur Vermei-
dung von häufigem Personalwechsel oder verzö-
gerten Personaleinsätzen
✓ Kontinuierliches Wissensmanagement
Verbreitung von Erfahrungen und Wissen
Wissensmanagement als wesentlicher Manage-
mentprozess
Institutionalisierung von Wissen
✓ Partnermanagement und -nähe
Etablierung eines Steuerungskomitees
Kognitive und räumliche Nähe
Strategisch-konzeptionelle Aufstellung bzgl. der
Erwartungshaltung des Partners
(ZUSÄTZLICHE) EFFIZIENZKRITERIEN IN
DER BEWERTUNG Erfolgsfaktoren
✓ Vorteilhaftigkeit von Entscheidungen
Regelmäßige Reflexion von getroffenen Entschei-
dungen (z.B. Operationsplan, Reflexionstreffen,
M&E)
Überprüfung von Wirkungslogik/-modell und ggf.
Anpassung
Notwendige Änderungen auf Aktivitäten-Ebene
durchführen
✓ Kostenzuordnung
Kostenzuordnungen zu Personal/Administration
Unterscheidung zwischen Beratungs- und Sach-
leistungen
Follow-the-money
25
6.1 Orientierungsgebende Kriterien bei der Planung
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Partizipative Planung“ zusammengefasst.
Tabelle 11: Partizipative Planung
Analysefrage Waren Planungsprozesse partizipativ?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da dieses Kriterium erst zu ei-
nem späteren Zeitpunkt der Auswertung induktiv ergänzt wurde und es keine (signifikanten) Effekte
gibt.
MAXQDA Codes
• In 12 internen Berichten wurde Partizipation in der Planung als fördernder Faktor für Effizienz genannt.
• Dies entspricht 7 % aller Codes in der Planung.
• Auch in den externen Berichten wird partizipative Planung als fördernder Faktor genannt: Es wurden 19
Codes dazu identifiziert, was 5,3 % aller Codes der Planung entspricht.
Weitere Inhaltsanalysen
• Alle zur Verfügung gestellten externen Qualitätskontrollen (2013, 2014, 2015, 2016, 2017, 2018) zeigen
auf, dass partizipative Planungsprozesse entscheidend für die Wirtschaftlichkeit von Vorhaben sind.
• Bedeutung von partizipativer Planung für eine erhöhte Wirtschaftlichkeit wird in BMZ und GIZ Handrei-
chungen und Arbeitshilfen betont (GIZ Leitfaden Vorbereitung TZ Module 2018, GIZ Arbeitshilfe Kurz-
stellungnahme 2018, BMZ Handreichung Kurzstellungnahme 2017, GIZ Arbeitshilfe Prüfung 2018).
Beispiele für Erfolgsfaktoren
• Partizipative Vorbereitung von Maßnahmen: „Die Mitarbeiter […] konnten feststellen, dass durch die
partizipative Vorbereitung der Gemeinschaftsprojekte Maßnahmen zur direkten Unterstützung der Bau-
ernorganisationen beschleunigt (und somit kostensparender) wurden. Diese schnellere Umsetzung von
Schulungsmaßnahmen und Investitionen im Rahmen der Gemeinschaftsprojekte wirkt sich somit posi-
tiv auf die Gesamteffizienz des Projekts aus.“ (2013.2236.1_PEV 2017 PAD Tunesien)
• Partizipative Konzeption des Instrumentenmix: „In der idealen Konzeption der eingesetzten Instru-
mente eines Vorhabens werden Partnerwünsche mitgedacht, genauso wie Überlegungen zu Wirtschaft-
lichkeitsgesichtspunkten sowie zur Stabilität eines Vorhabens und seiner Risikoeinschätzung. Der je-
weilige Instrumentenmix kann zudem unter dem Aspekt der Wirksamkeit plausibilisiert werden (Externe
Qualitätskontrolle 2014).”
• Berücksichtigung von Zielgruppenperspektiven: “The programme has also contributed strongly to
capacity building and thus to increased empowerment at decentralised level for regional and district au-
thorities, and the team has worked hard on the integration of community voices within the planning pro-
cess.” (2015.2178.0_ZPE Programm zur Unterstützung des Gesundheitssektors)
• Transparenz und Ownership: „Gleichzeitig hat das Vorhaben über eine intensive und vor allem in ho-
hem Maße partizipative strategische und operative Planungsarbeit erhebliche Transparenz, ein gemein-
sames Verständnis und einen hohen Grad an Ownership zwischen den zentralen Durchführungspart-
nern geschaffen.“ (2014.2019.9_PEV 2017 Marokko ländliche Entwicklung)
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Die Analyse zeigt, dass die Partizipation von sowohl Partnern als auch der Zielgruppe in der Planung för-
dernd für die effiziente Implementierung eines Vorhabens ist.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor in der Planung zu berück-
sichtigen.
26
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Erkenntnisse aus Vorstudien“ zusammen-
gefasst.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Partizipative Budgetallokation für eine Projektvorphase, um gemeinsame Planungsprozesse zu ermögli-
chen
• Budgetierte Maßnahmen zur Förderung von Transparenz zwischen Partnern, z.B. partizipativ erarbeiteter
Operationsplan
Tabelle 12: Erkenntnisse aus (Vor)Studien
Analysefrage Basiert die Planung auf Erkenntnissen aus (wissenschaftlich) fun-
dierten (Vor)studien?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Die statistische Auswertung gibt keinen Aufschluss über den Einfluss des Kriteriums auf die Effizienzbe-
notung, zumal dieses Kriterium erst zu einem späteren Zeitpunkt der Auswertung induktiv ergänzt wurde
und es keine (signifikanten) Effekte gibt.
• Dies bedeutet nicht zwangsläufig, dass dieses Kriterium vernachlässigbar ist, sondern zunächst einmal,
dass dieses Kriterium bisher von den Evaluator*innen in den Evaluierungsberichten nicht prominent be-
rücksichtigt wurde.
MAXQDA Codes
• Kriterium „Erkenntnisse aus Vorstudien“ konnte durch induktive Vorgehensweise erkannt werden, da dies
vereinzelt erwähnt wurde.
• Mehrwehrt von Machbarkeits- und Scoping-Studien wird allerdings vermehrt in DFID- und EU-Berichten
genannt.
Weitere Inhaltsanalysen
• Bisher werden verschiede Programmoptionen nur unsystematisch gegenübergestellt und in Bezug zu
Wirtschaftlichkeit) bewertet; bewährte, definierte Methoden und damit verbundene Arbeitsprodukte (Prob-
lem-Tree, Stakeholder-Maps, SWOT-Analysen) werden unzureichend verwendet (Sonderuntersuchung
2015).
Beispiele für Erfolgsfaktoren
• Verbesserte Datenlage durch Baseline-Studien: „In particular, the baseline study is designed and im-
plemented on a scientific level that goes far beyond most studies done in the development context. The
methodology (e.g. propensity score matching, difference-in-difference; sample size) is precise, the results
highly relevant. The two costing studies use a methodology (Markov model, disease dynamics model) that
is on a high international scientific standard.“ (2009.2171.8_PEV 2015_Social Health Protection Cambodia)
• Nachfrageorientierung durch Bedarfs- und Machbarkeitsanalysen: „Eine Bedarfsstudie über die El-
ternkomitees welche die Interventionsstrategien präzisieren sollte, zeigte, dass viele Elternkomitees nicht
existierten oder funktionell waren, bzw. nicht partizipativ in Entscheidungsstrukturen eingebunden waren
und es an Kooperationsstrukturen zwischen […] mangelte.“ (2010.2042.9 _PEV 2015_REMAKI)
• Gezielter Einsatz von technischen Studien: „Sin embargo, la misión de evaluación estima que los estu-
dios de vulnerabilidad al CC realizados por el programa CliFor constituyen una buena herramienta de
sensibilización de los grupos agroforestales, pero no sirve para la definición precisa de medidas de adap-
taci6n de la producción agropecuaria al CC.” (Final Report_Honduras_MTE)
27
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Nutzung von Lernerfahrungen“ zusam-
mengefasst.
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Auch wenn es keine statistisch signifikanten Effekte gibt, wird die Wichtigkeit der Nutzung von in (wissen-
schaftlichen) Studien gewonnenen Erkenntnissen auf die Effizienz insbesondere in den externen Berich-
ten hervorgehoben.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Planung zu berück-
sichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Regelmäßige Anwendung von Bedarfsanalysen, um nachfrageorientierte Aktivitäten zu entwickeln
• Gegenüberstellung von Zielwerten und Baseline-Daten
• Verweise auf Daten und Erkenntnisse aus vorherigen Studien und Analysen
Tabelle 13: Beschreibung der Nutzung von Lernerfahrungen
Analysefrage
Wurde die Nutzung von I) in der Vergangenheit gemachten
Lernerfahrungen und/oder II) Lernerfahrungen aus anderen EZ-
Vorhaben logisch und nachvollziehbar beschrieben?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Mittelstarke bis starke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.34).
• Sehr hohes Signifikanzniveau (.005).
MAXQDA Codes
• Hohe Anzahl an Codes in internen Berichten (33); stellen 15 % aller Codes der Kategorie Planung dar.
Externe Berichte
• DIFD-Projektevaluierungsberichte beinhalten Unterkapitel, die die Umsetzung vorheriger Empfehlungen
beschreiben („Action on previous recommendations“).
Beispiele für Erfolgsfaktoren
• Kontexterfahrung: „Die Struktur der GIZ, ihr Personal und die vielen Jahre der Erfahrung im Land, […]
waren ein entscheidender Faktor und unschätzbarer Aktivposten für die hohe Effizienz und Verlässlich-
keit. Die GIZ Mitarbeiter, die an der Erarbeitung des Projektvorschlags und an der Projektdurchführung
beteiligt waren, konnten auf existierende Kontakte, Netzwerke und die Kenntnis des Sektors zurückgrei-
fen.“ (Evaluierungsbericht_08_II_049_gesamt)
• Wissenstransfer zwischen Phasen: “On the GIZ component, GIZ has made good use of lessons learnt
from implementation experience on the previous phase of support to inform the current phase. As well as
serving this internal facing effective programme management function, GIZ is also using the evidence and
experience generated to influence externally.” (TWM 2017 AR final)
• Innovations- und Lernprozesse: „Unter Berücksichtigung dieser Tatsache gehen die damit erzielten
Leistungen und Ergebnisse mit ständigen Verbesserungen, Innovationen und Lernprozessen einher. Der
Treuhandfonds stützt sich auf Erfahrungen, die mit ähnlichen Akteuren gesammelt wurden und denen
Studien und Bewertungen der Resilienz und der Entwicklungszusammenarbeit in
fragilen Situationen zugrunde liegen.“ (Bekou trust fund EU)
28
In der nachfolgenden Tabelle sind die Kriterien und Erfolgsfaktoren für die Planungsphase nochmals zusam-
mengefasst.
6.2 Orientierungsgebende Kriterien bei der Implementierung
In diesem Kapitel werden die spezifischen handlungsleitenden Kriterien zur wirtschaftlichen Implementierung
von Vorhaben gelistet und erörtert.
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Nutzung eines Monitoringsystems zur
Steuerung des Vorhabens“ zusammengefasst.
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Die Nutzung von Lernerfahrung hat zumindest in der statistischen Auswertung den höchsten Effekt auf die
Effizienzbenotung.
• Auch die qualitative Auswertung weist in die gleiche Richtung. Werden Lernerfahrungen genutzt, hat dies
grundsätzlich eine positive Auswirkung auf die Effizienz.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor zu berücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Systematische Erfassung von Lernerfahrungen
• Verweise auf Daten und Erkenntnisse aus vorherigen GIZ-Vorhaben und/oder Vorhaben anderer Geber
• Kritischer Umgang mit gemachten Lernerfahrungen aus anderen Vorhaben (kontextuelle Einordnung)
• Aufzeigen von möglichen Limitationen bei der Nutzung gemachter Lernerfahrungen in anderen Vorhaben
• Beschreibung von Lernprozessen
Tabelle 14: Orientierungsgebende Kriterien bei der Planung auf einen Blick
Kriterium Erfolgsfaktoren
✓ Nutzung von Lernerfahrungen
Kontexterfahrung
Wissenstransfer zwischen Phasen
Innovations- und Lernprozesse
✓ Partizipative Planung
Partizipative Vorbereitung von Maßnahmen:
Berücksichtigung von Zielgruppenperspektiven
Transparenz und Ownership
✓ Nutzung von Erkenntnissen aus Vorstu-
dien
Verbesserte Datenlage durch Baseline Studien
Nachfrageorientierung durch Bedarfs- und Machbar-
keitsanalysen
Gezielter Einsatz von technischen Studien
Tabelle 15: Nutzung eines Monitoringsystems
Analysefrage Gibt es ein Monitoringsystem und wird es Steuerung genutzt?
Statistische Auswertung Qualitative Auswertung
Kostenmonitoringsys-
tem
MAXQDA-Codes
• Die Relevanz des Monitorings für die effiziente Umsetzung eines Vorhabens
29
• Mittelstarke positive Kor-
relation zwischen die-
sem Kriterium und der
Effizienzbenotung (.27).
• Niedriges Signifikanzni-
veau (.16).
Aktivitätenmonitoring
• Mittelstarke positive Kor-
relation zwischen die-
sem Kriterium und der
Effizienzbenotung (.26).
• Hohes Signifikanzniveau
(.03).
Wirkungsmonitoring
• Mittelstarke positive Kor-
relation zwischen die-
sem Kriterium und der
Effizienzbenotung (.25).
• Hohes Signifikanzniveau
(.02).
wird auch bei der qualitativen Auswertung deutlich. So wurde die Frage ‚Wie
unterstützen Monitoringaktivitäten die Projekteffizienz?‘ sowohl bei den inter-
nen als auch bei den externen sehr oft gecoded:
Interne Berichte
- Sehr hohe Anzahl an Codes – 72 Codes
- 72 Codes in 51 Berichten
- 72 Codes entsprechen etwas 5,02 % aller vergebenen Codes
Externe Berichte
- Sehr hohe Anzahl an Codes – 60 Codes)
- 60 Codes in 44 Berichten
- 60 Codes entsprechen etwas 6,67 % aller vergebenen Codes
Beispiele für Erfolgsfaktoren
• Ausreichend M&E-Ressourcen: “GIZ has put in place a five-person Perfor-
mance Monitoring Team within the management structure of the project.
This team interacts closely with each of the Output teams to record the pro-
gress.” (2014_Annual Review -Access to Justice through Paralegal and Res)
• Guidance für die Umsetzung von Maßnahmen: „Die Einführung eines
Qualitäts-Management-Systems im […] erhöht die Effizienz der Zusammen-
arbeit erheblich, da sie Streuverluste der technischen Beratung reduziert (die
aufgrund von Personalfluktuation im Partnersystem entstehen) und eine so-
lide Basis für die Umsetzung weiterer Maßnahmen bietet.“
(2013.2202.3_PEV 2016 Uganda PREEEP)
• Anpassung und Verbesserung von Leistungen: „Die […] verfügt über ein
gut entwickeltes M&E-System, welches dazu beiträgt, die Planung und das
Management der Interventionen kontinuierlich zu verbessern. Die meisten
Aktivitäten wie die […] -Matchmaking-Events, Workshops, Konferenzen, ver-
schiedene Maßnahmen des Capacity Develoment und Politikberatung wer-
den durch Befragungen der Partner bzw. Kunden nach einem Standardpro-
zess überprüft. Dies ermöglicht eine ständige Anpassung und Verbesserung
der Leistungen auf Basis der Rückmeldung der Kunden und Teilnehmer.“
(2014.2500.8_PEV 2018 SV Energiepolitikberatung)
• Überzeugung von Entscheidungsträgern: „Es liegen bereits erste Ergeb-
nisse des Monitorings vor. Es kann erwartet werden, dass durch das Monito-
ring die Vorteile und der Nutzen der Solarthermie im sozialen Wohnungsbau
identifiziert werden können, und somit die politischen Entscheidungsträger
positiv für die weitere Unterstützung der Solarthermie motiviert werden kön-
nen“ (Evaluierungsbericht_08_I_040_gesamt)
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Monitoring wird sehr prominent erwähnt.
• Quantitative und qualitative Auswertungen zeichnen ein eindeutiges Bild: Wird ein Monitoringsystem zur
Steuerung genutzt, hat dies grundsätzlich eine positive Auswirkung auf die Effizienz.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung zu
berücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Unterscheidung, was genau gemonitored wird (Kosten, Aktivitäten, Wirkungen)
• Plan, wie Informationen genutzt werden
30
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Nutzung von Synergien“ zusammenge-
fasst.
• Nutzung von qualitativen und quantitativen Daten
• Triangulation von Methoden und Quellen
• Nutzung der Kompassinstrumente
• Häufigkeiten der Dateneingabe und Analyse
• Nutzung digitaler Lösungen
Tabelle 16: Nutzung von Synergien
Analysefrage Werden Synergien beschrieben und genutzt?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Mittelstarke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.25)
• Sehr hohes Signifikanzniveau (.0011)
MAXQDA Codes
• Das Kriterium „Synergien“ ist in den Berichten das am häufigsten erwähnte / diskutierte Kriterium zur För-
derung von Wirtschaftlichkeit. So wurden zu der Frage ‚Wie tragen Synergien zur Effizienz bei?‘ sowohl in
den internen (156 Codes in 140 Berichten, 10,88 % aller vergebenen Codes) als auch in den externen
Berichten (72 Codes in 52 Berichten, 8,01 % aller vergebenen Codes) viele Codes gesetzt.
• Die Codes konnten zudem nach unterschiedlichen Synergietypen klassifiziert werden. Synergien mit:
- anderen Gebern (49 Codes)
- anderen GIZ Vorhaben (33 Codes)
- anderen dt. Organisationen, z.B. KfW, AA, DIE (12 Codes)
- mit NGOs (11 Codes in 11 Berichten)
Weitere Inhaltsanalysen:
• Fünf von sechs Berichten der externen Qualitätskontrolle bestätigen den positiven Einfluss von Synergien
auf die Wirtschaftlichkeit von Vorhaben.
Wichtigkeit von Synergien und Geberharmonisierung für eine erhöhte Wirtschaftlichkeit wird in BMZ- und
GIZ-Handreichungen betont (BMZ-Handreichung Verfahrensablauf 2017, BMZ-Handreichung Kurzstellung-
nahmen 2017, GIZ-Arbeitshilfe Prüfung 2018).
Beispiele für Erfolgsfaktoren
• Synergien mit anderen GIZ-Vorhaben: „Als sehr effizient wird die Zusammenarbeit des Vorhabens mit
den GIZ- […] zu […] bezeichnet. Schneller, fachkompetenter und zeitlich gut terminierter Austausch trug
zu einer Verbesserung der Beratungsleistungen aller bei. Ebenso wird die Leitung der Arbeitsgruppe zu
den nachhaltigen Entwicklungszielen von den beteiligten Sektorvorhaben im […] geschätzt und vorhande-
nes Wissen regelmäßig genutzt.“ (2012.6259.1_PEV 2017 Fortschreibung der Ziele der Weltbevölkerung)
• Synergien mit anderen deutschen Organisationen: „Auch die Zusammenarbeit z. B. mit dem DIE oder
der ILO verbesserte neben der Qualität der Produkte (Synergie) auch durch faire Teilung der Finanzie-
rung das Kosten-Nutzen-Verhältnis im […].“ (2013.2094.4_PEV 2015 Beschäftigungsorientierte Entwick-
lungsstrategien und Vorhaben)
• Synergien innerhalb deutschen EZ: „Eine stärkere gemeinsame Konzeption von TZ- und FZ-Maßnah-
men innerhalb von EZ-Programmen könnte somit die Möglichkeiten erhöhen, Synergien auf der Wir-
kungsebene tatsächlich zu realisieren.“ (Externe Qualitätskontrolle 2017)
31
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Wissensmanagement“ zusammengefasst:
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Zweifelsohne spielen Synergien bei der Effizienzbetrachtung eine wichtige Rolle.
• Quantitative und qualitative Auswertungen zeichnen ein eindeutiges Bild: Werden Synergien genutzt, hat
dies grundsätzlich eine positive Auswirkung auf die Effizienz.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung
zu berücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Teilung der Finanzierung mit anderen Organisationen und Stakeholdern
• Gemeinsame Finanzierungskonzepte
• Einsparung von Kosten für die deutsche EZ durch die Nutzung von Synergien
• Nutzung von Wissen, das nicht selbst generiert wurde, bzw. von Daten, die nicht selbst erhoben wurden
Tabelle 17: Wissensmanagement
Analysefrage Wie beeinflusst Wissensmanagement die Effizienz?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da das Kriterium Wissensmanage-
ment erst zu einem späteren Zeitpunkt der Auswertung * ergänzt wurde und es keine (signifikanten) Ef-
fekte gibt.
MAXQDA Codes
• Da das Kriterium Wissensmanagement erst zu einem späteren Zeitpunkt der Auswertung induktiv ergänzt
wurde, wurde es nicht so oft gecoded (16 Codes in 14 Dokumenten). Trotzdem hat sich das Kriterium
Wissensmanagement bei der qualitativen Auswertung als wichtiges Kriterium, vor allem aber auch als
häufig genanntes Verbesserungspotenzial herauskristallisiert.
Beispiele für Erfolgsfaktoren
• Verbreitung von Erfahrungen und Wissen: „Die strategische Ausrichtung des Vorhabens auf die Ver-
breitung von Erfahrungen und Wissen, zum Teil bereits generiert im Vorläufervorhaben, trägt in hohem
Maße zur Effizienz des Vorhabens bei.“ (2013.2229.6_PEV 2017 Erneuerbare Energien und Energieeffi-
zienz)
• Wissensmanagement als wesentlicher Managementprozess: „Aus Sicht der Unterstützungs- und Ma-
nagementprozesse wird ebenfalls empfohlen, während der Restlaufzeit ein systematisches Wissensma-
nagement anzulegen, um die Effizienz des Vorhabens signifikant zu steigern.“ (2014.2019.9_PEV 2017
Marokko ländliche Entwicklung)
• Institutionalisierung von Wissen: „Obwohl es immer wieder zu Personalfluktuation […] kam, konnte
das Wissen durch kontinuierliche Maßnahmen institutionalisiert werden. Als ein besonders effektives In-
strument zum Austausch von Erfahrungen und Wissen hat sich die vom Projekt aufgebaute Geschäftsfüh-
rerplattform der IHKs entwickelt.“ (2008.2198.3_PEV 2016 Türkei Wirtschaftsförderung)
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Wissensmanagement wird in vielen Berichten als wichtiges Kriterium zur Erhöhung der Effizienz genannt.
32
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „HR-Management“ zusammengefasst.
• Auch wenn es keine statistisch signifikanten Effekte gibt, wird deutlich: Wenn Vorhaben ein besseres Wis-
sensmanagement (gehabt) hätten, (wäre) würde die Effizienz signifikant gesteigert (worden) werden kön-
nen.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung
zu berücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Speicherung, Zugang und Nutzung von Daten (inkl. Nutzung digitaler Lösungen; siehe auch Kriterium
„Nutzung von Monitoringsystemen“)
• Einbeziehung von Stakeholdern (siehe auch Kriterium Synergien)
• Institutionalisierung von Wissen
• Regelmäßige Jour Fixes, Workshops, Trainings
• Peer-learning-Aktivitäten
• Regelmäßiges Monitoring des Wissensaustauschs
• Austausch von guten Praktiken und negativen Erfahrungen
• Nutzung von Marketingmaterialen, Websites, Social Media
Tabelle 18: HR Management
Analysefrage Wie beeinflusst HR-Management die Effizienz?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da das Kriterium HR-Management
erst zu einem späteren Zeitpunkt der Auswertung induktiv ergänzt wurde und es keine (signifikanten) Ef-
fekte gibt.
MAXQDA Codes
• Obwohl das Kriterium ‚HR -Management‘, sowie das Unterkriterium ‚Instrumentenmix‘ erst zu einem spä-
teren Zeitpunkt der Auswertung induktiv ergänzt wurden, wurden sie sehr oft gecoded: 187 Codes in 132
Dokumenten, was 13,04 % aller Codes entspricht.
• Insbesondere der Einfluss entsandter Mitarbeiter*innen und Entwicklungshelfer (EH) als ein hoher Fixkos-
tenblock des Projekts (anstelle lokalen Personals) auf die Effizienz wurde oft thematisiert, der sich in eini-
gen Fällen negativ auf die Produktionseffizienz ausgewirkt hat.
• Grundsätzlich wurde mehrmals angemerkt, dass ein ausgewogener Mix aus lokalen und internationalen
Fachkräften positive Auswirkungen auf die Effizienz haben kann.
• Darüber hinaus wurde oft die Wichtigkeit der Qualifikationen des eingesetzten Personals zur Erhöhung
der Effizienz sowie der effizienzmindernde Einfluss einer hohen Personalfluktuation diskutiert.
Weitere Inhaltsanalysen
• Fünf von sechs externen Qualitätskontrollen bestätigen die Bedeutung eines angemessenen Instru-
mentenmix für eine erhöhte Wirtschaftlichkeit.
Beispiele für Erfolgsfaktoren
• Prüfung der Angemessenheit der Personalfixkosten: „Das Vorhaben hat einen überdurchschnittlichen
Bestand an entsandten Mitarbeitern und EH. Dies erhöht die Fixkosten und lässt weniger Spielraum für
Einzelmaßnahmen. Bei der in 2016 eingetretenen allgemeinen Budgetkürzung hat dies im […] zu einer
erheblichen Minderung der Aktivitäten geführt, was die Effizienz negativ beeinflusst hat.“
(2013.2291.6_PEV 2018 Benin Dezentralisierung und Kommunalentwicklung)
• Prüfung der stärkeren Einbeziehung von nationalem Personal bei gleicher Qualifikation: „Ein Neu-
vorhaben präsentierte im Auftragsklärungsgespräch ein detailliertes Instrumentenkonzept, in dem es auch
33
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Kommunikation von Verantwortlichkeiten“
zusammengefasst.
Sparsamkeitsansätze vorstellte. Diese bezogen sich auf die explizite Nutzung von nationalem Personal,
da dieses gegenüber dem internationalen Personal deutlich kostengünstiger ist. Gleichzeitig ist das natio-
nale Personal im Land sehr gut ausgebildet, sodass es kaum Unterschiede in der Qualität zwischen natio-
nalem und internationalem Personal gäbe.” (Sonderuntersuchung, 2015)
• Adäquater Instrumentenmix: „Der Instrumentenmix spielt für die Wirtschaftlichkeit des Vorhabens eine
entscheidende Rolle. Der Einsatz von internationalen Langzeitfachkräften auf der Makro- und Mesoebene
in Kombination mit Entwicklungshelfer/innen (EH) und nationalen Beratungsfachkräften insbesondere auf
der Meso- und Mikroebene ist ein bewährter und wirtschaftlicher Weg, das Modulziel zu erreichen.“
(2013.2073.8_PEV 2017 Förderung der Landwirtschaft Benin MZ 1)
• Fachliche Qualifikation des eingesetzten Personals: „Durch einen umfassenderen, fachlich orientier-
ten Einsatz von nationalem Personal hätte die Koordination mit den Partnerhochschulen und Entsendeor-
ganisationen erheblich verbessert werden können.“ (2013.2046.4_PEV 2017_Sozialen Sicherungssyste-
men in Südostasien)
• Vorausschauende Personalplanung zur Vermeidung von häufigen Personalwechsel oder verzö-
gerten Personaleinsätzen: „Hinzu kommen häufige Personalwechsel oder Verzögerungen von Perso-
naleinsätzen, die zwar größtenteils externer Natur waren, aber Auswirkungen auf die Gesamteffizienz des
Projekts haben.“ (2012.2501.0_PEV 2016 Algerien IDEE)
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Gutes HR-Management im Sinne von Fort- und Weiterbildungen des Personals und der Auswahl des
richtigen Personals (Auslandsmitarbeiter*innen vs. nationales Personal) wird häufig als wichtiges Krite-
rium zur Erhöhung der Effizienz genannt.
• Auch wenn es keine statistisch signifikanten Effekte gibt, wird nach der qualitativen Auswertung deutlich:
Wird überall dort, wo es möglich ist, qualifiziertes nationales Personal eingesetzt, trägt es häufig zur Erhö-
hung der Effizienz bei. Dies sagt allerdings nicht aus, dass dieses Kriterium grundsätzlich losgelöst vom
Kontext, von den Zielen und von dem zur Verfügung stehenden Personal betrachtet werden kann.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung
im Zusammenhang mit dem jeweiligen Kontext, den Zielen und dem zur Verfügung stehenden Personal
zu berücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Verhältnis zwischen entsandten Mitarbeiter*innen / EH und nationalem Personal
• Einsatz von nationalen Kurzzeitexpert*innen
• Qualifikationen des eingesetzten Personals
• Planung und Realisierung von Fort- und Weiterbildungen
• Zeitliche Vakanzen
Tabelle 19: Kommunikation von Verantwortlichkeiten
Analysefrage Sind Verantwortlichkeiten im Stakeholderumfeld klar kommuni-
ziert und verstanden?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Mittelstarke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.26).
• Sehr hohes Signifikanzniveau (.0043).
34
MAXQDA Codes
• Kommunikation im Stakeholderumfeld zur Klärung von Verantwortlichkeiten und Rollen hat sich als wichti-
ges Kriterium mit einem großen Einfluss auf die Effizienz eines Vorhabens herauskristallisiert (intern: 34
Codes in 29 Dokumenten, was 2,37 % aller Codes entspricht, extern: 36 Codes in 25 Dokumenten, was 4
% aller Codes entspricht).
Beispiele für Erfolgsfaktoren
• Beschreibung der Rollen und Verantwortlichkeiten: „Eine weitere Möglichkeit zur Steigerung der
Effizienz ist eine klare Beschreibung der Systemgrenze und insbesondere der Rollen und Verantwort-
lichkeiten des […]-Sekretariats, welches durch das SV wahrgenommen wird, sowie der […]-Steue-
rungsgruppe, der auch das BMZ angehört. Trotz zahlreicher Bemühungen gelang es dem durch das SV
wahrgenommenen […]-Sekretariat weniger gut, die Steuerungsfunktion der Steuerungsgruppe genauer
zu beschreiben oder sogar einzufordern.“ (2014.2246.8_PEV 2017 SV Desertifikationsbekämpfung)
• Nutzung von “Geberforen”: „There are several examples that the […] also realized efficiency beyond
the programme by its very active role to coordinate and pool resources with other donors. For this pur-
pose, the Donor Coordination Forum in […] was actively utilized for coordination and facilitation of activ-
ities with World Bank and DFID.” (2013.2183.5_PEV 2017 Pakistan)
• (Starke) Einbeziehung von Partnern (bei Problemen): „Das Vorhaben war in der Lage, in Koopera-
tion mit […] fünf Ministerien an einen Tisch zu bringen, um geschäftshemmende Probleme auf nationa-
ler Ebene zu lösen.” (2014.2176.7_PEV 2017 SEDEP Afghanistan)
• Bereitstellung einer Kommunikationsplattform: “Providing a platform for joint analysis of these
homemade obstacles and development of possible solutions in participatory ways, broadening courses
of action within the public sector has been a small but appreciated contribution of SCSI in this context.”
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Zweifelsohne spielen klare Verantwortlichkeiten und Rollenverteilungen bei der Effizienzbetrachtung eine
wichtige Rolle.
• Quantitative und qualitative Auswertungen zeichnen ein eindeutiges Bild: Gibt es klare Verantwortlichkei-
ten und Rollenverteilungen, hat dies grundsätzlich eine positive Auswirkung auf die Effizienz.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung zu
berücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Regelmäßige Nutzung von Foren und Kommunikationsplattformen
• Einbeziehung von Partnern (besonders bei Herausforderungen und Problemen)
• Verschriftlichungen von Verantwortlichkeiten und Rollen
• Entwicklung eines Kommunikationsplans
• Einführung von Jour Fixes
• Regelmäßige Workshops zum Abgleich von Erwartungen und zur Verteilung von Verantwortlichkeiten
35
In der nachfolgenden Tabelle sind die Ergebnisse für die Kriterien „Partnermanagement und -nähe“ zusam-
mengefasst.
Tabelle 20: Partnermanagement und -nähe
Analysefrage Wie beeinflussen die Managementstruktur im Hinblick auf die
Nähe zu den Partnern die Effizienz? (AE)
Quantitative und qualitative Auswertung
Statistische Auswertung
• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da das Kriterium Management-
struktur im Hinblick auf die Nähe zu den Partnern erst zu einem späteren Zeitpunkt der Auswertung induk-
tiv ergänzt wurde und es keine (signifikanten) Effekte gibt.
MAXQDA Codes
• Auch wenn das Kriterium partnerorientierte Managementstruktur erst zu einem späteren Zeitpunkt der
Auswertung induktiv ergänzt wurde, konnten insgesamt 75 Codes in 58 Dokumenten erstellt werden, (das
entspricht 5,23 % aller Codes).
• In den Berichten gibt es viele Beispiele, die die bestehenden Managementstrukturen verantwortlich für die
eine hohe bzw. fehlende Effizienz verantwortlich machen. Die schließt auch Maßnahmen zur Erhöhung
der Koordinierung und der Nähe zum Partner mit ein.
Beispiele für Erfolgsfaktoren
• Etablierung eines Steuerungskomitees: „a Programme Steering Committee (PSC) was established to
improve coordination, which includes development partners as well as representatives from other major
stakeholder groups.“ (2013.2046.4_PEV 2017_Sozialen Sicherungssystemen in Südostasien)
• Kognitive und räumliche Nähe: „Hierbei spielt die Tatsache, dass das Programmteam räumlich im Ge-
bäude der Partnerorganisationen angesiedelt ist, eine besondere Rolle. Dies ermöglicht direkten Aus-
tausch, flexible Beratung, das Prüfen von Alternativen und zeitnahes Reagieren auf Anfragen, so dass
Herausforderungen „Hand in Hand“ bearbeitet werden können und Abstimmungsschleifen reduziert wer-
den.“ (2010.2242.5_PEV 2015_Jordanien Bewirtschaftung der Wasserressourcen)
• Strategisch-konzeptionelle Aufstellung bzgl. der Erwartungshaltung des Partners: „Ein wesentlicher
Punkt hinsichtlich der Effizienz ist jedoch die Zusammenarbeit zwischen Vorhaben und politischem Part-
ner. Das Verhältnis hat sich im Laufe des Jahre 2015 sukzessiv verschlechtert. Der politische Partner hat
dem Prüfteam umfangreiches Material (Protokollabschriften, Mailverkehr etc.) zukommen lassen, indem
u.a. die Nichteinhaltung von Absprachen und zu lange Reaktionszeiten angemahnt wurden. Für einzelne
Punkte konnten vom Vorhaben dafür glaubhafte Gründe geltend gemacht werden, für andere Punkte gibt
es keine Stellungnahme. Eine Überprüfung aller Einzelpunkte ist dem Prüfteam jedoch nicht möglich. Ins-
gesamt lässt sich jedoch eine große Diskrepanz zwischen der Erwartungshaltung des politischen Partners
und der strategisch-konzeptionellen und personellen Aufstellung des Vorhabens ableiten, was Auswirkun-
gen auf die Gesamteffizienz des Projektes hat.“ (2012.2501.0_PEV 2016 Algerien IDEE)
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Es zeigt sich, dass eine den Erwartungen des Partners angepasste Managementstruktur signifikant die
Effizienz von Vorhaben erhöht.
• Auch wenn es keine statistisch signifikanten Effekte gibt, wird nach der qualitativen Auswertung deutlich:
Anpassungen der Managementstruktur, die eine räumliche und fachliche Nähe zum Partner sicherstellen,
erhöhen die Effizienz.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung zu
berücksichtigen.
36
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Maßnahmen zur Verringerung von Risi-
ken“ zusammengefasst.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Mit Partnern gemeinsam etablierte task forces, Arbeitsgruppen und Komitees zur Schaffung von kogniti-
ver Nähe durch „temporäre gemeinsame Räume“
• Prüfung von Maßnahmen zur Realisierung einer räumlichen Nähe zum Partner
• Klare Verantwortlichkeiten für Partner und Vorhaben und geeignete Kommunikationswege um diese zu
kommunizieren
• Benennung konkreter Ansprechpartner für spezifische Aufgabenbereiche
• Maßnahmen zur Integrierung von operativen Partnern und anderen Stakeholdergruppen in strategische
und operative Planung von Aktivitäten
Tabelle 21: Maßnahmen zur Verringerung von Risiken
Analysefrage Sind Risiken und Maßnahmen, diese Risiken zu verringern, be-
schrieben?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Mittelstarke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.24).
• Sehr niedriges Signifikanzniveau (.024).
MAXQDA Codes
• Das Kriterium „Maßnahmen zur Verringerung von Risiken“ hat sich als wichtiges Kriterium mit einem
großen Einfluss auf die Effizienz eines Vorhabens herauskristallisiert (intern: 71 Codes in 57 Dokumen-
ten, was 4,95 % aller Codes entspricht, extern: 52 Codes in 22 Dokumenten, was 5,78 % aller Codes
entspricht).
Weitere Inhaltsanalysen
• Sonderbericht des Europäischen Rechnungshofes (2015) nennt unangemessene Betrachtung von Risi-
ken als hindernden Faktor in der Mehrheit der Projekte.
• Externe Qualitätskontrolle 2013 und 2014 betonen Bedeutung von Partnereinbindung in Risikoanaly-
sen.
Beispiele für Erfolgsfaktoren
• Abstimmung mit anderen Gebern (Stakeholdern): „Eine wichtige Rolle in der Minderung politischer Ri-
siken spielt der enge politische Dialog mit anderen Gebern ([…]), sowohl im Hinblick auf die Bewertung
der Entwicklung der einzelnen Risiken wie auch zur Abstimmung von möglichen gemeinsamen Reaktio-
nen und Maßnahmen der Prävention oder Minderung (WZ-Referent vor Ort).“ (2008.2223.9_PEV
2015_RoGo RDC)
• Ausrichtung der Riskomaßnahmen an Organisationen (und nicht Einzelpersonen): „The discus-
sions with the project team and the partners revealed that the project has constantly taken account of the
risks. For example, the project did not link its cooperation with partners to specific individuals but to institu-
tions. In this way it successfully avoided cooperation fracturing in the event of personnel changes at the
head of the institutions or at working level.” (2013.2145.4_PEV 2016 Kenia Good Gov)
• Klare Beschreibung der Risiken: „Risiken und Annahmen wurden in der Planungsphase klar definiert
und fortlaufend beobachtet und bewertet.“ (2013.2198.3_PEV 2017 Südsudan Ländliche Entwicklung)
• Etablierung eines Risikomanagementsystems: „Im Angebot antizipierte Risiken sind teilweise eingetre-
ten, durch ein insgesamt gutes Risikomanagement waren die Auswirkungen auf den Projekterfolg jedoch
begrenzt.“ (2015.2026.1_PEV 2018 LAmerika Trifinio)
37
In der nachfolgenden Tabelle sind die Kriterien für die Implementierungsphase zusammengefasst.
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Der Umgang mit Risiken spielt zweifelsohne eine wichtige Rolle bei der Effizienzbetrachtung.
• Quantitative und qualitative Auswertungen zeichnen hier ein eindeutiges Bild: Sind Risiken und Maßnah-
men klar beschrieben, hat dies grundsätzlich eine positive Auswirkung auf die Effizienz.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung zu
berücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Beschreibung von Risiken
• Beschreibung von Maßnahmen zur Verhinderung von Risiken
• Aufbau und Nutzung eines Risikomanagementsystems
• Klare Verteilung von Verantwortlichkeiten beim Umgang mit Risiken und Herausforderungen (Fokus: Or-
ganisationen)
• Beschreibung von Abstimmungsprozessen mit Stakeholdern
Tabelle 22: Orientierungsgebende Kriterien bei der Implementierung auf einen Blick
Kriterium Erfolgsfaktoren
✓ Nutzung eines Monitoringsystems
Ausreichende M&E-Ressourcen (Personal und Bar-
mittel)
Orientierung durch das Monitoring für die Anpassung
von Maßnahmen zur Verbesserung von Leistungen
Grundlage für die Überzeugung von Entscheidungs-
trägern.
✓ Nutzung von Synergien
Synergien mit anderen GIZ-Vorhaben
Synergien mit anderen Gebern
Synergien mit anderen deutschen Organisationen
Synergien innerhalb der deutschen EZ
✓ Verantwortlichkeiten im Stakeholder-
umfeld
Beschreibung der Rollen und Verantwortlichkeiten
Nutzung von “Geberforen“
(Starke) Einbeziehung von Partnern (bei Problemen
Bereitstellung einer Kommunikationsplattform
✓ Maßnahmen zur Verringerung von Ri-
siken
Abstimmung mit anderen Gebern (Stakeholdern)
Ausrichtung der Risikomaßnahmen an Organisatio-
nen (und nicht Einzelpersonen)
Klare Beschreibung der Risiken; Risiken monitoren
und Handlungen ableiten
✓ HR Management
Prüfung der Angemessenheit der Personalfixkosten
Prüfung der stärkeren Einbeziehung von nationalem
Personal bei gleicher Qualifikation
Adäquater Instrumentenmix
Fachliche Qualifikation des eingesetzten Personals
Vorausschauende Personalplanung zur Vermeidung
von häufigen Personalwechsel oder verzögerten Per-
sonaleinsätzen
✓ Kontinuierliches Wissensmanagement
Verbreitung von Erfahrungen und Wissen
Wissensmanagement als wesentlicher Management-
prozess
38
6.3 Orientierungsgebende Kriterien bei der Bewertung
Die Analysen zur Bewertung der Effizienz umfassen zwei Aspekte: Zum einen wurde untersucht, ob und wie
Wirtschaftlichkeit/Effizienz in den Berichten definiert wurde. Zum anderen wurden zusätzliche Bewertungskrite-
rien dargestellt, die komplementär zu den oben genannten Kriterien bei der Evaluierung von Effizienz verwen-
det werden sollten.
Institutionalisierung von Wissen
✓ Partnermanagement und -nähe
Etablierung eines Steuerungskomitees
Kognitive und räumliche Nähe
Strategisch-konzeptionelle Aufstellung bzgl. der
Erwartungshaltung des Partners
Tabelle 23: Definition von Effizienz/Wirtschaftlichkeit
Analysefrage Wie wurde Wirtschaftlichkeit / Effizienz definiert?
Quantitative und qualitative Auswertung
Statistische Auswertung
• Die Analyse hat gezeigt, dass Projekte, die im Rahmen von ZPEs bewertet wurden, grundsätzlich besser
benotet wurden als PEV (1,93 vs. 2,19).
• Auch wenn die statistische Auswertung noch nicht viel über die Qualität der Berichte aussagt, so kann
aber konstatiert werden, dass in den ZPEs viele der aufgelisteten Kriterien mehr berücksichtigt wurden als
in den PEV und der Begriff Effizienz terminologisch öfter abgegrenzt wurde.
MAXQDA Codes
• Effizienzdefinitionen wurden in 49 der 174 internen Berichte codiert.
• ZPEs definieren Effizienz durchgängig als Transformationseffizienz und unterscheiden zwischen Produk-
tions- und Allokationseffizienz: „The OECD/DAC criteria for efficiency refers to the appropriateness of the
project’s use of resources with regards to the achieved outputs (1) and to the appropriateness of the pro-
ject’s use of resources with regards to achieving the TC measure’s goal (outcome).” (2015.2049.3_ZPE
Sector Programme Sustainable Sanitation)
• Definitionen in den PEVs variieren stark und beinhalten verschiedene Wirtschaftlichkeitsaspekte, wie die
Angemessenheit des Ressourceneinsatzes: „Die Beurteilung der Effizienz des Vorhabens bemisst sich a)
an der Angemessenheit des Ressourceneinsatzes im Hinblick auf die Erreichung der Ziele sowie b) an
der Komplementarität mit anderen Vorhaben.“ (2011.2226.6_PEV 2015_SV Entwicklung Ländlicher
Räume)
• Effizienzdefinitionen wurden in 26 der 64 externen Berichten codiert.
• DFID-Berichte beziehen sich bspw. ausschließlich auf das Value-For-Money (VfM) Konzept: „VfM is con-
sidered across five dimensions: Economy, Efficiency, Effectiveness, Cost-Effectiveness and Equity.”
(TWM 2017 AR final)
• BMU-Berichte untersuchen unter dem Kriterium verschiedene Unterfragen: „(i) Kosteneffizienz der durch-
geführten Maßnahmen, (ii) Erfordernis durchgeführter Einzelaktivitäten für die Zielerreichung, (iii) Nut-
zungsgrad der Leistungen des Projekts durch die Zielgruppe/Mittler.“ (bspw. Evaluierungsbe-
richt_08_I_001_gesamt)
• Ein EU-Bericht setzt den Fokus auf Dimensionen der Implementierungseffizienz: „Have activities been
cost-efficient? Are objectives in track to be achieved on time? Is the project being implemented in the
most efficient way compared to alternatives?” (bspw. CTR - Approved final report)
Weitere Inhaltsanalysen
• Wie beschrieben, kamen Untersuchungen der letzten Jahre zu dem Ergebnis, dass es sowohl in der GIZ
39
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Kostenzuordnung“ zusammengefasst.
als auch zwischen GIZ und BMZ kein einheitliches Verständnis zum Wirtschaftlichkeitsbegriff gibt (siehe
oben).
• Die GIZ bewegt sich zudem in einem Spannungsfeld zwischen den Auffassungen zum Wirtschaftlichkeits-
verständnis der OECD, des BMZ und des Rechnungshofs. Daher werden Empfehlungen für ein hand-
lungsleitendes Wirtschaftlichkeitsverständnis als äußerst notwendig erachtet (siehe oben).
Schlussfolgerungen und Empfehlungen
Schlussfolgerungen und Empfehlungen
• Die Evaluierungsberichte zeigen, dass ein einheitliches Effizienzverständnis notwendig ist.
• Eine Arbeitsdefinition wurde in Kapitel 3 vorgestellt.
Tabelle 24: Kostenzuordnungen
Analysefrage Werden Kosten auf verschiedene Posten aufgeteilt und das
Projektvolumen in Bezug auf die Aktivitäten diskutiert?
Quantitative und qualitative Auswertung
Da in den meisten Fällen die Kosten in den Evaluationsberichten weder den Outputs noch den Outcomes
zugeordnet werden, hat das Gutachter*innen-Team auch nach anderen Qualitätsmerkmalen gesucht, hin-
sichtlich derer sich die Berichte unterscheiden. Insbesondere zwei Aspekte sind hier zu nennen: Die Auftei-
lung der Kosten auf unterschiedliche Posten und die Diskussion des Projektvolumens in Bezug auf die Akti-
vitäten:
Statistische Auswertung
• Aufgrund der kaum vorhandenen Informationen konnte keine statistische Auswertung erfolgen.
MAXQDA Codes
• Erstaunlicherweise werden in den meisten Berichten weder die Kosten noch die Diskussion des Pro-
jektvolumens in Bezug auf die Aktivitäten bei der Effizienzbewertung aufgegriffen. Eine Diskussion des
Projektvolumens konnte in nur zehn internen Berichten und eine Aufteilung der Kosten in 13 als Codes
identifiziert werden.
• In den externen Berichten werden diese beiden Dimensionen im Verhältnis häufiger diskutiert. So fin-
den sich 13 Dokumente, in denen das Projektvolumen diskutiert wird und sogar 24 Codings, in denen
eine Aufteilung der Kosten stattfindet.
Weitere Inhaltsanalysen
• In den aktuellen Diskussionen des DAC-Netzwerkes zur Evaluierung in der Entwicklungszusammenar-
beit wird die Kostenanalyse als Dimension der Effizienz genannt
(OECD DAC 2019).
Beispiele für Erfolgsfaktoren
• Anteilige Kosten Personal/Administration: „Dementsprechend liegen über 60 % der Ausgaben bei
Personalkosten, die sich aus internem Personal, aber auch ausgelagerten Projektaktivitäten durch die
[…] für den Bereich Monitoring und Evaluierung und […] für die Komponente 3 zusammensetzen.”
Oder “Roughly one third of the total expenses (€ 2.565.000 by the time of evaluation) can be directly
attributed to administrative expenses.” (2010.2042.9 _PEV 2015_REMAKI)
• Unterscheidung zwischen Beratungs- und Sachleistungen: Es handelt sich insgesamt um ein Bera-
tungsprojekt, bei dem der Großteil der Kosten für Consultingleistung ausgegeben wurde
(z.B. 38 % des Budgets für GIZ-Personal). Wenngleich dies grundsätzlich nicht zu beanstanden ist,
40
In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Vorteilhaftigkeit von Entscheidungen“ zu-
sammengefasst.
stellt sich doch die Frage, ob nicht durch eine Erhöhung der Sachleistungen (als matching fund zu den
Eigenleistungen der Pächter) die Effizienz hätte erhöht werden können. Insgesamt waren 5,8 % des
Budgets für Pflanzgut, Zäune, Bewässerungsanlagen und dgl. vorgesehen.“ (Evaluierungsbe-
richt_09_II_053_gesamt)
• Follow-the-money: „The efficiency analysis in the context of the GIZ project evaluations is based on an
Excel tool which captures (retrospectively, at the time of the evaluation) all project-related costs and es-
timates how they are distributed among cost-categories (e.g. for personnel, consultancies, financing in-
struments, partner contributions) and among the different outputs in order to gain an understanding of
the cost-intensity of each output (“follow-the-money-approach”). (2013.2137.1_ZPE Health Cambodia)
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Obwohl Kostenzuordnungen bisher kaum Teil der Effizienzbewertung sind, erachtet das Gutachter*innen-
Team das Kriterium als äußerst relevant zur Erhöhung der Effizienz.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Bewertung zu be-
rücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Kostenzuordnung zu Aktivitäten
• Kostenzuordnungen zu Outputs
• Andere Kostenzuordnungen
Tabelle 25: Beschreibung der Vorteilhaftigkeit von Entscheidungen
Analysefrage
Wurden die Vorteilhaftigkeit von Entscheidungen und die Er-
wägung von Alternativen logisch und nachvollziehbar be-
schrieben?
Quantitative und qualitative Auswertung
Statistische Ergebnisse:
• Mittelstarke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.25).
• Mittleres Signifikanzniveau (.08).
MAXQDA Codes
• Die Evaluierungsberichte nennen nicht explizit die Vorteilhaftigkeit von Entscheidungen als Kriterium zur
Bewertung von Wirtschaftlichkeit, sehen jedoch die Erwägung von Alternativen oft als Verbesserungspo-
tential
• Jedoch wird die Reaktion auf ein veränderndes Umfeld bewertet: In den externen Berichten gibt es 26
Codes, in den internen 44 Hinweise zu Reaktionen auf Veränderungen in der Umwelt.
Weitere Inhaltsanalysen
• Drei von sechs Dokumenten der Externen Qualitätskontrolle nennen explizit die Bedeutung der Vorteilhaf-
tigkeit von Entscheidungen (2013, 2017, 2018).
• In den aktuellen Diskussionen des DAC-Netzwerkes zur Evaluierung in der Entwicklungszusammenarbeit
wird die Erwägung von Alternativen als Dimension der Effizienz genannt (OECD DAC 2019).
41
In der nachfolgenden Tabelle sind die Kriterien für die Bewertungsphase zusammengefasst.
Beispiele für Erfolgsfaktoren
• Regelmäßige Reflexion von getroffenen Entscheidungen (z.B. Operationsplan, Reflexionstreffen,
M&E): „Ein wichtiger Gesichtspunkt in Bezug auf die Wirtschaftlichkeit der Vorhabensdurchführung ist
die Selbsteinschätzung der Vorhaben und inwiefern ungenutzte Wirtschaftlichkeitspotenziale durch al-
ternative Vorgehensweisen genutzt werden könnten. Damit verbunden ist die Frage, ob in der Durch-
führung Anpassung des Vorgehens oder eine veränderte Strategie aufgrund von wirtschaftlichen Grün-
den, z. B. Fehlplanungen, notwendig geworden ist.“ (Externe Qualitätskontrolle 2014)
• Überprüfung der Wirkungslogik /-modell und ggf. Anpassung: „Überprüfung und – im Bedarfsfall –
Anpassung der Wirkungshypothesen erfolgt nicht in der notwendigen Konsequenz und Breite, d. h. die
regelmäßige Reflexion, ob die der Konzeption zugrunde liegenden Wirkungsannahmen zutreffend sind,
erfolgt nicht ausreichend. Dies erhöht das Risiko von Effektivitäts- und Wirtschaftlichkeitsverlusten,
wenn notwenige Umsteuerungsbedarfe nicht oder zu spät erkannt werden.“ (Externe Qualitätskontrolle
2018)
• Notwendige Änderungen auf Aktivitäten-Ebene: “While the objective of the project remained valid
over time, the provided support shifted – in line with the government’s reform program – from regulatory
and supervisory reforms to the development of innovative products and delivery channels. As described
above, the microfinance law was not approved, so alternative approaches to support the viability and
growth of the microfinance sector were needed.” (2007.2176.1_PEV 2016 Indien RFIP)
Schlussfolgerungen, Empfehlungen und Operationalisierungsideen
Schlussfolgerungen und Empfehlungen
• Sowohl quantitative als auch qualitative Analysen zeigen, dass die Vorteilhaftigkeit und die Erwägung von
Alternativen wichtig ist für Wirtschaftlichkeit.
• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Bewertung zu be-
rücksichtigen.
Operationalisierungsideen auf Basis der empirischen Ergebnisse
• Beschreibung von alternativen Ansätzen im Hinblick auf die (nur falls möglich):
- Auswahl von und Zusammenarbeit mit Partnern, Stakeholder- und Zielgruppen
- Durchführung bestimmter Aktivitäten
- Finanzierungsform
• Identifikation zusätzlicher Wirkungen
• Anpassung von Wirkungshypothesen
Tabelle 26: Orientierungsgebende Kriterien bei der Bewertung auf einen Blick
Kriterium Erfolgsfaktoren
✓ Kostenzuordnung
Anteilige Kosten Personal/Administration:
Unterscheidung zwischen Beratungs- und Sachleistun-
gen
Follow-the-money
✓ Vorteilhaftigkeit von Entscheidungen
Regelmäßige Selbsteinschätzungen
Änderung des Wirkungsmodells
Änderungen von Aktivitäten
42
7 Ranking der Kriterien auf Basis der Sekundärdaten-auswertung
Auf Basis der vorgenommenen Analysen kann folgendes Ranking vorgestellt werden. Falls sowohl bei der
quantitativen Auswertung (statistisch signifikante Effekte einzelner Kriterien auf die Effizienzbenotung) als auch
bei der qualitativen Auswertung (Anzahl an Codes) eine hohe Relevanz bescheinigt werden konnte, wurden sie
der Ebene 1 (sehr wichtig) zugeordnet. Falls eine hohe Relevanz entweder nur durch die quantitative Auswer-
tung oder nur durch die qualitative Auswertung nachgewiesen werden konnte, wurden die Kriterien der Ebene
2 (wichtig) zugeordnet. Falls nur vereinzelt und anekdotisch ein Einfluss gefunden wurde, wurden sie der
Ebene 3 (nicht zu vernachlässigen) zugeordnet.
Tabelle 27: Ranking der Kriterien
Sowohl quantitative als auch qualitative Datenquellen – Ebene 1 (sehr wichtig)
✓ Nutzung von Lernerfahrungen
✓ Nutzung eines Monitoringsystems
✓ Nutzung von Synergien
✓ Vorteilhaftigkeit von Entscheidungen
✓ Verantwortlichkeiten im Stakeholderumfeld
✓ Maßnahmen zur Verringerung von Risiken
Nur eine Datenquelle bestätigt Wichtigkeit – Ebene 2 (wichtig)
✓ Partizipative Planung
✓ Kontinuierliches Wissensmanagement
✓ HR Management
✓ Partnermanagement und -nähe
Optionales Kriterium – Ebene 3 (nicht zu vernachlässigen)
✓ Erkenntnisse aus Vorstudien
✓ Kostenzuordnung
43
8 Empfehlungen zur Operationalisierung: Leitfragen
Die nachfolgende Tabelle ergänzt die orientierungsgebenden Effizienzkriterien und Erfolgsfaktoren mit offenen
Leifragen. Aus Sicht des Gutachter*innen-Teams könnte diese Tabelle grundsätzlich ausreichen, eine Effi-
zienzbetrachtung in jeder Phase des Projektzyklus‘ zu vereinfachen. Es ist zu beachten, dass sie aber mehr
als Denkanstoß verstanden werden soll und weniger als eine Checkliste, bei der jede Frage abgehakt werden
muss.
Tabelle 28: Effizienzkriterien – Erfolgsfaktoren – Leitfragen für Planung, Durchführung und Bewertung auf einen Blick
Effizienzkriterien Planung Erfolgsfaktoren Leitfragen
Nutzung von Lernerfahrungen
(Ebene 1 – sehr wichtig)
✓ Kontexterfahrung
✓ Wissenstransfer zwischen Pha-sen
✓ Innovations- und Lernprozesse
Gibt es eine Beschreibung von Ansätzen zur systematischen Er-fassung von Lernerfahrungen?
Können Daten und Erkenntnisse aus vorherigen GIZ-Vorhaben und/oder Vorhaben anderer Ge-ber genutzt werden?
Gibt es einen kritischen Umgang mit gemachten Lernerfahrungen aus anderen Vorhaben (kontextu-elle Einordnung)?
Werden mögliche Limitationen bei der Nutzung gemachter Lerner-fahrungen in anderen Vorhaben aufgezeigt?
Werden Lernprozesse beschrie-ben?
Werden Lernerfahrungen gemein-sam mit Partnern besprochen und ausgewertet?
Partizipative
Planung
(Ebene 2 – wichtig)
✓ Partizipative Vorbereitung von Maßnahmen
✓ Berücksichtigung von Zielgrup-penperspektiven
✓ Transparenz und Ownership
Sind Maßnahmen geplant, die zur Förderung von Transparenz zwi-schen Partnern beitragen, z.B. partizipativ erarbeiteter Operati-onsplan?
Werden in der Projektphase parti-zipative Planungselemente einge-setzt?
Später in der Implementierung: Wird die Planung partizipativ fort-geschrieben?
Nutzung von
Erkenntnissen aus Vorstudien
(Ebene 3 – nicht zu vernachläs-
sigen)
✓ Verbesserte Datenlage durch Baseline Studien
✓ Nachfrageorientierung durch Bedarfs- und Machbarkeitsana-lysen
✓ Gezielter Einsatz von techni-schen Studien
Werden Bedarfsanalysen genutzt, um Aktivitäten zu entwickeln?
Werden Zielwerte und Baseline-Daten gegenübergestellt und bei der Planung berücksichtigt?
Können Daten und Erkenntnisse aus vorherigen Studien und Ana-lysen genutzt werden?
44
Effizienzkriterien Implemen-
tierung Erfolgsfaktoren Leitfragen
Nutzung eines Monitoringsys-
tems
(Ebene 1 – sehr wichtig)
✓ Ausreichende M&E Ressourcen (Personal und Barmittel)
✓ Orientierung durch das Monito-ring für die Anpassung von Maßnahmen zur Verbesserung von Leistungen
✓ Grundlage für die Überzeugung von Entscheidungsträgern.
Werden digitale Lösungen ge-nutzt? (Effizienz)
Wird das M&E-System für die Steuerung des Vorhabens ge-nutzt?
Gibt es einen Plan, wie Informati-onen genutzt werden (sollen)?
Werden sowohl qualitative als auch quantitative Daten erhoben?
Werden unterschiedliche Metho-den trianguliert?
Wie häufig findet eine Datenein-gabe und -analyse statt?
Nutzung von Synergien
(Ebene 1 – sehr wichtig)
✓ Synergien mit anderen GIZ-Vor-haben
✓ Synergien mit anderen deut-schen Organisationen
✓ Synergien innerhalb der deut-schen EZ
Wird die Finanzierung mit ande-ren Organisationen und Stakehol-dern geteilt bzw. gibt es Kofinan-zierungen?
Gibt es gemeinsame Investitions-konzepte bzw. gemeinsam durch-geführte Maßnahmen?
Werden Kosten für das deutsche EZ-System eingespart durch die Nutzung von Synergien?
Wird auch Wissen genutzt, das nicht selber generiert wurde, bzw. Daten, die nicht selber erhoben wurden?
Verantwortlichkeiten im Stake-
holderumfeld
(Ebene 1 – sehr wichtig)
✓ Beschreibung der Rollen und Verantwortlichkeiten
✓ Nutzung von “Geberforen“
✓ (Starke) Einbeziehung von Part-nern (bei Problemen)
✓ Bereitstellung einer Kommuni-kationsplattform
Inwieweit werden Partner (beson-ders bei Herausforderungen und Problemen) einbezogen?
Sind Verantwortlichkeiten und Rollen verschriftlicht – im Projekt, im Partnerumfeld und im Geber-umfeld?
Koordinieren die Partner die Ge-ber? Gibt es einen akzeptierten Kom-munikationsplan? Wie wird dieser umgesetzt?
Gibt es Jour Fixes mit anderen Stakeholdern?
Gibt es regelmäßige Workshops zum Abgleich von Erwartungen und zur Verteilung von Verant-wortlichkeiten?
Maßnahmen zur Verringerung
von Risiken
(Ebene 1 – sehr wichtig)
✓ Abstimmung mit anderen Ge-bern (Stakeholdern)
✓ Ausrichtung der Risiko-maßnah-men an Organisationen (und nicht Einzelpersonen)
✓ Klare Beschreibung der Risiken,
Sind Risiken beschrieben?
Sind Maßnahmen zur Verhinde-rung bzw. Management von Risi-ken beschrieben?
Gibt es ein Risikomanagement-
45
Risiken monitoren und Handlun-gen ableiten
system? Wird es genutzt? Wer-den Handlungen abgeleitet?
Gibt es eine klare Verteilung von Verantwortlichkeiten beim Um-gang mit Risiken und Herausfor-derungen?
Gibt es eine Beschreibung von Abstimmungsprozessen mit Sta-keholdern?
HR Management
(Ebene 2 –wichtig)
✓ Prüfung der Angemessenheit der Personalfixkosten
✓ Prüfung der stärkeren Einbezie-hung von nationalem Personal bei gleicher Qualifikation
✓ Adäquater Instrumentenmix
✓ Fachliche Qualifikation des ein-gesetzten Personals
✓ Vorausschauende Personalpla-nung zur Vermeidung von häufi-gem Personalwechsel oder ver-zögerten Personaleinsätzen
Handelt es sich um ein ange-brachtes Verhältnis zwischen ent-sandten Mitarbeiter*innen / EH und nationalem Personal?
Wird versucht, bei gleicher Quali-fikation, häufig nationale Kurzzeit-expert*innen zu beauftragen?
Werden die Qualifikationen des eingesetzten Personals als gut eingeschätzt?
Werden regelmäßig Fort- und Weiterbildungen geplant und rea-lisiert?
Kontinuierliches Wissensma-
nagement
(Ebene 2 – wichtig)
✓ Verbreitung von Erfahrungen und Wissen
✓ Wissensmanagement als we-sentlicher Managementprozess
✓ Institutionalisierung von Wissen
Wie und wo werden Daten ge-speichert?
Wie leicht ist der Zugang zu die-sen Daten und wie leicht können die Daten genutzt werden (inkl. Nutzung digitaler Lösungen; siehe auch Kriterium „Nutzung von Monitoringsystemen“)?
Wie werden diesbezüglich Stake-holder einbezogen (siehe auch Kriterium Synergien)?
Wie wird Wissen institutionali-siert?
Gibt es regelmäßige Jour Fixes, Workshops, Trainings?
Finden Peer-Learning-Aktivitäten statt?
Wird auch der Wissensaustausch regelmäßig gemonitored?
Gibt es einen Austausch und eine Dokumentation von guten Prakti-ken und negativen Erfahrungen?
Inwieweit werden Marketingmate-rialen, Websites, Social Media genutzt?
Werden Foren und Kommunikati-onsplattformen regelmäßig ge-nutzt?
Partnermanagement
und -nähe
(Ebene 2 – wichtig)
✓ Etablierung eines Steuerungs-komitees
✓ Kognitive und räumliche Nähe
Können mit Partnern gemeinsam etablierte task forces, Arbeits-gruppen und Komitees geschaf-fen werden?
Werden Maßnahmen geprüft zur
46
✓ Strategisch-konzeptionelle Auf-stellung bzgl. der Erwartungs-haltung des Partners
Realisierung einer räumlichen Nähe zum Partner?
Gibt es klare Verantwortlichkeiten für Partner und Vorhaben und ge-eignete Kommunikationswege, um diese zu kommunizieren?
Werden konkrete Ansprechpart-ner (im Projekt und beim Partner) für spezifische Aufgabenbereiche benannt?
Sind Partnerbeiträge geplant/er-bracht?
Effizienzkriterien Bewertung Erfolgsfaktoren
Leitfragen
Vorteilhaftigkeit von Entschei-
dungen
(Ebene 1 – sehr wichtig)
✓ Regelmäßige Reflexion von ge-troffenen Entscheidungen (z.B. Operationsplan, Reflexionstref-fen, M&E)
✓ Überprüfung von Wirkungslogik/ -modell und ggf. Anpassung
✓ Notwendige Änderungen auf Aktivitäten-Ebene durchführen
Gab es wesentliche Änderungen bezogen auf die Ausgangssitua-tion (Angebot/Auftrag), z.B. politi-sche Rahmenbedingungen, Part-ner, Zielgruppen etc. Auswahl von und Zusammenarbeit mit Partnern, Stakeholder- und Ziel-gruppen?
Gibt es Erkenntnisse aus Monito-ring und Evaluierung, die ein Um-steuern bedingen? (Aktivitä-ten/Outputs, Finanzierungsfor-men …)
Wurden zusätzliche Wirkungen identifiziert?
Müssen Wirkungshypothesen an-gepasst werden?
Kostenzuordnung
(Ebene 3 – nicht zu vernachläs-
sigen)
✓ Kostenzuordnungen zu Perso-nal/Administration
✓ Unterscheidung zwischen Bera-tungs- und Sachleistungen
✓ Follow-the-money
Wurden Kosten einzelnen Out-puts zugeordnet? (KOMP)
Wurden Kosten einzelnen Aktivi-täten zugeordnet? (Operations-planung)
Gab es andere Kostenzuordnun-gen?
47
9 Weitere Empfehlungen
9.1 Berücksichtigung der Kriterien bei der Erstellung einer Kurzstellungnahme
In der Handreichung zur Erstellung einer Kurzstellungnahme (GIZ 2018; Kapitel 4) werden seitens des BMZ
folgende Anforderungen zur Berücksichtigung von Wirtschaftlichkeitsaspekten vorgegeben. Grundsätzlich kön-
nen (und im Idealfall sollten) alle Leitfragen (in Tabelle 24) herangezogen werden, um den Anforderungen
Rechnung zu tragen. In der folgenden Tabelle wird beispielhaft veranschaulicht, wie die Leifragen genutzt wer-
den könnten. Prädestiniert für a) scheinen vor allem die Fragen zu HR Management, für b) Fragen zur partizi-
pativen Planung, für c) Fragen zu Partnermanagement und -nähe und für d) Fragen zur Nutzung von Syner-
gien.
Tabelle 29: Vorgegebene Anforderungen für Wirtschaftlichkeit in der Kurzstellungnahme
Bewertung der Wirtschaftlichkeit
Begründung möglicher Investitionsan-
sätze (FZ) / möglicher Instrumentenein-
satz (TZ)
Beispiel: HR Management
• Handelt es sich um ein angebrachtes Verhältnis zwi-schen entsandten Mitarbeiter*innen / EH und nationa-lem Personal
• Wird versucht, bei gleicher Qualifikation, häufig natio-nale Kurzzeitexpert*innen zu beauftragen?
• Werden die Qualifikationen des eingesetzten Personals als gut eingeschätzt? Werden regelmäßig Fort- und Weiterbildungen geplant und realisiert?
Übereinstimmung mit Zielen und Strate-
gien des Partnersystems (Relevanz)
Beispiel: Partizipative Planung
• Sind Maßnahmen geplant, die zur Förderung von Transparenz zwischen Partnern beitragen, z.B. partizi-pativ erarbeiteter Operationsplan?
• Werden in der Projektphase partizipative Planungsele-mente eingesetzt? Später in der Implementierung: Wird die Planung partizipativ fortgeschrieben?
Kapazitäten im Partnerland, die nachhal-
tig gestärkt werden? (Nachhaltigkeit)
Beispiel: Partnermanagement und -nähe
• Können mit Partnern gemeinsam etablierte task forces, Arbeitsgruppen und Komitees geschaffen werden?
• Werden Maßnahmen geprüft zur Realisierung einer räumlichen Nähe zum Partner?
• Gibt es klare Verantwortlichkeiten für Partner und Vor-haben und geeignete Kommunikationswege, um diese zu kommunizieren?
• Werden konkrete Ansprechpartner (im Projekt und beim Partner) für spezifische Aufgabenbereiche benannt?
• Sind Partnerbeiträge geplant/erbracht?
Konkreter Beitrag zum Programmziel Beispiel: Nutzung von Synergien
• Wird die Finanzierung mit anderen Organisationen und
48
9.2 Berücksichtigung der Kriterien bei der Erstellung eines Modulvorschlags
Bei der Erstellung eines Modulvorschlags werden seitens des BMZ folgende Anforderungen zur Berücksichti-
gung von Wirtschaftlichkeitsaspekten vorgegeben (Handreichung und kommentierte Gliederung für Modulvor-
schläge 2017).
• „Der Modulvorschlag begründet die Wirtschaftlichkeit des Vorgehens.“
• „Der methodische Ansatz soll so gewählt sein, dass die Outputs effektiv und wirtschaftlich erreicht wer-
den. Das Spektrum der TZ-Instrumente und ihr Einsatz werden dargestellt.“
• „Der Instrumenteneinsatz wird differenziert dargestellt. Dabei wird die Auswahl der Instrumente den Out-
puts zugeordnet, qualitativ begründet, quantitativ dargestellt und das Ineinanderwirken der Instrumente
beschrieben. Ist eine Zusammenarbeit mit anderen Gebern bei der Durchführung konkreter Aktivitäten
geplant, so wird diese benannt.“
Trotz des Fokus auf den Instrumenteneinsatz im Modulvorschlag empfiehlt das Gutachter*innen-Team die Be-
rücksichtigung aller Leitfragen sowie eine Überprüfung, zu welchen Leitfragen Informationen zur Verfügung ste-
hen.
9.3 Berücksichtigung der Kriterien bei der Berichterstattung
Bei der Berichterstattung werden seitens des BMZ folgende Anforderungen zur Berücksichtigung von Wirt-
schaftlichkeitsaspekten vorgegeben (Handreichung und kommentierte Gliederung für die Berichterstattung für
Module 2017).
• „Der gewählte Instrumentenmix ist bezüglich seiner Effektivität und Effizienz bewertet.“
• „Die Berichterstattung dient dem Monitoring der Wirtschaftlichkeit bzw. der Kostenentwicklung auf Basis
des Auftragswertes.“
• „Die Berichterstattung schlägt ggf. Anpassungen vor, um das Modulziel qualitativ besser, schneller oder
unter Beachtung von Wirtschaftlichkeitsaspekten effizienter zu erreichen sowie besser zum Programmziel
beizutragen.“
Trotz des Fokus auf Monitoring, Umsteuerung oder Instrumenteneinsatz empfiehlt das Gutachter*innen-Team
auch bei der Berichterstattung die Berücksichtigung aller Leitfragen sowie eine Überprüfung, zu welchen Leit-
fragen Informationen zur Verfügung stehen.
/zur Lösung von Problemen der Bevölke-
rung (Impact)
Stakeholdern geteilt bzw. gibt es Kofinanzierungen?
• Gibt es gemeinsame Investitionskonzepte bzw. gemein-sam durchgeführte Maßnahmen?
• Werden Kosten für das deutsche EZ-System eingespart durch die Nutzung von Synergien?
Wird auch Wissen genutzt, das nicht selber generiert wurde,
bzw. Daten, die nicht selber erhoben wurden?
49
9.4 Berücksichtigung der Kriterien bei der Evaluierung
Bei der Evaluierung wird seitens der GIZ folgender Rahmen zur Berücksichtigung der Produktionseffizienz vor-
gegeben.
Tabelle 30: Rahmen zur Berücksichtigung der Produktionseffizienz – GIZ
The project’s use of
resources is appro-
priate with regard to
the outputs
achieved.
[Production effi-
ciency: Re-
sources/Outputs]
To what extent are
there deviations be-
tween the identified
costs and the projected
costs? What are the
reasons for the identi-
fied deviation(s)?
Das Vorhaben steuert seine Ressourcen gemäß des Kos-
tenplans (Kostenzeilen). Nur bei nachvollziehbarer Be-
gründung erfolgen Abweichungen vom Kostenplan.
Focus: To what extent
could the outputs have
been maximised with
the same amount of re-
sources and under the
same framework condi-
tions and with the same
or better quality (maxi-
mum principle)? (meth-
odological minimum
standard: Follow-the-
money approach)
Das Vorhaben reflektiert, ob die vereinbarten Wirkungen
mit den vorhandenen Mitteln erreicht werden können.
Das Vorhaben steuert seine Ressourcen gemäß der ge-
planten Kosten für die vereinbarten Leistungen (Outputs).
Nur bei nachvollziehbarer Begründung erfolgen Abwei-
chungen von den Kosten.
Die übergreifenden Kosten des Vorhabens stehen in ei-
nem angemessenen Verhältnis zu den Kosten für die
Outputs.
Die durch ZASS-Aufschriebe erbrachten Leistungen ha-
ben einen nachvollziehbaren Mehrwert für die Erreichung
der Outputs des Vorhabens.
Focus: To what extent
could outputs have
been maximised by re-
allocating resources be-
tween the outputs?
(methodological mini-
mum standard: Follow-
the-money approach)
Das Vorhaben steuert seine Ressourcen, um andere Out-
puts schneller/besser zu erreichen, wenn Outputs erreicht
wurden bzw. diese nicht erreicht werden können
(Schlussevaluierung).
Oder: Das Vorhaben steuert und plant seine Ressourcen,
um andere Outputs schneller/besser zu erreichen, wenn
Outputs erreicht wurden bzw. diese nicht erreicht werden
können (Zwischenevaluierung).
Were the output/re-
source ratio and alter-
natives carefully consid-
ered during the design
and implementation pro-
cess – and if so, how?
(methodological mini-
mum standard: Follow-
the-money approach)
Das im Modulvorschlag vorgeschlagene Instrumenten-
konzept konnte hinsichtlich der veranschlagten Kosten in
Bezug auf die angestrebten Outputs des Vorhabens gut
realisiert werden.
Die im Modulvorschlag vorgeschlagene Partnerkonstella-
tion und die damit verbundenen Interventionsebenen
konnten hinsichtlich der veranschlagten Kosten in Bezug
auf die angestrebten Outputs des Vorhabens gut realisiert
werden.
50
Zur Berücksichtigung der Allokationseffizienz wird folgender Rahmen vorgegeben.
Der im Modulvorschlag vorgeschlagene thematische Zu-
schnitt für das Vorhaben konnte hinsichtlich der veran-
schlagten Kosten in Bezug auf die angestrebten Outputs
des Vorhabens gut realisiert werden.
Die im Modulvorschlag beschriebenen Risiken sind hin-
sichtlich der veranschlagten Kosten in Bezug auf die an-
gestrebten Outputs des Vorhabens gut nachvollziehbar.
Die im Modulvorschlag beschriebene Reichweite des Vor-
habens (z.B. Regionen) konnte hinsichtlich der veran-
schlagten Kosten in Bezug auf die angestrebten Outputs
des Vorhabens voll realisiert werden.
Der im Modulvorschlag beschriebene Ansatz des Vorha-
bens hinsichtlich der zu erbringenden Outputs entspricht
unter den gegebenen Rahmenbedingungen dem state-of-
the-art.
For interim evaluations
based on the analysis to
date: To what extent are
further planned expend-
itures meaningfully dis-
tributed among the tar-
geted outputs?
Tabelle 31: Rahmen zur Berücksichtigung der Allokationseffizienz – GIZ
The project’s use of
resources is appro-
priate with regard to
achieving the pro-
jects objective (out-
come).
[Allocation efficiency:
Resources/Outcome]
To what extent could
the outcome have been
maximised with the
same amount of re-
sources and the same
or better quality (maxi-
mum principle)?
Das Vorhaben orientiert sich an internen oder externen
Vergleichsgrößen, um seine Wirkungen kosteneffizient zu
erreichen.
Were the outcome-re-
sources ratio and alter-
natives carefully con-
sidered during the con-
ception and implemen-
tation process – and if
so, how? Were any
scaling-up options con-
sidered?
Das Vorhaben steuert seine Ressourcen zwischen den
Outputs, so dass die maximalen Wirkungen im Sinne des
Modulziels erreicht werden. (Schlussevaluierung)
Oder: Das Vorhaben steuert und plant seine Ressourcen
zwischen den Outputs, so dass die maximalen Wirkungen
im Sinne des Modulziels erreicht werden.
(Zwischenevaluierung)
Das im Modulvorschlag vorgeschlagene Instrumenten-
konzept konnte hinsichtlich der veranschlagten Kosten in
51
Bezug auf das angestrebte Modulziel des Vorhabens gut
realisiert werden.
Die im Modulvorschlag vorgeschlagene Partnerkonstella-
tion und die damit verbundenen Interventionsebenen
konnte hinsichtlich der veranschlagten Kosten in Bezug
auf das angestrebte Modulziel des Vorhabens gut reali-
siert werden.
Der im Modulvorschlag vorgeschlagene thematische Zu-
schnitt für das Vorhaben konnte hinsichtlich der veran-
schlagten Kosten in Bezug auf das angestrebte Modulziel
des Vorhabens gut realisiert werden.
Die im Modulvorschlag beschriebenen Risiken sind hin-
sichtlich der veranschlagten Kosten in Bezug auf das an-
gestrebte Modulziel des Vorhabens gut nachvollziehbar.
Die im Modulvorschlag beschriebene Reichweite des Vor-
habens (z.B. Regionen) konnte hinsichtlich der veran-
schlagten Kosten in Bezug auf das angestrebte Modulziel
des Vorhabens voll realisiert werden.
Der im Modulvorschlag beschriebene Ansatz des Vorha-
bens hinsichtlich des zu erbringenden Modulziels ent-
spricht unter den gegebenen Rahmenbedingungen dem
state-of-the-art.
To what extent were
more results achieved
through synergies
and/or leverage of more
resources, with the help
of other bilateral and
multilateral donors and
organisations (e.g.
Kofi)? If so, was the re-
lationship between
costs and results ap-
propriate?
Das Vorhaben unternimmt die notwendigen Schritte, um
Synergien mit Interventionen anderer Geber auf der Wir-
kungsebene vollständig zu realisieren.
Wirtschaftlichkeitsverluste durch unzureichende Koordi-
nierung und Komplementarität zu Interventionen anderer
Geber werden ausreichend vermieden.
Das Vorhaben unternimmt die notwendigen Schritte, um
Synergien innerhalb der deutschen EZ vollständig zu rea-
lisieren.
Wirtschaftlichkeitsverluste durch unzureichende Koordi-
nierung und Komplementarität innerhalb der deutschen
EZ werden ausreichend vermieden.
Die Kombifinanzierung hat zu einer signifikanten Auswei-
tung der Wirkungen geführt bzw. diese ist zu erwarten.
Durch die Kombifinanzierung sind die übergreifenden
Kosten im Verhältnis zu den Gesamtkosten nicht überpro-
portional gestiegen.
52
Auch bei der Evaluierung empfiehlt das Gutachter*innen-Team die Berücksichtigung aller Leitfragen sowie eine
Überprüfung, zu welchen Leitfragen Informationen zur Verfügung stehen.
9.5 Weitere Denkanstöße aus der Diskussion mit der Referenzgruppe
Folgende zusätzliche Denkanstöße können in der Zukunft berücksichtigt werden, die zum einen aus den Er-
kenntnissen der empirischen Untersuchung und zum anderen aus der Diskussion mit den Teilnehmer*innen in
der Referenzgruppe abgeleitet wurden:
• Eingang der Erkenntnisse in interne Dokumente für Kurzstellungnahme, Modulvorschlag, Berichterstat-
tung und Evaluierung
• Eingang der Erkenntnisse in die Diskussion mit dem BMZ zum Wirtschaftlichkeitsverständnis
• Wiederholung der Querschnittsanalyse in ca. 2-3 Jahren mit der Frage: Haben sich die Erfolgskriterien
für Wirtschaftlichkeit verändert?
Die Partnerbeiträge stehen in einem angemessenen Ver-
hältnis zu den Kosten für die Outputs des Vorhabens
53
Anhang
I. Dokumentenübersicht
Dokumententitel Jahr Hrsg. Synopsis
DO
KU
ME
NT
E Z
UR
PR
OJE
KT
PLA
NU
NG
BMZ Handreichung Verfahrensablauf 2017 BMZ • Verfahrensablauf für die Beauftragung (Planung,
Durchführung) von Maßnahmen der FZ und TZ
Leitfaden Vorbereitung TZ Module 2018 GIZ
• BMZ-Auftragsverfahren für die Vorbereitung von Modulen der Entwicklungszusam-
menarbeit
Vorstellung der Funktion der einzelnen Prozessschritte
• Vorgaben des BMZ, Verantwortlichkeiten und Zuständigkeiten sowie Fristen und
Produkte
BMZ Handreichung Kurzstellungnahmen 2017 BMZ
• Anleitung für den Aufbau einer Kurzstellungnahme
• Kurzstellungnahme dient dazu, eine erste Einschätzung zur Weiterverfolgung eines
Fördervorschlags, der Passung zu Zielen und Programmen der deutschen EZ und
der Praktikabilität der Umsetzung zu ermöglichen.
Arbeitshilfe Kurzstellungnahmen 2018 GIZ • Hilfestellung und Prozessschritte zur Erarbeitung der Kurzstellungnahme
Formatvorlage Kurzstellungnahme 2018 GIZ • Vorlage zur Erstellung von Kurzstellungnahmen
54
Sonderuntersuchung: "Analyse der Wirt-
schaftlichkeit in der Konzeptionsphase
von Programmvorschlägen"
2015 BMZ
• Wirtschaftlichkeitserwägungen im Vorbereitungsprozess
• Faktoren, die Wirtschaftlichkeit der Vorhabenkonzeption beeinflussen
• Mögliche Erhöhung der Wirtschaftlichkeit von TZ-Vorhaben
BMZ Handreichung Modulvorschläge 2017 GIZ
• Anleitung für den Aufbau eines Modulvorschlags
• Modulvorschläge leiten die konkreten Entwicklungsmaßnahmen aus den übergeord-
neten Strategien (Länderstrategie, Programm, ggfs. Protokolle Regierungsverhand-
lungen, etc.) und den Partnerbedarfen (Fördervorschlag) ab.
Arbeitshilfe Prüfung 2018 GIZ • Hilfestellung und Prozessschritte für die Prüfung
GIZ interne Erläuterungen Erstellung Mo-
dulvorschläge 2018 GIZ
• Erläuterungen zu der BMZ-Handreichung und kommentierte Gliederung für Modul-
vorschläge
Modulvorschlag Kosten Output Zuordnung 2017 GIZ • Excel-Vorlage zur Kosten-Output-Zuordnung für den Modulvorschlag
DO
KU
ME
NT
E Z
UR
PR
OJE
K-
TIM
PLE
ME
NT
IER
UN
G
BMZ Handreichung Berichterstattung Mo-
dule 2017 BMZ
• Anleitung für die Berichterstattung ans BMZ
• darin wird über Veränderungen im Interventionsbereich des Moduls im jeweiligen
Berichtszeitraum berichtet
Interne Erläuterungen Berichterstattung
Modul 2018 GIZ
• Erläuterungen zur BMZ-Handreichung für die
Berichterstattung zu TZ-Modulen
Formatvorlage Berichterstattung 2018 GIZ • Vorlage zur Erstellung eines Fortschrittsberichts
Anlage zur Berichterstattung Kostenent-
wicklung 2019 GIZ • Excel-Vorlage zur Berichterstattung über die Kostenentwicklung
DO
KU
ME
NT
E
ZU
R P
RO
-
JEK
T-E
VA
LU-
IER
UN
G
Evaluierungsmatrix zum Effizienzkriterium
ZPE 2019 GIZ
• Excel-Matrix: Hilfestellung um OECD-DAC-Kriterien (u.a. Effizienz) im Vorhaben zu
operationalisieren
BMZ Evaluierungskriterien für die deut-
sche bilaterale Zusammenarbeit (2006) 2006 BMZ • Prüffragen für Evaluierungen hinsichtlich DAC- und BMZ-Evaluierungskriterien
55
OECD/DAC Glossar entwicklungspoliti-
scher Schlüsselbegriffe aus den Berei-
chen Evaluierung und ergebnisorientiertes
Management
2009 OECD • Glossar entwicklungspolitischer Schlüsselbegriffe
BMZ Working Papers: Tools and Methods
for Evaluating the Efficiency of Develop-
ment Interventions
2011 BMZ
• Tools und Methoden für die Effizienzbewertung
• Bewertungskriterien für Effizienzbewertungsmethoden
• Charakterisierung von Methoden und Instrumenten zur Bewertung der Effizienz
Bewertungsgrundlage Methodische Güte
Effizienzbewertung PEV 2019 GIZ
• Kriterien, Ergebnisse und Bewertungsgrundlage für die Auswertung der methodi-
schen Angemessenheit der Effizienzbewertung
Effizienzbewertung ZPE Anleitung 2018 GIZ • Anleitung zur Befüllung des Tools zur Effizienzbewertung und Interpretation der Er-
gebnisse
Effizienzbewertung ZPE Tool Datenerhe-
bung 2019 GIZ
• Excel-Tool zur Effizienzbewertung von Projekten
Zuordnung der Kosten zu den Outputs
DO
KU
ME
NT
E Z
UR
ME
TH
OD
ISC
HE
N A
N-
GE
ME
SS
EN
HE
IT E
FF
IZIE
NZ
Datengrundlage – Meta-Evaluierung PEV
2015-18 Einzelergebnisse 2016 GIZ • Excel-Übersicht/ Datenblatt Einzelergebnisse der PEV 2016
Datengrundlage – Meta-Evaluierung PEV
2015-18 Einzelergebnisse 2015 GIZ • Excel-Übersicht/ Datenblatt Einzelergebnisse der PEV 2015
Bericht QSA META PEV 2016 2017 GIZ • QSA von Projektevaluierungen hinsichtlich methodischer Qualität, Prozessqualität
und Nützlichkeit
Datenblätter PEV 2017 GIZ • Excel-Übersicht/ Datenblatt Einzelergebnisse der PEV 2016
Bericht META PEV 2016 2016 GIZ • Meta-Evaluierung der PEV hinsichtlich methodischer Qualität, Prozessqualität und
Nützlichkeit
Bericht META PEV 2017-18 2019 GIZ • Meta-Evaluierung und statistische Auswertung der Projektevaluierungen 2017/2018
56
Methodische Angemessenheit der Effi-
zienzbewertung PEV GIZ
• Excel-Bewertungsraster zur Beurteilung der methodischen Angemessenheit der Effi-
zienzbewertung in den Meta-Evaluierungen
Ansätze zur Bewertung von Wirtschaftlich-
keit von TZ Vorhaben 2016 GIZ
• Grundverständnis zwischen GIZ und BMZ: Möglichkeiten und Begrenzungen von
Wirtschaftlichkeitsbewertungen von Vorhaben der TZ
Bewertung und Sicherung der Wirtschaft-
lichkeit in TZ Vorhaben 2018 GIZ
• Bestehenden Mechanismen zur Bewertung und Sicherung von Wirtschaftlichkeit in
GIZ-Vorhaben
Wirtschaftlichkeit in GIZ Projekten 2017 GIZ • Kurze Beschreibung des Wirtschaftlichkeitsverständnisses innerhalb der GIZ
Kosten-Output Zuordnung für Berichter-
stattung und Evaluierung 2019 GIZ
• Schaffung eines gemeinsamen Grundverständnisses von BMZ und GIZ hinsichtlich
Kosten-Output-Zuordnung
(KO
NZ
EP
T-)
PA
PIE
RE
Evaluierungssystem GIZ 2018 GIZ
• (Kurze) Allgemeine Beschreibung des neuen Evaluierungssystems der GIZ
Vorstellung von Kernmerkmalen, Evaluierungsinstrumenten, -kriterien, -designs, -
methoden, -management und Qualitätssicherung
Kernbotschaften zur GVR 2017 GIZ • Inhalte und Kernbotschaften der erarbeiteten Gemeinsamen Verfahrensreform
(GVR)
Leitfaden Evaluierungssystem GIZ ZPE 2018 GIZ
• Neuerungen und Vorteile des Evaluierungssystems
Vorstellung von Evaluierungsinstrumenten, -funktionen, -kriterien, -design,
-methoden, etc.
OECD DAC Evaluation Criteria (Entwurf) 2019 OECD • Entwurf zur Anpassung der OECD-DAC-Evaluationskriterien
OECD DAC Evaluation Criteria Proposal
for adaptation (Entwurf) 2019 DAC
• Rationale for adaptation and providing a brief summary of the adaption process
• Broad principles for use and a proposal for the adapted evaluation criteria
Evaluierungskriterien für die deutsche bi-
laterale Entwicklungszusammenarbeit
(Entwurf)
2019 BMZ • Papier zur Neufassung der bisherigen BMZ-Orientierungshilfe zu den OECD-DAC-
Evaluierungskriterien für die deutsche bilaterale Entwicklungszusammenarbeit
57
ZU
SÄ
TZ
LIC
HE
IN
-
FO
RM
AT
ION
EN
Handbuch der Wirtschaftlichkeitsprüfung
EuRH 2017 EuRH
• Ausführlichere Anleitungen für die einzelnen Phasen einer Wirtschaftlichkeitsprüfung
(Planung, Untersuchung und Berichterstattung) in EU-Organen
Anforderungen an Wirtschaftlichkeitsun-
tersuchungen finanzwirksamer Maßnah-
men nach
§ 7 Bundeshaushaltsordnung
2013 BRH • Anforderungen des BRH hinsichtlich der Beachtung von Wirtschaftlichkeit in staatli-
chen Maßnahmen
Tabelle 32: Dokumentenübersicht Begriffsschärfung
58
II. Vorläufige Analysekriterien
Dim
en
sio
n
Kriterien Operationalisierungsideen Begründung
Ein
füh
run
g
Eff
izie
nz
Eff
ekti
vit
ät
Üb
erg
eo
rdn
ete
en
t-
wic
klu
ng
s-
po
liti
sc
he W
irku
ng
en
Hin
terg
run
d
Auftraggeber / Herausgeber (intern/extern)
Ermöglicht das Herauslesen
von Unterschieden in Regio-
nen, Fachbereichen und
nach Auftraggebern
X
Fachliche Zuordnung des
Projektes
(Drop-down gemäß Cluster
der Vorauswahl) X
Region des Projektes
Land des Projektes
(Drop-down gemäß Voraus-
wahl) X
Jahr des Berichts 2015 – 2018 X
Allg
em
ein
Definition von Wirtschaftlich-
keit / Effizienz in den Berich-
ten
Definition von Wirtschaftlich-
keit / Effizienz in den weite-
ren Dokumenten
Interne: Standarddefinition
GIZ ja/nein?
Extern: Offene Analyse
Intern: Überprüfung ob Stan-
darddefinition (siehe Box zur
Transformationseffizienz)
bekannt ist
Extern: Offene Analyse /
entwickeltes Prüfraster als
weiterer Ideengeber für Be-
griffsschärfung
X
Effizienzarten
Trennung von Produktions-
effizienz und Allokationseffi-
zienz
Vermischung der Effizienz-
arten in vielen Effizienzkapi-
teln
X
Datenmaterial Quantitative und qualitative
Daten
Kaum Primärdaten bei PEV;
unterschiedliche Primärda-
ten bei ZPE
X
Bezug zu Indikatoren
Effizienzbetrachtung unter
Berücksichtigung der Indika-
torenerfüllung
Häufige Entkopplung von In-
dikatoren (von der Effizienz-
betrachtung)
X
Monitoringaktivitäten Abfrage verschiedener Mo-
nitoringsysteme
Nutzen von Monitoring für
erhöhte Effizienz X X
59
Pro
du
kti
on
seff
izie
nz
Ressourcennutzung
Arbeitspakete GIZ, lokale
Firmen/NGOs, lokale und in-
tern. Expert*innen
Mögliche Muster im Out-
sourcing von Arbeitspaketen
zur Effizienzsteigerung
Mögliche Muster zur Einbe-
ziehung von Externen zur
Effizienzsteigerung
Überblick über die Einbezie-
hung von Externen im Allge-
meinen
X X
Implementierung Teamverantwortlichkeiten;
Abweichungen vom Zeitplan
Relevante Aspekte der Im-
plementierungseffizienz für
PE
X X
Synergien
Beschreibung von genutzten
Synergien auf der Ebene der
Implementierungspartner
Nutzung komparativer Kos-
tenvorteile; Schaffung von
Ressourcenfreiräumen
X X X
Betrachtung von Risiken Beschreibung und Gegen-
maßnahmen
Reduzierung von Risiken als
wesentliches Effizienzmerk-
mal
X X X
Korrelation zwischen Budge-
tallokation (nicht zeitlich, son-
dern sachlich) und Indikato-
renerfüllung
Beschreibung und Begrün-
dung bei negativer Korrela-
tion; ggf. ob gleiche Zieler-
reichung mit weniger Mitteln
hätten erreicht werden kön-
nen (falls Informationen vor-
handen)
Hypothesenüberprüfung:
Entkopplung der Effizienz-
beschreibung von Indikato-
renerfüllung
X X
Vorteilhaftigkeit von Ent-
scheidungen zur Verteilung
der Mittel auf die einzelnen
Outputs
Beschreibungen von Alter-
nativen, für die man sich
nicht entschieden hat;
Begründung der Vorteilhaf-
tigkeit
Nachvollziehbarkeit (im
Sinne eine Begründung) der
geplanten Maßnahmen und
getroffenen Entscheidungen
nicht immer gegeben
X X
Reichweite
Reichweite gemäß Modul-
vorschlag (MV)
(Nein: inkl. Begründung; Ja:
Positive Spillover-Effekte?)
Wurden mehr oder weniger
Nutznießer erreicht als im
MV vorgesehen??
X X
Lernerfahrungen
Beschreibung von Do’s and
Dont’s;
Erfolgs- und Misserfolgsfak-
toren
Erfolgs- und Misserfolgs-
pfade/-muster
Nutzung und Verbreitung
von Lernerfahrungen X X
60
Allo
kati
on
seff
izie
nz
Finanzierung
Mittel der Auftraggeber, Ko-Finanzierung, Partnerbeiträge
Verschiedene Anforderun-
gen an Dokumentations-
pflichten von Mittelverwen-
dung; Wie werden vergleich-
bare Arbeitspakete finan-
ziert?
X X
Implementierung
Stakeholderverantwortlich-
keiten; Überprüfung von An-
nahmen
Relevante Aspekte der Im-
plementierungseffizienz für
AE
X X
Betrachtung von Risiken Beschreibung und
Gegenmaßnahmen
Reduzierung von Risiken als
wesentliches Effizienzmerk-
mal
X X
Synergien
Beschreibung von genutzten
Synergien auf Ebene von
politischer Steuerung (z.B.
Harmonisierung mit Gebern,
Partnerregierungen, Syner-
gien mit anderen deutschen
EZ-Partnern)
Förderung von politischer
Akzeptanz; Aufbrechen von
Widerständen; gemeinsame
Ausrichtung zur Erreichung
unterschiedlicher Ziele (Alig-
nement)
X X
Korrelation zwischen Budge-
tallokation und Indikatorener-
füllung
Beschreibung und Begrün-
dung bei negativer Korrela-
tion; ggf. ob gleiche Zieler-
reichung mit weniger Mitteln
hätten erreicht werden kön-
nen
Entkopplung der Effizienz-
beschreibung von Indikato-
renerfüllung
X X
Reichweite / Scaling Up
Reichweite außerhalb des
Verantwortungsrahmens des
Projektes; Beschreibung von
Scaling-Up Optionen
Wurden mehr oder weniger
Nutznießer erreicht? X X
Lernerfahrungen
Beschreibung von Do’s and
Dont’s;
Erfolgs- und Misserfolgsfak-
toren
Erfolgs- und Misserfolgs-
pfade/ -muster
Nutzung und Verbreitung
von Lernerfahrungen X X
Tabelle 33: Vorläufige Analysekriterien
61
III. MaxQDA Codebaum
Abbildung 3: MaxQDA Codebaum)
62
IV. Analyseraster inkl. finaler Analysekriterien
Hin
terg
run
d
Nummer
PLANUNG
Projektnummer
Titel
Evaluierungsinstrument
Jahr Durchführung der Evaluierung
Sektor
Region
Land
Dauer (in Monaten)
Projektwert
Dokumentensprache
Verantwortliche/r
Nr. Kriterium Schlüsselfragen Vorgabe Bewertung /Scoring
1
Bezug zu Resultaten und Indikato-ren
PE Gibt es eine genaue Zuordnung der geplanten Kosten zu den Outputs?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
2 AE Wird Allokationseffizienz bei der Planung in irgendeiner Form berücksichtigt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
3 AE/PE Gibt es Hinweise, dass eine Zuordnung der Kosten zu den einzelnen Output- bzw. Outcome-Indikatoren vorab statt-fand?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
4 Ressourcennutzung PE/AE Gibt es allgemeine Informationen zu der Verwendung der zur Verfügung stehenden Ressourcen auf Output- bzw. Outcome-Ebene?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
63
5
Betrachtung von Risiken
AE/PE Gibt es Hinweise zum Umgang mit Risiken in der Planung? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4)
6 PE Es sind Maßnahmen auf der Output-Ebene beschrieben, um Risiken zu verringern
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a
7 AE Es sind Maßnahmen auf der Outcome-Ebene beschrieben, um Risiken zu verringern
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a
8 AE/PE Sind die Risiko-Verringerungs-Maßnahmen budgetiert? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4); n.a.
9 Synergie AE/PE Sind zur Erreichung der Outputs bzw. Outcomes im Vor-feld potenzielle Synergien mit anderen Stakeholdern identi-fiziert und beschrieben?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
10
Lernerfahrungen
PE/AE Gibt es Hinweise, dass Lernerfahrungen während der Pla-nung berücksichtigt wurden?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
11 PE Sind zur Erreichung der Outputs Lernerfahrungen aus Vor-gänger-Vorhaben und/oder anderen Vorhaben bei der Pla-nung berücksichtigt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
12 AE Sind zur Erreichung der Outcomes Lernerfahrungen aus Vorgänger-Vorhaben und/oder anderen Vorhaben bei der Planung berücksichtigt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
13
Weitere Faktoren
Was planning participatory? Nein (1), Ja (4)
14 Is the project based on a solid results model m (Wirkungs-modell)?
Nein (1), Ja (4)
64
Hin
terg
run
d
Nummer
IMPLEMENTIERUNG
Projektnummer
Titel
Evaluierungsinstrument
Jahr Durchführung der Evaluie-rung
Sektor
Region
Land
Dauer (in Monaten)
Projektwert
Dokumentensprache
Verantwortliche/r
Nr. Kriterium Schlüsselfragen Vorgabe Bewertung /Scoring
1
Implementierung
PE Wurde die Arbeitsteilung im Team beschrieben? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4)
2
PE/AE Inwiefern sind Verantwortlichkeiten im GIZ-Team klar kom-muniziert und verstanden? (Stichworte: Verantwortlichkei-ten, Team, Rollen)
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
3 AE
Wurde die Arbeitsteilung mit wichtigen Stakeholdern Grup-pen beschrieben?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
4 AE
Sind Verantwortlichkeiten im Stakeholderumfeld klar kom-muniziert und verstanden?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
5
PE Werden Erkenntnisse aus vorherigen Studien (z.B. Machbarkeitsstudien) berücksichtigt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
65
6 PE
Gibt es Abweichungen vom Plan/ Konzept/ Operations-plan?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
7 Reagiert das Projekt auf Veränderungen in der Umwelt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
8
Monitoringaktivitäten
PE/AE Gibt es ein Kostenmonitoringsystem? (Cost were regularly checked, assessed, etc.)
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
9 PE/AE Falls ja, wird es zur Steuerung genutzt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
10 PE
Gibt es ein Aktivitätenmonitoringsystem (z.B. Operations-plan)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
11 PE Falls ja, wird es zur Steuerung genutzt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
12 PE/AE
Gibt es ein wirkungsorientiertes Monitoringsystem? (e.g. results based monitoring)
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
13 PE/AE Falls ja, wird es zur Steuerung genutzt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
14 PE/AE
Gibt es ein Risiko-Monitoringsystem? (Wenn Risiken im WoM genannt, dann 3 oder 4)
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
15 PE/AE Falls ja, wird es zur Steuerung genutzt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
16
Synergien
PE Werden Synergien beschrieben? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4)
17 PE
Gibt es Anstrengungen / Gespräche mit Stakeholdern zur Nutzung von Synergien zur Erreichung der Outputs?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
18 AE Gibt es Synergien mit anderen (internationalen) Gebern ?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
19 AE
Gibt es Synergien mit anderen deutschen FZ (KFW) und TZ (GIZ, PTB) Maßnahmen?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
20 AE
Gibt es Synergien mit anderen deutschen Akteuren (z.B. NGOS, Stiftung)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
66
21
AE Gibt es Anstrengungen / Gespräche mit Stakeholdern zur Nutzung von Synergien zur Erreichung der Outcomes?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
22
Ressourcennutzung
AE/PE Lagert das Vorhaben Arbeitspakete aus? (Berater) Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4); n.a.
23 AE/PE Lagert es an lokale Organisationen/Expert*innen aus?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
24 AE/PE
Lagert es an internationale Organisationen/Expert*innen aus?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
25 Weitere Aspekte Ist das Projekt Teil eines EZ-Programms? Nein (1), Ja (4)
26
Weitere Aspekte
Gibt es eine effektive (direkte, schnelle) Kommunikation mit/ "Nähe" (proximity – räumlich, persönlich) zu Partnern?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
27
Gibt es ein effektives Wissensmanagement? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4); n.a.
28
Wurden Maßnahmen zur Verringerung von Risiken getrof-fen?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
29 Ist das Personal ausreichend qualifiziert?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.
67
Hin
terg
run
d
Nummer
Bewertung
Projektnummer
Titel
Evaluierungsinstrument
Jahr Durchführung der Evaluierung
Sektor
Region
Land
Dauer (in Monaten)
Projektwert
Dokumentensprache
Verantwortliche/r
Nr. Kriterium Schlüsselfragen Vorgabe Bewertung /Scoring
1
Effizienzarten und -messung
PE Ist Produktionseffizienz explizit berücksichtigt? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4)
2 PE
Inwiefern wurden evidenzbasierte/robuste Ansätze genutzt (z.B. followthe-money)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
3 AE Ist Allokationseffizienz explizit berücksichtigt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
4 AE
Inwiefern wurden evidenzbasierte/robuste Ansätze genutzt (z.B. benchmarking/shadow-pricing)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
5
Bezug zu Indikatoren PE Inwiefern findet eine Effizienzbetrachtung unter Berücksich-tigung der Indikatorenerfüllung auf Output-Ebene statt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
68
6
AE Inwiefern findet eine Effizienzbetrachtung unter Berücksich-tigung der Indikatorenerfüllung auf Outcome-Ebene statt?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
7
Datenmaterial AE/PE Inwiefern sind Bewertungen auf Basis quantitativer und qualitativer Daten vorgenommen worden (Triangulation)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
8
Vorteilhaftigkeit von Entscheidun-gen
PE Wurden Vorteile der getroffenen Maßnahmen gegenüber Alternativen beschrieben?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
9 PE Sind diese Beschreibungen logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
10
AE
Inwiefern gibt es Beschreibungen der Vorteil-/Nachteilhaf-tigkeit zur Finanzierungsform (z.B. bilaterale Vorhaben, Globalvorhaben, Kofinanzierungen, Budgethilfe, EZ-Pro-gramm)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
11
AE Sind diese Beschreibung logisch und nachvollziehbar? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4), n.a.
12
Synergien
PE Inwiefern gibt es Beschreibungen zur Nutzung von Syner-gien zur Erreichung der Outputs (früher Handlungsfelder)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
13 PE Sind diese Beschreibung logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
14
AE Inwiefern gibt es Beschreibungen zur Nutzung von Syner-gien zur Erreichung der Outcomes (des Modulziels)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
15 AE Sind diese Beschreibung logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
16
Lernerfahrungen PE
Inwiefern gibt es Beschreibungen zur Nutzung von i) in der Vergangenheit gemachten Lernerfahrungen und/oder ii) Lernerfahrungen aus anderen EZ-Vorhaben (auf der Out-put-Ebene)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
69
17
PE Sind diese Beschreibungen logisch und nachvollziehbar? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4), n.a.
18
AE
Inwiefern gibt es Beschreibungen zur Nutzung von i) in der Vergangenheit gemachten Lernerfahrungen und/oder ii) Lernerfahrungen aus anderen EZ-Vorhaben (auf der Out-come-Ebene)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
19 AE Sind diese Beschreibungen logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
20 PE
Gibt es Beschreibungen zum Umgang mit Risiken auf der Output-Ebene?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
21 PE Sind diese Beschreibungen logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
22 AE
Gibt es Beschreibungen zum Umgang mit Risiken auf der Outcome-Ebene?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
23 PE Sind diese Beschreibungen logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
24
Monitoring
PE Inwiefern gibt es Beschreibungen zur Nutzung von Monito-ringdaten auf der Output-Ebene (um evidenzbasiert Effizienz zu beurteilen?)
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
25 PE Sind diese Beschreibungen logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
26
AE Inwiefern gibt es Beschreibungen zur Nutzung von Monito-ringdaten auf der Outcome-Ebene (um evidenzbasiert Effizi-enz zu beurteilen?)
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)
27 AE Sind diese Beschreibungen logisch und nachvollziehbar?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
28 Bewertung NUR INTERN: Wie wird Effizienz bewertet? INTERN: PEV / ZPE Skala
29
Weitere Aspekte
Wurden Limitationen der Effizienzbetrachtung beschrieben? Überhaupt nicht (1), ansatzweise
(2), ziemlich (3), völlig (4)
30 Gibt es generell eine Aufteilung der Kosten (z.B. auf Admin,
Personal, Infrastruktur, etc.)?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
31
Wird das Projektvolumen (in monetären Größen) in Bezug auf die Aktivitäten (Anzahl, Aufwand, Wirkung) diskutiert/ eingeordnet?
Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.
Tabelle 345: Analyseraster inkl. finaler Analysekriterien
70
71
Fotonachweise und Quellen
Fotonachweise/Quellen:
© GIZ / Thomas L. Kelly, Markus Kirchgessner, Florian Kopp, Dirk Ostermeier
URL-Verweise:
In dieser Publikation befinden sich ggf. Verweise zu externen Internetseiten. Für die Inhalte der
aufgeführten externen Seiten ist stets der jeweilige Anbieter verantwortlich. Die GIZ hat beim erst-
maligen Verweis den fremden Inhalt daraufhin überprüft, ob durch ihn eine mögliche zivilrechtliche
oder strafrechtliche Verantwortlichkeit ausgelöst wird. Eine permanente inhaltliche Kontrolle der
Verweise auf externe Seiten ist jedoch ohne konkrete Anhaltspunkte einer Rechtsverletzung nicht
zumutbar. Wenn die GIZ feststellt oder von anderen darauf hingewiesen wird, dass ein externes
Angebot, auf das sie verwiesen hat, eine zivil- oder strafrechtliche Verantwortlichkeit auslöst, wird
sie den Verweis auf dieses Angebot unverzüglich aufheben. Die GIZ distanziert sich ausdrücklich
von derartigen Inhalten.
Kartenmaterial:
Kartografischen Darstellungen dienen nur dem informativen Zweck und beinhalten keine völker-
rechtliche Anerkennung von Grenzen und Gebieten. Die GIZ übernimmt keinerlei Gewähr für die
Aktualität, Korrektheit oder Vollständigkeit des bereitgestellten Kartenmaterials. Jegliche Haftung
für Schäden, die direkt oder indirekt aus der Benutzung entstehen, wird ausgeschlossen.
72
Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH
Sitz der Gesellschaft Bonn und Eschborn
Friedrich-Ebert-Allee 32 + 36 53113 Bonn, Deutschland T +49 228 44 60-0 F +49 228 44 60-17 66
Dag-Hammarskjöld-Weg 1-5 65760 Eschborn, Deutschland T +49 61 96 79-0 F +49 61 96 79-11 15
E [email protected] I www.giz.de