Upload
nguyendat
View
219
Download
0
Embed Size (px)
Citation preview
Das Evaluierungssystem der GIZ
Unternehmensstrategische Evaluierung
Impressum
Als Bundesunternehmen unterstützt die GIZ die deutsche Bundesregierung bei der Erreichung
ihrer Ziele in der internationalen Zusammenarbeit für nachhaltige Entwicklung und der
internationalen Bildungsarbeit.
Als Stabsstelle Evaluierung der GIZ untersteht sie organisatorisch direkt dem Vorstand und ist
vom operativen Geschäft getrennt. Diese Organisationsstruktur stärkt ihre Unabhängigkeit. Die
Stabsstelle Evaluierung ist mandatiert, zur Entscheidungsfindung evidenzbasierte Ergebnisse
und Empfehlungen zu generieren, einen glaubwürdigen Wirkungsnachweis zu erbringen und
die Transparenz zu den Ergebnissen zu erhöhen.
Autorinnen und Autoren:
Stabsstelle Evaluierung, GIZ
Konzeption, Koordination und Management:
Dr. Annette Backhaus, GIZ, Stabsstelle Evaluierung,
Gruppenleiterin
Unternehmensstrategische Evaluierungen
Franziska Krisch, GIZ, Stabsstelle Evaluierung,
Senior-Fachkonzeptionistin
Simon Freund, GIZ, Stabsstelle Evaluierung,
Senior-Fachkonzeptionist
Christoph Mairesse, GIZ, Stabsstelle Evaluierung,
Senior-Fachkonzeptionist
Verantwortlich:
Dr. Ricardo Gomez, GIZ
Leiter Stabsstelle Evaluierung
Herausgeberin:
Deutsche Gesellschaft für
Internationale Zusammenarbeit (GIZ) GmbH
Sitz der Gesellschaft:
Bonn und Eschborn
Friedrich-Ebert-Allee 36 + 40
53113 Bonn, Deutschland
T +49 228 4460-0
F +49 228 4460-17 66
I www.giz.de/evaluierung
www.youtube.com/user/GIZonlineTV
www.facebook.com/gizprofile
https://twitter.com/giz_gmbh
Design/Layout etc.:
DITHO Design GmbH, Köln
Druck und Vertrieb:
GIZ, Bonn
Gedruckt auf 100 % Recyclingpapier,
nach FSC-Standards zertifiziert.
Bonn 2018
Das vorliegende Dokument ist auf der
GIZ-Website als pdf-Download verfügbar
unter www.giz.de/evaluierung.
Anfragen nach einer gedruckten Ausgabe
richten Sie bitte an [email protected]
Inhalt
1 Funktionen unternehmensstrategischer Evaluierungen 4
2 Themen und Auswahlkriterien 5
3 Qualitätssicherung unternehmensstrategischer Evaluierungen 6
3.1 Qualitätsstandards .................................................................................................. 6
3.2 Qualitätsinstrumente und -verfahren ........................................................................ 6
4 Durchführung der unternehmensstrategischen Evaluierungen 7
5 Governance des Instruments und Rollen der Akteure 8
5.1 Vorstand .................................................................................................................. 8
5.2 Auftraggeber/-in der USE ........................................................................................ 9
5.3 Referenzgruppe ....................................................................................................... 9
5.4 Gremien .................................................................................................................. 9
5.5 Stabsstelle Evaluierung ......................................................................................... 10
5.6 Evaluatoren und Evaluatorinnen ............................................................................ 10
5.7 Kommunikation mit dem BMZ ................................................................................ 10
6 Prozessbeschreibung 11
6.1 Erstellung des Evaluierungsprogramms ................................................................ 11
6.2 Einzelevaluierung .................................................................................................. 11
4
1 Funktionen unternehmensstrategischer
Evaluierungen
Die Evaluierungspolicy der GIZ definiert drei Grundfunktionen für Evaluierungen: evidenzbasierte
Entscheidungen, Transparenz und Rechenschaftslegung sowie organisationales Lernen. Planung,
Durchführung und Nutzung von Evaluierungen gestaltet die GIZ daher so, dass der Beitrag der
Evaluierung, sowohl während des Evaluierungsprozesses als auch in Form der Evaluierungs-
ergebnisse, zu diesen drei Grundfunktionen optimiert wird.
Unternehmensstrategische Evaluierungen (USE) werden von der GIZ in eigener Verantwortung
ausgewählt und durchgeführt. Sie werden von der Stabsstelle Evaluierung im Auftrag des Vorstands
durchgeführt und aus deren Budget finanziert. Sie sind auf den spezifischen Informationsbedarf und
das Erkenntnisinteresse von Akteuren im Unternehmen ausgerichtet. Für Entscheidungen,
Position-ierungen oder Veränderungsprozesse, die eine vertiefte Kenntnis der Unternehmensrealität
erfordern, werden unter Berücksichtigung international anerkannter Evaluierungsprinzipien und
-standards sowie ggf. mithilfe externer Expertise Evidenzen erarbeitet.
Die Ergebnisse der USE sollen evidenzbasierte Entscheidungen, Veränderungen und Lernprozesse
sowohl auf der strategischen als auch auf der operativen Ebene ermöglichen, um damit Wirksamkeit,
Wirtschaftlichkeit und Qualität der Leistungserbringung sowie der Veränderungsprozesse des
Unternehmens zu erhöhen. Unternehmensstrategische Evaluierungen sind daher geschäftsfeld- und
instrumentenübergreifend angelegt. Auf diese Weise sollen Erfahrungen ausgewertet werden und in
Zukunfts- und Innovationsprozesse des Unternehmens einfließen.
Im Rahmen der USE identifiziert das Unternehmen strategisch wichtige Themen aus den beiden
nachfolgenden Bereichen:
Unternehmensentwicklung: Weiterentwicklung von Unternehmensstrategien, -strukturen
und -prozessen
Leistungserbringung: Planung und Durchführung von Vorhaben, Weiterentwicklung von
strategischen Instrumenten, Dienstleistungen, Leistungsangeboten, Beitrag zur (Weiter-)Entwick-
lung von Sektor- und Länderkonzepten
Dabei sollen Erkenntnisse generiert werden, die
evidenzbasierte Entscheidungen und Steuerung auf strategischer und operativer Ebene sowie
organisationales Lernen ermöglichen;
Rechenschaftslegung sowohl nach innen als auch gegenüber Auftraggebern, Partnern, Zielgruppen
und der Öffentlichkeit unterstützen;
Fortschreibung und Weiterentwicklung von Ansätzen und Methoden der Leistungserbringung sowie
von Unternehmenspolitiken und -strategien fördern;
Veränderungs- und Lernprozesse qualifizieren;
Informationen für die Positionierung des Unternehmens sowie für Kundengewinnung und -pflege
liefern.
USE können je nach Entscheidungs- und Erkenntnisbedarf vor Beginn der Maßnahmen angesetzte
Ex-ante-Evaluierungen, begleitende (formative) Evaluierungen, Ex-post-Evaluierungen oder Quer-
schnittauswertungen (Evaluierungssynthesen, Meta-Evaluierungen) sein. In jedem Evaluierungs-
programm sollen eine Ex-post-Evaluierung sowie eine Querschnittauswertung durchgeführt werden.
Diese können sich auf strategisch relevante Vorhaben beziehen, sollen aber in der Regel Länder- oder
Sektor-Portfolien untersuchen. Je nach Bedarf können auch Elemente einer umfassenden USE einzeln
und ggf. kurzfristig durchgeführt werden, beispielsweise eine Portfolioanalyse oder eine standardisierte
(Online-)Befragung.
5
Das Instrument wird konsequent am Nutzen für das Unternehmen ausgerichtet. Die Nutzung wird
unterstützt, indem das Erkenntnisinteresse, der Informationsbedarf und die Umsetzungskapazitäten
beteiligter Akteure bei der Konzipierung und Durchführung im Rahmen von Referenzgruppen
berücksichtigt werden. Mittels eines Management-Response-Systems werden Umsetzungs-
vereinbarungen auf der Basis der Ergebnisse und Empfehlungen der USE erarbeitet, festgehalten und
mittels Monitoring beobachtet. Wichtige Ergebnisse, Good Practices und Erfolgsfaktoren werden zudem
in verschiedenen Lern,- Dialog- und Informationsveranstaltungen diskutiert, sowohl evaluierungs-
begleitend als auch auf der Basis des Evaluierungsberichts. Ergänzend werden sie auch im Internet,
durch Publikationen und Konferenzbeiträge über die GIZ hinaus verbreitet.
2 Themen und Auswahlkriterien
Das Evaluierungsprogramm wird für zwei Jahre festgelegt und im Jahresrhythmus angepasst. Derzeit
werden jährlich bis zu fünf Themen evaluiert, wobei die Evaluierungen sich in Umfang und Ausrichtung
unterscheiden. Die Themen werden von den Mitgliedern des Vorstands und der ersten Führungsebene
der GIZ (Bereichs- und Stabsstellenleitungen) im Rahmen einer Abfrage der Stabsstelle Evaluierung
vorgeschlagen. Darüber hinaus kann der Vorstand jederzeit nach Bedarf USE-Themen festlegen und
die Stabsstelle Evaluierung damit beauftragen. Die Stabsstelle Evaluierung analysiert die Vorschläge
und legt dem Vorstand einen entsprechenden USE-Programmvorschlag zur Entscheidung vor.
Auswahl und Entscheidung erfolgen anhand folgender Kriterien:
Unternehmenspolitische Bedeutung: Das Thema ist von übergeordnetem unternehmens-
politischen Interesse, was unter anderem in unternehmenspolitischen Grundsatzdokumenten und
Beschlüssen, in der langfristigen Unternehmensplanung (LUP), in der Geschäftsstrategie, in
TOP-Maßnahmen, in den jährlichen Unternehmenszielen oder im Qualitätsbericht zum Ausdruck
kommt. Es weist besonderes Potenzial auf für die Geschäftsentwicklung und/oder für
Verbesserungen in den Strukturen, Prozessen und Verfahren des Unternehmens in allen Bereichen
und auf allen Ebenen.
Mittelfristiger Entscheidungsbedarf: Das Thema steht im Zusammenhang mit mittel- oder
langfristig (d.h. in ein bis drei Jahren) anstehenden grundlegenden Entscheidungen oder
Positionierungen. Für kurzfristig erforderliche Entscheidungen oder Positionierungen sind
strategische Evaluierungen dagegen zu zeit- und kostenintensiv.
Evidenzbedarf: Entscheidungen oder Positionierungen erfordern eine vertiefte Kenntnis komplexer
Sachverhalte der Unternehmensrealität unter Berücksichtigung international anerkannter
Evaluierungsstandards und ggf. mit Unterstützung externer Expertise.
Evaluierbarkeit: Konkret wird geprüft, ob der Evaluierungsgegenstand hinreichend genau definiert
ist, ob dessen Ergebnisse überprüfbar sind und ob eine Evaluierung die optimale Herangehens-
weise ist, um die Fragen der Stakeholder zu beantworten. Die Evaluierungsfragen müssen im Rah-
men des zur Verfügung stehenden Zeitrahmens und Budgets für die Erhebung und Auswertung von
Primär- und Sekundärdaten in angemessener Tiefe bearbeitet werden können. Zudem muss die
Datenlage eine Evaluierung erlauben.
Bewertungscharakter: Evaluierungen bewerten die Umsetzung der Unternehmensstrategie oder
die Leistungserbringung der GIZ im Sinne einer Erfolgskontrolle und/oder Wirkungserfassung. Darin
unterscheiden sie sich von Studien, in denen beispielsweise der Wissensstand zu einem Themen-
feld aufbereitet wird oder ein Benchmarking zwischen verschiedenen Anbietern ähnlicher
Dienstleistungen erfolgt und die von anderen Organisationseinheiten des Unternehmens in Auftrag
gegeben oder durchgeführt werden.
6
3 Qualitätssicherung unternehmensstrategischer
Evaluierungen
3.1 Qualitätsstandards
Unternehmensstrategische Evaluierungen folgen internationalen und nationalen Qualitätsstandards,
wie sie in den Standards des Development Assistance Committee (DAC) der Organisation für
wirtschaftliche Zusammenarbeit und Entwicklung (OECD) und der Gesellschaft für Evaluation e.V.
(DeGEval) sowie in der GIZ-Evaluierungspolicy (2017) niedergelegt sind. Sie orientieren sich
insbesondere an den Standards für Unabhängigkeit, Genauigkeit, Nützlichkeit und Transparenz von
Evaluierungen. Diese werden wie folgt umgesetzt:
Unabhängigkeit: Die Stabsstelle Evaluierung ist organisatorisch direkt dem Vorstand zugeordnet
und in der Evaluierungsdurchführung unabhängig von den operativen Bereichen und den Strategie-
einheiten des Unternehmens. Der Stabsstelle ist der Freiraum gegeben, das eigene Haus mit
kritischen Evaluierungsergebnissen zu konfrontieren. Die Durchführung einzelner Evaluierungen
kann an externe Auftragnehmer vergeben oder von der Stabsstelle selbst übernommen werden.
Die Inhalte von Evaluierungsberichten und damit auch die Bewertung des Evaluierungs-
gegenstandes liegen in der alleinigen Verantwortung der Evaluatoren und Evaluatorinnen.
Genauigkeit: Die Evaluierungen werden auf der Basis anerkannter Qualitätsstandards, Methoden
und Verfahren durchgeführt. Zur Qualitätssicherung hat die Stabsstelle Evaluierung ein System des
internen und (im Falle einer eigenen Durchführung) externen Peer Reviewing eingeführt. Die USE
liefern nachvollziehbare Ergebnisse und dokumentieren sowohl Erfolge als auch Misserfolge und
die Gründe dafür.
Nützlichkeit: Die unternehmensstrategischen Evaluierungen orientieren sich am international
anerkannten Ansatz der nutzungsorientierten Evaluierung. Dabei sind die Identifikation potenzieller
Nutzer und die intensive Beteiligung relevanter Akteure in Form der Referenzgruppen und darüber
hinaus am gesamten Evaluierungsprozess zentral.
Transparenz: Die Berichte der USE werden mit einer Stellungnahme der GIZ und der Management
Response veröffentlicht. Die Positionierung der GIZ als transparente, selbstkritische und lernende
Organisation wird damit gefördert. Je nach Zielsetzung und Evaluierungsgegenstand werden die
USE auch Partnern oder anderen Gebern zugänglich gemacht. Zentrale Erkenntnisse und
Empfehlungen der USE (Management Summary) sowie der Umgang damit (Management
Response) sind immer in deutscher und englischer Sprache verfügbar. Die GIZ verzichtet nur in
folgenden Fällen auf eine Veröffentlichung des Hauptberichtes der Evaluierung: Wenn diese die
Rechte Dritter verletzen, die Anonymisierung personenbezogener Daten nicht gewährleisten,
Betriebs- oder Geschäftsgeheimnisse beinhalten, laufende nationale und internationale
Verhandlungen beeinträchtigen oder außen- bzw. sicherheitspolitisch sensibel sind.
3.2 Qualitätsinstrumente und -verfahren
Bei den USE sorgt die Stabsstelle Evaluierung mit folgenden Instrumenten für die Einhaltung der Qua-
litätsstandards:
Auftragsklärung: Eine umfassende Auftragsklärung mit dem/der Auftraggeber/-in der USE einer-
seits und den externen Gutachtern und Gutachterinnen andererseits legt den Grundstein für eine
7
erfolgreiche Evaluierung. Sie beugt Konflikten im Verlauf der Evaluierung vor und erhöht die
Zufriedenheit aller Beteiligten mit dem Evaluierungsprozess und die Akzeptanz der Evaluierungs-
ergebnisse. Evaluierungsmanager/-innen müssen daher dafür sorgen, dass die Ergebnisse der
jeweiligen Auftragsklärung möglichst eindeutig und unmissverständlich sind.
Inception Report: Ein Inception Report fasst die Vorerkenntnisse zu dem Evaluierungsgegenstand
zusammen, die aus Dokumentenanalysen und Interviews gewonnen werden. Er spezifiziert ferner
das Evaluierungsdesign, legt den Fokus und Umfang der Evaluierung fest und nimmt eine kritische
Analyse der Qualität der verfügbaren Dokumente vor. Weiterhin entwickeln die beauftragten
Evaluatoren und Evaluatorinnen in diesem Rahmen auch die Instrumente zur Datenerhebung. Der
Inception Report ist eine zentrale Leistung des Evaluators bzw. der Evaluatorin, und die
Kommentierung seitens des Auftraggebers bzw. der Auftraggeberin und der Evaluierungsmanager/-
innen ist ein Schlüsselinstrument der Qualitätssicherung.
Methodische Vorgaben für externe Gutachter/-innen: Die GIZ gibt i.d.R. einen theoriebasierten
Evaluierungsansatz wie beispielsweise Realist Evaluation, Process Tracing und die Kontributions-
analyse vor. Die Auswahl ist auf das Erkenntnisinteresse und den Evaluierungsgegenstand
abgestimmt. Auf der Grundlage vorhandener Wirkungsmodelle oder von den Evaluatorinnen und
Evaluatoren rekonstruierter Theories of Change können die Wirkungshypothesen auf ihre
Plausibilität hin überprüft werden. Für die Datenerhebung werden angemessene quantitative und
qualitative Methoden gezielt so kombiniert, dass sie im für die Durchführung der Evaluierung
verfügbaren Zeitraum optimal aufeinander aufbauen.
Annotierte Gliederungen für die Berichtslegung: Verbindliche Leitlinien für die Erstellung von
Evaluierungsprodukten wie bspw. Inception Report und Hauptbericht spezifizieren Inhalt und
Struktur derselben sowie ihre erwartete Qualität.
Stellungnahme zu dem Evaluierungsbericht: Der finale Evaluierungsbericht ist ein unabhängiger
Bericht der von der GIZ beauftragten Evaluatoren und Evaluatorinnen. Bei der Diskussion des
Entwurfs sind die Evaluatoren und Evaluatorinnen frei in der Entscheidung, in den Evaluierungs-
bericht die Anregungen aufzunehmen, die sie von dem/der Auftraggeber/-in, der Referenzgruppe
und den Evaluierungsmanagern/-managerinnen in der Stabsstelle erhalten, es sei denn, die
Kommentare beziehen sich auf vertraglich vereinbarte Leistungen. Ggf. abweichende Einschätzun-
gen der Ergebnisse werden in der Stellungnahme der GIZ zu dem unabhängigen Evaluierungs-
bericht transparent gemacht.
4 Durchführung der unternehmensstrategischen
Evaluierungen
Unternehmensstrategische Evaluierungen werden von der Stabsstelle Evaluierung im Auftrag des
Vorstands durchgeführt und aus deren Budget finanziert. Eine USE beginnt mit der Auswahl des
Themenvorschlags durch den Vorstand, der die Stabsstelle Evaluierung mit der Durchführung
beauftragt. Sie ist abgeschlossen, wenn der/die Auftraggeber/-in den Hauptbericht, die Stellungnahme
der Stabsstelle Evaluierung (im Fall einer externen Durchführung) sowie die Management Response
(Umgang mit den Empfehlungen) abgenommen hat. Damit die Ergebnisse möglichst rasch verbreitet
und genutzt werden können, soll der USE-Bericht möglichst direkt nach Abschluss veröffentlicht
werden.
Der weitere Prozess des Management Response Systems (Prozessschritt Nutzung), also die
Entwicklung von gezielten Maßnahmen zur Qualitätsverbesserung, die Umsetzungsentscheidung und
die kontinuierliche Dokumentation des Standes der Umsetzung ist nicht Teil der eigentlichen
unternehmensstrategischen Evaluierung. Die Prozessschritte werden in Abschnitt 6 definiert und im
Detail beschrieben.
8
Je nach thematischer Schwerpunktsetzung und Verfügbarkeit von Personalressourcen können USE
extern vergeben oder von der Stabsstelle Evaluierung selbst durchgeführt werden. Wenn der Fokus auf
Transparenz und Rechenschaftslegung gelegt wird, der Wunsch nach einer externen Einschätzung
besteht oder für die Beantwortung der Evaluierungsfragen spezifisches Fach- oder Methodenwissen
erforderlich ist, spricht dies für eine externe Vergabe. Eine eigene Durchführung bietet sich an, wenn
für die USE eine tiefe Kenntnis von Unternehmensprozessen erforderlich ist, vertrauliche Daten
erhoben bzw. vertrauliche Dokumente ausgewertet werden müssen oder ein bestimmter Erkenntnis-
bedarf kurzfristig bedient werden soll. Eine Eigendurchführung bietet sich ferner dann an, wenn zu
einem bestimmten Evaluierungsgegenstand die Kompetenz und die Lieferfähigkeit externer
Evaluatoren und Evaluatorinnen als begrenzt eingeschätzt wird.
In der Praxis sind folgende Varianten der Durchführung einer USE möglich:
Vergabe der gesamten USE
Erstellung der Concept Note durch die Stabsstelle Evaluierung
Ausschreibung und Vergabe
Modulare Mischformen
eigene Durchführung bis zum Inception Report: Durchführung erster Erhebungsschritte wie
bspw. Portfolioanalyse, Dokumentenauswertung, danach Ausschreibung und Vergabe
Steuerung der ganzen USE inkl. Verantwortung für die Berichterstellung, dabei Vergabe
einzelner Erhebungsschritte wie bspw. Fallstudien
eigene Durchführung einzelner Erhebungsschritte (bspw. Online-Befragung), deren
Ergebnisse dem für die Berichterstellung verantwortlichen Auftragnehmer zur Verfügung
gestellt werden
Eigene Durchführung
vollständige Durchführung durch Personal der Stabsstelle Evaluierung
standardmäßige oder angepasste Prozessbegleitung
5 Governance des Instruments und Rollen der Ak-
teure
Die Stabsstelle Evaluierung fordert den Vorstand und die erste Führungsebene der GIZ (Bereichs- und
Stabsstellenleitungen) alle zwei Jahre auf, Themenvorschläge für die Entwicklung eines ne
uen Evaluierungsprogramms einzureichen. Die Bereichs- und Stabsstellenleiter/-innen können in ihren
Einheiten Vorschläge abfragen, diese bewerten, priorisieren und bei der Stabsstelle Evaluierung
einreichen. Die Themenvorschläge werden durch die Stabsstelle zu Evaluierungsskizzen aufbereitet
und in einer Themenliste für das anstehende Zweijahresprogramm dem Vorstand vorgeschlagen.
5.1 Vorstand
Der Vorstand priorisiert die Vorschläge der Stabsstelle für unternehmensstrategische Evaluierungen
und beauftragt das zweijährige Evaluierungsprogramm. Jeweils jährlich erhält der Vorstand einen
Bericht über den Stand der Durchführung der einzelnen Evaluierungen und entscheidet bei Bedarf über
Anpassungen an neue Entwicklungen in der restlichen Zeit des Zweijahresprogramms.
9
5.2 Auftraggeber/-in der USE
Der Vorstand benennt ein Vorstandsmitglied, welches als Auftraggeber/-in der Einzelevaluierung mit
allen Entscheidungsbefugnissen zur Durchführung der USE mandatiert ist. Der Vorstand kann im
Ausnahmefall diese Funktion an eine Führungskraft der ersten Ebene delegieren. Auftraggeber
(re)definieren auf der Basis der Evaluierungsskizze Entscheidungs- und Veränderungsbedarfe sowie
Bedarfe der Rechenschaftslegung (innen/außen), die von der Evaluierung bearbeitet werden sollen. Sie
sind Ansprechpartner/-innen der Stabsstelle im Vorstand für den USE-Prozess und werden als Auftrag-
geber/-in in alle wichtigen Entscheidungen eingebunden. Die konkreten Einbindungsbedarfe werden zu
Beginn jeder USE spezifiziert. Auftraggeber/-innen haben eine wichtige Funktion für die unternehmens-
politische Ausrichtung und Akzeptanz der Evaluierung sowie zur Bewertung potenzieller Synergien mit
anderen relevanten Prozessen im Unternehmen. Nach Abnahme des Hauptberichts, der Stellung-
nahme sowie der Management Response beauftragen sie Mitglieder der Referenzgruppe sowie ggf.
weitere Vertreter/-innen relevanter Organisationseinheiten mit der Erarbeitung konkreter Umsetzungs-
vereinbarungen.
5.3 Referenzgruppe
Für jede unternehmensstrategische Evaluierung wird eine Referenzgruppe aus Vertreterinnen und
Vertretern relevanter Organisationseinheiten gebildet. Sie wird in Abstimmung mit den Leitungen der
betreffenden Bereiche bzw. Stabsstellen von den jeweiligen Auftraggebern und Auftraggeberinnen und
der Stabsstelle Evaluierung nach inhaltlichen und unternehmenspolitischen Kriterien zusammengestellt.
Ihre Zusammensetzung soll die Breite des jeweiligen Themas sowie Verantwortlichkeiten im Unter-
nehmen widerspiegeln, weshalb Fach- und Managementebene gleichermaßen vertreten sind. Die
Mitglieder der Referenzgruppe sind von ihrer jeweiligen Organisationseinheit benannt und mandatiert,
die Position ihrer Organisationseinheit einzubringen. Zusätzlich können Mitarbeiter/-innen an der
Referenzgruppe teilnehmen, die auf Grund ihrer fachlichen und/oder methodischen Kompetenzen und
Erfahrungen den Evaluierungsprozess beratend unterstützen sollen.
Die Referenzgruppe ist kein Entscheidungsgremium. Sie berät den/die Auftraggeber/-in und die
Stabsstelle im Sinne eines sounding board während des gesamten Evaluierungsprozesses zu
konzeptionellen und sonstigen grundlegenden Fragen der Durchführung der Evaluierung und stellt so
sicher, dass die Evaluierung den Bedarf des Unternehmens abdeckt und der Evaluierungsprozess
sowie die Empfehlungen nicht zu Überlastungen von Unternehmensteilen führen. Sie diskutiert und
kommentiert die Berichtsentwürfe sowie die Schlussfolgerungen und Empfehlungen und übernimmt
eine wichtige Funktion bei der Erstellung der Management Response, der Umsetzungsvereinbarung
und der Kommunikation der Evaluierungsergebnisse.
5.4 Gremien
Die Ergebnisse der unternehmensstrategischen Evaluierungen werden nach Abnahme durch den/die
Auftraggeber/-in dem Strategiekreis vorgelegt. Auf der Grundlage der Evaluierungsempfehlungen
verabschiedet der Strategiekreis die Management Response. Die konkreten Umsetzungs-
vereinbarungen (tabellarischer Maßnahmenkatalog als Anhang zur Management Response), die
Vertreter/-innen der jeweiligen Referenzgruppe sowie ggf. betroffener Organisationseinheiten unter
Koordination der Stabsstelle Evaluierung anschließend erarbeiten, werden zu einem späteren Zeitpunkt
vom Managementkreis verabschiedet.
10
5.5 Stabsstelle Evaluierung
Die Aufgaben der Stabsstelle umfassen die Erstellung des Evaluierungsprogramms, welches vom
Vorstand diskutiert und beschlossen wird. Bei der Durchführung der einzelnen USE erarbeitet in der
Regel ein Tandem aus zwei Fachkonzeptionisten/Fachkonzeptionistinnen unter Einbeziehung von
Auftraggebern/Auftraggeberinnen und Referenzgruppenmitgliedern das Evaluierungskonzept,
organisiert die Ausschreibung und Vergabe von Aufträgen an Gutachterfirmen, steuert diese bzw.
koordiniert die Durchführung der Evaluierungen oder führt sie ggf. selbst durch.
Die Stabsstelle Evaluierung ist verantwortlich für die Qualitätssicherung des Gesamtprozesses, der
methodischen Vorgehensweise und der Berichterstattung. Die Inhalte des Schlussberichtes werden von
den Evaluatoren und Evaluatorinnen verantwortet. Die Stabsstelle Evaluierung erarbeitet eine Stellung-
nahme zur unternehmenspolitischen Einordnung des Evaluierungsgegenstands, zur Qualität und den
Inhalten des Hauptberichts. Auf der Basis der Diskussion in der letzten Referenzgruppensitzung entwirft
sie die Management Response, stimmt diese mit Auftraggeber/-in und Referenzgruppenmitgliedern ab
und koordiniert die Erarbeitung der konkreten Umsetzungsmaßnahmen (nicht veröffentlichter Anhang
zur Management Response).
Die Stabsstelle überprüft den Fortschritt der in der Umsetzungsvereibarung beauftragten Maßnahmen
mit der Stabsstelle Unternehmensentwicklung.
Darüber hinaus ist die Stabsstelle Evaluierung verantwortlich für die Veröffentlichung der Evaluierungs-
berichte sowie für die Organisation von Lern- und Präsentationsveranstaltungen, um die Evaluierungs-
ergebnisse für institutionelles Lernen sowie ggf. den nationalen und internationalen Fachdiskurs
verfügbar zu machen.
Die Stabsstelle berücksichtigt die Empfehlungen der Referenzgruppe, ist im Sinne der Unabhängigkeit
jedoch nicht an deren Entscheidungen gebunden. Der Vorstand und die jeweiligen Auftraggeber/-innen
sind weisungsbefugt bezüglich der Spezifizierung des Evaluierungsgegenstands, nicht aber hinsichtlich
der methodischen Herangehensweise und/oder der Interpretation der Evaluierungsergebnisse.
5.6 Evaluatoren und Evaluatorinnen
Mit der Durchführung der einzelnen Evaluierungen können Mitarbeiter/-innen der Stabsstelle
Evaluierung, externe Forschungsinstitute, Consultingfirmen oder (Teams aus) Einzelgutachtern und
Einzelgutachterinnen beauftragt werden.
Darüber hinaus können neben Evaluatorinnen und Evaluatoren auch renommierte internationale
Fachexpertinnen und –experten zur Begleitung der Evaluierung hinzugezogen werden, wenn dies der
methodischen und fachlichen Qualität der Evaluierungsergebnisse dient.
Die Evaluatoren und Evaluatorinnen sind allein verantwortlich für die Inhalte des Evaluierungsberichts.
5.7 Kommunikation mit dem BMZ
Nach der Verabschiedung des USE-Programms durch den Vorstand wird das Evaluierungsreferat des
BMZ darüber informiert, um bei Bedarf eine Abstimmung mit dem DEval-Evaluierungsprogramm
vornehmen zu können. Im Zuge der Veröffentlichung des Hauptberichts einer USE wird dieser an das
Evaluierungsreferat des BMZ versandt. Bei Interesse können die Ergebnisse im BMZ diskutiert und
dargestellt werden. Im Falle von USE, bei denen Mitarbeiter/-innen des BMZ im In- und/oder Ausland
interviewt oder Daten und Informationen beim BMZ angefragt werden, erhält das BMZ auch Arbeits-
dokumente (USE-Skizze, Evaluierungskonzept, Inception Report) zur Kenntnis, um die Bedarfe an
BMZ-Ressourcen besser einordnen zu können.
11
6 Prozessbeschreibung
6.1 Erstellung des Evaluierungsprogramms
Ers
tellu
ng
Evalu
ieru
ng
sp
rog
ram
m
Prozessschritt Wer Wozu und wie
Sammlung von Themen für USE Stabsstelle
Evaluierung (08)
Abfrage bei Vorstand und Führungsebene
1
Prüfung der Vorschläge 08 Anhand der Auswahlkriterien
Aufbereitung der Vorschläge 08 Erarbeitung von Evaluierungsskizzen für
den Entscheidungsprozess
Priorisierung und Entscheidung über
Zweijahresprogramm
Vorstand benennt verantwortliche
Mitglieder als Auftraggeber/-innen für
die einzelnen USE
Vorstand Je nach Ressourcen in der 08, derzeit bis
zu fünf Evaluierungen pro Jahr
Fortschreibung/Anpassung des
Evaluierungsprogramms
Vorstand Aktualisierter Sachstand und ggf. neue
Themen für USE
6.2 Einzelevaluierung
Vo
rbe
reit
un
g
Prozessschritt Wer Wozu und wie
Auftragsklärung mit Auftraggeber/-in
(AG)
08 Klärung der Evaluierungsziele,
Entscheidungs- und Erkenntnisbedarfe
und der angestrebten Nutzung der
Evaluierungsergebnisse;
Vorschläge für Referenzgruppe;
Entscheidung über interne/externe
Durchführung
(Im Folgenden wird der Normalfall der
externen Vergabe dargestellt)
Bildung der Referenzgruppe
08 in Abstimmung
mit relevanten
Organisationseinheit
(OE)
Entwicklung des Evaluierungsdesigns
(Concept Note)
08
Abstimmung mit Auftraggeber/-in und Re-
ferenzgruppe;
Konkretisierung von Evaluierungsgegen-
stand und -fragen sowie Evaluierungsde-
sign
Entscheidung über sowie ggf.
Steuerung der Vergabe an externe
Auftragnehmer (AN)
08 Vergabe nach Orientierungen und Re-
geln (OuR);
Angebotsprüfung nach Qualitätskriterien
der 08;
Prüfung Kosten-Nutzen-Verhältnis
12
Du
rch
füh
run
g
Prozessschritt Wer Wozu und wie
Explorative Datenerhebung
und -analyse
AN, ggf. 08
Klärung der Datenlage; Entwicklung von
Erhebungsinstrumenten; erste Interviews
und Dokumentenanalysen
Entwurf Inception Report AN, ggf. 08 Abgestimmtes Evaluierungs- und
Erhebungsdesign; Prüfung, ob
Informationsbedarf abgedeckt ist
Diskussion und Kommentierung
Inception Report
08 +AG und Refe-
renzgruppe
Kommentierung durch Referenzgruppe
nach Qualitätsprüfung durch die StS 08
Anpassung Inception Report
und Evaluierungsdesign
AN, ggf. 08
Abnahme Inception Report 08, ggf, AG und Re-
ferenzgruppe
Abnahme nach erneuter
Qualitätsprüfung durch die StS 08
Datenerhebung AN, ggf. 08 Abhängig vom Design
Dokumentenanalyse
Interviews
Online-Befragung
Fallstudien
Datenanalyse AN, ggf. 08
Entwurf Hauptbericht AN, ggf. 08
Diskussion und Kommentierung
Hauptbericht
08 +AG und
Referenzgruppe,
ggf. externe Peer
Reviewer
Kommentierung durch Referenzgruppe
und AG nach Qualitätsprüfung durch die
StS 08
Anpassung des Hauptberichts AN, ggf. 08
Abnahme des Hauptberichts 08 Abnahme nach erneuter Qualitätsprüfung
durch die StS 08
Nu
tzu
ng
Prozessschritt Wer Wozu und wie
Verfassen der Stellungnahme zur (me-
thodischen) Qualität der USE
08 Transparenz bezüglich der Belastbarkeit
der Evaluierungsergebnisse
Formulierung der Management
Response
Entwurf 08, Abstim-
mung mit AG
Transparenter Umgang mit Empfehlun-
gen
Verabschiedung der Management
Response
Strategiekreis Freigabe zur Veröffentlichung
Veröffentlichung des Evaluierungs-
berichts
08 Evaluierungsberichte werden bis auf be-
nannte Ausnahmen veröffentlicht
Erarbeiten der Umsetzungs-
vereinbarung
Referenzgruppe mit
rel. OE, moderiert
durch 08
Konkreter Maßnahmenkatalog auf Basis
der Management Response
Verabschiedung der Umsetzungsver-
einbarung
Managementkreis Verbindlichkeit der Entscheidungen
Entwicklung und Umsetzung
von Informations- und Lernformaten
08 / relevante OE Disseminierung, konzeptionelles
und organisationales Lernen
Entwicklung von weiteren Publikationen
(Broschüre, Teaser etc.)
08 / relevante OE
Ggf. Präsentation der Ergebnisse (z.B.
bei Auftraggebern, Partnern, nationaler
und internationaler Fachöffentlichkeit)
08 / relevante OE Disseminierung
Monitoring der Umsetzung
der vereinbarten Maßnahmen
08 und 04,
relevante OE
13
Fotonachweise und Quellen
Fotonachweise/Quellen:
URL-Verweise:
In dieser Publikation befinden sich ggf. Verweise zu externen Internetseiten. Für die
Inhalte der aufgeführten externen Seiten ist stets der jeweilige Anbieter verantwortlich.
Die GIZ hat beim erstmaligen Verweis den fremden Inhalt daraufhin überprüft, ob
durch ihn eine mögliche zivilrechtliche oder strafrechtliche Verantwortlichkeit ausgelöst
wird. Eine permanente inhaltliche Kontrolle der Verweise auf externe Seiten ist jedoch
ohne konkrete Anhaltspunkte einer Rechtsverletzung nicht zumutbar. Wenn die GIZ
feststellt oder von anderen darauf hingewiesen wird, dass ein externes Angebot, auf
das sie verwiesen hat, eine zivil- oder strafrechtliche Verantwortlichkeit auslöst, wird
sie den Verweis auf dieses Angebot unverzüglich aufheben. Die GIZ distanziert sich
ausdrücklich von derartigen Inhalten.
14
Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH
Sitz der Gesellschaft Bonn und Eschborn
Friedrich-Ebert-Allee 36 + 40 53113 Bonn, Deutschland T +49 228 44 60-0 F +49 228 44 60-17 66
Dag-Hammarskjöld-Weg 1-5 65760 Eschborn, Deutschland T +49 61 96 79-0 F +49 61 96 79-11 15
E [email protected] I www.giz.de