Systemkonzepte und ihre Nutzung in der Evaluation

Fakultät Erziehungswissenschaften Institut für Berufspädagogik Professur für Didaktik des beruflichen Lernens

Steffen Horn, AG Systemische Ansätze und Evaluation, AK Entwicklungspolitik

Inhalt

1 Vorbemerkungen

2 Ablauf der Diskussion in der AG

3 Warum überhaupt der Systembegriff?

Selbstverständnis der AG • Erfahrungsaustausch im Vordergrund • nicht unbedingt ein gedrucktes Produkt am Ende der AG

Ziele der AG Systemische Evaluation • Diskussionsforum zu Systemtheorien / systemischen Ansätzen in der Evaluierungspraxis

Arbeitsphasen der AG 1. Informationsphase Vorträge zu verschiedenen Systemtheorien und systemischen

Ansätzen in der Evaluierungspraxis2. Phase der Diskussion des weiteren Vorgehens3. Reflexion der diskutierten Ansätze anhand eines Fallbeispiels

1 Vorbemerkungen

Phase 1: Diskussion unterschiedlicher Ansätze

Luhmann Parsons etc.

Vester etc.

2 Ablauf der Diskussion in der AG

Systemische Ansätze

und Evaluation

Phase 2: Phase der Diskussion des weiteren Vorgehens

Parsons:

Kritik an Parsons‘ („strukturfunktionaler“, „bestandsfunktionaler“) Theorie

1. Stabilität des Wert- und Rollensystems (vgl. ebd., vgl. Elias 1997, S. 16ff.)

2. Abweichung als Dysfunktion (z.B. Reichwein 1970, S.176, Krappmann 1971, S.164)

3. Theorie entwickelt anhand der modernen Bürgerlichen Gesellschaft (Kritik z.B. Elias 1997)

4. teleologische Implikationen (vgl. z.B. Luhmann 2004)

Nutzung für Evaluation:

• ???

Vorschlag für die Bewertung hinsichtlich der Zielstellung der AG:

• Parsons: sehr abstrakte Sozialtheorie; aufgrund der o.g. Kritik für die Vertiefung im Rahmen der AG wohl eher ungeeignet

2 Ablauf der Diskussion in der AG

Luhmann:

Schlagworte über Luhmann (nach Krause 2005: 113ff.):

• „Paradigmenwechsel“ soziologischer Theoriebildung: Funktionale Methode, Abkehr von kausaler Erklärung sozialer Wirklichkeit Erkenntnisinteresse

Einwände (nach Krause 2005):

• „abstraktes Philosophieren“, „Flug über den Wolken“, „geringe Benutzerfreundlichkeit“,

• „Akteursperspektive kaum respezifizierbar“

Anwendungen für Evaluationen:

• Stephan Blank 2004: Evaluation im Kontext des organisationalen Lernens.

• Blank/Löwenbein: Inwiefern kann Evaluation mittels systemtheoretischem – und Netzwerkwerkansatz die Steuerung von Projekten durch Lernprozesse befördern? (Vortrag DeGEval-Tagung Klagenfurt 2008)

Bewertung hinsichtlich der Zielstellung der AG:

• Sehr abstrakte Sozialtheorie mit ineinander eingeschliffenen Begriffen ( Erkenntnisinteresse), die aber weitestgehend „im Unanschaulichen ansetzt“ (Krause 2005) für die Vertiefung in der AG wohl eher ungeeignet

2 Ablauf der Diskussion in der AG

Vester:

Systembegriff:

• Biokybernetischer Ansatz Basis für Planungsansatz

• Systemmodell berücksichtigt (1) Systemgrenzen, (2) relationierte Elemente, die Wechselwirkungen und (3) Rückkopplungen unterliegen (4) Systemstrukturen

• Biokybernetischer Systembegriff „Wirklichkeit 1. Ordnung“ Objektive Tatsachen, „Wirklichkeit 2. Ordnung“ auf Interpretationsleistungen beruhende menschliche Handlungen

Soziale Systeme sind sehr viel komplexer als bspw. Lebende Systeme

• Planungs-/Managementansatz liegt ausgearbeitet vor.

Nutzung für Planung und Evaluation:

• Participatory Livelihood System Analysis (PALSA), • Rückgriff auf einzelne Instrumente: Impact Monitoring and Assessment (IMA),

Herweg/Steiner 2004

Vorschlag für die Bewertung hinsichtlich der Zielstellung der AG:

• Aufgrund der o.g. Griffigkeit Vertiefung in der AG erschien eher geeignet

2 Ablauf der Diskussion in der AG

Phase 3: Reflexion der diskutierten Ansätze anhand eines Fallbeispiels

Fallbeispiel:

• 'Minenopfer Kambodscha' (Projekt von MISEREOR)

Arbeitsschritte der Systemanalyse nach Vester:

1. Systembeschreibung2. Erfassung von Einflussgrößen3. Prüfung auf Systemrelevanz 4. Hinterfragen von Wechselwirkungen (mit Cross-Impact Matrix/

Papiercomputer)5. Bestimmung der Rolle im System6. Untersuchung der Gesamtvernetzung7. Kybernetik einzelner Szenarien8. Wenn-dann-Prognosen 9. Systembewertung

2 Ablauf der Diskussion in der AG

Phase 3: Reflexion der diskutierten Ansätze anhand eines Fallbeispiels

2 Ablauf der Diskussion in der AG

Zielsystem:

(Schritte 1 und 2: Systembeschreibung und Erfassung relevanter Einflussgrößen)

System Gemeinwesen auf lokaler Ebene

Ökonomische Dimension

· Lebensstandard/Livelihood (Bevölkerungsebene)

· Unternehmensstruktur (nach Branchen/Betriebsgrößen)

· Beschäftigungsstruktur· Arbeitslosen-/Beschäftigungsquote· Migration

Bildung

· Formal: Lok,/reg. Bildungs-angebote nach Schulformen

· Formal: Qualität/Effektivität der Bildungseinrichtrungen

· Charakteristika Informeller Bildung

· Bildungs-/Qualifikationsniveau der Bevölkerung

Politische Dimension: Öffentliche Institutionen (Staatlichkeit)/Gemeinwesen

Kulturelle Dimension

· Deutungsschemata

Systemumwelt

Leistungen/Ressourcen

· Sicherheit· Gesundheit· Infrastruktur/Straßen· Land

Partizipation/Rechte

· Strukturen der Entscheidung und Teilhabe

2 Ablauf der Diskussion in der AG

Intervenierendes System:

Analysemodell (nach Hummelbrunner):

2 Ablauf der Diskussion in der AG Schritt 4: Hinterfragen von Wechselwirkungen (mit Cross-Impact Matrix/Papiercomputer)

Schritt 7: Kybernetik einzelner Szenarien

2 Ablauf der Diskussion in der AG

Lebensstandard· Einkommen/Kaufkraft· Zugang zu Gesundheit · Zugang zu Bildung

(Aus-)Bildungs-institutionen

Beschäftigungs-struktur/-verlauf

Gesundheits-einrichtungen

Land

Unterkunft

Konflikte

Gleichheit/Ungleichheit

Strukturen der Partizipation im Gemeinwesen

Akzeptanz in der Familie

Migration

Systembegriff:

• Das System (griech. „Ganzes“): Unterscheidung von Elementen, die zum System selber bzw. nicht zum System, zur Umwelt gehören Grenze.

• Offene Systeme: autonomes Gefüge von Elementen, die sich nichtlinear nach eigenen Regeln selbst organisieren und die ein Geflecht von Wechsel-wirkungen, Rückkopplungseffekten und Zeitverzögerungen aufweisen.

• Jedes System: spezifische Relationierung seiner Elemente seine Struktur Bestimmte Verhaltensweisen der einzelnen Elemente, aber auch des Systems als Ganzes sind wahrscheinlicher als andere. Das System ist fähig, seine Strukturen, Zustände und Abläufe nach eigenen Regeln zu ordnen.

(Vgl. z.B. Bertalanffy 1957, Forrester 1972, Vester 2005, Weick 1976)

3 Warum überhaupt der Systembegriff?

Systembegriff bietet zahlreiche nützliche Annahmen und Konzepte

Beispiel Strukturbegriff:

• Strukturen: Muster bzw. Ordnungen für den Aufbau von Informationen aber auch Sozialbeziehungen

• Luhmann (1978): Strukturen sind als notwendige Folge von Komplexität aufzufassen

• Giddens (1997): rekursiv organisierte Regel-Ressourcenkomplexe, die mit Handlungen von Akteuren interdependent sind (Strukturen ermöglichen Handlungen und schränken diese ein, Handlungen reproduzieren Strukturen und können diese auch verändern) Akteur wird mitgedacht

Systemkonzepte tragen zu einer sinnvollen (theoriebasierten) Reduktion von Komplexität bei

Mittels Systemkonzepten und systemischen Denkens können Ausschnitte der Wirklichkeit als Ganzes betrachtet werden

3 Warum überhaupt der Systembegriff?

Was heißt eigentlich systemisch?

Vier Dimensionen die systemischen Denkens umfassen (nach Ossimitz):

• Denken in Modellen• Denken in vernetzten Strukturen• Denken in dynamischen Zeitgestalten• Fähigkeit zur praktischen Steuerung von Systemmodellen

Nutzung von Systemkonzepten in der Evaluation • Theorie/Konzepte („framing“ anhand von Annahmen) Systemkonzepte

(„Großtheorien“ vs. „Theorien mittlerer Reichweite“)

• Approach Systemmodelle

• Design

• Methode

• Ergebnis

3 Warum überhaupt der Systembegriff?

Fazit: Thesen

1. Systemisches Denken gründet nicht auf einem homogenen, abgeschlossenen Theorie-gebäude, es gibt daher auch keine einheitliche Definition von System und systemisch.

• Es gibt eine Reihe von systemischen Ansätzen / Theorien (Allgemeine Systemtheorie, Kybernetik, System Dynamics, Parsons und Luhmanns Systemtheorie etc.).

• Einige Theorien betrachten Systeme als real existierende Phänomene, andere als gedankliche Konstrukte, die erst durch Beobachtung entstehen.

2. Anstatt von Systemischer Evaluation sprechen wir von Nutzung von Systemkonzepten in der Evaluation. Aus den jeweiligen zugrunde liegenden Systemkonzepten lassen sich Evaluationsverfahren und das methodische Vorgehen ableiten.

• Die Festlegung auf einen spezifischen Evaluierungstypus, der die Verbindung der jeweils sehr breiten Bereiche Systemisches Denken und Evaluation repräsentiert, ist nicht angemessen.

• Als Brücke ist die Anwendung generischer systemischer Konzepten anzusehen, wie Systemgrenze, Struktur, Prozess, Beziehungen und Perspektiven.

3. Systemische Ansätze bieten ein breites methodisches Spektrum an. Die Auswahl passender Methoden soll sich an der Situation und den Fragestellungen orientieren.

• Die Nutzung von Systemkonzepten bei Evaluierungen ist nützlich in komplizierten Situationen (mehrere Akteure und Ebenen, parallele oder alternative Wirkungspfade).

• Sie ist ausgesprochen hilfreich in komplexen Situationen, in denen Wechselwirkungen oder emergente Phänomene auftreten.

3 Warum überhaupt der Systembegriff?

4. Die Nutzung von Systemkonzepten in der Evaluationen hat viele Vorteile/Potentiale:• Mit Systemkonzepten kann linear-kausales Denken überwunden und durch zirkuläre

Betrachtungsweisen ersetzt werden.• Mit Systemkonzepten können Ausschnitte der Wirklichkeit als Ganzes betrachtet als auch in

Subsysteme (Teil eines größeren Ganzen) zerlegt werden.• Wechselwirkungen und Feedbacks sowohl zwischen Intervention(ssystem) und Zielsystem

als auch innerhalb dieser beiden Teilsysteme werden berücksichtigt.• Aufgrund der Berücksichtigung von Feedback-Mechanismen wird die Kontextorientierung

und Flexibilität von Evaluationen erhöht.

5. Die Nutzung von Systemkonzepten in der Evaluationen hat aber auch Nachteile:• Systemkonzepte und daraus abgeleitete Evaluationsansätze können sehr abstrakt sein, was zu

Problemen bei Kommunikation und Vermittlung führen kann.• Sie erfordern von Auftraggebern ein Verständnis, dass Evaluationen als iterative Prozesse

angelegt werden, die offen sind für neue Anforderungen.• Sie erfordern von EvaluatorInnen neben dem Einbringen externer Sichtweisen auch spezielle

(Methoden)kompetenz und neue Rollen (z.B. aktive Intervention, Störungen).

6. Die Nutzung von Systemkonzepten in der Evaluationen erfordert neben Ausarbeitung von Ansätzen auch systemisches Denken/eine systemische Haltung der EvaluatorInnen:

• Dazu zählen insbesondere ein reflexive Herangehensweise (systemische Schleife), zirkuläres Denken und die Anerkennung bzw. Nutzung der Selbstorganisation des zu evaluierenden sozialen Systems.

3 Warum überhaupt der Systembegriff?

Vielen Dank für ihre Aufmerksamkeit!

Literatur:

Aebeli, H. (1980, 1981): Denken, das Ordnen des Tuns. Kognitive Aspekte der Handlungstheorie. Teil 1+2, Stuttgart

Bertalanffy, L.v. (1957): Allgemeine Systemtheorie. In: Deutsche Universitätszeitung. Nr. 12, 1957, S. 8–12.

Blank, S. (2004): Evaluation im Kontext des organisationalen Lernens. Der Beitrag reflexiver Bewertungsoperationen zur Entwicklung lernender Systeme. http://deposit.d-nb.de/cgi-bin/dokserv?idn=977796299&dok_var=d1&dok_ext=pdf&filename=977796299.pdf

Elias, N. (1997): Über den Prozeß der Zivilisation. Soziogenetische und psychogenetische Untersuchungen Band 1, Frankfurt/M.

Forrester, J.W. (1972): Grundsätze einer Systemtheorie. Wiesbaden

Giddens, A. (1997): Die Konstitution der Gesellschaft: Grundzüge einer Theorie der Strukturierung. Frankfurt/M.

Krause, D (2005): Luhmann-Lexikon. Stuttgart

Luhmann, N. (1982): Die Voraussetzung der Kausalität; in: Luhmann, N./Schorr, K. E. (Hg.): Zwischen Technologie und Selbstreferenz - Fragen an die Pädagogik. Frankfurt a. M., S. 41-50

Luhmann 2004: Einführung in die Systemtheorie. Hgg. v. Baecker, D. Heidelberg

Mühlhausen, T. (1999): Ein Beitrag zur makroskopischen Simulation von Passagierströmen zwischen kooperierenden Flughäfen unter Nutzung des SYSTEM DYNAMICS Zuganges nach Forrester. Dresden

Ossimitz , G. (2000): Systemisches Denken braucht systemische Darstellungsformen. Vortrag, GWS-Jahrestagung Mannheim

Pastohr, M. (2009): Die Leistungsfähigkeit von Systemen tertiärer Bildung an der Schwelle zum Beschäftigungssystem. Dresden

Vester, F. (2005): Die Kunst vernetzt zu denken: Ideen und Werkzeuge für einen neuen Umgang mit Komplexität: Ideen und Werkzeuge für einen neuen Umgang mit Komplexität. DTV

Hellwig, M. (2006): Zur Kategorie der Kausalität in den Wirtschaftswissenschaften. http://www.coll.mpg.de/pdf_dat/2006_10online.pdf

Weick , K. (1976): "Educational Organizations as Loosely Coupled Systems." Administrative Science Quarterly 21, S. 1-19.

Williams, Bob/Imam, I. (Hg.) (2007): System concepts in evaluation