Qualität in der Wissenschaft - uni-potsdam.de fileStefan Hornbostel, Dr., Professor für Soziologie (Wissen- schaftsforschung), Institut für Sozialwissenschaften der Humboldt-Universität

n Wirkungsanalyse komplexer Reformen als Begleitforschung

n QiW-Gespräch mit Anke Hanft

n Wie gut sind die Konzepte zum Studieneingang? Das StuFo-Verbundprojekt zur Wirksamkeit

der Studieneingangsphase

n Wirkungsannäherung im Kontext der Evaluation von komplexen Förderprogrammen

im Hochschulbereich

9. Jahrgang ISSN 1860-3041

www.universitaetsverlagwebler.de

Zeitschrift für Qualitätsentwicklung in Forschung, Studium und Administration

Qualität in der Wissenschaft

2

UVW UniversitätsVerlagWebler

2015

QiW

Wirkungen von Projekten und Programmen

Herausgeberkreis

Hans-Dieter Daniel, Dr., Professor für Sozialpsychologieund Hochschulforschung, ETH Zürich (CH), Leiter derEvaluationsstelle der Universität Zürich

Susan Harris-Hümmert, Dr., Qualitätsbeauftragte, ReferatPlanung und Qualitätsmanagement, Universität Würz-burg

Michael Heger, Dr., Prof., Geschäftsführer des Zentrums fürHochschuldidaktik und Qualitätsentwicklung in Studi-um und Lehre (ZHQ), Fachhochschule Aachen

Stefan Hornbostel, Dr., Professor für Soziologie (Wissen-schaftsforschung), Institut für Sozialwissenschaften derHumboldt-Universität zu Berlin, Leiter des Instituts fürForschungsinformation und Qualitätssicherung (iFQ),Berlin

René Krempkow, Dr., wissenschaftlicher Referent im Be-reich „Programm und Förderung“, Stifterverband für dieDeutsche Wissenschaft, Hauptstadtbüro Berlin

Hinweise für die Autoren

Impressum

Anschrift Verlag, Redaktion, Abonnementenverwaltung:UVW UniversitätsVerlagWeblerDer Fachverlag für HochschulthemenBünder Straße 1-3 (Hofgebäude), 33613 BielefeldTel.: 0521-92 36 10-12, Fax: 0521-92 36 10-22

Satz: UVW, [email protected]

Anzeigen: Die Zeitschrift „Qualität in der Wissenschaft” ver-öffentlicht Verlagsanzeigen, Ausschreibungen und Stel-lenanzeigen. Aufträge sind an den Verlag zu richten. Die je-weils gültigen Anzeigenpreise sind der Homepage erhaltenSie auf Anfrage beim Verlag.

Redaktionsschluss dieser Ausgabe: 31.07.2015

Umschlagsgestaltung: Wolff-Dietrich Webler, BielefeldGesetzt in der Linotype Syntax Regular

Druck: Sievert Druck & Service GmbH,Potsdamer Str. 190, 33719 Bielefeld

Abonnement/Bezugspreis:Jahresabonnement: 72 Euro zzgl. Versandkosten Einzelpreis: 18,25 Euro zzgl. Versandkosten

In dieser Zeitschrift werden i.d.R. nur Originalbeiträge pu-bliziert. Sie werden doppelt begutachtet. Die Autor/innenversichern, den Beitrag nicht zu gleicher Zeit an andererStelle zur Publikation angeboten zu haben. Beiträge wer-den nur dann angenommen, wenn die Autor/innen denGegenstand nicht in vergleichbarer Weise in einem ande-ren Medium behandeln. Senden Sie bitte das Manuskriptals Word-Datei und Abbildungen als JPG-Dateien per E-Mail an die Redaktion (Adresse siehe Impressum).

Wichtige Vorgaben zu Textformatierungen und beigefüg-ten Fotos, Zeichnungen sowie Abbildungen erhalten Sie inden „Autorenhinweisen” auf unserer Verlags-Homepage:„www.universitaetsverlagwebler.de”.

Ausführliche Informationen zu den in diesem Heft aufge-führten Verlagsprodukten erhalten Sie ebenfalls auf derzuvor genannten Verlags-Homepage.

Abo-Bestellungen und die Bestellungen von Einzelheftensind unterschrieben per Post oder Fax bzw. per E-Mail anden Verlag zu richten. Eine Abo-Bestellvorlage finden Sieunter www.universitaetsverlagwebler.de. Das Jahresabonnement verlängert sich automatisch um einJahr, wenn es nicht 6 Wochen vor Jahresende gekündigt wird.

Erscheinungsweise: 4mal jährlich

Copyright: UVW UniversitätsVerlagWeblerDie mit Verfassernamen gekennzeichneten Beiträge gebennicht in jedem Falle die Auffassung der Herausgeber bzw.Redaktion wieder. Für unverlangt eingesandte Manuskrip-te/Rezenzionsexemplare wird keine Verpflichtung zur Ver-öffentlichung/Besprechung übernommen. Sie können nurzurückgegeben werden, wenn dies ausdrücklich gewünschtwird und ausreichendes Rückporto beigefügt ist. Die Urhe-berrechte der hier veröffentlichten Artikel, Fotos und An-zeigen bleiben bei der Redaktion. Der Nachdruck ist nurmit schriftlicher Genehmigung des Verlages gestattet.Jede Verwertung außerhalb der engen Grenzen des Urhe-berrechtsgesetzes ist ohne Zustimmung des Verlages un-zulässig und strafbar. Das gilt insbesondere für Vervielfälti-gungen, Übersetzungen, Mikroverfilmungen und die Ein-speicherung und Verarbeitung in elektronischen Systemen.

Lukas Mitterauer, Dr., stellvertretender Leiter der besonde-ren Einrichtung für Qualitätssicherung, Universität Wien

Philipp Pohlenz, Dr., Professor für Hochschulforschung undProfessionalisierung der akademischen Lehre, Human-wissenschaftliche Fakultät der Otto-von-Guericke-Uni-versität Magdeburg

Uwe Schmidt, Dr., Leiter des Zentrums für Qualitätssiche-rung und -entwicklung der Universität Mainz, Geschäfts-führer des Hochschulevaluationsverbundes Südwest

Wolff-Dietrich Webler, Dr., Prof., ehem. Professor of HigherEducation, University of Bergen (Norway), Leiter des In-stituts für Wissenschafts- und Bildungsforschung Biele-feld (IWBB)

Don Westerheijden, Dr., Center for Higher Education PolicyStudies (CHEPS), University of Twente, Netherlands

33

Einführung desgeschäftsführenden Herausgebers

QiW9. Jahrgang ISSN 1860-3041

Zeitschrift für Qualitätsentwicklung in Forschung, Studium und Administration

Qualität in der Wissenschaft

Sei tenb l i ck au f d i e Schweste r ze i t s ch r i f t en

IVHauptbeiträge der aktuellen Hefte Fo, HSW, HM, P-OE und ZBS

2 2015

QiW-Gespräch

Qual itätsforschung

QiW-Gespräch mit Anke Hanft 47

Qual itätsentwicklung/-pol it ik

Wolff-Dietrich WeblerWirkungsanalyse komplexer Reformen als Begleitforschung 35

Sina Altfeld, Uwe Schmidt & Katharina SchulzeWirkungsannäherung im Kontext der Evaluation von komplexen Förderprogrammen im Hochschulbereich 65

Sylvi Mauermeister, Brigitta Zylla & Laura WagnerWie gut sind die Konzepte zum Studieneingang? Das StuFo-Verbundprojekt zur Wirksamkeit der Studieneingangsphase 50

Rezension

Bachmann, H.W. (2015): Hochschuldidaktik mit Wirkung. Evidenzbasierte Hochschuldidaktik – eine Evaluationsstudie (Roger Johner) 64

IIII QiW 2/2015

NEUERSCHEINUNG

Heidi Schelhowe, Melanie Schaumburg & Judith Jasper (Hg.)

Teaching is Touching the FutureAcademic Teaching within and across Disciplines

Tagungsband

Nur aus den Disziplinen – mit einer fachbezoge-nen Hochschuldidaktik – erwächst die Kompe-tenz, Inhalte aktuell, forschungsnah und interna-tional zu gestalten. Akademische Bildung heißtBildung am Fach, heißt auch die Herausbildungeines Habitus und einer Per sönlichkeit, die sichselbst in einem Fach verankert und sich als dortgebildet wahrnimmt. Sie übernimmt dies in ihrSelbstkonzept und lernt sich in ihrer Stellung undin ihrem Beitrag zur Gesellschaft als Exper tin, alsExperte begreifen – so das Credo der Tagungs -verantwortlichen.Dieser Band fasst eine Fülle von Ergebnissen derTagung “Teaching is Touching the Future – Acade-mic Teaching within and across Disciplines” an derUniversität Bremen zusammen. In 62 Beiträgenaus den Fächergruppen Mathematik, Naturwis-senschaften, Kunst und Musik, Rechtswissen-schaften, Sozial- und Wirtschaftswissenschaften,Sprach-, Kultur- und Geisteswissenchaften wirdder (durchaus unterschiedliche) Stand fachbezo-gener Reflexion über Lehre und Studium sichtbar.Der Band bietet so eine Fülle von Anregungen biszu ausgearbeiteten Reformkonzepten, die füreinen Transfer bereit stehen. Adressen der Auto-rInnen erleichtern die Kon takt aufnahme für ver-tiefende Dialoge.Über viele andere hochschuldidaktische Tagungenhinausgehend, nahm diese Tagung eine in denFachdisziplinen verankerte Reflexion von Lehreund Studium zum Ausgangspunkt. Damit wurdeeine Zu sammenkunft unterschiedlicher Diszipli-nen und Fächergruppen allein unter dem Focusvon Lehre und Studium auf einer Konferenz ris-kiert, während solche Diskurse und Reflexionensonst eher (wenn überhaupt) in monodiszi-plinären Treffen oder auf allgemein hochschul -didaktischen Konferenzen stattfinden. – Ein wun-derbares Re ser voir an Ideen und Lösungen.

Erhältlich im Fachbuchhandel und direkt beim Verlag – auch im Versandbuchhandel (aber z.B. nicht bei Amazon).

Bestellung – E-Mail: [email protected], Fax: 0521/ 923 610-22

ISBN 978-3-937026-97-5, Bielefeld 2015, 390 Seiten, 56.90 Euro zzgl. Versand

Reihe: Motivierendes Lehren und Lernen in Hochschulen

QiW

33

Insofern fokussiert der Beitrag nicht nur die Frage derWirkungen von Reformen, sondern in gleicher Weiseauch die Wirkung von spezifischen Settings der Begleit-forschung.

Das QiW-Gespräch mit Anke Hanft zielt auf die Bedin-gungen und Grenzen von Wirkungsanalysen ab. AnkeHanft zeichnet u.a. verantwortlich für die Koordinierungder Begleitforschung zum Qualitätspakt Lehre und resü-miert ihre langjährigen Erfahrungen aus der wissen-schaftlichen Begleitung und Evaluation von Projektenunter der Perspektive der Wirkungsforschung. Gelin-gensbedingungen im Sinne von Nachhaltigkeit der ausProjekten resultierenden Maßnahmen sind aus IhrerSicht nicht zuletzt in einer angemessenen organisationa-len Einbindung zu sehen, die einer „organisierten Ver-antwortungslosigkeit“ entgegenwirkt. Die Messung vonWirkungen erfordere insbesondere einen umfassendenEinbezug von Rahmenbedingungen und die Gleichzei-tigkeit mehrerer methodischer Zugänge.

Sylvi Mauermeister, Brigitta Zylla und Laura Wagnerentwickeln in ihrem Beitrag Wie gut sind die Konzeptezum Studieneingang? Das StuFo-Verbundprojekt zurWirksamkeit der Studieneingangsphase ein Konzeptzur Wirkungsanalyse, die sich auf Maßnahmen bezieht,die im Rahmen des Qualitätspakts Lehre gefördertwerden und auf die Studieneingangsphase fokussieren.Sie beschreiben ein Design, das sowohl die metho -dischen Aspekte einer angemessenen Wirkungs -forschung aufgreift als auch an die Studienerfolgsfor-schung an schließt.

Sina Altfeld, Uwe Schmidt und Katharina Schulzeschließlich widmen sich im Rahmen ihres Beitrags Wir-kungsannäherung im Kontext der Evaluation von kom-plexen Förderprogrammen im Hochschulbereich einerspezifischen Frage der Wirkungsforschung, indem sie Ef-fekte umfassender Förderprogramme in den Blick neh-men. Von besonderem Interesse ist hierbei im Sinneeines Mehrebenenmodells, inwieweit aus dem Erfolgvon Einzelprojekten innerhalb des Programms auf dieProgrammqualität insgesamt geschlossen werden kannund welche methodischen Herausforderungen hiermitverbunden sind.

Uwe Schmidt

Hochschulen sind in den vergangenen Jahren mit einerzunehmend projektförmigen Organisation konfrontiert,die für die Forschung gewöhnlich, für die Lehre undWissenschaft unterstützende Bereiche hingegen zumin-dest in der gegenwärtigen Intensität neu ist. Grund hier-für sind zum einen umfangreiche Finanzierungs- undFörderprogramme des Bundes und der Länder und hierinsbesondere der Hochschulpakt sowie die Förderpro-gramme ‚Aufstieg durch Bildung‘, ‚Qualitätspakt Lehre‘und ‚Qualitätsoffensive Lehrerbildung‘ sowie unter-schiedliche Programme, die auf Landesebene oderdurch Stiftungen getragen werden. Vergleicht man die Projektförderung in Lehre und inWissenschaft unterstützenden Bereichen mit jener inder Forschung, so zeigen sich grundlegende Unterschie-de. Der Charakter der Förderlinien ist häufig jener einerAnschubfinanzierung, die Akzente setzen und Innova-tionen ermöglichen soll und damit stets über die eigent-liche Projektierung im Sinne von Nachhaltigkeit hinaus-weist. Zudem adressieren Projekte in der Lehre und inWissenschaft unterstützenden Bereichen Regelaufgabenund schließen zum Teil Finanzierungslücken. Damit kon-kurriert mit Blick auf die finanziellen Restriktionen,denen Hochschulen ausgesetzt sind, dass in der Regelnicht alle Projekte weitergeführt werden können, wasfür Hochschulen bedeutet, dass sie Prioritäten und Pos -teriotäten setzen müssen. Was aber ist die Grundlage für entsprechende Entschei-dungen? Viele der durchgeführten Projekte zeigen einehohe Durchführungsqualität und Zufriedenheit bei denbeteiligten Akteuren. Weniger klar ist, ob und inwieweitsie die angestrebten Ziele erreichen. Damit rückt diePerspektive von Outcome und Output oder allgemeinerformuliert von Wirkungen in den Vordergrund.Wirkungsanalysen stellen dabei ein Versprechen undProblem zugleich dar: ein Versprechen aufgrund derHoffnung, über Wirkungsanalysen einen substantiellenBeitrag zu einer evidenzbasierten Steuerung leisten zukönnen, ein Problem, weil das jeweilige Projektdesignhäufig nicht den methodischen Anforderungen an dieMessung von Wirkungen genügt.Die vorliegende Ausgabe der QiW befasst sich mit die-ser Frage, wobei der Fokus auf grundsätzlichen Aspek-ten der Wirkungsanalyse liegt, die exemplarisch entlangvon spezifischen Designs diskutiert werden. Im Vorder-grund steht damit die konzeptionelle Perspektive vonWirkungsanalysen und nicht die Erörterung von Ergeb-nissen spezifischer Untersuchungen zur Wirkung vonProjekten und Programmen.Einen umfassenden und sehr grundlegenden Blick rich-tet Wolff-Dietrich Webler auf Bedingungen und Gren-zen einer methodisch angemessenen Wirkungsanalyse.Er rekurriert hierbei auf langjährige Erfahrungen als Gut-achter und Hochschulforscher. Sein Beitrag Wirkungs-analyse komplexer Reformen als Begleitforschung zieltinsbesondere auf die Analyse und Evaluation von Stu -dienreformmaßnahmen ab, die sich im Vergleich zurWirkungsanalyse von Interventionen oder Projektendurch ihre gewachsene institutionelle Verortung aus-zeichnen und damit neben den methodischen Fragenauch hochschulpolitische Faktoren sowie die Einbettungin komplexe soziale Systeme zu berücksichtigen haben.

QiW 2/2015

Einführung des geschäftsführenden HerausgebersQiW

Seite 64

Uwe Schmidt

Seite 50

Seite 65

Seite 35

34 QiW 2/2015

QiW

Reihe Hochschulwesen: Wissenschaft und Praxis

Anette Fomin & Maren Lay (Hg.)Nachhaltige Personalentwicklung für Postdoktorandinnen

und Postdoktoranden an UniversitätenFit für alternative Berufswege

Die Mehrheit des befristet beschäf-tigten wissenschaftlichen Nach-wuchses kann nicht auf eine Dau-eranstellung an einer Universitäthoffen. Alternative Karrierewegeaußerhalb des Wissenschaftssys -tems z.B. in Wirtschaftsunterneh-men sind deshalb gefordert – fürdie allerdings viele der Betroffenensowohl mental als auch inhaltlichnicht vorbereitet sind.

Unter Berücksichtigung theoreti-scher und empirischer Erkenntnissewird in der vorliegenden Abhand-lung ein Gesamtkonzept vorge-stellt, das im Rahmen eines erfolg-reich durchgeführten Pilotprojektes„Fit für alternative Berufswege“ ander Universität Hohenheim speziellfür Postdocs erprobt wurde. Nebenden Herausgeberinnen schildernTrainerinnen und Trainer ihre Erfah-rungen aus der Arbeit mit der Ziel-gruppe Post doc.

Das Praxisbuch richtet sich insbe-sondere an universitäre Einrich -tungen, die eine nachhaltige Perso-nalentwicklung für ihren wissen -schaftlichen Nachwuchs anstreben.Es füllt eine Lücke für Angebote zurberuflichen Orientierung in derdeutschen Hochschullandschaft.

ISBN-13: 978-3-937026-96-1, Bielefeld 2015,

181 Seiten, 26.80 Euro zzgl. Versand


Bestellung – E-Mail: [email protected], Fax: 0521/ 923 610-22

NEUERSCHEINUNG

35QiW 2/2015

Qua l i t ä t sentw i ck lung / -po l i t i kQiW

Dieser Artikel berichtet über erfolgreiches Projektdesignim Zuge größerer, z.T. mehrjähriger formativer und sum-mativer Evaluation komplexer Reformvorhaben. Inso-fern ist der Text auch für erfahrene Evaluationsforscher/innen interessant. Er wendet sich aber in seiner Anlageund Sprache besonders an jüngere Kolleg/innen, die z.B.in Projekten des Qualitätspakts Lehre ausweislich ihrereigenen Artikel (die sie in Zeitschriften zur Publikationeinreichen) erst über begrenzte einschlägige Erfahrun-gen verfügen. Dabei hat sich vielfach eine unerwartethohe Defizitrate gezeigt, m.a.W. Weiterbildungsbedarf.

I. Einführung – Zur Relevanz der Wirkungsanalyse komplexer Reformen

Studium und Lehre binden weltweit große Mengen Res-sourcen. Ihre Qualität entscheidet nicht nur über dieQualität der Ausbildungsergebnisse, sondern oft auchdarüber, ob ein Studium überhaupt und wie erfolgreiches zuende geführt wird. Diese Qualität zu erzeugen wirdin Deutschland (im Gegensatz zu west- und nordeuropäi-schen Ländern) bekanntlich nicht professionell gelernt –dies einzuführen wird sogar aktiv verhindert. Die akade-mischen Karrieren sind – von ersten Ausnahmen auf frei-williger Basis abgesehen – so angelegt, dass die Nach-wuchswissenschaftler/innen eine professionelle Curricu-lumentwicklung ebensowenig lernen wie professionell zulehren. Dementsprechend werden Studiengänge in denFachbereichen „auf Verdacht” entwickelt, d.h. auf derBasis von Vermutungen über Lehr-/Lernzusammenhänge.Ordnung des Vorgehens unterstellt, könnte von einerCurriculumentwicklung auf der Basis von Hypothesen ge-sprochen werden (Webler 2009).Angesichts der gesellschaftlichen und individuellen Be-deutung des Funktionierens von Curricula ist es daherunverzichtbar, Wirkungsanalysen für neu entwickelteCurricula vorzunehmen, um die (bewusst oder unbe-wusst) zugrunde liegenden Hypothesen über die Aus-gangslage sowie über die dort organisierten zielführen-den Lehr-/Lernprozesse zu überprüfen. Hier ist „neu ent-wickelt” unterstrichen, weil es bei älteren Studiengän-gen durch kleine erfahrungsgebundene Korrekturenhäufig gelungen ist, den Studiengang erfolgreich zu ge-stalten. Angesichts der heute betroffenen Studierenden-zahlen sind die Folgen der Amateurhaftigkeit der Curri-culumentwicklung noch gravierender geworden, sodass

„trial and error” oder sogar nur die Summe der persönli-chen claims als Reformkonzept gänzlich unverantwort-lich geworden ist. Auch wenn der spezifische Typ der prozessbegleitendenForschung in Design und Durchführung relativ aufwän-dig ist, erscheint er aus einem einfachen Grund unver-zichtbar: Andere Typen erfassen die Situation in Quer-schnitten, also zu bestimmten Zeitpunkten oder alssummative Evaluation. Entstehungsdynamiken sind sonicht oder nur schwer erfassbar. Auch hat der Verfasserin seinen über 80 Projekten zur Evaluation der Situationvon Studium, Lehre und Lernen in Fachbereichen festge-stellt (vgl. Webler 1992d; 1993b; 1995; 1998; 1999;2002), dass die Lehrenden aus ihrer Alltagsbeobachtungziemlich zutreffende Vorstellungen über die Probleme inden Studiengängen hatten. Aber ihre Ursachenvermu-tung war häufig unzutreffend. Ohne prozessbegleitendeForschung wäre es nicht möglich gewesen, wesentlicheKausalzusammenhänge aufzuklären. Ohne diese Ergeb-nisse wäre es wiederum nicht möglich gewesen, gezielteinzugreifen und die Ursachen für Fehlentwicklungenabzustellen. Im Gegenteil: Der Eingriff in nur vermutete,aber unzutreffende Zusammenhänge – wie es i.d.R., ge-schieht – hätte die Situation vermutlich deutlich ver-schlechtert, weil neue, unzutreffende Konstellationengeschaffen worden wären.

II. Anlage von Begleitstudien zur Wirkungsanalyse

1. Was wird unter Wirkung verstanden?(Aus-)Bildungseffekte sind Wirkungen, die sich ineinem Bildungsarrangement eingestellt haben. Dieskönnen a) von den Lernenden intentional erzielte, b)von ihnen nicht intendierte, aber von den für die Lern -umgebung Verantwortlichen (meist den Lehrenden)durchaus beabsichtigte sowie c) von allen Beteiligtennicht intendierte Wirkungen darstellen. Sie können denLernenden bewusst geworden oder nur Beobachternerkennbar sein oder erst in Anwendungssituationenhervortreten (real in Praxissituationen oder im Wegeeines Tests künstlich erzeugt). Dabei kann es sich umWissenszuwachs, Handlungsfähigkeit oder Einstellungs-wandel handeln. Wirkungen können sich in relativ kurzer Zeit einstellen(z.B. einem Blockwochenende, einem Semester, einem

Wolff-Dietrich Webler

Wirkungsanalyse komplexer Reformen als Begleitforschung

Wolff-Dietrich Webler

36 QiW 2/2015

Qualitätsentwicklung/-politik QiW

Jahr), sie können aber auch Effekte darstellen, die erstder Sozialisationsprozess eines ganzen Studiums er-reicht. Auch bei relativ kurzfristig erwarteten Effekten(z.B. aufgrund einer gezielten Intervention) stellt sichder damit ausgelöste Lernprozess als schwer zu kontrol-lieren heraus. Möglicherweise treten nur Teile offen zuTage, wirken aber (auch von der lernenden Person) un-bemerkt weiter und werden erst durch einen neuen(auch informellen) Impuls vorläufig zuende gebracht undüberraschend sichtbar. Das sind dann die Momente, dieumgangssprachlich heißen: „Mir ist plötzlich ein Lichtaufgegangen” oder als Steigerungsmöglichkeit: „Mir istplötzlich ein ganzer Lichterbaum aufgegangen, und ichhatte schlagartig verstanden, dass...”.Als Folge verdeckter Vorgänge ist es in den Projektendes Verfassers wiederholt vorgekommen, dass eineLehr-/Lernveranstaltung wegen angeblicher Bedeu-tungslosigkeit gestrichen wurde und der Fachbereichdann so starke Ausfälle im Lernprozess registrierenmusste, dass die unterschätzte Veranstaltung bald wie-der eingesetzt wurde.

2. Erste SchlüsseSchon diese wenigen Betrachtungen zeigen die außeror-dentliche Komplexität des Untersuchungsgegenstandes.Viele Forschungsdesigns, die auf Lerneffekte gerichtetsind, werden ihrem Gegenstand in keiner Weise gerecht.Bekanntestes Beispiel sind die mündlichen oder schriftli-chen (oft als Zufriedenheitsbefragungen konzipierten)Befragungen der Teilnehmenden direkt am Ende vonBlockseminaren. Sie können allenfalls den kleinen Teilvon Effekten erfassen, der den Beteiligten unmittelbarbewusst geworden ist, oft auch noch dominiert von Ein-drücken der letzten Stunden. (Darauf wird zurückzu-kommen sein).Eine weitere Problemdimension bildet die Frage, ob dieausgelösten Lernprozesse a) zielführend waren und b)ob diese Ziele überhaupt einer weitergehenden Prüfungstand halten. Generell sind nicht nur Bildungsphänome-ne, sondern Kausalketten der Lerneffekte zu erfassen.Um es zu wiederholen: Sie zu erfassen ist z.B. unabding-bar, um Fehlentwicklungen korrigieren zu können. Ohnezutreffende Ursachenanalyse können fehlerhafte Eingrif-fe zu weiteren Fehlentwicklungen führen.Bei der Anlage des Designs ist daher eine interne undexterne Überprüfung zu unterscheiden. In der exter-nen Überprüfung werden zunächst die Ziele und An-nahmen selbst untersucht, die als Rahmung in die Ent-wicklung eingegangen sind. Denn eine Optimierungauf fehlerhafte Ziele hin und ausgehend von unzutref-fenden Annahmen würde die interne Überprüfung adabsurdum führen. Dort würde dann zwar die Stimmig-keit der ergriffenen Maßnahmen zum Erreichen derZiele geprüft; das Ganze wäre aber fragwürdig, wenndiese Ziele dann nicht aufrecht zu erhalten wären –z.B. allzu innerakademisch ohne Bezug zur Wirklich-keit der Berufsfelder wären, mit denen die Absol-vent/innen es i.d.R. zu tun bekommen oder umge-kehrt Wissenschaftlichkeit vermissen ließen (was zuBeginn der Bologna-Reform bei Bachelorstudiengän-gen vorgekommen sein soll...). Also steht die Über-prüfung der Ziele am Anfang.

3. Wie werden Wirkungen erfasst?Bei der internen Prüfung stellt sich die Frage nach denzu erhebenden Daten und der Art evtl. Indikatorenbil-dung. Alle derartigen Studien werfen die methodischeFrage auf, wie der Verlauf und Erfolg von Lernprozessen(außer der Prüfungsstatistik) erfasst werden soll. A) Wer soll den Verlauf und Erfolg feststellen? Die Ler-

nenden selbst (quasi als Selbsterfahrung)? Teams vonLernenden wechselseitig? Die Lehrenden? Externegeschulte Beobachter/innen? Die betroffenen Kun-den, Klienten, Patienten, Schüler/innen?

B) Wie sind Verlauf und Erfolg des Lernens zu erkennenbzw. zu rekonstruieren, welche Daten bzw. Indikato-ren kommen in Frage?

Zu A): Naheliegend sind die beteiligten Lerner/innen zubefragen. Das sind zunächst sehr subjektive Eindrücke,die obendrein bestenfalls hervorbringen, was den Ler-ner/innen selbst aufgefallen ist. Verdeckte Lernprozesse(s.o.) sind so nicht zu erfassen. Allerdings sind die Ler-nenden Expert/innen ihrer Lernbedürfnisse und könnenbeurteilen, ob diese Bedürfnisse befriedigt worden sind.Entsprechende Antwortmöglichkeiten muss der Frage-bogen vorsehen. Bei negativ verlaufenem Lernen be-steht z.T. nur eingeschränkte Bereitschaft, darüber Aus-kunft zu geben. Weiter können die Lehrenden aus ihrerAlltagsbeobachtung heraus Auskunft geben. Aber diesist beschränkt auf beobachtbare (Re-)Aktionen. Schließ-lich können Feedback- und Prüfungsergebnisse herange-zogen werden. Bei diesen allerdings ist zu bedenken,dass Prüfungsergebnisse nicht den Rang von Tests bean-spruchen können. Angesichts der Tatsache, dass inDeutschland Prüfer/innen an Hochschulen nicht ge-schult sind, kann nicht davon ausgegangen werden, dassdie Prüfungen methodisch fehlerfrei und vor allem vali-de sind und überhaupt das widerspiegeln, was Ziel derLehrveranstaltungen gewesen ist.Zu B): Den Verlauf von Lernprozessen unmittelbar zudokumentieren oder zu rekonstruieren ist notwendig,um a) bei suboptimalem Ergebnis über Kausalzusam-menhänge orten zu können, wo einzugreifen wäre oderb) beim Wunschergebnis feststellen zu können, welcheZusammenhänge auch bei Veränderungen geschütztund erhalten werden müssten. Einerseits ist es nur selten möglich, Prozesse lückenloszu dokumentieren. Andererseits besteht gerade beiLernprozessen das Problem, dass viele Teile zunächstverborgen (und den Lerner/innen unbewusst) verlaufen(s.o.). Mit Befragungsmethoden ist da häufig nicht he -ranzukommen.1 Diese Einschränkungen zeigen bereits,wie anspruchsvoll das Projektdesign in diesen Fällen an-gelegt sein muss. Trotzdem begnügen sich viele Projektemit einfachen Befragungen der Lerner/innen. In anderen, insbesondere handlungsbezogenen Zusam-menhängen muss als Methode eher beobachtet werden – was sich nicht nur Assessment Center zunutze machen –etwa bei der Hospitation einer Unterrichtsprobe im Lehr-

1 Begriffe wie „häufig”, „oft” usw. sollen in diesem Artikel die Relevanz derberichteten Sachverhalte unterstreichen. Damit werden Erfahrungswerteaus 40 Jahren Hochschulforschung und deren Begutachtung bezeichnet,ohne dass eine Auszählung erfolgt wäre.

37QiW 2/2015

amt oder einem BWL-Plan- oder Rollenspiel. Beobach-tungen sind nicht nur personell und zeitlich aufwändig –die Beobachter/innen müssen auch geschult werden, vorallem wenn zeitlich parallel durch unterschiedliche Perso-nen beobachtet wird.Indikatoren, also Erkennungsmerkmale, sind dabei engan den Zielen zu orientieren. Welche (Beobachtungs-)Merkmale sind beachtlich, zeichnen die Ziele aus? Inwelchen Kontexten kündigen sie sich an? Gibt es bereitsbekannte Zwischenergebnisse, die bei positiver Ausprä-gung mit hoher Wahrscheinlichkeit auch ein positivesEndergebnis erwarten lassen (Prediktoren)?Das sind alles Selbstverständlichkeiten – sollte man mei-nen. Umso erstaunlicher sind die häufigen Abweichun-gen und Unterlassungen, die dem Verfasser bei der Be-gutachtung von Zeitschriften-Aufsätzen begegnen. Eini-ge sind nachfolgend zusammengestellt.

4. Populäre Ansätze mit gravierenden methodischenFehlernIn vielen Studien zur Wirkungsanalyse von Reformen inStudiengängen und Lernprozessen kommen unerwartetviele Unzulänglichkeiten, z.T. gravierende Fehler vor (vgl.Webler 2005; 2008; 2011). Die meisten liegen schon inder Vorbereitung und im Design der Studie, die wenigs -ten in der statistischen Verarbeitung der gewonnenenDaten. Über diese Defizite zu schreiben, berührt fastdurchgängig Selbstverständlichkeiten einer guten Aus-bildung in empirischer Sozialforschung – aber sie sinddann doch nicht selbstverständlich. Dieser Befund stelltnicht nur Fragen an die Qualität mancher Methodenaus-bildung, sondern (zumindest bei Drittmittelprojekten)auch Fragen an die Sorgfalt der Begutachtung.Die am häufigsten anzutreffenden Mängel betreffen beiStudien zur Wirksamkeit neuer bzw. der Reform vorhan-dener Studiengänge oder detaillierter Lernabschnitte:a) Unzulänglich herausgearbeitete Forschungsfragestel-

lungen,b) Der Fragestellung gegenüber unzulängliche (zu einfa-

che) Methodik,c) Fehlinterpretationen (Deutungen, die das Material

nicht hergibt),d) Unzulängliches Design bei Prozessanalysen,e) Unzulängliches Design bei der Feststellung von Pro-

zessergebnissen – z.B. von Lernprozessen.

Zu a): Zur Vorbereitung gehört, die Ziele der Studie undinfolge dessen die Forschungsfragestellungen sorgfältigherauszuarbeiten – mindestens als Fragen, am besten inHypothesenform. Nur dann ist es möglich festzustellen,inwieweit die Ziele mit den gewählten Mitteln erreichtworden sind.Als Ergebnis wird sich oft auf eine bloße Verteilung be-schränkt. Soundsoviel Prozent haben das Ziel erreicht,x% nur die Hälfte, z% haben das Ziel/die Ziele verfehlt.Immer wieder wird sich quasi schon mit der Thematikder Studie zufrieden gegeben. Dabei ist die Studie von einer bloßen Deskription dervorfindlichen Situation hin zur Aufklärung von Kausalzu-sammenhängen weiter zu entwickeln. „Warum?” ist be-kanntlich die entscheidende Frage in der Wissenschaft,die dann die Befunde immerhin in ihrer Entstehung er-

klären kann. Oft wird sich mit dieser höheren Stufe dannbegnügt. Eine Handlungsperspektive wird damit nochnicht gewonnen. Nach den Forschungsfragen liegt derUntersuchungsgegenstand fest, lässt sich demzufolgedie Untersuchungseinheit bestimmen. In der Sozialfor-schung geht es meistens darum, aus den Spurenmenschlicher Tätigkeit (aber auch naturwissenschaftli-chen Erkenntnissen, wie Klimadaten) auf die jeweiligenSituationen zu schließen. Zu b): Die nächsten Defizite liegen oft darin, dass dieWahl des methodischen Vorgehens weit hinter derKomplexität der Fragestellungen zurückbleibt. Abgrenzung der Untersuchungseinheit: Wenn diese Ab-grenzung nicht erfolgt, lässt sich weder bestimmen, werbefragt werden soll, noch lässt sich am Ergebnis eineRücklaufquote bestimmen – also herrscht Unklarheit,wofür das Ergebnis steht und wie repräsentativ es ist.Beispiel: Jemand hatte 178 beantwortete Frage bögendeutschlandweit sammeln können und begann nun dieAuswertung. Weder war erkennbar, nach welchen Kri-terien die Befragten bestimmt worden waren (hatten siedie Bögen in einem Zirkel weitergegeben?), noch, wieviele Fragebögen herausgegangen waren (der Fragebo-gen war im Netz verfügbar und konnte heruntergeladenwerden).Hochschulstatistik: Ohne Begleitforschung wird sich oftnur mit Verteilungen begnügt. „50% der Immatrikulier-ten machen nach der Regelstudienzeit einen Abschluss –nach zwei weiteren Semestern haben 65% einen erfolg-reichen Abschluss erreicht” – so lautet dann beispielswei-se das Ergebnis. Was aus den restlichen 35% gewordenist, warum 5% später abschließen, 20% ohne Abschlussimmatrikuliert bleiben, und 10% sich exmatrikulieren,also (zumindest an diesem Studienort) abbrechen – dasbleibt unaufgeklärt. Soweit die reine Studierendenstatis -tik. Erst zusätzliche Befragungen bringen dann etwasLicht in das Dunkel. Die Befragungsergebnisse nehmendann in Kauf, dass a) damit nur aufgeklärt wird, was dieBetroffenen bereit sind, zu antworten, b) die subjektiveSicht (und evtl. das Erklärungsmuster) der Einzelnen er-fasst wird und c) die wirklichen Ursachen u.U. nicht er-fasst werden, weil den Befragten nicht bewusst.Befragungen: Natürlich liegt es nahe, die Betroffenenschriftlich oder mündlich zu befragen. Aber die Kon-struktion des Fragebogens muss bekannte Mindestbe-dingungen erfüllen. Dabei stellen sich unerwartet vieleFehler in der Konstruktion des Befragungsinstrumentsein. Immer wieder fehlt die detaillierte Feldkenntnis(also Mängel der Einarbeitung der Projektmitglieder indas Themenfeld), einige relevante Fragen fehlen dem-entsprechend, die soziale Erwünschtheit von Antwortenwird nicht erkennbar kontrolliert (bzw. schon solche Fra-gen vermieden, die zu solchen Antworten einladen).Fragesequenzen werden nicht auf suggestive Nachbar-schaften kontrolliert (m.a.W. keine Kontrollfragen späterim Instrument vorgesehen) und Befragungsergebnissewerden nicht noch einmal durch Gruppendiskussioneneingeordnet, relativiert und ggfls. korrigiert. Nicht ein-mal eine einheitliche Befragungssituation der jeweils Be-fragten wird herbeigeführt bzw. kontrolliert. Oft begnügt sich das Design damit, trotz mehrerer ver-fügbarer nur eine einzige relevante Gruppe zu befragen,

W.-D. Webler nWirkungsanalyse komplexer Reformen als BegleitforschungQiW

38 QiW 2/2015


ohne also die Befragung mehrperspektivisch anzulegen.Zum Beispiel wird sich ohne Befragung der Lehrendennur auf Studierende beschränkt. Insgesamt bewegensich diese Antworten im Bereich der Spekulation, derVermutungen. Auf dieser Datenbasis ohne echte Ursa-chenanalyse dann z.B. Curriculumreformen anzugehen,hat sich als riskant erwiesen.Ein besonderes Thema bilden die besonders beliebtenZufriedenheitsbefragungen im Zusammenhang mit Ler-nen. Zufriedenheit stellt keine Dimension dar, von derauf Lernfortschritte quantifizierend geschlossen werdenkönnte. Starke Zufriedenheit kann nicht mit starkemLernerfolg gleichgesetzt werden. Wofür steht Zufrieden-heit als Indikator in diesem Zusammenhang? Für innereLernbereitschaft, Öffnung für künftige Situationen, dieals angenehm erwartet werden usw. In der Pädagogi-schen Psychologie wird Lernen vielfach als „Verände-rung” bestimmt (Krapp u.a. 2001). Veränderungsprozes-se können leicht auch konflikthaft verlaufen, weil sie z.B.mit dem Abschied von bisher gewohnten und als ver -läss lich erlebten Denkmustern und Wertekonstellatio-nen verbunden sein können. Zufriedenheit stellt sichdann zunächst nicht ein (ausführlicher in Webler 2014).Der Ansatz ist zu einfach. Viele Lernprozesse beginnengeradezu mit Irritation; große Teile der Impulsdidaktikberuhen darauf.In einem Artikel über Konflikte in Weiterbildungsveran-staltungen hatte der Verfasser formuliert: „... es gibtAus- und Weiterbildungen, die bisherige grundsätzlicheSichtweisen, eigenes Selbstverständnis, Einstellungenund Haltungen in einem bestimmten Anforderungsfeld(subjektive Theorien, Selbstkonzepte) nicht nur be -rühren, sondern u.U. in Frage stellen und eine Neuorien-tierung herausfordern. Während bisher situative Anfor-derungen und ihre Lösung stimmig zu sein schienen(deren alltägliche Diagnose und eigene Reaktion, d.h.Handlungsweise), kommen nun Erkenntnisse hinzu, diediese Stimmigkeit nicht mehr situationsangemessen, er-folgversprechend usw. erscheinen lassen und letztlich zueiner Identitätsänderung (z.B. des Selbstkonzepts alsLehrperson) führen. Bei solchen Perspektiven fallen dieReaktionen je nach Persönlichkeit unterschiedlich aus.Zum Teil wird der Wert des Gewinns neuer Stimmigkeitgesehen, der mit neuen Einsichten verbunden ist, z.T.aber auch die Mühe, die sich ankündigt, um gewohnteHandlungsmuster zu ändern und diesen Einsichten ent-sprechend zu handeln. Die Reaktionen können bis zurBlockade reichen....” (Webler 2014, S. 49). Zufrieden-heitsabfragen würden hier eher in die Irre führen undevtl. zur Folge haben, dass diese erfolgreiche Veranstal-tung abgesetzt wird.Die Studienzufriedenheit wird jedoch in der Pädagogi-schen Psychologie als subjektiver Prediktor für den Aus-bildungserfolg angesehen (Westermann 2010) und stehtin Zusammenhang mit dem Engagement, der Leistung,dem Studienabbruch oder einem Fachwechsel. Zufrie-denheit ist selbstverständlich bedeutsam für die Motiva-tion der Studierenden, das Studium in den wahrgenom-menen Anforderungen erfolgreich zuende zu bringen.Aber es gibt – wie zu zeigen war – auch deutliche Skep-sis gegenüber diesem Zufriedenheitskonzept, weil effek-tives Lernen auch in Konfliktsituationen stattfindet, in

denen (zunächst) keine Zufriedenheit herrscht. Auchscheint das Konzept unvollständig, indem „Ausbildungs-erfolg” auf innerakademische bzw. disziplinäre Ziele re-duziert wird, weil die Studierenden als Grundlage ihrerAntworten i.d.R. keine Vorstellungen von der sie erwar-tenden Berufspraxis haben (was sich allenfalls in sehrdiffuser Unzufriedenheit wegen des evtl. Gefühls man-gelnden Praxisbezuges äußert); ihre Urteilsfähigkeit istinsofern eingeschränkt.Zeitpunkt der Befragungen: Üblich ist eine Befragungunmittelbar nach Abschluss einer Lehr-/Lernveranstal-tung bzw. einer Weiterbildungsmaßnahme. Der Zeit-punkt ist sehr problematisch. Zunächst ist mit Überblen-dungseffekten der Workshop-Ereignisse am Ende ge-genüber früher behandelten Inhalten zu rechnen. Zumanderen konnten die intensiven Eindrücke noch garnicht verarbeitet werden. Hat es sich um den Erwerb ir-gendwelcher (Hand-)Fertigkeiten, Techniken usw. ge-handelt, die in der Veranstaltung geübt worden sind,kann der Erfolg unmittelbar danach erfasst werden. Han-delt es sich um tiefergehende Einsichten, Schlussfolge-rungen oder um die Auseinandersetzung mit kognitivenDissonanzen, sind die Prozesse am Ende der Veranstal-tung noch lange nicht abgeschlossen. Ihr Wert kann oftnoch gar nicht eingeschätzt werden – erst Wochen,sogar Monate später. Von daher bleiben tatsächlich er-zeugte Wirkungen unerkannt und werden für weitereAbwägungen und Auswertungen regelrecht verschenkt.Datenauswertung: Oft wird sich mit einfachster deskrip-tiver Statistik begnügt, m.a.W. keine Korrelationen ge-prüft. Mögliche Einflussfaktoren auf das Ergebnis blei-ben unerfasst. Die Ergebnisse sind nicht nur „schlicht”zu nennen, sie sind häufig auch noch anzuzweifeln, weilsie bei anderen (unerkannten) Randbedingungen mögli-cherweise anders ausfallen würden.Wann findet „Messung” statt? In der Präsentation vonErgebnissen ist oft von „Messung” die Rede. Der Begriff„Messung” wird inzwischen inflationär gebraucht – em-pirische Exaktheit und Verlässlichkeit sollen signalisiertwerden. Bei genauerer Prüfung finden Messvorgängekaum statt. Hier sollte präziser formuliert werden. Zu-friedenheit z.B. ist in Befragungen messbar. Lernfort-schritte sind in Befragungen nicht messbar, lediglichsubjektiv einschätzbar. Unpräzise wird aber auch diesesVorgehen oft „Messung” genannt. Um Lernfortschrittemessen zu können, bedarf es anspruchsvollerer For-schungsdesigns mit objektivierbaren Indikatoren fürLeis tungsstufen (s.u.).Beobachtungen: Von der Möglichkeit, nicht nur Selbst-bilder der Befragten zu erfassen – die von vielen Fakto-ren beeinflusst sein können – sondern reale Ergebnisseim Handeln der Lernenden zu beobachten, wird kaum jeGebrauch gemacht – einmal, weil deren Bedeutungnicht erkannt wird, zum anderen, weil die Ressourcenden Aufwand nicht zulassen oder es versäumt wurde,Beobachtungen und deren Kosten in das Design unddamit die Projektkalkulation aufzunehmen.Andere Informationsquellen: Oft werden weder vorhan-dene Daten der Hochschulstatistik, noch Dokumenten-analysen eingesetzt. Erstere liefern durch ihre breiterequantitative Basis Vergleichsdaten innerhalb des Fachesoder vergleichend über das Fach hinaus, die die Einzel-

39


QiW 2/2015

ergebnisse relativieren können – zumindest ihre Einord-nung erleichtern. Dokumentenanalysen helfen zunächsteinmal, die Ziele und Programmatik der untersuchtenMaßnahmen herauszuarbeiten. Entweder ergibt sich da-durch ein solider Maßstab für Erfolge, also für die fest-gestellten Wirkungen, oder die Ergebnisse dieser Analy-se müssen dazu dienen, um anschließend die mangeln-de Ernsthaftigkeit wolkiger Präambeln oder zumindestdie Unerreichbarkeit der Zielsetzungen unter den gege-benen Bedingungen nachweisen zu können.Zu c): Fehlinterpretationen: Es wird zu wenig danach ge-fragt, aus welcher Motivation heraus, aus welcher Inte -ressenlage heraus geantwortet worden sein könnte.Dabei wird keine strategische Absicht im Antwortver-halten unterstellt; die Antworten können auch relativnaiv, unreflektiert formuliert worden sein. Trotzdemstellt sich die Frage: Welche Interessen gehen in dieAntworten ein? Müssen Personen mit deutlich andererPerspektive und Interessenlage gefunden und befragtwerden?In den Sozialwissenschaften ist es im Studium nur z.T.üblich, sich intensiv mit Textanalysen auseinander zusetzen. Daher kommt es immer wieder zu Deutungen,die das Material nicht hergibt.Zu d): Unzulängliches Design bei Prozessanalysen: WennVerläufe schon bei oberflächlicher (Alltags-)Beobachtungunbefriedigend zu sein scheinen oder die Ergebnisse essind, müssen vor Änderungen die Fehlerquellen erkanntund analysiert werden. In vielen Projekten wird jedochnur das Ergebnis dokumentiert (z.B. Klausurenergebnis-se), aber nicht der Weg dorthin. Mit einem Lernweg alsBlackbox ist für die Aufklärung von Fehlerquellen nichtsanzufangen. Also müssen relevante Etappen und mar-kante Stationen definiert werden. Weiter müssen (über -einstimmend mit den Zielen) Indikatoren für Lernfort-schritt definiert werden, die kontrolliert werden können.Und an diesen Stationen muss eine entsprechende Da -ten erfassung und -auswertung organisiert werden.Befragungen über Befindlichkeiten, Abfrage von Zufrie-denheitsgraden ergeben allenfalls subjektive Bilder. Dasbleibt unzureichend, weil a) nur subjektive Wahrneh-mungen als Antworten zu erwarten sind und b) viele Ef-fekte (gerade in Lernprozessen), wie erwähnt längereZeit unbemerkt verlaufen können. Hier sind Handlungenzu organisieren, zu beobachten/protokollieren und zubewerten. Wenn schon viele Alltagseinflüsse nicht kon-trollierbar sind, sollten zumindest planvolle Interventio-nen in ihrer Wirkung einschätzbar werden.Geplante soziale Prozesse haben der Planung zugrunde-liegende Intentionen, gewünschte Ergebnisse, Ziele. DieQualität der Prozesse selbst richtet sich nach ihrer Eig-nung, diese Ziele zu erreichen: Fitness for purpose. Esreicht also nicht, Ergebnisse zu registrieren und (als ersteSteigerung) den Grad ihrer Abweichung von den Zielenzu dokumentieren. Um Abweichungen a) erklären undb) so korrigieren zu können, dass sie zielführend(-er)werden, müssen Kausalketten rekonstruiert werden.Dazu ist es nötig, Prozessdaten zu sammeln. Selten ist esmöglich, einen Prozess kontinuierlich zu dokumentie-ren. Vielfach ist das auch nicht nötig. Es reicht, die„Stellschrauben” zu erfassen als Vorgang und Wirkungund auszuwählen, von welchen Anzeichen auf (inten-

dierte und nicht intendierte) Wirkungen geschlossenwerden kann. In Hochschulen üblich ist der Weg, Lern-prozesse jeweils an Ergebnissen, Produkten zu erken-nen, ohne die Prozesse der Produktion verfolgt zuhaben. Dazu gehört z.B., Studierende schriftliche Pro-dukte erstellen zu lassen (Klausur, Hausarbeit, Examens-arbeit), von deren Ergebnis auf zwingend vorausgegan-gene Prozesse und deren Güte rückgeschlossen werdenkann, ohne die Prozesse beobachtet zu haben. Zu einerschriftlichen Arbeit gehört vorab Literaturrecherche, Er-mittlung des Forschungsstandes, Lernvorgänge usw.,deren Umfang und Qualität unschwer am Ergebnis ab-lesbar sind. Der „wissenschaftliche Apparat” ist dann einIndikator für Qualität. So kann Wissen und dessen Zu-wachs erfasst werden – bis zu einem gewissen Grad auchHandlungsfähigkeit (in realen Arbeitsprozessen vorge-führt oder als differenzierte Handlungsentwürfe ent-wickelt). Auf diesem Wege nur schwer zu erfassen sindWandlungsprozesse in Einstellungen und Haltungen.Durch Befragung allein sicherlich nicht (allzu viel sozialErwünschtes könnte reproduziert werden).Bis hierhin ist schon unschwer erkennbar, dass das Un-tersuchungsdesign komplex ausfallen wird. Alle Fakto-ren für Erfolg oder Misserfolg müssen registriert und inihrer Ergebnisrelevanz eingeschätzt werden. Als irrele-vant eingeschätzte können fallen gelassen, möglichstalle anderen aber erfasst werden. Dazu zählen die Aus-gangslage (inkl. Lernstand o.ä. sowie vermutlich wirksa-me Rahmenbedingungen), die beteiligten Personen, In-teraktionen, Interventionen und alle Abweichungenvom geplanten Prozess. Die Planung (der Soll-Zustand)muss ebenso dokumentiert werden wie die wichtigstenVerlaufs- und Ergebnisdaten. Subjektive Einschätzungender Betroffenen darüber, wie sie den Prozess erlebenebenso wie ihre Einschätzung der Ergebnisse (bzw. vonergebnismindernden Hinderungsgründen). Dazu kom-men (meist als Vorher-/Nachher-Arrangement) beobach-tete Handlungsabläufe. Für diesen Zweck müssen – wieschon erwähnt – Beobachter/innen in der Beobachtungebenso geschult werden wie in der Bewertung der Be-obachtungsergebnisse. Erst dann ist es möglich, denGrad der Zielerreichung einzuschätzen und Zielabwei-chungen zu korrigieren. Gemessen an diesen Anforderungen, die erhebliche Res-sourcen erfordern, sind vielfach anzutreffende reale For-schungsdesigns (meist der Evaluationsforschung) eherschlicht zu nennen. Sie geben sich oft mit einer summa-tiven Evaluation, also Ergebnisfeststellung und derenBewertung durch Befragung der Betroffenen (meist beiLernprozessen sogar nur der Lernenden) zufrieden. Wirddas Ergebnis als suboptimal eingeschätzt, fehlt meist dieMöglichkeit, im Prozessverlauf den Ort zu identifizieren,an dem die Abweichung stattfand – von einer Kausal-analyse also weit entfernt. Damit fehlt die Möglichkeiteiner präzisen Nachbesserung, und die Einwirkungs-möglichkeiten kommen über Vermutungen, also Speku-lation nicht hinaus. Zu e): Unzulängliches Design bei der Feststellung vonProzessergebnissen – z.B. von Lernprozessen: Einerseitskönnen Fortschritte nur formuliert werden, wenn die in-dividuelle Ausgangslage zuverlässig erfasst wurde. Auchdas fehlt in Studien immer wieder. Wenn vorhanden,

40 QiW 2/2015


kann an einem außenliegenden Maßstab erfasst werden,wer den objektiven Ansprüchen typischer beruflicher Si-tuationen genügt. Aber individuelle Steigerungen in derZeiteinheit, die vielleicht auf die besondere Eignung be-reitgestellter Lernsituationen zurückgehen könnten,werden so nicht erfasst. Auch ist immer wieder festzustellen, dass curriculare Re-formen und zielentsprechende Reformen in jeweiligenLehr-/Lernveranstaltungen stattfinden, traditionelle Prü-fungen aber die neuen Ziele (und Lernerfolge) nur unzu-reichend abbilden. Der gewünschte Lernerfolg hat sicheingestellt, aber seine Feststellung misslingt.In dieser Fülle wecken die Fehler erhebliche Zweifel ander Solidität der Ausbildung in Methoden empirischerSozialforschung in deutschen Studiengängen.

III. Exemplarische Fälle von BegleitforschungUm angemessene Forschungsdesigns im Praxiszusam-menhang zeigen zu können, die die ausgemachten Feh-ler vermeiden, sollen hier drei größere Projekte vorge-stellt werden. Es handelt sich insofern nicht um idealeModellprojekte, als in ihnen auch methodische Zuge-ständnisse an die Knappheit verfügbarer Forschungsres-sourcen gemacht werden mussten. Umso realistischersind evtl. Transfer-Chancen in die heutige Forschungs-wirklichkeit einzuschätzen.

Fall 1: Begleitforschung zur einstufigen Juristenaus -bildungIn diesem Beispiel geht es zunächst um forschungsstra-tegische und reformstrategische Aspekte der Begleitfor-schung, weniger um Details des Forschungsdesigns.Damit soll gezeigt werden, wie stark Rahmenbedingun-gen das Projektdesign vorherbestimmen und – wie indiesem Fall – im Verlauf zu Änderungen zwingen kön-nen. An diesem Beispiel ist auch die politische Dimen -sion, die Begleitforschung annehmen kann, besondersplastisch ablesbar.Die zweistufige Juristenausbildung aus Studium und Re-ferendariat steht schon seit Jahrzehnten in der Kritik(vgl. Bannek 1970). In den späten 1960er Jahren wurdedie Forderung immer drängender erhoben, die Juristen-ausbildung zu reformieren und in eine Einstufigkeit zuüberführen, d.h. Studium und Praxis so zu verflechten,dass juristische Praxis außerhalb der Hörsäle viel früher –schon im Studium – kennengelernt würde (und solcheFragestellungen schon früh den Blick der Studierendenauf das Fach beeinflussen könnten), aber umgekehrttheoretische Fragestellungen viel länger als bisher eben-falls im Studium verfolgt werden könnten.Das berühmt gewordene Memorandum des LoccumerArbeitskreises zur Juristenausbildung kritisierte die bis-herige Ausbildung deshalb, weil die Absolvent/innenaus seiner Sicht vor den Aufgaben der Anpassung desRechts an den sozialen Wandel versagten: „Für Erhal-tung und Bewahrung ist er nach Mentalität und Instru-mentarium gerüstet, für Fortschritt und Veränderungendagegen nicht. Er tendiert deshalb dazu, den Status quozu stabilisieren“. Ferner: „Es gibt noch keinen ernst zunehmenden Versuch, aus den Prinzipien freiheitlich de-mokratischer und sozialer Rechtsstaatlichkeit Konse-

quenzen für die Ziele der juristischen Ausbildung zu zie-hen“ (Loccumer Arbeitskreis, S. 12). In der Reform derJuristenausbildung ging es darum, stärker als bisher so-ziale und arbeitsmarktpolitische Zusammenhänge sicht-bar zu machen und zu hinterfragen (vgl. dazu Wasser-mann 1974, Francke 1986 sowie Hoffmann-Riem 2007).Nach langer Debatte wurde das Deutsche Richtergesetz,ein Gesetz des Bundes, das u.a. die Juristenausbildungregelt, durch die „Experimentierklausel“ im § 5b in derFassung vom 10. September 1971 so geändert, dass esin den Bundesländern 10 Jahre lang möglich sein sollte,Modelle einstufiger Juristenausbildung zu erproben.Dabei konnte das Landesrecht beide bisherigen Teile,Studium und praktische Vorbereitung, in einer Ausbil-dung zusammenfassen, die mindestens fünfeinhalb Jahredauerte – mit Stationen bei Gerichten, Staatsanwalt-schaften, Körperschaften des öffentlichen Rechts bzw.Verwaltungsbehörden und Rechtsanwälten. Ein erstesExamen konnte in einer kleineren Blockprüfung (in Bay-ern und Baden-Württemberg) oder studien- bzw. ausbil-dungsbegleitenden Leistungskontrollen bestehen. DieAbschlussprüfung entsprach dann etwa dem Zweiten ju-ristischen Staatsexamen.Sechs Bundesländer entschlossen sich zu insgesamt achtModellversuchen (Hamburg, Bremen, Niedersachsen(Hannover), Nordrhein-Westfalen (Bielefeld), Rhein-land-Pfalz (Trier), Baden-Württemberg (Konstanz), Bay-ern (Augsburg und Bayreuth)). Damit der Bundesgesetz-geber nach Auslaufen der Erprobung bei der Neurege-lung der Juristenausbildung über empirisch gesicherteErgebnisse verfügen konnte, wurde für jedes Modell einBegleitforschungsprojekt installiert. In Mannheim wurdeeine Koordinationsstelle für die Begleitforschungen er-richtet, um die Evaluationen abzugleichen und für dieVergleichbarkeit der (Zwischen-)Ergebnisse zu sorgen.

Was sollte untersucht werden?Die Studienreform verfolgte auch das Ziel, Studierendenohne akademischen Hintergrund, insbesondere ohne ju-ristisches Elternhaus frühzeitig die Begegnung mit derjuristischen Praxis zu ermöglichen (auch um die eigenefachliche Motivation zu überprüfen). Gleichzeitig lern-ten sie im Studium, diese Praxisfälle juristisch-wissen-schaftlich aufzuarbeiten. Nach Abschluss der verschiede-nen Praxisstationen folgte ein sechsmonatiges Schwer-punktstudium, das in die rechtswissenschaftliche Ab-schlussarbeit mündete. Die Ergebnisse dieser Arbeitwurden dann in einer mündlichen Prüfung verteidigt.Dieser Abschluss entsprach – wie erwähnt – einem 2. Ju-ristischen Staatsexamen und befähigte zum Richteramt.Schon diese Absichten lieferten eine Fülle von Anlässen,um die Modelle in der Evaluation auf ihre Wirkungen inRichtung dieser Ziele zu untersuchen.Die Kritik an der bisherigen Ausbildung hatte sich weni-ger auf studienorganisatorische Details, als auf inhaltli-che Akzente der bisherigen Ausbildung gerichtet undwollte den Sozialwissenschaften eine wesentlich stärke-re Rolle in der Juristenausbildung einräumen, was zu-nehmenden Widerstand hervorrief. Diese Widerständeführten z.B. dazu, dass das Land Hamburg, als der beste-hende juristische Fachbereich der Universität Hamburgsich weigerte, das Einstufen-Modell zu erproben, einen

41QiW 2/2015


kompletten zweiten Fachbereich neben dem bisherigengründete mit dem Auftrag, das Modell zu erproben. Die-ses Vorgehen lässt die Konfliktdimensionen erahnen.Der Staat sah die Machtfrage gestellt und handelte nachseinen Möglichkeiten. (Nach Auslaufen der Modellver-suche wurden die beiden Fachbereiche fusioniert).Innovationspolitisch bemerkenswert war im weiterenVerlauf, dass ursprünglich die Kritik am Zustand der Aus-bildung so massiv geworden war, dass immerhin derDeutsche Juristentag 1970 eine Reform entsprechendden Loccumer Forderungen empfahl. Im Laufe der Er-probung gelang es den zunächst in der Minderheit be-findlichen Gegnern jedoch, die Verhältnisse so umzu-kehren, dass sich die neuen Modelle, die alle besserwaren als die Regelwirklichkeit, ständig gegen den sta-tus quo zu verteidigen hatten. Erschwerend kam hinzu,dass dies in einer zunehmend konflikthaft aufgeladenenausbildungspolitischen Atmosphäre geschah. Mehr undmehr ging es darum nachzuweisen, dass die Einstufigkeitnicht schlechter sei als die traditionelle Ausbildung. Alsowaren weniger die neuen Studienziele in ihrer EinlösungGegenstand der Evaluation, als der Vergleich der neuenModelle mit den alten, ohne dass ein Vergleichsprojektdie traditionelle Zweistufigkeit ähnlich kritisch unter-sucht hätte.Einerseits leuchtet unmittelbar ein, dass bei solchen in-haltlichen Reformzielen mit statistischen Verteilungennicht weit zu kommen war, andererseits war es rechtmühsam, die intendierten inhaltlichen Reformziele, ins-besondere Einstellungsänderungen, in der Begleitfor-schung zu dokumentieren und auszuwerten. Die Praxis-stationen waren zunächst enttäuscht. Sie waren ge-wohnt, Referendare nach dem 1. Staatsexamen anzutref-fen und einsetzen zu können. Jetzt mussten sie erst be-greifen, dass sie Studierende mitten im Studium beka-men und ihre Ausbildungsaufgabe sich gewandelt hatte.Der Erklärungs- und Anleitungsbedarf war deutlichhöher. Umgekehrt kamen die Studierenden mit neuenFragen und Perspektiven aus den Praxiskontakten insStudium zurück und lösten neuen Erklärungsbedarf beiihren Hochschullehrern aus. Aber abgeleitet aus denStudienergebnissen zeichnete sich ab, dass diese ange-henden Jurist/innen stärker im gesellschaftlichen Leben,seinen Entwicklungen und Problemen standen. Das alleserfasste und dokumentierte die Begleitforschung. Studienorganisatorische Fragen kamen hinzu. Das Biele-felder Modell war z.B. in Trimestern organisiert, sodassauch diese Wirkungen auf Studierende und Wissen-schaftler/innen zu erfassen waren – die Studierenden,aber vor allem die Wissenschaftler/innen empfanden dieTrimester immer mehr als Belastung.Überlagert wurde die Begleitung noch durch einen ande-ren Konflikt, der insbesondere im Verhältnis zwischenden Reformfakultäten und dem Bundesjustizministeriumausbrach (vgl. Webler 1981; 1983a). Letzteres verlangte,die Reformmodelle 10 Jahre lang praktisch unverändertzu erproben, um am Ende einen Modellvergleich in sei-ner längsschnittlichen Bewährung vornehmen zu kön-nen. Es ging um die Frage, welches der Modelle am Endezur Grundlage einer erneuten Vereinheitlichung der Ju -ris tenausbildung gewählt würde. Das wäre aber nichteinmal auf eine summative Evaluation nach der Laufzeit,

sondern auf einen Vergleich der Ausgangsmodelle hi -nausgelaufen und nicht auf deren Bewährung im Erpro-bungsprozess. Die Reformfakultäten verlangten von derBegleitforschung demgegenüber eine kontinuierlicheRückkoppelung der empirischen Daten in die jeweiligenFakultäten hinein, weil sie an der Optimierung ihres Mo-dells im Prozess der Erprobung interessiert waren, umhöhere Chancen im Wettbewerb um die (Wieder-)Ver-einheitlichung zu erlangen – nicht zuletzt aber auch ausVerantwortung den Studierenden gegenüber, denen einemöglichst gute Ausbildung geboten werden sollte. DieBegleitforscher gerieten zwischen die Fronten; sie woll-ten auch sicher gehen, einen weiteren ungehindertenZugang zu den Daten zu haben. Da sie den gleichen An-satz einer formativen Evaluation vertraten wie die unter-suchten Studien- und Ausbildungsstationen und oben-drein nicht selten direkt in den Fakultäten oder zumin-dest eng benachbart angesiedelt waren,2 stellten sie ihreZwischenergebnisse den Fakultäten für einen rollieren-den Reformprozess zur Verfügung. Das wieder löste hef-tige (auch wissenschaftstheoretische) Kontroversen umdas Verhältnis zwischen Forschern und beforschtem Ob-jekt aus, ähnlich wie in der parallel geführten Debatteum Aktionsforschung (vgl. Webler 1983b). Die empirischen Probleme einer methodisch soliden Er-fassung von Einstellungsänderungen und ein dadurchbedingter personeller Aufwand war von kaum jeman-dem vorab gesehen worden. Dadurch fehlten die Res-sourcen für z.B. eine (auch nur punktuelle) Prozessbeob-achtung. Es blieben traditionelle Mittel, wie Fragebögenund Dokumentenanalysen, z.B. der schriftlichen studi-enbegleitenden Leistungen der Studierenden. Immerhinkonnten auf dieser Basis Aussagen in der gewünschtenDimension und Vergleichsmöglichkeiten zwischen Mo-dellen gewonnen werden.Nach Ablauf der 10-jährigen Frist wurde eine Novellezum Deutschen Richtergesetz in den Bundestag zur 1.Lesung eingebracht, das weitgehend das BielefelderModell übernahm und zum Regelfall erklären wollte.Nach der 1. Lesung wurde die Novelle in die Ausschüsseüberwiesen, aus denen sie nie mehr zurück kam. DasAusbildungsproblem blieb ungelöst.

Fall 2: Gesamtevaluation von Lehre und Studium inFachbereichenDas zweite Beispiel bezieht sich auf den Anfang derbreiteren Debatte um die Qualität von Lehre und Stu -dium am Ende der 1980er Jahre (vgl. Webler 1992b;1993a). Über diese Qualität sollte den Wissenschafts-ministerien und der Öffentlichkeit von den Hochschu-len berichtet werden – in Lehrberichten, wie sie in poli-tischen Reden bald genannt wurden. Eine Debatte umKriterien, um Indikatoren der Qualität von Lehre undStudium (LuSt) gab es in den davor liegenden 25 Jahrennur gelegentlich und meist ohne Breitenwirkung (vgl.Webler 1991; 1992a).

2 An der Universität Bielefeld war die Evaluationsforschung im Interdiszi-plinären Zentrum für Hochschuldidaktik (IZHD) angesiedelt. Sie wertete(unter Leitung des Verfassers) die gewonnenen Ergebnisse aus und über-gab sie der Fakultät, die auf dieser Basis ihre Berichte an das BJM verfasste.

42


QiW 2/2015

Der Verfasser besuchte eines Tages das damalige BMBWin Bonn und fragte den zuständigen Referenten, wasdenn der gewünschte Lehrbericht genau sei? Ein For-schungsbericht der Universitäten bestehe aus einigenstrategischen und internationalen Perspektiven undzahlreichen Mini-Projektberichten und deren Ergebnis-sen. Ein Lehrbericht könne doch schlechterdings nichtaus einem Bericht über die Lehrveranstaltungen einerHochschule bestehen – das mache bei einer mittel-großen Universität rd. 800 Veranstaltungen pro Semes -ter aus. Am Ende des Gesprächs verließ der Verfasser dasBMBW mit dem Auftrag zu einem umfangreichen For-schungs- und Entwicklungsprojekt, um das künftige Mu-ster für Lehrberichte (heutige Evaluationsberichte) zuentwickeln. Im Anfangsstadium des Projekts wurde dieSituation von Lehre und Studium an 15 Fachbereichenverschiedener Fachkulturen an Universitäten und Fach-hochschulen mehrerer Bundesländer untersucht. Die Er-gebnisse publizierte das BMBW mit dem Titel: „Lehrbe-richte. Empirische Grundlagen, Indikatorenauswahl undEmpfehlungen zur Darstellung der Situation der Lehre inLehrberichten” (Webler u.a. 1993). Das Modell fiel soüberzeugend aus, dass die dazu gegründete Bielefelder„Projektgruppe Hochschulevaluation” binnen wenigerJahre über 80 Fachbereiche (und kleinere Hochschulenin Gänze) in Deutschland gründlich untersuchte. DieGruppe wurde von den jeweiligen Fachbereichen zu derUntersuchung eingeladen. Das endete erst, als denFachbereichen durch die anlaufenden Akkreditierungs-verfahren die finanziellen Mittel ausgingen.3

Was machte das Modell so überzeugend? A) Eine Kombination aus sehr gründlich vorgehendem

empirischen Projekt und Change Management. DasProjekt war nicht nur auf die Aufklärung der Verhält-nisse, sondern als follow up von vornherein auf derenWandlung gerichtet. Dadurch wurden auch die ge-fürchteten Datenfriedhöfe vermieden.

B) Eingeladen wurden nicht Fachgutachter, sondern ex-terne Hochschulforscher – Spezialisten für Studiumund Lehre, auch in ihrer Rahmung. Es ging nicht umfachliches Prestige über die Peers nach außerhalb;statt dessen wurde – bei aller Unabhängigkeit, dieimmer wieder bewiesen wurde – eng mit Fachbe-reichsmitgliedern zusammen gearbeitet – auch umfachspezifische Sichtweisen abzusichern (s.u. F).

C) Das Projekt war allein am Fachbereich angesiedelt.Dadurch wurde das erhebliche Misstrauen vermieden,das innerhalb der Hochschulen bei vielen Fachberei-chen zwischen ihnen und der Zentralebene herrscht.

D) Das Projekt bestand absichtlich nicht aus Zweistufig-keit; m.a.W. es verzichtete aufgrund sehr unterschied-licher Erfahrungen auf den gerade üblich werdendenSelbstbericht des Fachbereichs (z.T. waren dort dieAutor/innen Interessenträger innerhalb des Fachbe-reichs; z.T. wurden dort die Verhältnisse schön gere-det; für den Fachbereich zentrale Fragen z.T. nicht ge-stellt; das zeigte sich dann z.T. in den Nachforderun-gen der Peers). Stattdessen wurde ein Bericht von denHochschulforschern selbst aufgrund der von ihnen ge-wonnenen Daten erstellt. Dadurch konnten auchganz andere Vergleiche herangezogen werden.

E) Die Datenerhebung umfasste 4 Stadien: a) Die Sammlung der für den Untersuchungsgegen-

stand relevanten Dokumente und deren Analyse,auch, um den weiteren Informationsbedarf ein-grenzen zu können.

b) Die Sammlung vorhandener lokaler und überre-gional verfügbarer statistischer Daten und derenAbgleich (oft stimmten die Ressourcenangabenauf Fachbereichs- und Zentralebene der Hoch-schule nicht überein; das betraf auch Personalstel-len). Die Datenlage war oft fernab von dem, wasdas Hochschulstatistikgesetz den Hochschulenaufgegeben hatte.

c) Die schriftliche Befragung der von LuSt unmittelbarbetroffenen Fachbereichsmitglieder (Lehrende undStudierende, fast gleicher Fragebogen, fast immerTotalerhebung, also keine Stichprobe) mithilfeeines umfangreichen Papier-Fragebogens (18-22Druckseiten) – mit jeweils hoher Rücklaufquote!Letzteres wurde auf die Rolle der Begleitgruppenach F/G (s.u.) und die positive Besetzung der Stu-die im Fachbereich zurück geführt. Der Fragebogendiente (anders als manche Empiriker das vorsehen)zunächst als „Detektor, mit dem über das Geländegefahren wurde”, um Stärken und Schwächen loka-lisieren zu können. Die traten in der Auswertungauch deutlich hervor.

d) Über die markantesten Ergebnisse (insbesonderefestgestellte Schwächen oder widersprüchlicheSichtweisen aus der Befragung) wurden keine Ein-zelinterviews, sondern Gruppendiskussionen orga-nisiert. Die Gruppenmitglieder konnten ihrem Ge-dächtnis bei der Beurteilung der Lage gegenseitigaufhelfen und sich auf gemeinsame Sichtweisen ei-nigen. Damit wurden viel validere Ergebnisse er-zielt als in Einzelinterviews üblich.

Untersucht wurden die Ziele und Funktionsweise desStudiengangs, Homogenität oder Inhomogenität vonWertvorstellungen bei Lehrenden und Studierenden,direkte und indirekte, intendierte und nicht-intendier-te Wirkungen, die Prozesse und ihr Ressourcenauf-wand. Sehr häufig zeigte sich in den Befragungen (wieerwähnt), dass die Fachbereichsmitglieder aus der All-tagsbeobachtung realistische Vorstellungen von denDefiziten hatten, dass aber die Ursachenvermutungensich häufig als falsch erwiesen. Oder dass zwischenStudierenden und Lehrenden in ihren Antworten aufgleiche Fragen erhebliche Differenzen bestanden, sichdann aber in den Gruppendiskussionen herausstellte,dass die Begriffe unterschiedlich besetzt waren, derFachbereich also an dieser Stelle kein Reformproblem,sondern ein Kommunikationsproblem hatte. Beispiel:Studierende beklagten – wie so häufig – den mangeln-den Praxisbezug des Studiengangs, die Lehrendenschworen, intensiv praxisbezogen zu lehren. Es stelltesich in den Gruppendiskussionen heraus, dass beideGruppen einen unterschiedlichen Praxisbegriff hatten

3 Hier wurde also Evaluation durch die Akkreditierungsverfahren verdrängt.Welche Nachteile das hatte, kann hier nicht weiter diskutiert werden.

43QiW 2/2015


– die Studierenden eher Kochrezepten vergleichbar,die sie vermissten, die Lehrenden deutlich abstrakter,aber doch sehr handlungsbezogen.

F) Das ganze Verfahren wurde als besondere Brücke zumFachbereich und Vertrauen bildende Maßnahme voneiner Gruppe begleitet, der zwei führende Mitgliederjeder Statusgruppe des Fachbereichs (und oft nochder Dekan) sowie zwei Mitglieder der BielefelderGruppe gleich berechtigt angehörten. Es wurden(schon im Projektvertrag) einflussreiche Mitgliedermit hoher Reputation in ihren Gruppen vereinbart,die in Rückkoppelungsschleifen zu ihren Gruppen imLaufe des Projekts imstande waren, das Projekt undsein Vorgehen zu interpretieren und dortige Stim-mungen bzw. Beurteilungen in die Projektgruppezurückzubringen.

G) In dieser Gruppe wurde das Vorgehen innerhalb desProjekts erklärt, der Kurs des Projekts und die nächs -ten Schritte vereinbart, alle Erhebungsinstrumente(trotz dutzender vorangegangener Projekte noch ein-mal in den Entwurfsstatus zurück versetzt und) imDetail beraten, an Fachbereichseigenheiten ange -passt und förmlich zur Datenerhebung frei gegeben.Dieser Legitimationsaufwand lohnte sich und schufzusammen mit der Vertraulichkeit des Berichts (s.u. I)die Basis für eine vertrauensvolle Zusammenarbeit,aber auch für die Formulierung für den Fachbereichunangenehmer Fakten.

H) Dieser Gruppe wurde dann auch die 1. Fassung desEvaluationsberichts (Lehrberichts) zur Prüfung undDiskussion vorgelegt. Der Bericht blieb ein Autoren-bericht der Evaluatoren, kein Fachbereichsbericht.Von den Autoren geändert wurde er nur, wenn offen-sichtliche Fehler entdeckt oder sonstige Änderungenplausibel argumentiert wurden.

I) Der Bericht war immer vertraulich verfasst und nur anden Fachbereich gerichtet. Das erlaubte den Autoren,Klartext zu schreiben und keine strategischen Rück-sichten zu nehmen. So waren sie zunächst unbefangeninnerhalb des Fachbereichs diskutierbar. Viele Fachbe-reiche hatten erhebliche Bedenken, dass bestimmteFachbereichsverhältnisse in der Hochschulleitung (undim Wettbewerb der Fachbereiche) bekannt werdenwürden. Das betraf z.T. unbekannt gebliebene Res-sourcen (auch Raumverhältnisse), Studiendaten usw.

K) Der Bericht bestand aus einem umfangreichen Da-tenteil – also den Basisdaten der Hochschulstatistikund den empirischen Befunden. Das Projekt stülptedem Fachbereich in einem zweiten Berichtsteil beider Dateninterpretation keine externen Kriterienund Anforderungen über. Er arbeitete zunächst dieexplizit und implizit im Fachbereich vorhandenenZiele heraus und kreierte zum weiteren Vorgehen einSzenario: In bewusster Überinterpretation der wah-ren Abläufe, die i.d.R. deutlich weniger rationalwaren, wurde angenommen, dass der Fachbereich,von diesen Zielen ausgehend und um sie zu errei-chen, seine Studiengänge entwickelt hatte. Das Eva-luationsprojekt nahm diesen Vorgang als hypothe-sengeleitet an: Mangels professioneller Ausbildungin der Curriculumentwicklung baute der Fachbereichdabei auf Vermutungen und Erfahrungen darüber

auf, wie die Studienprozesse anzulegen seien, um dieZiele zu erreichen. Diesen Zusammenhang behandel-te das Projekt als Hypothesen des Fachbereichs überdie einschlägigen Ursache/Wirkungszusammenhän-ge. Die Evaluation war dann als hypothesenprüfen-des Projekt angelegt. Damit befand sich das Projektvon vornherein auf der Ebene der Kausalzusammen-hänge (Webler 2009).Der Bericht konfrontierte den Fachbereich mit demAusmaß, in dem die eigenen Ziele erreicht oder ver-fehlt wurden und mit dem Ausmaß, in dem die Hypo-thesen sich als zutreffend erwiesen hatten und disku-tierte erst dann, wie weit diese Ziele bzw. Lösungs-konzepte dem Stand der Hochschulforschung (z.B. derLehr-/Lernforschung) entsprachen. In einem abschlie -ßenden Berichtsteil wurden zweierlei Empfehlungenzur Weiterentwicklung, zum Wandel formuliert. Daswaren zunächst nur Empfehlungen, auf welchenWegen, mit Hilfe welcher Verfahren der Fachbereichselbst zu einer Entscheidung oder einer besseren Lö-sung kommen könnte und erst in einem abschließen-den Teil wurden auch direkt Maßnahmen empfohlen,mit denen Änderungen erreicht werden könnten.

L) Erst nach Abgabe des Berichts an den Fachbereichkonnte daraus dann in der Verantwortung des Fach-bereichs eine zur Weitergabe geeignete Fassung er-stellt werden, die den Interessen des Fachbereichsentsprach. Der einzige Fall, in dem der Bericht unver-ändert veröffentlicht wurde, betraf die Hochschule fürWirtschaft und Politik Hamburg (HWP), mittlerweilein die Universität Hamburg integriert, deren damali-ger Präsident, Lothar Zechlin, den Bericht an die Öf-fentlichkeit gab. In allen anderen Fällen blieben dieBerichte vertraulich, weswegen das Verfahren und dieBielefelder Projektgruppe Hochschulevaluation alseine Art Geheimtipp weiter gegeben wurde.

M) Das gesamte Evaluationsverfahren war (von Längs-schnittprojekten abgesehen) in 4-6 Monaten abge-schlossen (also einem Semester) und konnte dannseine Wirkungen entfalten. Die dem Fachbereichnotwendig erscheinenden Reformen konnten dannzügig eingeleitet werden.

Im Laufe der vielen derartigen Projekte hat es immer Va-rianten und Weiterentwicklungen gegeben. So gab eseine Gruppe privater Fachhochschulen mit fachlich ver-wandten Studiengängen, die eine vorläufige staatlicheAnerkennung bekommen hatte und nun davor stand, fürdie Entfristung die nötigen empirischen Grundlagen zulegen. In diesem Fall hatte der Verfasser nicht als zweiteStufe, sondern von vornherein unter dem Dach des Pro-jekts externe Gutachter aus entsprechenden Fächern ge-wonnen, die unmittelbar mit den Hochschulforschernzusammenarbeiteten. Sie prüften die fachlichen Be-standteile nach den externen Standards, aber auch denhochschulinternen Zielen, ließen sich hervorragendeund durchgefallene Diplomarbeiten zeigen, schautenKlausuren an und setzten sich in mündliche Prüfungen.Die Hochschulforscher diskutierten mit ihnen die empi-rischen Ergebnisse und dann – im Rahmen der Begleit-gruppe – den Entwurf des Endberichts. Damit unter-schieden sich diese Fachgutachter von den im zweistufi-

44 QiW 2/2015


gen Peer-Review-Verfahren üblichen Tätigkeiten derdortigen Gutachter durch die Art und Dauer (phasen-weise prozessbegleitend), die zeitgleiche Verflechtungmit der Datengewinnung der empirischen Sozialfor-schung und damit insgesamt durch die Intensität der Be-teiligung. Das Ergebnis der Untersuchung zeigte bemer-kenswerte Stärken (deutlich über dem Standard anstaatlichen Hochschulen), aber auch relevante Schwä -chen. Beeindruckend war die Entschlossenheit, mit derdie Hochschule mit den Ergebnissen umging. Sofortwurde eine Projektgruppe gebildet, die sich tatkräftigmit der Umsetzung der Empfehlungen befasste.Als das Wissenschaftsministerium erfuhr, dass diesesEvaluationsverfahren eingeleitet war, stellte es sein eige-nes, in solchen Fällen eingesetztes Verfahren zurück.Nach Erhalt des Abschlussberichts erteilte das Ministeri-um der Hochschule die unbefristete staatliche Anerken-nung. Bei dem Bericht handelte es sich um die Original-fassung, nicht „strategisch redigiert”. Die Hochschulewar vom Projektleiter dazu sehr ermutigt worden. Erfuhr allerdings auch in das Ministerium und warb fürdiese Wahrhaftigkeit. Der dort sichtbar werdende Zu-stand (auch mit seinen Defiziten) sei für Dutzende Hoch-schulen realistisch, ja sogar deutlich besser. Das Ministe-rium erhalte nur häufig „Erfolgsberichte”, die einen an-deren Zustand vermittelten. Durch die zahlreichen, vor-angegangenen Projekte lagen ja viele Vergleichsmög-lichkeiten vor.Obwohl dieses Evaluationsmodell überaus erfolgreichwar, hat es keine weitere Verbreitung gefunden. Begren-zende Faktoren waren a) die Tatsache, dass es inDeutschland für einen häufigeren Einsatz nicht genugderartig spezialisierte Hochschulforscher gab (die vierMitglieder der Projektgruppe Hochschulevaluation wur-den anschließend alle Leiter der Qualitätssicherung,zwei an Universitäten, zwei an Fachhochschulen) und b)dass die Akkreditierungsverfahren die Evaluation ver-drängten, weil den Fachbereichen die Mittel für beidesfehlten. Unterschiede zwischen beiden lagen bei derEvaluation in der Beratung durch Experten in Wandelund Studienreform mit der Intensität, die nötig ist, umReformen erfolgreich zu betreiben, während in der Ak-kreditierung Peers in erster Linie die Fachlichkeit einesStudiengangs kontrollieren sollten (sonst würden nichtso viele andere Teile des Studiengangs akzeptiert, dienicht dem Stand der Curriculumforschung entsprechen).

Fall 3: Begleitforschung zu den Studiengängen Pflege -management und PflegepädagogikDie Katholische Fachhochschule NRW, Abt. Köln, hattezwei neue Studiengänge entwickelt, von denen einerHochschulgeschichte schreiben sollte: mit dem Diplom-studiengang Pflegepädagogik sollten Lehrkräfte an Be-rufsschulen für Pflegeberufe ausgebildet werden – bun-desweit der erste Fall einer Lehrer(aus-)bildung an Fach-hochschulen. Entsprechend umstritten war dieser Pilot-studiengang; Gegner waren nicht zuletzt die Universitä-ten und die GEW, letztere vor allem, weil sie die Besol-dungsstruktur ihrer Mitglieder gefährdet sah. In dieserkonflikthaften Situation wurde der Verfasser als externerExperte eingeladen, längsschnittlich die ersten beidenDurchläufe der beiden neuen Studiengänge empirisch zu

begleiten und zu begutachten. Die Studiengänge hattensich eine ganze Reihe ambitionierter Ziele des Kompe-tenzerwerbs sowie des Erwerbs bzw. Ausbaus christlich-humanitärer Einstellungen und Haltungen vorgenom-men (vgl. Siebolds/Webler u.a. 2003). Auch hier ging esin dem zu entwickelnden Forschungsdesign darum,nicht nur in summativer Evaluation quasi das Urteil „ZielX erfüllt/nicht erfüllt” zu fällen, sondern die Entste-hungskontexte in den Lernsituationen aufzufinden undderen Wirksamkeit so differenziert festzustellen, dassnicht nur Kausalzusammenhänge rekonstruiert wurden,sondern bei suboptimalen Wirkungen auch Quellen derAbweichung lokalisiert wurden, um sie korrigieren zukönnen. Das Ganze stand wie immer in der Sozialfor-schung unter der Rahmenbedingung, keine Laborsituati-on herstellen zu können, um Einflussvariablen kontrol-lieren zu können, sondern „im vollen Leben” stattzufin-den mit tausenden Einflüssen und Lerngelegenheiten imAlltag. Es handelte sich um einen berufsbegleitendenStudiengang mit zwei Präsenz-Studientagen pro Woche.Die meisten Studierenden übten faktisch längst entspre-chende Berufe aus; ihnen fehlte aber der akademischeAbschluss, um adäquat eingruppiert werden zu können.Wie sich bald herausstellen sollte, entwickelten dieLehr inhalte gegenüber den Alltagstheorien der Studie-renden, mit denen sie bisher „gut klar” gekommenwaren, soviel Konfliktpotential, dass es zu heftigen Aus-einandersetzungen kam – innerlich und zwischen Leh-renden und Studierenden. Bei einem Teil der Studieren-den entwickelten sich Immunisierungsstrategien, dieLernen zu blockieren drohten. Sie erklärten ihre Lehren-den (die an Fachhochschulen als Berufungsbedingungbekanntlich selbst über mindestens 5 Jahre Berufserfah-rung verfügen müssen) zu hoffnungslosen Theoretikern,sich selbst zu Praxisexperten, und die Konfrontation warvorprogrammiert. In diese Situation hinein (anfangsnoch harmonisch) hatte der Verfasser das Design ent-wickelt. Es bestand aus 3 Elementen: a) Dokumenten-analyse des Studienkonzepts in verschiedenen Texten, b)schriftliche Befragung der Lehrenden und Studierendenmit einem Fragebogen von 18 Druckseiten zu drei Zeit-punkten des Studiums (in der ersten Woche des Studi-ums, zum Vordiplom und zum Hauptdiplom), bei denStudierenden verbunden c) mit einem zu den drei Erhe-bungszeitpunkten identischen, vielstündigen Test. DieTests bestanden ihrerseits aus drei Teilen, a) aus einigenKlausurenfragen fachlicher Art, b) einigen auf Einstellun-gen und Haltungen gerichteten Handlungsentwürfen,die zu entwickeln waren, und c) aus der Mitwirkung anzwei klassischen praktischen gruppendynamischenÜbungen (Turmbau und Pro-Contra-Diskussion), die vongeschulten Beobachtern begleitet und anhand von Indi-katoren für Handlungen usw. individuell protokolliertwurden – lange bevor Assessment-Center entwickeltwaren. Die Ergebnisse aus diesen drei Erhebungstermi-nen im Studienverlauf waren sehr aufschlussreich.Die individuelle Zuordnung der Ergebnisse durch dasStudium hindurch wurde durch eine anonyme Chiffre ge-sichert. Als Luxus erlaubte sich das Projekt, den Absol-vent/innen abschließend zum Examenszeitpunkt indivi-duell die Ergebnisse ihres Lernprozesses im Studienver-lauf in einem Umschlag mit der Chiffre zu überreichen.

45QiW 2/2015


IV. Resümee

Wie zu zeigen war, sind Wirkungsanalysen im Kontextvon Lernprozessen besonders aufwändig, wenn sie ernstzu nehmende Ergebnisse erbringen sollen. Die Lerner-gebnisse sind nicht einfach abfragbar statistisch erfass -bar oder beobachtbar. Optimierte Lernumgebungenkönnen jedoch aufgrund der Lernbedürfnisse der Ler-nenden und ihrer Lernerfahrung durch Befragung ermit-telt werden. Da höhere Stufen des Lernens an längereProzesse gebunden sind, ist zusätzlich das Problem zuberücksichtigen, dass die Lernenden in ihrem Alltag imgleichen Zeitraum vielfältigen Lernmöglichkeiten ausge-setzt sind, die unkontrolliert bleiben. Die Wirkung einereinzelnen Lehr-/Lernveranstaltung in einem laufendenSemester mit sehr vielen Parallelveranstaltungen festzu-stellen, ist – jedenfalls als Messvorgang – unmöglich. DieErgebnisse bewegen sich im Bereich von Plausibilitäten.Immerhin ist das weit mehr als der Fachbereichsalltag inder Studienreform sonst hergibt. Besonders hervorzuhe-ben ist noch einmal, dass viele Lernprozesse über länge-re Phasen unbewusst ablaufen und weder direkt beob-achtet noch abgefragt werden können. Das sprichtzunächst einmal für eine ausreichende Laufzeit der Be-gleitforschung, wenn sie auf die Feststellung des Lerner-folgs eines Lernarrangements gerichtet ist.Die Bedeutung der Lehr-/Lernzusammenhänge für Stu-dienerfolg ist so groß, dass sich der für ergiebige Wir-kungsanalysen notwendige methodische Aufwandlohnt. So kann auch dem Eindruck von Alibiprojektenentgegengewirkt werden.Ein besonderes Kapitel bildet die Unabhängigkeit derBegleitforschung von den Vertretern ihres Forschungs-gegenstandes. Die Motivationslage bildet ein weitesSpektrum: Die Verantwortlichen für ein Modell habenentweder ihre ganze Meisterschaft investiert und möch-ten dies bestätigt sehen (auf keinen Fall den Beweis desGegenteils erleben) oder sind eher nachlässig einer alslästig empfundenen Pflicht gefolgt und haben kein In-teresse daran, dass dies aufgedeckt wird. Wegen dieserInteressenlagen kann Begleitforschung unterschiedlichs -te Strategien der Einflussnahme erleben. Insofern ist zuDistanz zu raten und alle Formen der Unabhängigkeitsind zu betonen. Andererseits muss die Begleitforschungauf Vertrauen aufgebaut sein, um a) überhaupt Zugangzu den notwendigen Daten und den zu befragendenGruppen zu erhalten und b) die Versuche zur Einfluss -nahme zu begrenzen. Im Fall der Begleitung der einstu-figen Juristenausbildung ging es um die Distanz zumBundesjustizministerium ebenso wie zu den begleitetenFachbereichen. Dort ließ es sich der Fachbereich jedochnicht nehmen, letztlich den Bericht selbst zu schreibenund an das BJM zu adressieren. Im Fall der Evaluation der Situation von Lehre und Stu-dium ganzer Fachbereiche nach dem Bielefelder Modelljedoch gelang eine gute Balance zwischen Nähe undDis tanz, zwischen Vertrauen und Kontrolle. Die Koope-ration in der Gruppe aus Vertretern der Statusgruppeneinerseits und der Projektgruppe Evaluation andererseitswar als Vertrauen bildende Maßnahme sehr wirksam.Die Tatsache, dass der Abschlussbericht als unabhängi-ger Autorenbericht erstellt wurde, war der andere ele-

mentare Bestandteil, der die nötige Unabhängigkeit si-cherte. Dieses Verhältnis von vertrauensvoller, enger Ko-operation und Distanz auszutarieren gelingt dann be-sonders gut, wenn die für das Modell verantwortlicheGruppe des Fachbereichs selbst ein wissenschaftlich-ex-perimentelles Verhältnis zu ihrem Modell hat und es mitHilfe der empirischen Begleitung optimieren möchte.Wird das Modell (schon in erster Fassung) als Prestige-objekt betrachtet, muss sich Begleitforschung auf Pro-bleme gefasst machen. Der populäre Weg, Ergebnisse zuerschüttern, ja unglaubhaft zu machen, führt traditionellüber (notfalls massive) Methodenkritik, sodass man sichmit den Detailergebnissen angeblich gar nicht mehr aus-einander setzen muss. Womit wir wieder am Beginn die-ses Artikels angelangt wären...

Literaturverzeichnis

Anderson, L.W./Krathwohl, D.W. (Eds.) (2001): Taxonomy for Learning, Tea-ching, and Assessing. A Revision of Bloom's Taxonomy of EducationalObjectives. New York: Longman.

Bannek, E. (Loccumer Arbeitskreis für Juristenausbildung) (1970): NeueJuris tenausbildung; Materialien des Loccumer Arbeitskreises zur Reformder Juristenausbildung. Neuwied.

Krapp, A. u.a. (Hg.) (2001): Pädagogische Psychologie: Ein Lehrbuch. (4.Aufl.), Weinheim.

Loccumer Arbeitskreis (Hg.) (1970): Neue Juristenausbildung. Materialiendes Loccumer Arbeitskreises zur Reform der Juristenausbildung,(gekürzt in JuS 1970, S. 51f.).

Francke, R./Hopp, H.-J. (Hg.) (1986): Einstufige Juristenausbildung in Bre-men. Evaluation eines Reformmodells. Alsbach/Bergstraße.

Hoffmann-Riem, W. (2007): Modernisierung der Rechtswissenschaft als fort-währende Aufgabe. Impulse aus der einstufigen Juristenausbildung. JZ2007, S. 645ff. Sowie http://www.jura.uni hamburg.de/public/personen/hoffmann-riem/3.pdf

Siebolds, M./Webler, W.-D. u.a. (2003): Qualität durch Evaluation. Entwick-lung und Darlegung der Pflegestudiengänge der Katholischen Fach-hochschule NRW (hrsgg. v. Deutschen Institut für angewandte Pflege-forschung e.V.). Hannover

Wassermann, R. (1974): Die Reform findet endlich statt, Die Zeit 8/1974, imInternet unter http://www.zeit.de/1974/08/die-reform-findet-endlich-statt/

Westermann, R. (2010): Studienzufriedenheit. In: Rost, D.H. (Hg.): Hand-wörterbuch Pädagogische Psychologie. Weinheim.

Webler, W.-D./Domeyer, V./Schiebel, B. (1993): Lehrberichte. EmpirischeGrundlagen, Indikatorenauswahl und Empfehlungen zur Darstellung derSituation der Lehre in Lehrberichten. (Studien zu Bildung und Wissen-schaft 107 (hrsgg. vom BMBW). Bonn.

Webler, W.-D. (1981): „Begleitforschung und Politische Entscheidung. DasBeispiel der Neuregelung der Juristenausbildung.“ In: Janshen, D./Keck,O./Webler, W.-D. (Hg.): Technischer und Sozialer Wandel. Eine Heraus-forderung an die Sozialwissenschaften. Königstein/Ts.

Ders. (1983a): „Politikberatung durch Begleitforschung – Politische und for-schungsmethodische Probleme am Beispiel der Juristenausbildung.“ In:Hellstern, G.-M./Wollmann, H. (Hg.): Experimentelle Politik – Reform-strohfeuer oder Lernstrategie? (Beiträge zur sozialwissenschaftlichenForschung 27), Opladen.

Ders. (1983b): „Forschungsansätze in der offenen Entwicklung und Evaluati-on sozialer Experimentalprogramme.“ In: Hellstern, G.-M./Wollmann,H. (Hg.): Experimentelle Politik – Reformstrohfeuer oder Lernstrategie?(Beiträge zur sozialwissenschaftlichen Forschung 27), Opladen.

Ders. (1991): „Kriterien für gute akademische Lehre.“ In: Das Hochschulwe-sen, Jg. 39/H. 6, S. 243-249.

Ders. (1992a): „Umstritten: Die Qualität der akademischen Lehre.“ In: pädextra, Jg. 20/H. 11, S. 23-27.

Ders. (1992b): „Qualität der Lehre. Zwischenbilanz einer unübersichtlichen Ent-wicklung.“ In: Das Hochschulwesen (HSW), Jg. 40/H. 4, S. 153-161 u.169-176.

Ders. (1992c): „Evaluation der Lehre. Praxiserfahrungen und Methodenhin-weise.“ In: Grühn, D./Gattwinkel, H. (Hg.): Evaluation von Lehrveran-staltungen. Überfrachtung eines sinnvollen Instruments? (FLT Berlin: In-formationen aus Lehre und Forschung, H. 2), Berlin.

Ders. (1992d): „Verbesserung der Qualität der Lehre Inhaltliche und organi-satorische Konsequenzen.“ In: Ermert, K. (Hg.): Lehre an Hochschulen.Über Kriterien und Instrumente zu ihrer Evaluation und Förderung. (Ev.Akademie Loccum: Loccumer Protokolle 11), Loccum Rehburg.

46 QiW 2/2015

Qualitätsentwicklung/-politik QiWDers. (1993): „Qualität der Lehre als Gegenstand staatlicher Steuerung.“ In:

Neusel, A./Teichler, U./Winkler, H. (Hg.): Hochschule Staat Politik.Christoph Oehler zum 65. Geburtstag. Frankfurt/New York.

Ders. (1995): „Evaluation im Kontext der Organisationsentwicklung. Erfah-rungen mit einem Modell für Lehrberichte.“ In: Beiträge zur Hochschul-forschung, H. 3, S. 293-326.

Ders. (1996a): „Qualitätssicherung in Fachbereichen. Ein erster Modellver-gleich.“ In: Das Hochschulwesen (HSW), Jg. 44/H. 1, S. 16-27.

Ders. (1996b): „Qualitätssicherung in Lehre und Studium an deutschenHochschulen.“ In: Zeitschrift für Sozialisationsforschung und Erzie-hungssoziologie, H. 2, S. 119-148.

Ders. (1996c): „Weitgehender Konsens über Hochschulevaluation.“ In: DasHochschulwesen (HSW), Jg. 44/H. 2, S. 130-133.

Ders. (1998): Das Bielefelder Modell zur Evaluation der Lehre als Organisati-onsberatung durch Hochschulforscher. In: Hochschulrektorenkonferenz(Hg.): Evaluation und Qualitätssicherung an den Hochschulen inDeutschland – Stand und Perspektiven. (Beiträge zur Hochschulpolitik6), Bonn.

Ders. (1999): „Evaluation und dauerhafte Qualitätssicherung – eine Alterna-tive zum Peer Review. Evaluation im Kontext von Personal- und Organi-sationsentwicklung.“ In: Das Hochschulwesen (HSW), Jg. 47/H. 5, S.149-153.

Ders. (2001): „Qualitätssicherung in gestuften Studiengängen“. In: Welbers,U. (Hg.): Studienreform mit Bachelor und Master. Gestufte Studiengän-ge im Blick des Lehrens und Lernens an Hochschulen. Modelle für dieGeistes- und Sozialwissenschaften. Neuwied, S. 237-262.

Ders. (2002): „Vergleich von fünf wichtigen Evaluationsmodellen inDeutschland – Grundlagen einer Meta-Evaluation.“ In: Neumann,K./Osterloh, J. (Hg.): Gute Lehre in der Vielfalt der Disziplinen. Wein-heim.

Ders. (2005): „Zur Bewertung von Lernveranstaltungen”. Konzeptionelle Be-gründung des Bielefelder Modells der Evaluation von Lehrveranstaltun-gen. In: Das Hochschulwesen (HSW), Jg. 53/H. 2, S. 63-70.

Ders. (2008): „Was taugen Fragebögen zur Lehrveranstaltungsbewertung –und was ihre Ergebnisse? Praxishinweise aus einem Vergleich üblicherFragebögen zur Evaluation von Lehre und Studium. In: Qualität in derWissenschaft (QiW), Jg. 3/H. 4, S. 96-105.

Ders. (2009): „Wieviel Wissenschaft braucht die Evaluation? Evaluation vonLehre und Studium als Hypothesenprüfung.” In: Qualität in der Wissen-schaft (QiW), Jg. 4/H. 1/2, S. 28-37.

Ders. (2011): „Erfassung der Qualität der Lehre – Warum so viele Versuchescheitern.” In: Hochschulmanagement (HM), Jg. 6/H. 4, S. 84-93.

Ders. (2012): „Formative und summative Evaluation schärfer unterscheiden!Anmerkungen über den Unterschied zwischen Rückmeldung und (sum-mativer) Evaluation.” In: Qualität in der Wissenschaft (QiW), Jg. 6/H. 2,S. 48-53.

Ders. (2013): „Methodenprobleme der empirischen Erhebung der Nachfragenach hochschuldidaktischer Aus- und Weiterbildung.” In: Personal- undOrganisationsentwicklung (P-OE), Jg. 8/H. 4, S. 112-III.

n Wolff-Dietrich Webler, Prof. Prof. h.c. Dr.,ehem. Professor of Higher Education, Univer-sity of Bergen/Norway, Leiter des Instituts fürWissenschafts- und Bildungsforschung Biele-feld (IWBB), E-Mail: [email protected]

Leichter Zugang für Sie zur Expertise!

Bei 6 Zeitschriften im Themenfeld Wissenschaft und Hochschulen, die der UVW herausbringt, sammeltsich in kürzester Zeit eine erhebliche Expertise an.

Wir veröffentlichen 110 bis 120 Aufsätze pro Jahr. Da verlieren Leserinnen und Leser bei der Fülle schonmal leicht den Überblick. Wer weiß noch, was der Jahrgang 2010 in der Zeitschrift Hochschulmanage-ment für Themen bereit hielt? Seit Gründung hat die Zeitschrift „Qualität in der Wissenschaft (QiW)” bis-her rd. 150 Artikel publiziert – sorgfältig (i.d.R. doppelt) begutachtet. Ähnlich auch die anderen. Daher bieten wir die Artikel aller unserer Zeitschriftenjahrgänge, die älter als zwei Jahre sind, kostenloszum Herunterladen an.Auf unserer Homepage finden Sie sie, wie unten angegeben.

Das Hochschulwesen (HSW) http://hochschulwesen.info/inhaltsverzeichnisse.html

Forschung. Politik – Strategie – Management (FO)http://www.universitaetsverlagwebler.de/Forschung.html

Zeitschrift für Beratung und Studium (ZBS) http://www.universitaetsverlagwebler.de/ZBS.html

Qualität in der Wissenschaft (QiW) http://www.universitaetsverlagwebler.de/QiW.html

Hochschulmanagement (HM) http://www.universitaetsverlagwebler.de/HM.html

Personal- und Organisationsentwicklung in Einrichtungen der Lehre und Forschung (P-OE)http://www.universitaetsverlagwebler.de/P-OE.html

Unser Gesamtangebot an Heften, Büchern und Zeitschriften finden Sie unter http://www.universitaetsverlagwebler.de

47QiW 2/2015

QiW-Gespräch mit Anke Hanft

Anke Hanft

Qualität in der Wissenschaft (QiW): Die Hochschulensind in den vergangenen Jahren vielfältigen Veränderun-gen ausgesetzt. Neben einschneidenden Reformen bzw.Initiativen, wie der Exzellenzinitiative und dem Bologna-prozess, der damit verbundenen Reorganisation und Ak-kreditierung von Studiengängen sowie der stärkere Ler-ner- und Kompetenzorientierung, ist nicht zuletzt diezunehmend projektförmige Organisation von Bedeu-tung, die nicht mehr nur in der Forschung, sondern auchin der Lehre zunehmend wichtiger wird. Wie schätzenSie diese Entwicklung insgesamt ein?

Anke Hanft (AH): Von Hochschulen wird seit langem dasMissverhältnis von Grundfinanzierung und Projektfinan-zierung kritisiert. Die Problematik dieses Ungleichge-wichtes wird bei den derzeitigen Förderprogrammen inder Lehre besonders deutlich. Während die Befristungvon Forschungsprojekten forschungsstrategisch durch-aus zu rechtfertigen ist, da sie weitgehend losgelöst vomHochschulalltag auf zeitlich begrenzte Vorhaben mitstarkem Bezug zur Scientific Community fokussieren,zielen die auf Studium, Lehre und Weiterbildung ausge-richteten Reformprojekte auf hochschulinterne Kernpro-zesse und Daueraufgaben, deren projektförmige Organi-sation schon dadurch einen Sonderstatus erhält, weil dieFinanzierung mit Erwartungen zur nachhaltigen Imple-mentierung einher geht. Nehmen Sie zum Beispiel dieweiterbildenden Studiengänge, die mit erheblichemMittelaufwand derzeit im Programm „Aufstieg durch Bil-dung: offene Hochschulen“ gefördert werden. Die nach-haltige Implementierung dieser Maßnahmen steht oftunter dem Vorbehalt kostendeckender Einnahmen, diezunächst einmal erwirtschaftet werden müssen. Das vonden Mitarbeiter/innen in der Projektlaufzeit aufgebauteKnowhow wird auch nach Projektabschluss benötigt,ihre Weiterbeschäftigung sollte aus Einnahmen gesichertwerden. Wie das Management der entwickelten Studi-engänge organisiert werden kann, haben die Hochschu-len während der Laufzeit der Projekte oft wenig imBlick. Auch im Qualitätspakt Lehre stellen sich viele Fra-gen der nachhaltigen Verankerung der Projektergebnis-se. Die derzeitigen Förderprogramme bieten Hochschu-len zwar die nahezu einmalige Chance, dringend erfor-derliche Reformen einzuleiten, sie stellen sie abergleichzeitig vor die Herausforderung, die Nachhaltigkeitdieser Investitionen abzusichern, eine Anforderung, dienur sehr schwer einzulösen ist.

QiW: Die Projektförderung im Bereich von Studium undLehre hat unterschiedliche Zielstellungen. Neben denvor allem im Rahmen des Qualitätspakts Lehre sowiedes Hochschulpaktes ausgewiesenen Zielen einer Ver-besserung der Grundausstattung und der strukturellenAnpassung an veränderte Rahmenbedingungen stellt dieMehrzahl der Programme auf Innovation ab – sei es aufEbene des Lehr- und Lernprozesses oder im Kontext derPersonalentwicklung, und hier insbesondere im Hinblickauf den hochschuldidaktischen Kompetenzerwerb. Wür-den Sie aufgrund Ihrer Erfahrung sagen, dass hiermit diewesentlichen Desiderate adressiert werden? Oder gehtdie Förderpolitik an den eigentlichen Themen vorbei?

AH: Einerseits treffen die Programme sehr wohl den vor-handenen Bedarf, indem mit einer Verbesserung derGrundausstattung Mehrbelastungen infolge doppelterAbiturjahrgänge und der Abschaffung der Wehrpflichtzeitlich befristet aufgefangen werden. Und die Hoch-schulen nutzen die bewilligten Mittel, um die aktuellenHerausforderungen zu bewältigen. Viele Hochschulenzielen darüber hinaus mit den von ihnen adressiertenSchwerpunkten auf die Bewältigung veränderter Anfor-derungen ab, indem sie zum Beispiel auf zunehmend he-terogener werdende Studierende mit einer Reformie-rung der Studieneingangsphase reagieren. Uns fällt aller-dings auf, dass diese Maßnahmen häufig an Konzeptenausgerichtet sind, deren Wirkungen bereits seit Jahrenwissenschaftlich hinterfragt werden. So glauben vieleHochschulen beispielsweise mit Brückenkursen und För-dermaßnahmen auf mangelnde Studierfähigkeit reagie-ren zu können, obwohl weithin bekannt ist, dass mitdiesen Maßnahmen die avisierten Zielgruppen oftmalsnicht erreicht werden. Auch die vielen hochschuldidak-tischen Angebote werden zumeist von in der Lehre oh-nehin stärker engagierten Nachwuchswissenschaftlern inAnspruch genommen und weniger von denjenigen,deren Lehrqualität von Studierenden kritisiert wird. Auseiner bildungswissenschaftlichen Perspektive kann be-obachtet werden, dass die aktuellen Reformvorhabenhäufig an einem Defizitmodell ausgerichtet sind, indemStudierende und Lehrende über weiterbildende Maß-nahmen an das vorhandene System angepasst werdensollen. Der andere Weg, nämlich das Studien- undLehrsystem an die – veränderten – Anforderungen vonStudierenden und Lehrenden auszurichten, wird nur sel-ten beschritten. Studierende verfügen heute – beispiels-

QiW-GesprächQiW

48 QiW 2/2015

QiW-Gespräch QiW

weise aufgrund vorgeschalteter beruflicher Ausbildun-gen und Berufserfahrungen – über Kompetenzen, diedurchaus auch über Studienanforderungen hinausrei-chen und damit auf ein Studium angerechnet werdenkönnen. Und selbst den gutwilligsten Hochschullehren-den werden Sie nicht für hochschuldidaktische Maßnah-men gewinnen können, solange seine Leistungen aus-schließlich an seinem Forschungserfolg gemessen wer-den. Das wirft die Frage auf, warum die aktuellen För-derprogramme nicht stärker für nachhaltige Strukturre-formen in Studium und Lehre genutzt werden, indembeispielsweise Verfahren zur Anrechnung von Kompe-tenzen implementiert oder die bislang monolithischenAngebotsformen durch moderne internetgestützte For-men des Lehrens und Lernens ersetzt werden, die Hoch-schullehrende professionell unterstützen, ohne sie inhochschuldidaktische Programme zu zwingen. In denderzeitigen Förderprojekten werden die Chancen fürnachhaltige Studienstrukturreformen meines Erachtensnicht offensiv genug genutzt, was möglicherweise auchdamit zu erklären ist, dass diese in der Hochschulpolitikund -forschung seit langem diskutierten Reformmaßnah-men in den Hochschulen kaum bekannt sind.

QiW: Die Koordination und der Transfer von Ergebnis-sen aus der Begleitforschung zum Qualitätspakt Lehre istan Ihrem Institut angesiedelt. Können Sie ein wenigmehr zum Förderprogramm insgesamt und dessen Ziel-setzungen sagen?

AH: Aktuell werden im Qualitätspakt Lehre in der erstenFörderphase bundesweit über 250 Interventions- undImplementationsprojekte an 186 Hochschulen vomBundesministerium für Bildung und Forschung geför-dert. Diese richten sich zumeist auf infrastrukturelleMaßnahmen und auf die inhaltliche Profilbildung undVerbesserung im Bereich Studium und Lehre. In der Be-gleitforschung zum Qualitätspakt Lehre werden 15 Ein-zel- und Verbundprojekte gefördert, in denen gemein-sam mit Projekten des Qualitätspaktes Lehre unter-schiedliche Themen der Hochschulforschung bearbeitetwerden. Konkret beschäftigen sich die Projekte u.a. mitFragen der Studierfähigkeit, mit Gelingensbedingungenvon Unterstützungsmaßnahmen in der Studieneingangs-phase sowie mit der Umsetzung Forschenden Lernens.Vor dem Hintergrund der Zielsetzung einer nachhaltigenVerbesserung von Studium und Lehre spielen darüberhinaus ebenfalls Fragen der Gestaltung von Hochschul-strukturen und des Managements von Studium undLehre eine zentrale Rolle. Die Koordinierungsstelle derBegleitforschung hat im Mai an der Universität Olden-burg ihre Arbeit aufgenommen und übernimmt for-schende sowie forschungskoordinierende Aufgaben.

QiW: Was genau sind die Aufgabe und Zielsetzung dervon Ihnen durchgeführten wissenschaftlichen Beglei-tung?

AH: Die Koordinierungsstelle stellt den Transfer der For-schungs- und Entwicklungsvorhaben der Begleitfor-schung und der mit ihnen kooperierenden Projekte imQualitätspakt Lehre in den Vordergrund. In Abgrenzung

zu den üblichen Wegen, Forschungsergebnisse über Ta-gungen oder in Form von Veröffentlichungen in ein-schlägigen Fachmedien zu verbreiten, ist die Arbeit derKoordinierungsstelle prozessbegleitend angelegt, aufeine langfristige Verwertungsstrategie und die Einbezie-hung relevanter Stakeholdergruppen ausgerichtet. Ziel-setzung ist die Initiierung nachhaltiger Reformen in Stu-dium und Lehre. Eine zentrale Rolle spielen dabei dieIdentifizierung und gezielte Ansprache von Entschei-dungsträger/innen auf der mittleren und oberen Ebenevon Hochschulen, die als Promotoren Veränderungspro-zesse gangbar machen können und deren Committmenteine unverzichtbare Voraussetzung für die Umsetzungnachhaltig wirksamer Innovationsprojekte darstellt. DieKoordinierungsstelle übernimmt eine Transfer- undSchnittstellenfunktion, die eine bedarfsgerechte Disse-mination der Forschungsergebnisse leisten und auch dieBildung von Netzwerken fördern soll. Die Ergebnisse derForschungsvorhaben sollen in Formate überführt wer-den, die praxisnah sind und gezielt Impulse für Verände-rungen setzen. Die Koordinierungsstelle wird sichbemühen, gemeinsam mit zentralen Akteuren auf Bun-des- und Landesebene Möglichkeiten für Strukturver-besserungen und Qualitätsentwicklungen in Hochschu-len zu sondieren.

QiW: Sie selbst waren an unterschiedlichen Evaluatio-nen von Projekten, die im Rahmen des QualitätspaktsLehre, aber auch in anderen Kontexten durchgeführtwurden, beteiligt. Gibt es aus Ihrer Sicht typische Gelin-gens- oder auch Misslingensbedingungen, die sich beider Durchführung von Projekten im Bereich von Studi-um und Lehre beobachten lassen?

AH: Wir haben die Erfahrung gemacht, dass der Erfolgund Misserfolg von Projekten nicht monokausal erklär-bar, sondern auf sehr viele unterschiedliche Faktorenzurückzuführen ist, die in einer manchmal nahezu zufäl-lig anmutenden Konstellation zusammenkommen. Eingestaltungsfreudiges und kompetentes Projektteam,eine kommunikationsstarke und einflussreiche Projekt-leitung, eine reformfreudige Hochschulspitze und vorallem eine Hochschulverwaltung, die Veränderungennicht als Problem ansieht, sind wichtige Faktoren, umdas Commitment der Hochschulangehörigen für dieZiele des Projektes zu gewinnen. Wir beobachten, dassdie Verantwortung für die Umsetzung der Projekte sehrstark auf die Mitarbeiter/innen übertragen wird, wasdenen zwar einerseits Gestaltungsräume eröffnet,gleichzeitig aber auch einen Zustand der „organisiertenVerantwortungslosigkeit“ hervorruft, der den Erfolg derProjekte gefährden kann. Auch sind wir immer wiederüberrascht darüber, dass das Handwerk des Projektma-nagements trotz der großen Projekterfahrungen vonHochschulen nicht immer beherrscht wird. Zudem be-obachten wir, dass Fragen der nachhaltigen Implemen-tierung der Projektergebnisse oftmals vernachlässigtwerden.

QiW: Eine besondere Herausforderung für die Evaluati-on von Projekten ist die Bestimmung der Wirkungen,die von ihnen ausgehen. Was sind aus Ihrer Erfahrung

49QiW 2/2015

QiW-Gespräch mit A. HanftQiW

Voraussetzungen für eine Erfolg versprechende Erfor-schung der Effekte von Projekten?

AH: Aus einer organisationssoziologischen Perspektivewürde ich mir wünschen, in der Gegenüberstellung vonerfolgreichen und nicht erfolgreichen Projekten den je-weiligen Einflussfaktoren nachzugehen, um so zu Er-klärungen zu gelangen, die über den unmittelbaren Ein-flussbereich der Projektbeteiligten hinausreichen. Oft istder Erfolg oder Misserfolg der Projekte nicht von den un-mittelbar am Projekt Beteiligten zu verantworten, son-dern stark bestimmt durch das Umfeld, in das die Projek-te eingebettet sind. Ein Wechsel in der Hochschulleitungkann da bereits zu ganz neuen Dynamiken führen. SolcheWirkungszusammenhänge in die Evaluation einzubezie-hen, könnte zum einen die Hochschulforschung befruch-ten, zum anderen aber auch Impulse für die hochschulin-terne Organisationsentwicklung bieten.

QiW: Häufig wird die Analyse von Wirkungen begrenztauf die Messung intendierter Wirkungen. Oftmals aberkommt es in gleicher Weise zu nicht beabsichtigten Ef-fekten. Gibt es aus Ihrer Erfahrung typische nicht inten-dierte Wirkungen von geförderten Projekten im Bereichvon Studium und Lehre?

AH: Wirkungsanalysen bleiben häufig auf quantifizierba-re Indikatoren begrenzt, die der Komplexität von Studi-um, Lehre und Weiterbildung nicht gerecht werden.Natürlich kann die Zahl der Studienabbrüche reduziert,die Einhaltung der Regelstudienzeit befördert oder dieAbsolventenzahl erhöht werden, und damit ein inten-dierter Effekt erzielt werden. Nicht intendierte Effektekönnen darin bestehen, dass diese „Erfolge“ mit einerSenkung der qualitativen Anforderungen erkauft wer-den. Vereinzelt zu vernehmende Forderungen der Poli-tik, die Zahl der Studienabbrüche auf null zu reduzieren,können solche nicht intendierten Effekte weiter beför-dern. Nach meiner Erfahrung greifen solche Steuerungs-systeme aber nur sehr bedingt, da die Reputierlichkeiteiner Hochschule wesentlich über das Niveau ihrer Ab-solventen bestimmt wird. Quantitative, auf Indikatorengestützte Wirkungsanalysen können zudem im Wider-spruch stehen zu hochschulpolitischen Zielsetzungen.So erscheint der in nahezu jedem Steuerungssystem ent-haltene Indikator „Studierende in der Regelstudienzeit“nicht mehr zeitgemäß, wenn von Hochschulen gleichzei-tig erwartet wird, das Lebenslange Lernen zu fördern.

QiW: Eine besondere Herausforderung der Evaluationvon Projekten besteht häufig in der fehlenden Definitionkonkreter Ziele, die auch operationalisiert und messbargemacht werden können. Würden Sie dieses grundsätz-liche Problem auch für die Ihnen bekannten Projekte imQualitätspakt Lehre und vergleichbaren Förderprogram-men sehen?

AH: Mir fällt auf, dass Hochschulen sich häufig über dieZielsetzungen ihrer geplanten Maßnahmen nicht völligim Klaren sind. Ausgehend von sehr unpräzisen Vorstel-lungen zu notwendigen Qualitätsverbesserungen wer-den eine Reihe unverbundener Maßnahmen entwickelt,

deren Wirkungen nur selten oder gar nicht gemessenwerden. Solche Messungen sind allerdings auch über-flüssig, wenn Zielsetzungen gar nicht präzisiert werden.Nach meinen Erfahrungen erfüllt eine – externe – Eva-luation dann ihren Zweck, wenn es ihr gelingt, die Ak-teure in Hochschulen mit den Ergebnissen ihres eigenenHandelns zu konfrontieren, in Form von Peer reviews aufAugenhöhe. Im Diskurs mit Experten wächst die Lernbe-reitschaft und nachhaltige Veränderungen können be-fördert werden.

QiW: Die Projekte des Qualitätspakts Lehre wie auchdes Programms ‚Offene Hochschule‘ werden in sehr un-terschiedlicher Intensität evaluiert. Sollte aus Ihrer Sichtder projektbegleitenden Evaluation insgesamt mehrAufmerksamkeit geschenkt werden?

AH: Evaluation ist dann sinnvoll, wenn sie in Manage-mentprozesse eingebunden ist, die der Verbesserung or-ganisatorischer Strukturen und organisatorischem Han-deln dienen. Derzeit sind viele Evaluationen darauf aus-gerichtet, die Erreichung von definierten (oder auch nichtdefinierten) Projektzielen zu prüfen. Diesen Nachweis zuerbringen, gelingt Hochschulen in der Regel recht gutund sogar dann, wenn faktisch keine Erfolge zu vermel-den sind. Eine auf Lernprozesse abzielende Evaluation er-fordert, sich auch zu Misserfolgen zu bekennen und dafürnach Erklärungen zu suchen. Hier sehe ich einen Wider-spruch zwischen den derzeitigen Evaluationsaufträgenund den in einer Evaluation bestehenden Potentialen imKontext des Qualitätsmanagements. Eine projektbeglei-tende Evaluation auf der Basis kompetenzgeleiteter Peerto peer-Verfahren kann mit Blick auf nachhaltige Verän-derungsprozesse größere Wirkungen erzielen.

QiW: Was würden Sie Projektnehmern wie auch Förde-rern im Hinblick auf die Evaluation und Wirkungsmes-sung von Projekten mit auf den Weg geben?

AH: Vielleicht sollten sie ehrlicher miteinander umge-hen. Es spricht ja gar nichts dagegen, wenn HochschulenProjektmittel nutzen, um ihre Ressourcenausstattung inZeiten bestehender Überlast zu verbessern. Der Qua-litätspakt Lehre sieht solche Förderschwerpunkte ja aus-drücklich vor. Die Zielsetzung der Projekte kann sichdann darauf konzentrieren, schwierige Phasen mit Hilfeder bewilligten Projektmittel ohne größere Qualitätsein-brüche zu überbrücken. Wenn aber Hochschulen mitihren Projekten Veränderungsprozesse anstoßen undumsetzen wollen, dann sollten sie dabei durch die Eva-luation unterstützt werden. Dazu müssten diese aberihren Charakter verändern und in hochschulinterneQualitätsmanagementsysteme eingebunden werden.

Das Gespräch auf Seiten der QiW führte Uwe Schmidt.

n Dr. Anke Hanft, Professorin für Weiterbil-dung und Bildungsmanagement, Carl von Ossietzky Universität Oldenburg, E-Mail: [email protected]

50 QiW 2/2015

Die hochschulpolitischen und gesellschaftlichen Forde-rungen nach einer Öffnung der Hochschulen, die Be-wertung der Leistung von Hochschulen unter Effizienz-und Effektivitätserwägungen, die mit der Studien- undSchulstrukturreform verbundenen bildungspolitischenZiele sowie standortabhängig der „Kampf um Studie-rende“ aufgrund des demographischen Wandels lassenderzeit im öffentlichen und fachwissenschaftlichen Dis-kurs die Studieneingangsphase in den Mittelpunktrücken: Die Öffnung der Hochschulen führt zu einer zu-nehmend heterogenen Studierendenschaft und damitverbunden zu spezifischen Übergangsproblemen. Dievielfältigen Hintergründe der Studierenden und die zu-nehmende Differenzierung der Studienangebote habenzur Folge, dass die Frage nach der Passung individuellerStudienvoraussetzungen und institutioneller Studienan-forderungen eine gestiegene Bedeutung erfährt (vgl.Bosse/Schultes/Trautwein 2014). Unter der Perspektiveder Finanzierung von Hochschulen bedeutet Studiener-folg aus institutioneller Sicht vor allem das Erreicheneines Abschlusses, da die Folgen von Studienabbrücheneinen unmittelbaren volkswirtschaftlichen Effekt haben(vgl. Schröder/Daniel 1998). Mit der Einführung desachtjährigen Gymnasiums (G8) in allen Bundesländernsollte weiterhin die Wettbewerbsfähigkeit deutscherAbsolventen erhöht werden. Hierzu sollte schließlichauch die Umstellung der Studiengänge im Rahmen desBologna-Prozesses beitragen, die vielfältige Konse-quenzen für die Entwicklung von Studiengängen unddie Gestaltung der Lehre hatte. Die in diesem Kontextangestrebten bildungspolitischen Ziele beziehen sichu.a. auf eine Verkürzung der Studienzeiten, eine breite-re Bildungsbeteiligung, höhere Studienerfolgsquotenund eine verbesserte Beschäftigungsfähigkeit (vgl.Schubarth 2015).Insgesamt gewinnt die Frage des Übergangs von derSchule in die Hochschule im Zusammenhang mit denskizzierten Entwicklungen und insbesondere mit Blickauf die verkürzten schulischen Vorerfahrungen und diewachsende Heterogenität der Bildungsbiographie vorEintritt in das Studium zunehmend an Bedeutung.Gleichzeitig aber ist das Wissen über die mit den darananschließenden Maßnahmen zur besseren Bewältigungdes Übergangs vergleichsweise gering. Vor diesem Hin-tergrund stellt der vorliegende Beitrag ein aktuelles For-schungsprojekt zur Wirksamkeit von Maßnahmen desStudieneingangs vor. Im Projekt wird die Studienein-

gangsphase als formative Phase zur Entwicklung vonStudierfähigkeit konzeptualisiert. Der Beitrag ist in dreiAbschnitte gegliedert: Nach der Einleitung werden For-schungsbefunde und Diskurse zum Studieneingang dar-gestellt (Abschnitt 1). Daran anknüpfend wird dasStuFo-Verbundprojekt präsentiert (Abschnitt 2) sowieabschließend ein Fazit gezogen (Abschnitt 3).

1. Diskurse und Befunde zur Studieneingangsphase

Allgemein wird mit der Studieneingangsphase „diestrukturelle und inhaltliche Ausgestaltung des Über-gangs von der Schule zur Hochschule unter Einschlussder ersten beiden Semester“ (HRK 2015b) bezeichnet.Die Phase umfasst damit sowohl die Zeit unmittelbar vorder Aufnahme eines Hochschulstudiums, als auch dieZeit des Studienbeginns, d.h. insbesondere die erstenbeiden Semester. Für die Studierenden spielt der Über-gang an die Hochschule eine entscheidende bildungs-biografische Rolle und kennzeichnet eine Statuspassage,in der vielfältige Veränderungs- und Entwicklungsaufga-ben bearbeitet werden müssen (vgl. z.B. Huber 2012;Webler 2012; Kossack/Lehmann/Ludwig 2012). DieStudieneingangsphase hat eine wichtige Brückenfunkti-on zwischen Schule und Hochschule: Die Studienanfän-ger müssen sich an der Hochschule als neuen Lebens-raum, mit z.T. bis dahin unbekannten Arbeits- und Ver-haltensweisen, orientieren und eigene Lern- und Verhal-tensstrategien entwickeln.Unabhängig von der konkreten Ausgestaltung der Studi-eneingangsphase an den jeweiligen Hochschulen kannals übergreifendes Ziel die Erhöhung des Studienerfolgsfestgehalten werden. Es wird also angenommen, dassdie Gestaltung der Studieneingangsphase wichtige Im-

Sylvi Mauermeister, Birgitta Zylla & Laura Wagner

Wie gut sind die Konzepte zum Studieneingang? Das StuFo-Verbundprojektzur Wirksamkeit der Studieneingangsphase

Birgitta ZyllaSylvi Mauermeister

Laura Wagner

Qua l i t ä t s fo r s chung QiW

51

S. Mauermeister, B. Zylla & L. Wagner nWie gut sind die Konzepte zum Studieneingang? QiW

QiW 2/2015

politischen Herausforderungen gesehen (vgl. Stifterver-band 2015; HRK 2010). Sie sollen eine Art Vorbildfunk-tion für andere Hochschulen haben, d.h. andere Hoch-schulen können die ausgezeichneten Beispiele bei ihrereigenen Reformarbeit berücksichtigen. Gleichzeitig wirdjedoch (insbesondere auf europäischer Ebene) betont,dass es kein „one-size-fits-all“-Modell gibt. Vielmehrsollten die ausgewählten Formen und Inhalte zur Ziel-setzung und Form des Studiengangs, Fachbereichs undder Hochschule passen.

b) TransitionsforschungWeiteren Aufschluss über den Studieneingang liefert dieTransitionsforschung, welche das Wechselverhältnis vonIndividuum und gesellschaftlichen Strukturen themati-siert. Demnach lässt sich der Übergang an die Hoch-schule nicht auf ein einzelnes Einführungsereignis oderdie vorstrukturierte Entwicklung akademischer Kompe-tenzen und Identität reduzieren (vgl. Bosse/Trautwein2014). Vielmehr haben die Hochschulen die Verantwor-tung, sich an den Lebenslagen der Studierenden zu ori-entieren und sie in ihrem Potenzial zu unterstützen (vgl.Gale/Parker 2012). Das zeitgleiche Zusammentreffenvon fachlich-intellektuellen, berufs- und arbeitsmarkt-bezogenen, persönlichkeitsspezifischen und finanziellenHerausforderungen sowie veränderte psychosoziale Ver-haltensanforderungen sind typisch für die Phase desÜbergangs in das Studium (vgl. Huber 2012). Dahermüssen auch die persönliche Entwicklung und mitge-brachten Dispositionen aus der bisherigen Sozialisationder Studierenden unter den Bedingungen eines Hoch-schulstudiums beachtet, verstärkt bzw. verändert wer-den (vgl. Webler 2012; Huber 1991, 2012).Daran anknüpfend gibt es seit längerem unter pädago-gisch-hochschuldidaktischer Perspektive vielfältige Akti-vitäten zur bedarfsorientierten Weiterentwicklung vonStudienstruktur, Studienmodulen sowie der Lehre in derStudieneingangsphase. Hier steht die gesamte Grund-konzeption zur Disposition. Bedarfsorientierte Weiter-entwicklung heißt, dass die jeweiligen Problemlagen,Fachtraditionen und Ressourcen berücksichtigt werden.Auf diese Weise sollen die spezifischen fachlichen undüberfachlichen Kompetenzen zur Geltung gebracht wer-den. Dabei ist jedoch festzuhalten, dass die ausschließ-lich didaktische Weiterentwicklung der Studienein-gangsphase nicht hinreichend ist (vgl. Kossack et al.2012). Vielmehr müssen für die Entwicklung von Studi-eneingangsphasen sowohl die didaktische als auch curri-culare und organisatorische Ebene berücksichtigt wer-den. Vielversprechend sind in dieser Hinsicht innovativeModelle, die sich trotz des Zeitdrucks in den in derRegel dreijährig konzipierten Bachelorstudiengängen anHochschulen ermöglichen lassen: Beispielhaft soll hierauf die einsemestrige, generalistisch ausgerichtete abervon der späteren Fachwahl geprägte Studieneingangs-phase der Leuphana Universität Lüneburg (Leuphana Se-mester) oder das zusätzlich vorgeschobene, zweisemes -trige Orientierungsstudium mit mathematisch-naturwis-senschaftlichem Schwerpunkt der TU München (stu -dium naturale) verwiesen werden.Den Diskussionsstand resümierend hat Webler folgendeProbleme der Studieneingangsphase konstatiert, die der

pulse für einen zukünftigen Studienerfolg setzen kann.Studienerfolg kann aus unterschiedlichen Perspektiven,insbesondere aus Sicht der Institution Hochschule, derHochschulpolitik, der Studierenden und der Arbeitsweltbetrachtet werden. Die unterschiedlichen Zugängehaben allerdings auch zur Folge, dass bisher keine allge-mein gültigen Definitionen von Studienerfolg vorliegen(vgl. Konegen-Greiner 2001).Angesichts der häufig behaupteten großen Bedeutungder Studieneingangsphase ist die einschlägige For-schungslage, insbesondere zu den Wirkungen dieserPhase auf den Studienerfolg, unbefriedigend. Das heißtallerdings nicht, dass die Studieneingangsphase nichtGegenstand von öffentlichen und fachöffentlichen De-batten gewesen wäre. Die bisherigen Diskurse und For-schungszugänge lassen sich grob in drei Zugänge klassi-fizieren: a) die hochschulpolitischen Diskurse, b) dieTransitionsforschung und c) die neuere empirischeHochschulforschung.

a) Hochschulpolitische DiskurseDie hohe hochschulpolitische Bedeutung des Übergangsin das Studium und des Studienbeginns wird schon beieinem Blick auf den Umfang der geförderten Maßnah-men des „Qualitätspakts Lehre“ (QPL) deutlich: 125 der253 geförderten Vorhaben beziehen sich (auch) auf Maß-nahmen der Studieneingangsphase. Die Mehrheit derProjekte konzentriert sich dabei auf den Übergang vonder Schule in die Hochschule, wobei der Schwerpunktauf die „Ausgestaltung der Studieneingangsphase imHinblick auf eine heterogener zusammengesetzte Studie-rendenschaft“ gesetzt wird (BMBF 2010, S. 2). Derzeitbieten viele Hochschulen auch ganz spezielle Maßnah-men und Projekte zum Studieneingang an. Diese sollenu.a. durch Beratung, propädeutische Vorkurse, seltenerauch durch spezielle Lehr- und Lernformen die Passungzwischen individuellen Studienvoraussetzungen und ins -titutionellen Studienanforderungen verbessern.In Ergänzung dazu empfiehlt auch der Wissenschaftsratzur Qualitätsverbesserung von Studium und Lehre die„Strukturierung der Studieneingangsphase und sorgfälti-ge Gestaltung von Übergängen vor, während und nachdem Studium“ (Wissenschaftsrat 2008, S. 64). In wel-cher Form dies erfolgen soll, wird jedoch offen gelassen.Etwas konkreter fasst die Hochschulrektorenkonferenz(HRK) ihre Überlegungen. Diese widmet sich der Studi-eneingangsphase innerhalb des Projektes „nexus – Über-gänge gestalten, Studienerfolg verbessern“: Aus der Per-spektive von drei Fachkulturen (Ingenieurwissenschaf-ten, Medizin/Gesundheitswissenschaften und Wirt-schaftswissenschaften) soll a) die Gestaltung der Stu -dieneingangsphase unter Berücksichtigung heterogenerEingangsvoraussetzungen und b) die Entwicklung vonStudienmodellen, die eine flexible Gestaltung des Stu -diums und eine Verzahnung von Berufstätigkeit undHochschulbildung ermöglichen, vorgenommen werden(vgl. HRK 2015a).Daran anknüpfend hat sich in der Hochschuldebatteeine Diskussion um innovative Lehrformen und ergän-zende Lehrangebote (Good- oder gar Best-Practice Bei-spiele) zum Studieneingang entwickelt. Diese Lehrfor-men werden als innovative Antwort auf die hochschul-

52

Qualitätsforschung QiW

QiW 2/2015

Bearbeitung bedürfen (Webler 2012, S. 23): äußere Pas-sungsprobleme, mangelnde Studienbereitschaft, man-gelnde Passung zwischen Studierenden und Fachrich-tung, curriculare Probleme, Orientierungsprobleme,Veranstaltungsprobleme sowie Probleme in der profes-sionellen Vorbereitung und im Berufsfeld der Lehrendenan Hochschulen.

c) Empirische HochschulforschungWährend die Betrachtung der Studieneingangsphase inder empirischen Hochschulforschung noch weitgehendals Desiderat angesehen werden kann, liegen zum Stu -dienerfolg bereits wichtige Befunde vor. In den meistennationalen und internationalen Studien wird dabei Stu-dienerfolg unterschiedlich über Studienzufriedenheit,Studiendauer und/oder Abschlussnote operationalisiert.Betrachtet man die in der Literatur beschriebenen indi-viduellen Einflussfaktoren auf den Studienerfolg (Mikro-ebene), so wird nach wie vor die Abiturnote als domi-nanter erklärender Einzelprädiktor referiert, wenngleichdie dadurch erklärte Varianz zwar im Vergleich zu einzel-nen Fachnoten deutlich höher (vgl. u.a. Helmke/Rinder-mann/Schrader 2008), insgesamt allerdings als moderatzu bezeichnen ist (vgl. Frankenberger 2013). Als weitereErklärungsfaktoren auf der individuellen Ebene werdenu.a. das fachliche Interesse, die Leis tungsmotivation, dasSelbstvertrauen bzw. die Selbstwirksamkeitserwartung,Lernstile und -strategien sowie der Bildungshintergrundangeführt (vgl. z.B. Georg 2008; Schiefele/Jacob-Eb-binghaus 2006; Robbins et al. 2004; Sarcletti/Müller2011; Blüthmann 2012; Schaeper/Wolter 2008; Heub-lein/Spangenberg/Sommer 2003). Auf Ebene der Stu -dienbedingungen nehmen die Lehrqualität, das Studi-enklima sowie die Lehrinhalte, die Studienstruktur, dieBetreuungs- und Unterstützungsqualität, die Studieren-denzentrierung und der Praxisbezug Einfluss auf denStudienerfolg (vgl. z.B. Helmke et al. 2008; Tinto 1975;Heublein et al. 2003; Blüthmann 2012; Pohlenz/Tins-ner/Seyfried 2007; Burck/Schmidt 2012; Bargel 2013;Rebenstorf/Bühlow-Schramm 2013; Kossack et al.2012; Schubarth et al. 2012). Insgesamt zeigt sichdamit, dass Studienerfolg von vielfältigen individuellenund strukturellen Einflussfaktoren abhängig ist, welchedie an den Hochschulen entwickelten Maßnahmen zubeeinflussen suchen.Des Weiteren werden Studienabbruchquoten häufig alszentraler Indikator für Studienerfolg betrachtet. Insbe-sondere international liegen zahlreiche Arbeiten inBezug auf das Phänomen des Studienabbruchs vor, ins-besondere in der Tradition der „drop-out-Forschung“(vgl. z.B. Spady 1970; Tinto 1975; Bean/Metzner 1985;Pascarella/Chapman 1983). Aufgrund methodischer undorganisatorischer Probleme, insbesondere einer unein-heitlichen Operationalisierung, multifaktorieller Abhän-gigkeiten sowie fehlender begrifflicher Präzisierungendes Phänomens, fehlender Längsschnittdaten und einerVielgestaltigkeit der Auswertungsverfahren bei der Er-mittlung und entsprechend insbesondere der Vergleich-barkeit von Studienabbruchquoten, stellen Studienab-bruchquoten zumindest in Deutschland (noch) keinengut mess- und vergleichbaren Erfolgsparameter dar (vgl.z.B. Pohlenz et al. 2007; Heublein et al. 2003; Schröder-

Gronostay/Daniel 2000; Daniel 1995). Daher spielenauch im vorliegenden Projekt, welches im nächsten Ab-schnitt vorgestellt wird, Studienabbruchquoten nur eineuntergeordnete Rolle.Resümierend lässt sich festhalten, dass es bisher an einersystematischen theoretischen wie empirischen Erfor-schung der Studieneingangsphase und ihrer möglichenAuswirkungen mangelt. Das gilt insbesondere für diedeutschsprachige Forschungslandschaft. Insofern lassensich auch kaum Ergebnisse zu den Bedingungsfaktorenvon Studienerfolg in der Studieneingangsphase und/oder Wirkungsmessungen entsprechender Maßnahmenfinden. Während im hochschulpolitischen Diskurs in ers -ter Linie der Schwerpunkt auf die Weitergabe plausiblerPraxiserfahrungen gelegt wird, bieten die Transitionsfor-schung wie auch die empirische Hochschulforschung Be-funde, die zwar einen anderen inhaltlichen Fokus haben,die aber für die Analyse der Effekte von Maßnahmen inder Studieneingangsphase durchaus hilfreich sind.

2. Das StuFo-Verbundprojekt: Analysemodellund methodisches Vorgehen

Das Verbundprojekt StuFo „Der Studieneingang als for-mative Phase für den Studienerfolg. Analysen zur Wirk-samkeit von Interventionen“ das zum März 2015 gestar-tet ist und für drei Jahre vom BMBF gefördert wird, setztan den zuvor beschriebenen Forschungsdesideraten anund fokussiert insbesondere auf eine Koppelung vonMaßnahmen zur Verbesserung der Studienqualität mitErgebnissen aus der Studienerfolgsforschung, um sichFragen der Wirkung von Interventionen systematisch zunähern. Insgesamt ist bislang zu beobachten, dass dieDiskurse um Maßnahmen zur Verbesserung der Studien-qualität und um Forschungsergebnisse aus der Studie-nerfolgsforschung weitgehend unverbunden neben -einander stehen. Das Verbundprojekt soll im Sinne einerWirkungsforschung dazu beitragen, diese Lücke zuschließen. Der Studienerfolg soll zum Zeitpunkt der Ein-gangsphase und in einem längsschnittlichen Designquantitativ untersucht werden. Im Zentrum stehen dreiForschungsfragen: (1) Welche Prädiktoren lassen sich für den Studienerfolg

zu Studienbeginn identifizieren?(2) Wie gestaltet sich die Passung von Prädiktoren des

Studienerfolgs einerseits und Konzepten zum Stu -dieneingang andererseits und was lässt sich darauszur Wirksamkeit der Studieneingangsmaßnahmenableiten?

(3) Welche evidenzbasierten Empfehlungen zur Gestal-tung der Studieneingangsphase sind ableitbar?

Das Projekt führt insgesamt sieben Hochschulen zusam-men, um Bedingungen zu erforschen, unter denen Inter-ventionen zur Studieneingangsphase wirksam werden.1Dem Projekt liegt die Annahme zugrunde, dass die ver-schiedenen Maßnahmen in der Studieneingangsphasezur Herstellung von Studienerfolg unterschiedlich erfolg-reich sind. Bei den Einflussfaktoren handelt es sichneben fachlichen Kompetenzen auch um Aspekte wieFachidentifikation, soziale Integration, Aspekte der so-zialen Herkunft oder Studieninteresse, Motivation und

53QiW 2/2015


Selbstwirksamkeit. Mit der Untersuchungdieser beschriebenen Einflussgrößen sollendie Bedingungen für einen erfolgreichen Stu-dieneinstieg identifiziert und konkrete Emp-fehlungen für den Studieneingang abgeleitetwerden. So könnten Interventionen zielge-richteter und adressatenbezogener ent-wickelt werden, um den Bedarfen einer zu-nehmend heterogen zusammengesetztenStudierendenschaft besser zu entsprechen.Das methodische Vorgehen gliedert sich indrei Schritte. Um empirisch zu überprüfen,inwiefern die verschiedenen Maßnahmenzur Studieneingangsphase Wirkungen imHinblick auf den Studienerfolg zeigen (kön-nen), werden in einem ersten Schritt die mitden Projektmaßnahmen intendierten Effek-te bzw. vermuteten Einflussfaktoren auf denStudienerfolg sowie deren organisationaleRahmenbedingungen qualitativ erhobenund systematisiert. Dabei werden alle ge-förderten Maßnahmen, die sich (auch) aufdas Themenfeld der Studieneingangsphasebeziehen, in das Sample einbezogen. MitHilfe der BMBF-Projektdatenbank zum QPLund den Internetseiten der Hochschulen werden dieMaßnahmen zur Studieneingangsphase inhaltsanaly-tisch erfasst und beschrieben. Durch Fallvergleich undFallkontrastierung werden die verschiedenen Maßnah-men typisiert (vgl. z.B. Kelle/Kluge 2010). Die Ergeb-nisse der Typenbildung fließen in die anschließendenAuswertungsschritte mit ein.Im Mittelpunkt des zweiten Schrittes, dem Kern desProjektes, steht die Analyse von Studienbedingungenund Studienerfolg in der Studieneingangsphase (For-schungsfrage 1) sowie die Untersuchung von Wirkungs-zusammenhängen zwischen Maßnahmen der Studi-eneingangsphase und dem Erfolg des Studienbeginns(Forschungsfrage 2). Vor diesem Hintergrund und unterBerücksichtigung des Forschungsstandes wurde ein kau-salanalytisches Modell (vgl. Abb. 1) entwickelt, um miteiner größeren Nähe zu den Interventionen im Rahmender Studieneingangsphase Wirkungen messen zu kön-nen. Damit wird auf die Forschungslücke hinsichtlicheines empirisch getesteten Gesamtmodells zur Analysedes Studienerfolgs in der Studienmitte reagiert.Kern des Analysemodells ist, Studienerfolg als mehrdi-mensionales Konstrukt zu verstehen, das sich durch un-terschiedliche abhängige Variablen beschreiben lässt(vgl. Abb. 1). Im Speziellen umfasst Studienerfolg alsabhängige Variable dabei subjektive Bewertungen wieStudienzufriedenheit und/oder subjektiv wahrgenom-menen Wissens- und Kompetenzerwerb und objektiveKriterien, die sich insbesondere auf Noten aus Einzel-bzw. Zwischenprüfungen sowie die Anzahl bestandenerPrüfungen und erworbener Leistungspunkte beziehen.Ausgehend von einer Differenzierung jeweiliger Ein-gangsbedingungen zum Start des Studiums werden alszentrale erklärende Dimension die Studienbedingungen(Struktur- und Prozessmerkmale), das Lern- und Stu-dierverhalten sowie die Lebens- und Kontextbedingun-gen herangezogen. Das Projekt geht hier insofern über

den aktuellen Forschungsstand hinaus, als es „Studie-nerfolg“ sowohl durch subjektive, als auch durch objek-tive Kriterien deutlich differenzierter erfasst, individuel-le und strukturelle Bedingungen berücksichtigt und dieBedingungen von Studienerfolg zum Zeitpunkt des Stu-dienbeginns untersucht. Weiterhin sind bei der Ent-wicklung des Gesamtmodells zur Erklärung des Studien -erfolgs sowohl soziologische als auch (entwicklungs-)psychologische Erklärungsansätze integriert. Die me-thodischen Besonderheiten im Vorgehen des Projektes(längsschnittliches Design, Beschreibung des Studiener-folgs als mehrdimensionales Konstrukt in Form objekti-ver und subjektiver Kriterien, Methodentriangulation)ermöglichen es, sich einer differenzierteren Form derWirkungsmessung im Vergleich zu bisherigen Vorhabenim Bereich der Hochschulforschung anzunähern (vgl.Kromrey 2003).Für die Durchführung der Längsschnittstudien werdendie Vorarbeiten des Zentrums für Qualitätsentwicklungin Lehre und Studium (ZfQ) der Universität Potsdam mitdem bestehenden UP-Panel genutzt. Im Projektverlaufsollen die relevanten Daten durch Befragungen an allenStandorten der Projekthochschulen im Längsschnitt er-hoben und ausgewertet werden. Die breite empirischeBasis und das Untersuchungsdesign ermöglichen es, Be-dingungen des Studienerfolgs und die entsprechendeWirkung der hochschulischen Maßnahmen im Rahmender Studieneingangsphase auf individueller Ebene nach-

Abbildung 1: Vorläufiges theoretisches Modell zum Erfolg in der Stu-dieneingangsphase (Eigene Darstellung)

1 Die Universität Potsdam, die zugleich die Projektfederführung innehat(Prof. Dr. Wilfried Schubarth, Bildungswissenschaft, in Kooperation mitdem Zentrum für Qualitätsentwicklung), die Universität Mainz (Dr. UweSchmidt, Zentrum für Qualitätssicherung und -entwicklung) und die Uni-versität Magdeburg (Prof. Dr. Philipp Pohlenz, Hochschulforschung) bildendas Projektkonsortium. Die Universitäten Greifswald, Kiel, Lüneburg unddie Fachhochschule Dortmund stellen ihre Expertise zur Verfügung, betei-ligen sich an den Befragungen, am Erfahrungsaustausch und an der Analy-se. Zudem übermitteln sie entsprechende Informationen über ihre im QPLgeförderten Vorhaben zur Studieneingangsphase.

54 QiW 2/2015


zuvollziehen. Die Studieneingangsphase beschränkt sichdabei aus forschungspragmatischen Gründen auf die ers -ten beiden Semester des Bachelorstudiums. Aussagenüber die Wirkung von Maßnahmen, die zeitlich vor Be-ginn des Studiums liegen (z.B. vorbereitende Sommer-brückenkurse), können somit nur begrenzt und rück-blickend eingeschätzt werden.Aufbauend auf den gesammelten Erkenntnissen aus derErmittlung relevanter Einflussfaktoren auf den Studien -erfolg sollen im dritten Schritt konkrete praktische Er-fahrungen hinsichtlich der Wirkungen und Umsetzungvon Interventionen entwickelt und systematisiert wer-den (Forschungsfrage 3). Dabei finden auch die Erfah-rungen aus laufenden oder abgeschlossenen Projektenzur Verbesserung der Studieneingangsphase Berück-sichtigung, die nicht über den QPL gefördert werden.Zur Verbreitung der empirischen Basis sollen auch diefür 2015/16 erwarteten Ergebnisse aus der Evaluationder Studieneingangs- und Orientierungsphase in Öster-reich Beachtung finden. Zudem werden im Rahmen vondrei themenbezogenen Expertenworkshops praktischeEmpfehlungen für die konzeptionelle Weiterentwick-lung und den Transfer von Projekten zur Studienein-gangsphase diskutiert. Darauf aufbauend sollen ab -schlie ßend transferierbare Erkenntnisse über Einfluss -faktoren und „Gelingensbedingungen“ abgeleitet undEmpfehlungen für eine auf größeren Studienerfolg zie-lende Gestaltung von Interventionen in der Studienein-gangsphase entwickelt werden.

3. FazitWie gezeigt, kommt dem Studieneingang im hochschul-politischen Diskurs der letzten Jahre eine wachsende Be-deutung zu. Auf die Herausforderungen von heteroge-ner Studierendenschaft und gleichzeitig erwartetenhohen Studienerfolgsquoten reagieren die Hochschulenmit einer Vielzahl von Maßnahmen. Ob und inwieferndiese speziellen Maßnahmen in der Studieneingangs-phase für den Studienerfolg eine Relevanz haben, ist bis-her eine offene Frage. Vor diesem Hintergrund will dasim Frühjahr 2015 gestartete Verbundprojekt StuFo Ge-lingensbedingungen von Maßnahmen zur Gestaltungder Studieneingangsphase, die im Rahmen des Quali -täts pakts Lehre gefördert werden, untersuchen. Damitsoll der Studieneingang als formative Phase zur Entwick-lung von Studierfähigkeit differenziert beschrieben undanalysiert werden. Anhand eines kausalanalytischenModells wird untersucht, welche Einflussfaktoren tat -sächlich eine Wirkung auf den Studienerfolg der Studie-renden haben. Damit werden u.E. erstmals sowohl indi-viduelle und strukturelle Bedingungen als auch ein übersubjektive Bewertungen und objektive Kriterien diffe-renziertes Konstrukt des Studienerfolgs erfasst sowie dieWechselwirkungen der Einflussfaktoren erforscht. Inso-fern antwortet das Verbundprojekt mit seinen For-schungsfragen und seinem Forschungsdesign auf For-schungsdesiderate in der Hochschulforschung, auf aktu-elle gesellschaftspolitische Debatten und es versuchteinen Impuls für die methodische Diskussion um dieMessung von Wirkungen implementierter Maßnahmenim Hochschul- und Bildungskontext zu geben.


Bargel, T. (2013): Studierende heute – Bekanntes und Unbekanntes. In: Hes-sler, G./Oechsle, M./Scharlau, I. (Hg.): Studium und Beruf. Studienstra-tegien – Praxiskonzepte – Professionsverständnis. Bielefeld, S. 39-55.

Bean, J. P./Metzner, B. S. (1985): A Conceptual Model of Nontraditional Un-dergraduate Student Attrition. In: Review of Educational Research, Vol.55/No. 4, pp. 485-540.

Blüthmann, I. (2012): Individuelle und studienbezogene Einflussfaktoren aufdie Zufriedenheit von Bachelorstudierenden. In: Zeitschrift für Erzie-hungswissenschaft. Wiesbaden, S. 273-303.

BMBF = Bundesministerium für Bildung und Forschung (2010): Richtlinienzur Umsetzung des gemeinsamen Programms des Bundes und der Län-der für bessere Studienbedingungen und mehr Qualität in der Lehre.URL: http://www.qualitaetspakt-lehre.de/_media/Programm-Lehrqualitaet-BMBF-Richtlinien.pdf [Aufruf: 09.03.2015].

Bosse, E./Trautwein, C. (2014): Individuelle und institutionelle Herausforde-rungen der Studieneingangsphase. In: Zeitschrift für Hochschulentwick-lung. 9. Jg./H. 5, S. 41-62.

Bosse, E./Schultes, K./Trautwein, C. (2014): Studierfähigkeit als individuelleund institutionelle Herausforderung. In: Lenzen, D./Fischer, H. (Hg.):Change – Hochschule der Zukunft. Hamburg, S. 37-42.

Burck, K./Schmidt, U. (2012): Studierbarkeit: Ein Konzept mit Einfluss auf denStudienerfolg? In: Qualität in der Wissenschaft, 6. Jg./H. 3, S. 72-80.

Daniel, H.-D. (1995): Datenbedarf zur und Anfertigung von Lehrberichten.In: Statistisches Bundesamt (Hg.): Effizienzbemessung der Hochschul-ausbildung auf statistischer Grundlage. Wiesbaden, S. 62-65.

Frankenberger, R. (2013): Kritische Übergänge. Theoretische Überlegungenund empirische Befunde zur Frage der Studierbarkeit. Tübingen.

Gale, T./Parker, S. (2012): Navigating change: a typology of student transiti-on in higher education. In: Studies in Higher Education. Vol. 39/No. 5,pp. 734-753.

Georg, W. (2008): Individuelle und institutionelle Faktoren der Bereitschaftzum Studienabbruch. In: Zeitschrift für Soziologie der Erziehung und So-zialisation, 28. Jg./H. 2, S. 191-206.

Helmke, A./Rindermann, H./Schrader, F.-W. (2008): Wirkfaktoren akademi-scher Leistungen in Schule und Hochschule. In: Schneider, W./Hassel-horn, M. (Hg.): Handbuch der Pädagogischen Psychologie. Göttingen, S.145-155.

Heublein, U./Spangenberg, H./Sommer, D. (2003): Ursachen des Studienab-bruchs. Hannover.

HRK = Hochschulrektorenkonferenz (2015a): Projekt nexus. Übergänge ge-stalten, Studienerfolg verbessern. Gestaltung der Orientierungs- undStudieneingangsphase. URL: http://www.hrk-nexus.de/themen/studieneingangsphase/ [Aufruf: 18.03.2015].

HRK (2015b): Glossar. Studieneingangsphase. URL: http://www.hrk-nexus.de/meta/glossar/quelle/default/eintrag/studieneingangsphase-202/ [Aufruf: 08.04.2015].

HRK (2010): Projekt nexus. Konzepte und gute Praxis für Studium undLehre. URL: http://www.hrk-nexus.de/uploads/media/07-02-Publikationen-nexus-Infobroschuere_04.pdf [Aufruf: 18.03.2015].

Huber, L. (2012): Anfangen zu Studieren. Einige Erinnerungen zur „Studi-eneingangsphase“. In: Webler, W.-D. (Hg.): Studieneingangsphase? DasBachelor-Studium braucht eine neue Studieneingangsphase! Band 1:Studierfähigkeit für ein frei(er)es Studium. Bielefeld, S. 99-114.

Huber, L. (1991): Sozialisation in der Hochschule. In: Hurrelmann, K./Ulich,D. (Hg.): Neues Handbuch der Sozialisationsforschung. Weinheim undBasel, S. 417-441.

Kelle, U./Kluge, S. (2010): Vom Einzelfall zum Typus. Fallvergleich und Fall-kontrastierung in der qualitativen Sozialforschung. Wiesbaden.

Konegen-Greiner, Ch. (2001): Studierfähigkeit und Hochschulzugang. KölnerTexte & Thesen, Nr. 61. Köln.

Kossack, P./Lehmann, U./Ludwig, J. (2012): Die Studieneingangsphase for-schend gestalten. Zur Einführung. In: Kossack, P./Lehmann, U./Ludwig,J. (Hg.): Die Studieneingangsphase – Analyse, Gestaltung und Entwick-lung. Bielefeld, S. 7-16.

Kromrey, H. (2003): Qualität und Evaluation im System Hochschule. In:Stockmann, R. (Hg.): Evaluationsforschung, Opladen, 2. Aufl., S. 233-258.

Pascarella, E. T./Chapman, D. W. (1983): A Multiinstitutional, Path AnalyticValidation of Tinto's Model Of College Withdrawal. In: American Educa-tional Research Journal, Vol. 20/No. 1, pp. 87-102.

Pohlenz, P./Tinsner, K./Seyfried, M. (2007): Studienabbruch. Ursachen, Pro-bleme, Begründungen. Saarbrücken.

Rebenstorf, H./Bülow-Schramm, M. (2013): Was fördert den Studienerfolg?Ergebnisse des BMBF Projektes USuS. In: Hessler, G./Oechsle, M./Schar-lau, I. (Hg.): Studium und Beruf. Studienstrategien – Praxiskonzepte –Professionsverständnis. Bielefeld, S. 97-114.

Robbins, S. B./Lee, H./Davis, D./Carlstrom, A./Lauver, K./Langley, R. (2004):Do psychological and study skill factors predict college outcomes? Ameta-analysis. In: Psychological Bulletin, Vol. 130/No. 2, pp. 261-288.

55QiW 2/2015

Sarcletti, A./Müller, S. (2011): Zum Stand der Studienabbruchforschung. In:Zeitschrift für Bildungsforschung, H. 1, S. 235-248.

Schaeper, H./Wolter, A. (2008): Hochschule und Arbeitsmarkt im Bologna-Prozess. In: Zeitschrift für Erziehungswissenschaft, 11. Jg./H. 4, S. 607-625.

Schiefele, U./Jacob-Ebbinghaus, L. (2006): Lernmerkmale und Lehrqualitätals Bedingungen der Studienzufriedenheit. In: Zeitschrift für Pädagogi-sche Psychologie, 20. Jg./H. 3, S. 199-212.

Schröder-Gronostay, M./Daniel, H.-D. (Hg.) (2000): Studienerfolg und Stu-dienabbruch. Neuwied.

Schröder, M./Daniel, H.-D. (1998): Studienabbruch. Eine annotierte Biblio-graphie (1975-1997). Kassel.

Schubarth, W. (2015): Beschäftigungsfähigkeit als Bildungsziel an Hochschu-len. In: Aus Politik und Zeitgeschichte, 65 Jg./H. 18-19, S. 23-31.

Schubarth, W./Speck, K./Seidel, A./Gottmann, C./Kamm, C./Krohn, M. (Hg.)(2012): Studium nach Bologna: Praxisbezüge stärken?! Befunde undPerspektiven. Wiesbaden.

Spady, W. G. (1970): Dropouts from Higher Education: An InterdisciplinaryReview and Synthesis. In: Interchange. Vol. 1, pp. 64-85.

Stifterverband für die Deutsche Wissenschaft (2015): Exzellenz in der Lehre.URL: http://www.stifterverband.info/wissenschaft_und_hochschule/lehre/index.html [Aufruf: 31.03.2015].

Tinto, V. (1975): Dropout from Higher Education: A Theoretical Synthesis ofRecent Research. In: Review of Educational Research. Vol. 45, pp. 89-125.

Webler, W.-D. (2012): Das Bachelor-Studium braucht eine neue Studienein-gangsphase! Studierfähigkeit für ein frei(er)es Studium. In: Webler, W.-D. (Hg.): Studieneingangsphase? Das Bachelor-Studium braucht eineneue Studieneingangsphase! Band 1: Studierfähigkeit für ein frei(er)esStudium. Bielefeld, S. 17-52.

Wissenschaftsrat (2008): Empfehlungen zur Qualitätsverbesserung von Lehreund Studium. URL: http://www.wissenschaftsrat.de/download/archiv/8639-08.pdf [Aufruf: 13.03.2015].

n Sylvi Mauermeister, Wissenschaftliche Mit-arbeiterin am Zentrum für Qualitätsentwick-lung in Studium und Lehre (ZfQ) und am De-partment Erziehungswissenschaft, UniversitätPotsdam, E-Mail: [email protected] n Birgitta Zylla, Wissenschaftliche Mitarbeiterinam Department Erziehungswissenschaft, Uni-versität Potsdam, E-Mail: [email protected] n Laura Wagner, Wissenschaftliche Mitarbeite-rin am Zentrum für Qualitätssicherung und -entwicklung, Johannes Gutenberg-UniversitätMainz, E-Mail: [email protected]


Peer PasternackQualitätsstandards für Hochschulreformen

Eine Auswertung der deutschen Hochschulreformqualitäten in den letzten zwei Jahrzehnten

Seit Jahrzehnten sind fortwährend neue Hochschul -reformen eine Dauererscheinung. Eines ihrer fundamen-talen Versprechen lautet, dass dadurch die Qualität derHochschulen gesteigert werde. Wenn jedoch dietatsächlichen Reformwirkungen untersucht werden,dann stellt sich fast immer heraus: Die jeweilige Reformhat zwar zupackende Qualitätsanforderungen an dieHochschulen formuliert, vermochte es aber nicht, die-sen Anforderungen auch selbst zu genügen. Peer Paster-nack analysiert dies für neun Hochschulreformen derletzten zwei Jahrzehnte. Auf dieser Basis schlägt er vor,dass die Hochschulreformakteure ihren Fokus verschie-ben sollten: von qualitätsorientierten Reformen hin zurQualität solcher Reformen. Um eine solche neue Fokus-sierung zu erleichtern, werden im vorliegenden Band diedafür nötigen Qualitätsstandards formuliert.

Reihe: H

ochschulwesen W

issenschaft und Praxis

ISBN 978-3-937026-92-3, Bielefeld 2014, 224 Seiten, 38.50 Euro zzgl. Versand


Bestellung - E-Mail: [email protected], Fax: 0521/ 923 610-22

56 QiW 2/2015


Hochschulen sind in den vergangenen Jahren vielfältigenVeränderungen und Reformen unterworfen. Neben derRestrukturierung der Studiengänge, der damit verbun-denen Neuausrichtung des Verständnisses von Lehrenund Lernen und der Exzellenzinitiative des Bundes undder Länder sind hierbei insbesondere zwei Entwicklun-gen zu beobachten: Zum einen ist eine zunehmende Autonomie zu konsta-tieren, die sich u.a. in der Budgetierung von Hochschu-len, einer nachlassenden Detailsteuerung durch dieHochschulpolitik und in der Setzung von Prioritäten undPosterioritäten durch die Hochschulen selbst ausdrückt– wenngleich externe Rahmenbedingungen nach wie vormaßgeblich Handlungsoptionen vorzeichnen (vgl. u.a.Ziegele 2002). Dieser Paradigmenwechsel hat zum Teileinschneidende Veränderungen sowohl auf der struktu-rellen als auch auf der prozessoralen Ebene der Hoch-schulsteuerung nach sich gezogen. Für den im Folgen-den zu behandelnden Kontext ist dabei von besondererRelevanz, dass die Verlagerung wesentlicher Steue-rungselemente in die Hochschulen hinein neue Anforde-rungen an die Daten- bzw. Evidenzbasierung von Ent-scheidungen notwendig macht. Vor allem mit Blick aufeine outputorientierte Steuerung stellt sich damit dieFrage nach der Wirkung von Maßnahmen. Zum anderen ist seit geraumer Zeit eine wachsende Pro-jektfinanzierung an Hochschulen im Rahmen breit ange-legter Förderprogramme, insbesondere zur Optimierungvon Lehr- und Studienbedingungen1 zu beobachten. Istdiese Form der Steuerung im Bereich der Forschungschon immer etabliert, so ist eine projektfinanzierteSteuerung von Studium und Lehre in der gegenwärtigenBreite neu. Vor allem ist die Nähe der Projekte in Studi-um und Lehre zu Regelaufgaben größer als in der For-schung, für die Themenwechsel inhärent sind. Damittreten die Fragen, ob projektfinanzierte Maßnahmenüber ihre eigentliche Laufzeit hinaus dauerhaft imple-mentiert werden und welche intendierten wie auchnicht-intendierten Effekte zu erwarten sind, verstärkt inden Fokus. Entsprechend werden Projekte durch in derRegel formative Programmevaluationen begleitet, diediesen Fragen nachgehen und den beteiligten Akteurenwissenschaftlich fundierte Erkenntnisse geben sollen,um über die Fortführung der Maßnahmen rational ent-scheiden zu können. Allerdings zeigen die bisherigen Er-fahrungen nicht nur für den Hochschulbereich, dass dieMessung von Wirkungen bspw. im Vergleich zur Akzep-

tanz- oder Zufriedenheitsmessung äußerst vorausset-zungsvoll ist und spezifischer Prämissen im Hinblick aufdas Projekt- und methodische Design bedarf. Vor die-sem Hintergrund besteht das Anliegen dieses Artikelsdarin, auf Möglichkeiten und Grenzen der Wirkungs-messung im Rahmen der Evaluation von Förderprogram-men – wie bspw. dem ‚Qualitätspakt Lehre‘ – im Hoch-schulkontext aufmerksam zu machen.2 Die Auto r/innenvertreten dabei den Standpunkt, dass auch bei nichtumzusetzenden eindeutigen Wirkungszuschreibungen(Attributionen) zumindest eine Annäherung an Wirkun-gen und deren Plausibilisierung (Kontribution) ange-strebt werden sollte. Hierzu werden Überlegungen dar-gelegt, wie eine solche Wirkungsannäherung metho-disch umgesetzt werden kann, ohne die Evaluations-standards3 zu vernachlässigen.

1. Herausforderungen von Programmevaluationen im Hochschulkontext

Im Hochschulbereich steht Evaluation von Studium undLehre in der Regel im Kontext von Bewertungen vonLehrveranstaltungen bzw. einzelnen Studienabschnitten

Sina Altfeld, Uwe Schmidt & Katharina Schulze

Wirkungsannäherung im Kontext der Evaluation von komplexen Förderprogrammenim Hochschulbereich

Uwe SchmidtSina Altfeld

Katharina Schulze

1 Genannt seien hier beispielhaft der „Hochschulpakt 2020“, das Bund-Län-der-Programm für bessere Studienbedingungen und mehr Qualität in derLehre („Qualitätspakt Lehre“) sowie das Förderprogramm „Qualitätsoffen-sive Lehrerbildung“.

2 Hierzu werden verschiedenste Herausforderungen aus unterschiedlichenBereichen wie der Entwicklungszusammenarbeit, der Jugend- sowie derberuflichen Weiterbildungsforschung zusammengetragen und ein Versuchdes Transfers auf den Bezugsrahmen Hochschule vorgenommen.

3 Diese Standards fokussieren im Wesentlichen auf die vier Aspekte Nütz-lichkeit, Durchführbarkeit, Fairness und Genauigkeit. Vgl. hierzu DeGEval2008, S. 10f.

57QiW 2/2015

S. Altfeld, U. Schmidt & K. Schulze nWirkungsannäherung im Kontext der Evaluation ...QiW

oder dem gesamten Studium in Form von Retrospektiv-bewertungen oder von institutionellen Evaluationen.Letztere beziehen sich in der Regel auf Fächer oderganze Hochschulen und folgen dem Ansatz der Peer Re-views bzw. des Informed Peer Reviews. Die Analyse von Wirkungen einzelner Projekte sowie diedaran anschließende Entscheidung über die dauerhafteImplementierung oder Modifikation der Projekteschließt vorrangig nicht an institutionelle Evaluationen,sondern an die Tradition der sogenannten Programm -evaluation an. In dem vorliegenden Beitrag interessiertin erster Linie die Evaluation komplexer Förderprogram-me, die sich dadurch auszeichnen, dass die damit ver-bundenen Ziele über die Förderung von Einzelprojektenrealisiert werden sollen. Von etwas unterschiedlichen Akzentuierungen abgese-hen, sollen formativ und summativ angelegte Pro -gramm evaluationen im Wesentlichen Aussagen dazutreffen, ob und unter welchen Bedingungen ein Projektoder ein (Förder-)Programm erfolgreich ist. Legt manden Blick auf Förderprogramme, so weisen diese – unab-hängig von jeweiligem konkreten Kontext und Profil –als Gegenstand von Evaluation einige Charakteristikaauf, die gleichzeitig mit besonderen Herausforderungenfür die Evaluator/innen verbunden sind: Nicht nur sindsolche Programme häufig auf eine Laufzeit von mehre-ren Jahren angelegt und erfordern als „in Veränderungbegriffene Evaluationsgegenstände“ (vgl. Brandt/Große2009, S. 40) eine besonders vorausschauende und glei-chermaßen flexible Planung der Evaluation, gleichzeitiggilt es auch eine Vielzahl von Akteuren aus verschiede-nen institutionellen Kontexten (u.a. Auftraggeber, Pro-jektträger, Projektnehmer) mit ihren je unterschiedli-chen Funktionen, Aufgaben und Erwartungen angemes-sen zu berücksichtigen. Darüber hinaus ist typischerwei-se eine komplexe Zielsetzung des Gesamtprogramms ei-nerseits sowie eine hohe strukturelle und inhaltliche He-terogenität der geförderten Projekte andererseits gege-ben. In der Praxis bedeutet dies, dass die gefördertenProjekte zwar der übergeordneten Zielsetzung folgen,jedoch verschiedenste Teilprojekte und Maßnahmen mitjeweils sehr unterschiedlichen Teilzielen und unteräußerst heterogenen Rahmenbedingungen umsetzenkönnen (vgl. Haubrich 2004). Für die Evaluation stelltsich hier die Herausforderung, die Zielsetzungen auf Pro-jekt- und Programmebene so weit zu präzisieren, dasssie einen adäquaten Bewertungsmaßstab darstellen, derwiederum Voraussetzung für den (strengen) Nachweisvon Wirkungen ist (vgl. Brandt/Große 2009).Versucht man diese Gegebenheiten noch einmal analy-tisch zu fassen, so lässt sich zunächst in Anlehnung andie „Coleman’sche Badewanne“ zwischen der Makro-ebene des Programms sowie der Mikroebene des Pro-jekts bzw. der beteiligten Akteure unterscheiden.4Gleichwohl es im Rahmen von Programmevaluationletztlich um die Erfassung von Wirkungen auf der Pro-grammebene geht, sind auch Ergebnisse auf der Projekt -ebene Gegenstand der Evaluation, da sie einen wichti-gen Indikator für die Qualität des Gesamtprogrammsdarstellen. Um die Frage zu beantworten, inwieweit er-probte Maßnahmen und Programme unter bestimmtenRahmenbedingungen gelingen oder auch nicht, ist inso-

fern auch die Rekonstruktion der Zusammenhänge aufder Projekt- bzw. Akteursebene und schließlich derenAggregation unerlässlich (zum Mikro-Makro-Modell dersoziologischen Erklärung vgl. Greve et al. 2008). All diese Herausforderungen stellen sich wie in anderenBereichen, für die umfassende Förderprogramme rele-vant sind, auch für Programmevaluationen im Hoch-schulkontext. Zum einen gilt es nicht nur die Programm-und Projektebene miteinander in Bezug zu setzen, son-dern auch die vorgeschaltete Ebene der Hochschulpoli-tik sowie die eingebundenen Akteure aus heterogenenKontexten wie Politik, Wirtschaft, Verwaltung undHochschule entsprechend einzubeziehen (vgl. Kromrey2003). Zu beachten sind zudem die unterschiedlichenHandlungslogiken in den jeweiligen Subsystemen vonWissenschaft, Wirtschaft und Politik, denen die Akteureunterliegen. Zum anderen sind Förderprogramme – so auch im Hoch-schulbereich – in der Regel breit ausgerichtet. Als gera-dezu typisch kann hierbei der unterschiedlich hohe Gradder Konkretisierung von Zielen auf den verschiedenenEbenen bezeichnet werden. Zielformulierungen aufEbene der Hochschulpolitik bzw. des Gesamtprogrammssind häufig unspezifisch, um Projektnehmern einengroßen Spielraum zur Auslegung und eine Anpassung anbestehende Bedarfe zu gewähren. Auf der Ebene einzel-ner Projekte bzw. Maßnahmen sind die Ziele hingegentypischerweise konkret(er) formuliert und zudem an denjeweiligen Kontext und die Rahmenbedingungen vorOrt gebunden, was nicht zuletzt auch eine Anpassungder Zielsetzungen während der Laufzeit notwendig ma-chen kann (vgl. Beywl 2006, S. 41f.). Die Herausforde-rung für die Programmevaluation stellt dann die Formu-lierung präziser (Teil-)Zielsetzungen und Indikatorenüber alle Projekte hinweg dar, die gleichzeitig allen ge-förderten Maßnahmen gerecht werden und eine ange-messene Beurteilung des Gelingens oder auch Misslin-gens ermöglichen (vgl. Brandt/Große 2009). Besondersschwierig für die Bewertung auf Programmebene gestal-tet sich dabei eine mehrstufige Reinterpretation derZielstellungen des Programms im Rahmen der Überset-zung in konkrete Projektideen. So gehen Virtanen undUusikylä davon aus, „… that programmes are sociallyconstructed, i.e. a certain group of actors (with certainintentions and their best understanding of society’sneed) develop programmes. These will be implementedby other actors who might – and most often do – havetheir own interpretations of programme logic und its si-tuational validation. There be then a third set of actorswho try to adapt themselves to the expected goals andobjektives (based on their own subjective understan-ding) and finally implement the programme. From thislogic of programme implementation constructed bymultiple sets of actors, we are dealing with several, rat-her than one, interpretations of a programme” (Virta-nen/Uusikylä 2004, S. 83).Eine weitere Herausforderung von Evaluationen insge-samt und im Hochschulkontext im Besonderen ist die

4 Virtanenen und Uusikylä unterscheiden zwischen dem Programm als Ma-kroebene, dem Projekt als Mesoebene und den beteiligten Individuen alsMikroebene (vgl. Virtanen/Uusikylä 2004).

58 QiW 2/2015


Datenerhebung im aktiven Feld des Regelbetriebs derInstitution (vgl. Kromrey 2003, S. 237). Zu berücksichti-gen ist, dass während der Laufzeit des Programms auchweitere Projekte und Maßnahmen eingeführt und um-gesetzt werden können, die ähnliche Ziele verfolgen,wodurch eine monokausale Zuordenbarkeit von Wir-kungen nahezu unmöglich erscheint. Parallel laufendeProgramme und Projekte machen es nicht zuletzt für dieZielgruppen (Lehrende und Studierende) äußerstschwierig, zwischen einzelnen Maßnahmen und derenEffekten zu differenzieren, was auch der Messung vonAkzeptanz und Zufriedenheit deutliche Grenzen setzt.Die Evaluation sieht sich insofern mit einem äußerstkomplexen Gegenstand konfrontiert, der insbesonderedadurch gekennzeichnet ist, dass mit zunehmender Ag-gregationsebene (von der Projekt- zur Programmebene)die Konkretisierung der Zielsetzung abnimmt, währenddie Zahl der potenziell intervenierenden Variablen zu-nimmt (vgl. Stockmann 2002, S. 142). Dies erschwertdie Möglichkeit, zu gültigen Aussagen über den Erfolgdes Programms zu gelangen, erheblich.Wann ist unter diesen Umständen also ein Projekt bzw.eine konkrete Maßnahme und letztlich ein Förderpro-gramm tatsächlich als erfolgreich zu bewerten und wielässt sich „Erfolg“ an dieser Stelle messen? Welche Wir-kungen sollen bzw. müssen hierfür erfasst werden (kurz-,mittel- oder langfristige Wirkungen)? Den Überlegungenvon Caspari und Barbu (2008, S. 3) folgend, muss sichWirkungsevaluation insbesondere auch mit dem „Kon-trafaktischen“ auseinandersetzen, d.h. mit der Frage,welche Effekte auch ohne das zu bewertende Programmbei der Zielgruppe aufgetreten wären. Um diesen Fragennachzugehen und kausale Wirkungsketten sicher zuidentifizieren, sind ausgereifte quantitative Designs undMethoden notwendig, d.h. im Idealfall (quasi-)experi-mentelle Untersuchungsdesigns mit Vorher-Nachher-Untersuchungen und Kontrollgruppen. Für die Realisie-rung solch anspruchsvoller Designs fehlen jedoch geradeim Kontext der Breitenförderung an Hochschulen häufigdie grundlegenden Voraussetzungen wie valide Baseli-ne-Daten (z.B. hochschulstatistische Daten zu Studien-abbruchquoten für alle geförderten Hochschulen) sowieadäquate Vergleichsgruppen (z.B. nicht-geförderteHochschulen). Zudem ist mit Blick auf die Evaluationenvon Projekten zu beobachten, dass häufig der Beginnder Evaluation zu spät liegt, um ein für die Wirkungs-analyse hinreichendes Design zu realisieren und insbe-sondere Daten zur Situation vor der Intervention durchein Projekt bzw. eine Maßnahme zu erheben. Die beschriebenen Herausforderungen von Programm -evaluationen im Hochschulkontext resümierend, mussdavon ausgegangen werden, dass eine exakte Zuord-nung (Attribution) von Wirkungen zu einzelnen Maß-nahmen wenig realistisch ist5. Das Fehlen konkreter In-formationen (z.B. auf Ebene der Programmziele) erzeugtbei der Rekonstruktion von Wirkungsketten unweiger-lich eine sogenannte „Black Box“. Vor diesem Hinter-grund stellt sich die Frage, welche Funktion Programm -evaluationen im hochschulischen Kontext tatsächlichzukommen kann. Angesichts der Tatsache, dass entsprechende Förderpro-gramme häufig sehr breit auf die Verbesserung der Lehr-

und Studienbedingungen abzielen, sehen die Au -tor/innen nicht (vorrangig) den Beweis von Wirkungen6

sowie deren eindeutige Zuordnung zu einem Projektbzw. Programm, sondern vielmehr die möglichst plausi-ble Beantwortung der Frage, inwiefern eingesetzte Maß-nahmen zur Verbesserung einer Situation bzw. einesSys tems beitragen, z.B. zu einer Optimierung der Be-treuung oder zur Unterstützung des Selbststudiums vonStudierenden, als die angemessenere Zielsetzung. Auchfür eine solche „Kontribution“ von Wirkungen ist es not-wendig, ein nachvollziehbares hypothetisches Wir-kungsmodell zu entwickeln, anhand dessen die „interneLogik“ (vgl. Lüders/Haubrich 2006, S. 41) eines Pro-gramms nachvollzogen und Gelingens- wie auch Miss-lingensbedingungen analysiert werden können. Hierzusind im Vorfeld einer Programmevaluation ausgereifteÜberlegungen hinsichtlich der methodischen Vorge-hensweise anzustellen. Zudem kann – soweit entspre-chende Untersuchungsergebnisse vorliegen – auf Studi-en zurückgegriffen werden, die Teile einer postuliertenWirkungskette erklären, welche im Rahmen der Evalua-tion nicht hinreichend erfasst werden können. Ein Bei-spiel hierfür ist die Analyse des Studienerfolgs aufgrundeiner Intervention, deren Effekt auf den Studienerfolgnicht im Rahmen einer Evaluation erschöpfend betrach-tet werden kann. In diesem Fall wäre es denkbar, dieWirkungen auf solche Aspekte zu messen, die einendurch andere Untersuchungen bestätigten Zusammen-hang mit spezifischen Indikatoren für Studienerfolg auf-weisen, wie bspw. die Wirkung der Intervention auf vo-litonale und motivationale Faktoren. Weitere Möglich-keiten, wie sich Evaluatoren/innen Wirkungen von Pro-grammen im Hochschulkontext methodisch annähernkönnen, werden im folgenden Abschnitt beleuchtet.

2. Ausweg aus dem Dilemma? MethodischeAnnäherungen

Bereits weit vor der aktuellen Debatte um Wirkungs-messungen und deren Herausforderungen haben Rossiet al. (1988) dazu angeregt, bei nicht vorhandenen ran-domisierten Daten besser auf andere, (vermeintlich)„schwächere“ Analysemethoden auszuweichen, alsgänzlich auf eine Evaluierung zu verzichten. Ist keineWirkungsmessung mittels „klassischer“ (quasi-)experi-menteller Settings möglich, sollte ein gut durchdachtesEvaluationsdesign beispielsweise nach dem qualitativenParadigma entwickelt werden. Insbesondere dann,wenn ein schwer zu messender Zusammenhang logischerschlossen werden soll, bieten sich qualitative Verfah-ren mit dem Vorteil ihrer „methodischen Offenheit“ und„Alltagsnähe“ (vgl. Meyer/Thomas 2011) an. Währendim Rahmen von Projekt- bzw. Maßnahmenevaluationen

5 Interessant hierzu und zu den folgenden Ausführungen: Leitfaden derSchweizerische Zertifizierungsstelle für gemeinnützige, Spenden sammeln-de Organisationen (Zewo) zur Wirkungsmessung in der Entwicklungszu-sammenarbeit, abrufbar unter https://www.zewo.ch/extranet/Dokumente/Wirkungsmessung/Wirkungsmessung_Zewo.pdf.

6 Selbst wenn durch den Einsatz geeigneter Untersuchungsdesigns entspre-chende Wirkungsketten nachgebildet und Interventionen direkten Wir-kungen (Outcomes) kausal zugeordnet werden können, ist es in vielenKontexten nicht möglich, auch die kausale Beziehung zur längerfristigenWirkung (Impact) nachzuweisen. Diese Problematik wird in der Praxishäufig mit dem Begriff der „Zuordnungslücke“ deklariert.

59QiW 2/2015


meist konkrete Zielformulierungen vorhanden sind –zum Beispiel wird mit der Einführung und Erprobungeines neuen Lehr- Lernformats u.a. ein Kompetenzzu-wachs bei den Studierenden beabsichtigt – zielen (För-der-)Programme tendenziell auf strukturelle Verände-rungen und die Anpassung an veränderte Rahmenbedin-gungen im Hochschulkontext. Dabei geht es auch umFragen, wie ein Programm zu Einstellungs- und Verhal-tensveränderungen oder gar zu einem „Kulturwandel“ inden geförderten Bereichen beitragen kann. Hier lassensich letztlich nur sogenannte „weiche“ Indikatoren he -ranziehen, die aus der „subjektiven Perspektive des Ein-zelnen“ erschlossen werden können (vgl. ebd. 2011).An dieser Stelle sollen einige Hinweise darauf gegebenwerden, was unter den beschriebenen Voraussetzungenbei der Konzeption einer Evaluation komplexer (Förder-)Programme berücksichtigt werden sollte, um die Vali-dität von Aussagen über deren Erfolg zu erhöhen. Ausunserer Sicht sind dies insbesondere vier Faktoren bzw.Schritte, die wesentlich für die Ausgestaltung eines Eva-luationskonzeptes sind, welches Wirkungen in einemweiteren Sinne in den Blick nimmt: • die Entwicklung eines modellgeleiteten Indikatoren -

sys tems, • die Berücksichtigung der Multikausalität des Förder-

umfeldes,• die Berücksichtigung unterschiedlicher methodischer

Zugänge, durch die sowohl Analysen in der Breite alsauch (exemplarisch) in der Tiefe möglich sind und

• die Objektivierung der gewonnenen Ergebnisse durchden Einbezug unterschiedlicher Stakeholder.

Entwicklung eines modellgeleiteten Indikatorensystemsals Annäherung an ein WirkungsmodellAusgehend von der Annahme, dass Effekte auf Ebeneder Projekte wichtige Hinweise auf den Erfolg des ge-samten Programms geben, sind die Betrachtung vonProjekt- und Programmebene sowie deren sinnvolle Ver-bindung erforderlich. Hierzu sind eine hypothesengelei-tete Konkretisierung von Fragestellungen und die Be-stimmung von Indikatoren für beide Ebenen notwendig.Als Rahmen zur Entwicklung eines entsprechenden Indi-katorenmodells (vgl. Tab. 1), das sowohl die Programm-als auch die Projektebene berücksichtigt, soll im Folgen-den in Ausschnitten das für die Evaluation des ‚Quali -täts pakts Lehre‘ genutzte Modell herangezogen werden,das an die Arbeiten von Donabedian (1980) anknüpftund in der Erweiterung von Schmidt (2008) zwischenvier Qualitätsebenen unterscheidet: der Ziel-, Struktur-,Prozess- und Ergebnisqualität (vgl. Abb. 1). Diesem Modell liegt die Annahme zugrunde, dass guteErgebnisse von förderlichen strukturellen Voraussetzun-gen (u.a. angemessene materielle und personelle Res-sourcen, räumliche und sachliche Rahmenbedingungensowie funktionale Entscheidungsstrukturen) und ange-messenen Prozessen (Arbeits- und Organisationsprozes-se, Kommunikations- und Kooperationsprozesse etc.)abhängig sind. Zugleich ist anzunehmen, dass guteStrukturen und Prozesse nur dann zu guten Ergebnissenführen, wenn diese sinnvoll mit den avisierten Zielset-zungen korrespondieren. Insofern sollte die Programm -evaluation mögliche (Kausal-)Verbindungen zwischen

allen vier Analyseebenen ermitteln (siehe hierzu auchSchmidt 2008), wobei der Erfassung von Strukturen undProzessen besondere Bedeutung zukommt, da hier „De-tailkenntnis über den Untersuchungsgegenstand“ (vgl.Mayntz 2002) gewonnen und auf diese Weise den be-reits beschriebenen Schwierigkeiten bei der Rekonstruk-tion von Wirkungsketten („Black Box“) begegnet wer-den kann. Wichtig ist innerhalb dieses Evaluationsschrit-tes eine enge Abstimmung mit den Auftraggebern derEvaluation, da das Indikatorenmodell letztlich auch alseine Art „Leitfaden“ für die gesamte Programmevaluati-on dient und in diesem Zusammenhang bereits Erwar-tungen und inhaltliche Vorstellungen in einem sehrfrühen Stadium der Evaluation geklärt werden können.

Berücksichtigung von Multikausalität und dem jeweili-gen FörderumfeldWie bereits angedeutet, stehen Förderprogramme nichtsingulär in der Hochschullandschaft, sondern sind häufigeine von zahlreichen politischen Maßnahmen zur Wei-terentwicklung des Wissenschaftssystems. Ein wichtigerTeil der Programmevaluation ist mithin die Analyse desFörderumfelds, anhand derer aufgedeckt werden kann,inwiefern anderweitige Anstrengungen von Bund, Län-dern und Stiftungen zur Unterstützung des adressiertenFörderbereichs an Hochschulen unternommen werden,die zu Wechselwirkungen und Synergieeffekten führenkönnten. Die zugrundeliegende analytische Strategiebesteht darin, plausible alternative bzw. konkurrierendeErklärungen („rival explanations“) für die beobachtetenVeränderungen zu finden und zu prüfen. Um möglichealternative Erklärungen für intendierte und nicht-inten-dierte Effekte zu berücksichtigen, sollten diese schonfrüh in den Blick genommen und insbesondere bei derDatenerhebung und -analyse miteinbezogen werden(vgl. Yin 2014, S. 140).Auch mit Blick auf das zu evaluierende Förderprogrammselbst bzw. auf die im Einzelnen geförderten Projekteund Maßnahmen sollte die empirische Aufdeckung vonmöglichen (Kausal-)Zusammenhängen auf Grundlageeiner möglichst breiten Erfassung, Analyse und Gewich-tung der an der „Bewirkung einer Wirkung“ (Mayntz2009, S. 85) beteiligten Strukturen und Prozesse ge-schehen. Gerade in einem derart heterogenen Kontextwie der Breitenförderung an Hochschulen, für die einhohes Maß an Wechselwirkungen und intervenierendenVariablen angenommen werden muss, ist es nicht nur

Abbildung 1: Qualitätsebenen einer Programmevaluation

60 QiW 2/2015


schwierig, sondern sogar unwahrscheinlich, eine „einzigwirksame“ Maßnahme zu identifizieren, die alle relevan-ten Ziele bestmöglich erreicht. Insofern stimmen dieAutor/innen hier Mack et al. (2011) zu, dass weniger dieIdentifizierung von und Differenzierung nach „unwirksa-men“ und „wirksamen“ Maßnahmen im Fokus einerProgrammevaluation stehen sollte, als vielmehr die Ana-lyse „tendenziell, aber noch nicht optimal wirksamerEntwicklungsansätze“ (Mack et al. 2011, S. 318) imSinne von „Good Practice“.

Berücksichtigung unterschiedlicher methodischer Zu-gänge Aufgrund der beschriebenen meist sehr komplexenStruktur von Programmevaluationen im Hochschulkon-text ist es zur Nachbildung einer Wirkungskette notwen-dig, Prozesse und Strukturen detailliert zu erfassen.Mayntz (2002) spricht in diesem Zusammenhang von

„kausaler Rekonstruktion“: „Nicht Abstraktion und ma-ximale Vereinfachung, sondern Konkretisierung und hin-reichende Komplexität der Erklärung werden gesucht“(Mayntz 2002, S. 13). Hierzu bieten Fallstudien miteinem hohen Anteil an qualitativen Datenerhebungenden Vorteil der tiefergehenden Analyse ausgewählterProjekte bzw. Hochschulen. Gerade mit Blick auf mögli-che intervenierende Variablen bieten qualitative Datenaufgrund ihrer Offenheit für Unerwartetes und ihrerKontextsensitivität einen deutlichen Zugewinn für dieEvaluation, da bereits im Erhebungsprozess Alternativ -hypothesen zur Erklärung beobachteter Effekte berück-sichtigt werden können. Während experimentelle oderquasi-experimentelle Designs eine Einschätzung der Ef-fektivität durch die Erfassung der Stärke des Zusammen-hangs von Maßnahme und Wirkung ermöglichen, kön-nen über Fallstudien mögliche Erklärungen für den Zu-sammenhang entwickelt werden, da sie Aufschluss darü-

Tabelle 1: Beispielhaftes Indikatorensystem mit den Qualitätsebenen nach Programm- und Projektebene differenziert

61QiW 2/2015


ber geben, wie eine Maßnahme tatsächlich wirkt oderauch nicht. Fallstudien eignen sich insofern insbesonde-re zur Beantwortung von Wie- oder Warum-Fragen (vgl.Yin 1981, S. 100). Dabei erfolgt die Auswahl von Fällenauf Grundlage theoretischer Überlegungen, z.B. anhandinhaltlicher und/oder struktureller Merkmale der Projek-te, und nicht (ausschließlich) nach statistischen Prinzipi-en (vgl. Meyer/Thomas 2011). Mit Blick auf das Ziel derEvaluation, letztlich Aussagen über das Gesamtpro-gramm zu treffen, sollte die Auswahl der Fallstudienstets unter Berücksichtigung des Programmprofils ge-schehen und insbesondere das Spektrum der geförder-ten Maßnahmen widerspiegeln. Eine solche Vorgehens-weise ist insbesondere bei der Erprobung innovativerMaßnahmen – wie sie häufig im Hochschulkontext um-gesetzt werden – sehr nützlich, da hier unter anderemdie Gründe eruiert werden können, warum eine solcheMaßnahme Akzeptanz durch die Zielgruppen erfährtoder auch nicht (vgl. ebd. 2011). Wenngleich Fallstudien im Wesentlichen aufgrund ihresqualitativen Zugangs besonders ergiebig für die Evaluati-on von (innovativen) Programmen sind, ist es dennochsinnvoll, nicht auf quantitative Erhebungen zu verzich-ten, da durch die wechselseitige Ergänzung qualitativerund quantitativer Daten die gewonnenen Erkenntnissedeutlich an Validität gewinnen. Neben standardisiertenBefragungen auf Ebene der Gesamtevaluation könnenquantitative Erhebungen, z.B. zur Reichweite und Ak-zeptanz der Projekte und Maßnahmen, auch innerhalbder Fallstudien bei verschiedenen Zielgruppen Anwen-dung finden und gemeinsam mit dem qualitativen Da-tenmaterial eine gute Datenbasis generieren, um letzt-lich plausible Aussagen im Rahmen der Programmeva-luation zu treffen (vgl. u.a. Yin 2014; Patton 1990). Ins-besondere kann auf diese Weise das häufig auftretendeProblem der „Positivauswahl“ entschärft werden, dasgerade bei ausschließlich auf aufwändigen, persönlichenGesprächen basierenden Verfahren, die naturgemäß inrelativ enger Abstimmung mit den Projektnehmern or-ganisiert werden, zu Verzerrungen führen kann. Quanti-tative Erhebungen können somit die tiefenorientiertenErhebungen der qualitativen Methoden durch eine Brei-tenorientierung ergänzen. Auch wenn keine hinreichendvaliden Daten aus der Zeit vor Implementierung einesProgramms bzw. einer Maßnahme zur Verfügungstehen7 und auch keine Randomisierung möglich seinsollte, kann es zudem hilfreich sein, bestimmte Indikato-ren bei verschiedenen Akteuren über mehrere Zeitpunk-te im Projektverlauf hinweg abzufragen, um eine Ein-schätzung über mögliche Veränderungen zu erhalten8.Diese Daten müssen sinnvoll mit den vorliegenden In-formationen aus Dokumenten und/oder Interviews ver-knüpft werden. Dabei geht es vor allem darum, Pro-grammstrukturen, -prozesse sowie -effekte zu beleuch-ten und miteinander in Beziehung zu setzen (vgl. Patton2002, S. 471f). Natürlich bleibt die Frage bestehen, wel-che Methoden unter den genannten Restriktionen beiProgrammevaluationen im Hochschulbereich am geeig-netsten erscheinen. Wie Rossi et al. (1999) darlegen,gibt es kein Evaluationsdesign, welches einer generellenEmpfehlung folgt. Für jede Programmevaluation müssenpassende und umsetzbare Instrumente und Methoden

ausgewählt werden. Letztlich basiert die Entscheidungfür oder gegen bestimmte Methoden auf dem Prinzipvon Patton (1990, S. 196): „What is certain is that diffe-rent methods produce quite different information. Thechallenge is to find out which information is most nee-ded and most useful in a given situation, and then toemploy those methods best suited to producing theneeded information.”

Objektivierung durch die Einbeziehung verschiedenerStakeholderZwar besteht ein grundlegendes Problem von Evaluatio-nen insgesamt und Fallstudien im Besonderen darin,dass eine Generalisierung der Erkenntnisse nur bedingtmöglich ist, die Validität der Ergebnisse kann durch dieBetrachtung mehrerer Fälle und eine Auswahl anhandvorab definierter Kriterien jedoch insgesamt deutlich er-höht werden (vgl. hierzu auch Yin 1981, S. 101 zum Ein-satz von „multiple case studies“)9. Die im Rahmen dervergleichenden Fallstudien gewonnenen Erkenntnissekönnen durch Ähnlichkeiten und Unterschiede zwischenden Fällen kritisch mit Blick auf die jeweiligen Differen-zen betrachtet werden (vgl. Borchardt/Göthlich 2007, S.36). Gleichzeitig ist es substanziell für die Analyse, vieleSichtweisen verschiedenster Stakeholder einzuholen,um zu möglichst objektiven Beurteilungen zu gelangen(vgl. u.a. Brandt/Große 2009). Kromrey (2003) spricht indiesem Zusammenhang von der „Objektivierung durchVerfahren“ und betont: „Die Sicherung der Intersubjek-tivität der Ergebnisse wird durch ein darauf zugeschnit-tenes Verfahrensmodell angestrebt: Die Einbeziehungaller Beteiligten und Betroffenen in den Prozess soll ge-währleisten, dass das für den Zweck der Evaluation rele-vante Informationsspektrum erfasst wird“ (ebd., S. 246).Diese sogenannte partizipative Methode setzt selbstver-ständlich die Kooperationsbereitschaft und das Mitwir-ken aller beteiligten Akteure im Rahmen der Evaluationvoraus. Dafür sollten Zweck und Zielsetzung der Pro-grammevaluation im Vorfeld durch die jeweiligen Auf-traggeber bzw. Fördermittelgeber transparent gemachtwerden, um Erwartungssicherheit in die Funktion undmögliche Konsequenzen der Evaluation und damit Ver-trauen in das Verfahren zu fördern.

3. Perspektiven und Ausblick„Und das Problem ist demzufolge nicht: wie man Wir-kungen besser kontrollieren könne oder ob man essolle, sondern vielmehr: was noch möglich ist, wenndas nicht möglich ist.“ (Luhmann/Schorr 1982, S. 16)

Die Hochschulen stehen mit der zunehmenden Projekt-und Programmförderung in nahezu allen Leistungsberei-chen verstärkt unter Druck, die Wirksamkeit der häufigpilothaft eingeführten Maßnahmen zu messen, um im

7 Nicht selten liegt in Rahmen von Programmevaluationen eine zeitlicheDiskrepanz zwischen Programmentwicklung und Auftragsvergabe vor, so-dass die Erhebung von Vorher-Nachher-Daten nicht möglich ist.

8 Mehr zum Einsatz von Längsschnittdaten bei Pohlenz/Niedermeier 2012(hier auf Hochschulebene zur Evaluation von Studium und Lehre).

9 Weiterführende Informationen zu Fallstudien in Yin (1981 und 2014).

62 QiW 2/2015

Hinblick auf die Entscheidung, ob und in welcher FormProjekte dauerhaft implementiert werden sollen, übereine fundierte Informationsgrundlage zu verfügen. Dervorliegende Beitrag fokussierte auf Fragen der Wir-kungsmessung im Rahmen der Evaluation (komplexer)Förderprogramme, wobei insbesondere die Frage, inwelcher Weise die Koppelung von in der Regel breit aus-gerichteten Förderprogrammen – wie bspw. dem Qua-litätspakt Lehre oder der Qualitätsoffensive Lehrerbil-dung – und konkreten Projekten in Evaluationen mög-lich ist und welcher Beitrag insbesondere zur Bestim-mung der Effekte auf der Ebene des Gesamtprogrammsgeleistet werden kann, im Fokus stand. Die einleitendformulierte Aussage in Bezug auf die Annäherung anWirkungen und deren Plausibilisierung in den Blick neh-mend, lässt sich resümieren, dass es insbesondere imKontext der breit ausgerichteten Programmförderung anHochschulen geeigneter bzw. sogar notwendig er-scheint, den „Königsweg“ (quasi-)experimenteller De -signs zu verlassen und andere Untersuchungsdesigns alsmögliche Alternativen zu berücksichtigen. Betrachtetman die Ebene konkreter Projekte unterhalb der Pro-grammebene, sind hingegen Evaluationsansätze mit(quasi-)experimentellem Design grundsätzlich sinnvoll,wenngleich auch hier spezifische Voraussetzungen zumTeil nicht gegeben sind und bspw. Selbstselektionseffek-te von innovativen Projekten durch Studierende oderfehlende Baseline-Daten ein solches Vorgehen zumin-dest erschweren.10

Die beschriebenen Besonderheiten und Herausforderun-gen von Evaluationen komplexer Programme im Hoch-schulkontext erschweren es nicht nur erheblich, kausaleWirkungen zu attribuieren, die Bedingungen legen esvielmehr nahe, die Frage nach dem Beitrag – im Sinneder „Mitwirkung“ – eines Programms zu empirisch be-obachteten Veränderungen in den Fokus zu rücken. Um plausible Erklärungen entwickeln zu können, schei-nen insbesondere theoretisch gut begründete bzw. mo-dellgeleitete Verfahren, die sich auf mehrere methodi-sche Zugänge stützen und die relevante Stakeholder miteinbeziehen von Vorteil. Hierbei haben sich nach inhalt-lichen und strukturellen Faktoren ausgewählte Fallstudi-en als ein adäquates Instrument bewährt, soweit derenErgebnisse gleichzeitig mit breit angelegten quantitati-ven und qualitativen Erhebungen kontrastiert werden.Durch partizipative Ansätze und Triangulation der Me-thoden ist es folglich das primäre Ziel, anhand der Fall-studien (Mikroebene) valide Zusammenhänge intendier-ter und nicht-intendierter Effekte von Programmen imHochschulkontext (Makroebene) zu rekonstruieren.Wenngleich Aussagen, die sich zu einem wesentlichenAnteil auf eine Rekonstruktion von Strukturen und Pro-zessen auf der Ebene ausgewählter Fälle stützen, nurPlausibilität beanspruchen können, ist der Erkenntnis-wert plausibler qualitativer Aussagen für die Erklärungspezifischer Phänomene insbesondere für einen derartkomplexen Evaluationsgegenstand keinesfalls als geringeinzuschätzen (vgl. Mayntz 2002, S. 17f.).Perspektivisch scheint es unerlässlich, die beschriebeneVorgehensweise kontinuierlich zu erweitern und nochbesser an den Hochschulkontext anzupassen, gleichzei-tig werden einheitliche Standards für die Wir-

kungsannäherung in Programmevaluationen benötigt.Zu fordern ist nicht zuletzt danach, dass sich Evaluatio-nen im Hochschulbereich – unabhängig davon, ob siesich auf Projekt- oder Programmebene beziehen – deut-lich stärker auf Ergebnisse der Hochschulforschung, sobspw. im Kontext von Studium und Lehre insbesondereauf den Bereich der Studienerfolgsforschung beziehen,um relevante Erfolgsfaktoren und Indikatoren ableitenund Erklärungslücken, die sich in der Evaluation erge-ben, schließen zu können.


Beywl, W. (2006): Demokratie braucht wirkungsorientierte Evaluation – Ent-wicklungspfade im Kontext der Kinder- und Jugendhilfe. In: Projek eXe(Hg.): Wirkungsevaluation in der Kinder- und Jugendhilfe. Einblicke indie Evaluationspraxis, München: Deutsches Jugendinstitut e.V., S. 25-46.

Borchardt, A./Göthlich, S.E. (2007): Erkenntnisgewinn durch Fallstudien. In:Albers, S./Klapper, D./Konradt, U./Walter, A./Wolf, J. (Hg.): Methodikder empirischen Forschung. Wiesbaden, S. 33-48.

Brandt, M./Große U. (2009): Bewertungsproblem als Herausforderung beiProgrammevaluationen – methodische Lösungsbeiträge. In: Wissen-schaftliche Beiträge der Technischen Fachhochschule Wildau, H.2009/2010, S. 39-48.

Caspari, A./Barbu, R. (2008): Wirkungsevaluierungen. Zum Stand der inter-nationalen Diskussion und dessen Relevanz für die Evaluierung derdeutschen Entwicklungszusammenarbeit. Bonn: BMZ (Evaluation Wor-king Papers).

DeGEval – Gesellschaft für Evaluation e.V. (2008) (Hg.): Standards für Eva-luation, 4. unveränderte Auflage. Mainz.

Donabedian, A. (1980): The definition of quality and approaches to its asses-sment, Health Administration Press.

Greve, J./Schabel, A./Schützeichel, R. (2008): Das Makro-Mikro-Makro-Mo-dell der soziologischen Erklärung – zur Einleitung. In: Greve, J./Schna-bel, A./Schützeichel, R. (Hg.): Das Mikro-Makro-Modell der soziologi-schen Erklärung: Zur Ontologie, Methodologie und Metatheorie einesForschungsprogramms. Wiesbaden, S. 7-17.

Haubrich, K. (2004): Cluster-Evaluation – Wirkungen analysieren und Inno-vation fördern. In: Meister, D.M./Tergan, S.-O./Zentel, P. (Hg.): Evaluati-on von E-Learning. Zielrichtungen, methodologische Aspekte, Zukunfts-perspektiven. Münster/New York/München/Berlin, S. 155-170.

Kromrey, H. (2003): Qualität und Evaluation im System Hochschule. In:Stockmann, R. (Hg.): Evaluationsforschung. Opladen, S. 233-258.

Luhmann, N./Schorr, K.E. (1982): Das Technologiedefizit der Erziehung unddie Pädagogik. In: Luhmann, N./Schorr, K.E. (Hg.): Zwischen Technolo-gie und Selbstreferenz. Fragen an die Pädagogik. Frankfurt am Main, S.11-40.

Lüders, C./Haubrich, K. (2006): Wirkungsevaluation in der Kinder- und Ju-gendhilfe: Über hohe Erwartungen, fachliche Erfordernisse und konzep-tionelle Antworten. In: Projek eXe (Hg.): Wirkungsevaluation in der Kin-der- und Jugendhilfe. Einblicke in die Evaluationspraxis. München:Deutsches Jugendinstitut e.V., S. 5-23.

Mack, D./Causemann, B./Seitz, K./Spielmans, H. (2011): Die Semantik derWirkungsbeobachtung. In: Zeitschrift für Evaluation, 10. Jg./H. 2, S.315-319.

Mayntz, R. (2009): Sozialwissenschaftliches Erklären. Probleme der Theorie-bildung und Methodologie. Frankfurt/New York.

Mayntz, R. (2002): Akteure – Mechanismen – Modelle: Zur Theoriefähigkeitmakro-sozialer Analysen. Frankfurt/New York.

Meyer, W./Thomas, S. (2011): Monitoring und Messung von Wirkungen imBereich Berufliche Bildung und Arbeitsmarkt: Ein Leitfaden für die Pra-xis. Bonn/Berlin: GIZ im Auftrag des Bundesministeriums für wirtschaft-liche Zusammenarbeit und Entwicklung (BMZ).

Parsons, T./Platt, G.M. (1990): Die amerikanische Universität. Frankfurt.Patton, M.Q. (2002): Qualitative Research and Evaluation Methods. 3th ed.

Thousand Oaks, CA: Sage Publications. Patton, M.Q. (1990): Qualitative Evaluation and Research Methods. 2th ed.

Newbury Park, CA: Sage Publications.Pohlenz, P./Niedermeier, F. (2012): Wirkungsorientierte Evaluation von Stu-

dium und Lehre. In: Qualität in der Wissenschaft, 6. Jg/H. 1, S. 9-13.

10 Die Methodik sollte entsprechend jedem Einzelfall angepasst werdenund jede (Programm-)Evaluation sollte demzufolge die bestmöglichenmethodisch umsetzbaren Standards verfolgen (vgl. Rossi et al. 1988;Rossi et al. 1999).


63QiW 2/2015

S. Altfeld, U. Schmidt & K. Schulze nWirkungsannäherung im Kontext der Evaluation ...QiWRossi, P.H./Freeman, H.E./Hofmann, G. (1988): Programm-Evaluation: Eine

Einführung in die Methoden angewandter Sozialforschung. Stuttgart.Rossi, P.H./Freeman, H.E./Lipsey, M.W. (1999): Evaluation. A Systematic

Approach, 6th ed. Thousand Oaks, CA: Sage Publications.Schmidt, U. (2008): Aufbau, Funktionsweisen, Effekte und Wirkungsgrenzen

einer systematischen hochschuleigenen Qualitätssicherung. HandbuchQualität in Studium und Lehre: 19. Ergänzungslieferung 2008; E 9.5.Stuttgart, S. 1-2.

Stockmann, R. (2002): Herausforderungen und Grenzen, Ansätze und Per-spektiven der Evaluation in der Entwicklungszusammenarbeit. Beiträgevon der SEVAL Jahrestagung 2002 in Bern. Zeitschrift für Evaluation, H.1, S. 137-150.

Virtanen, P./Uusikylä, P. (2004): Exploring the Missing Links between Causeand Effect. A Conceptual Framework for Understanding Micro-MacroConversions in Programme Evaluation. In: Evaluation 10, pp. 77-91.

Yin, R. K. (2014): Case Study Research: Design and Methods, 5th ed. Thou-sand Oaks, CA: Sage Publications.

Yin, R. K. (1981): The Case Study as a Serious Research Strategy. Knowledge:Creation, Diffusion, Utilization, 3, pp. 97-114.

Ziegele, F. (2002): Reformansätze und Perspektiven der Hochschulsteuerungin Deutschland. In: Beiträge zur Hochschulforschung 24, S. 106-121.

n Sina Altfeld, Wissenschaftliche Mitarbeiterinam Zentrum für Qualitätssicherung und -ent-wicklung, Johannes Gutenberg-UniversitätMainz, E-Mail: [email protected] Dr. Uwe Schmidt, Leiter des Zentrums fürQualitätssicherung und -entwicklung, JohannesGutenberg-Universität Mainz, E-Mail: [email protected] Katharina Schulze, Wissenschaftliche Mitar-beiterin am Zentrum für Qualitätssicherung und-entwicklung, Johannes Gutenberg-UniversitätMainz, E-Mail: [email protected]

Sylvia Lepp & Cornelia Niederdrenk-Felgner (Hg.)

Das Nürtinger Beratungsmodell IBISIndividuelle Betreuung für ein individuelles Studium

Rei

he: M

otiv

iere

ndes

Leh

ren

und

Lern

en in

Hoc

hsch

ulen

Wachsende Studierendenzahlen und sinkende Betreuungsquoten,zunehmende Heterogenität, niedrigeres Studieneintrittsalter undansteigende Orientierungslosigkeit verursachen ein höheres Maßan subjektivem Belastungserleben der Studierenden, sind Ursa-chen für abnehmende Identifikation mit dem Studienfach und stei-gende Studienabbrecherquoten. Mit Mitteln aus dem Qualitätspakt Lehre entwickelt das Kompe-tenzzentrum Lehre der HfWU ein Beratungsmodell mit dem Ziel,zu einem höheren Studienerfolg aller Studierenden beizutragen.Das Team an Studienfach- und Lernberater/innen bietet unter demDach des Projekts „IBIS – Individuelle Betreuung für ein individuel-les Studium“ den Studierenden Unterstützung in allen schwierigenSituationen, mit denen sie im Verlauf des Studiums konfrontiertwerden können. Die Angebote sollen es ihnen erleichtern, ihrenWeg über den gesamten Student-Life-Cycle hinweg selbstgewiss,entschieden und kompetent zu beschreiten. Sie umfassen die ge-samte Bandbreite möglicher Aktivitäten: Beratung, Training undCoaching. Entsprechend angeboten werden individuelle Beratungund Coaching, Werkstätten und Workshops. Weitere wichtige Auf-gabenfelder wie die Qualifizierung von Tutor/ innen undMentor/innen für die Studieneingangsphase, für die Phase der Ent-scheidung für eine Praxissemesterstelle, für die Wahl der Vertie-fungsrichtung und den Übergang in den Beruf oder ein weiter-führendes Studium runden das Bild der Aufgaben und Tätigkeits-bereiche des IBIS-Teams ab. Im vorliegenden Band werden ausge-wählte über den Studienverlauf hinweg angebotene Maßnahmentheoretisch begründet, inhaltlich detailliert vorgestellt und aufBasis der Rückmeldung von Studierenden kritisch reflektiert undauf Entwicklungsmöglichkeiten hin überprüft.

UVW Der Fachverlagfür Hochschulthemen

UniversitätsVerlagWebler

Mot

ivie

rend

es L

ehre

n un

d Le

rnen

in H

ochs

chul

en

Das NürtingerBeratungsmodell IBIS

Individuelle Betreuung für einindividuelles Studium

Sylvia Lepp & Cornelia Niederdrenk-Felgner (Hg.)

UVW

20

ISBN: 978-3-937026-93-0Bielefeld 2014,

207 Seiten, 32.00 Euro zzgl. Versand

Bestellung - E-Mail: [email protected], Fax: 0521/ 923 610-22

64 QiW 2/2015

Die Frage nach einer zeitgemäßen Lehre an Hochschu-len und entsprechend qualifizierten Lehrenden steht seiteiniger Zeit zunehmend im Fokus. Grund dafür ist einer-seits die Umsetzung der Vorgabe des Bologna-Prozesses,vorab des shift from teaching to learning. Andererseitshat aber auch die Einführung von Fachhochschulen alsneuen Hochschultyp die Diskussion um die didaktischeQualität der Lehre an (Fach)Hochschulen und die pas-sende Qualifikation der Lehrenden angetrieben. Inzwi-schen sind aus diesen Diskussionen an vielen Hochschu-len diverse didaktische Weiterbildungsangebote ent-standen. Sie verfolgen alle dasselbe Ziel, nämlich überdie didaktische Qualifikation von Lehrenden die Qua-lität des Unterrichts an den Hochschulen zu erhöhen.Entsprechend bieten sie alle ähnliche Inhalte an, arbei-ten aber mit unterschiedlichen didaktischen Konzeptenund Settings. Hier stellt sich die Frage nach der Wirk-samkeit dieser Angebote – oder mit anderen Worten:Welches didaktische Weiterbildungskonzept führt letz-ten Endes auch zu einer wirksamen Qualifikation derLehrenden?An dieser Stelle setzt die Arbeit von Heinz W. Bachmannan. Er hat bereits vor acht Jahren einen Zertifikatskurs(CAS) in Hochschuldidaktik an einer pädagogischenHochschule entwickelt und seither jedes Jahr mehrmalsdurchgeführt. Der Studiengang wird jeweils von Lehren-den verschiedener Institutionen und unterschiedlicherFachdisziplinen besucht. Als Programmverantwortlicherhat Bachmann seit Beginn eine Weiterentwicklung die-ses hochschuldidaktischen Angebots durch eine konse-quente und kontinuierliche Evaluation der laufendenKurse verfolgt. Jetzt hat er zusätzlich auch eine Befra-gung der Absolvierenden aller Durchführungen der letz-ten acht Jahre durchgeführt und deren Ergebnisse zu-sammen mit dem Vergleich der Modulevaulationen derletzten Jahre in einer Evaluationsstudie zusammenge-führt. Mit dieser Studie sollten die drei folgenden Fra-genkomplexe untersucht werden:• Zufriedenheit der Teilnehmenden („Reaktion der Teil-

nehmenden“),• Beitrag an die Kompetenzentwicklung der Teilneh-

menden („Gewinn an Knowledge-Skill-Attitude“),• Transfer der erworbenen Kompetenzen in den Lehrall-

tag („Performance on the Job“).

Die Erkenntnisse dieser Evaluationsstudie stellt Bach-mann in der vorliegenden Publikation vor. Das Buch gliedert sich in drei Teile. Der erste Teil („Ein-führung“) liefert einen Überblick über den hochschuldi-daktischen Studiengang und über die durchgeführteEvaluationsstudie. Beschrieben wird in diesem Teil ei-

nerseits, an welchen Leitideen sich die Inhalte und dieDidaktik des Studiengangs orientieren. Im Mittelpunktsteht dabei der Anspruch, die Teilnehmenden des Studi-engangs dazu zu befähigen, in ihrem eigenen Unterrichtden shift from teaching to learning umzusetzen. Ande-rerseits wird in der Einleitung das Konzept der Studiebeschrieben. Es wird verdeutlicht, welche Ziele mit wel-chen Verfahren und Methoden verfolgt wurden. Imanschließenden Hauptteil („Evidenz zur Wirksamkeit desCAS HD“) werden dann die Ergebnisse der durchgeführ-ten Befragung und der Vergleich der Modulevaluationender letzten acht Jahre dargelegt und kommentiert. DieseErgebnisse werden einerseits nach den einzelnen Kurs-elementen (Module, Leistungsnachweise) und anderer-seits nach unterschiedlichen Perspektiven (Teilnehmen-de, Dozierende) strukturiert. Dabei wechseln sich Be-schreibungen der einzelnen didaktischen Elemente abmit der Darstellung der Ergebnisse der Evaluation. Diesewerden detailliert präsentiert und sind an vielen Stellenmit konkreten Aussagen von Teilnehmenden unterlegt.In einem abschließenden dritten Teil („Ausblick“) wer-den die Erkenntnisse ausblickend diskutiert und zusam-mengefasst. Dabei wird vor allem auch auf die System -relevanz hochschuldidaktischer Angebote eingegangen.Das erklärte Ziel des Buches ist es, eine aufbereitete Er-fahrung vorzulegen, um Verantwortlichen direkte Hand-lungshinweise zur Gestaltung und Implementierunghochschuldidaktischer Angebote zu geben. Dies ge-schieht unter dem Aspekt einer kompetenzorientiertenLehre, die den shift from teaching to learning vollzieht.Dazu wird der erwähnte Zertifikatslehrgang für Hoch-schuldidaktik vorgestellt und evaluiert.Diesem Anspruch wird das Buch grundsätzlich gerecht.Der erwähnte Studiengang wird in seinen wesentlichenkonzeptionellen Elementen (Struktur, Ziele, didaktischePrinzipien, Leistungsnachweise) auf nachvollziehbareArt dargelegt. Die Wirksamkeit dieser einzelnen Struk-turelemente wird durch die präsentierten Ergebnisse derEvaluationsstudie fortlaufend untermauert. Das gehörtwohl zu den größten Stärken dieses Buches. Das hoch-schuldidaktische Angebot wird hier sehr konsequent imRahmen evidenzbasierter Evaluation unter die Lupe ge-nommen und auf dessen Wirksamkeit hin untersucht.Hierzu werden die Ergebnisse der Befragungen präzise,konkret und detailliert herangezogen und kommentiert.Es werden aber nicht nur die Ergebnisse der Studie dar-gelegt, sondern das Design der Studie wird zusätzlichtheoretisch untermauert. Dieser Detaillierungsgrad hataber auch eine Schattenseite: die ausführliche Darstel-lung der Studie verstellt zuweilen den klaren Blick aufdas hochschuldidaktische Angebot. Es wird schwierig,den konzeptionellen roten Faden, der dem Studiengangzu Grunde liegt, nicht aus den Augen zu verlieren. Des-wegen erscheinen zwar alle wichtigen konzeptionellenElemente des Studiengangs nachvollziehbar dokumen-tiert und evidenzbasiert begründet, aber die gegenseiti-ge Verknüpfung bleibt teilweise im Unklaren. Ein solcherStudiengang konstituiert sich nicht nur durch die Kon-zeption geeigneter didaktischer Elemente, sondern vorallem auch durch die sinnvolle Anordnung und Bezie-hung untereinander, sprich, durch einen stringenten Zu-sammenhang zwischen Lernzielen, Methoden, Leis -

Bachmann, H.W. (2015): Hochschuldidaktik mit Wirkung. Evidenzbasierte Hochschuldidaktik – eine Evaluationsstudie Bielefeld, UniversitätsVerlagWebler, ISBN 978-3-937026-95-4,96 Seiten, 15.40 Euro

&

Rezens ion QiW

IIIQiW 2/2015

RezensionQiW

Liebe Leserinnen und Leser,

nicht nur in dieser lesenden Eigenschaft (und natürlich für künftige Abonnements) sind Sie uns willkommen.

Wir begrüßen Sie im Spektrum von Forschungs- bis Erfahrungsberichten auch gerne als Autor/in.Wenn das Konzept der „Qualität in der Wissenschaft” Sie anspricht – wovon wir natürlich überzeugtsind – dann freuen wir uns über Beiträge von Ihnen in den ständigen Sparten • Qualitätsforschung, • Qualitätsentwicklung/-politik,• Anregungen für die Praxis/Erfahrungsberichte, aber ebenso • Rezensionen, Tagungsberichte & Interviews.

Die Hinweise für Autorinnen und Autoren finden Sie unter: www.universitaetsverlagwebler.de.

tungsnachweisen etc. Hierzu wäre noch mehr Transpa-renz und Orientierung in der Publikation wünschens-wert gewesen. Diese leichten Einschränkungen in derNachvollziehbarkeit des Konzepts des Studiengangs aufKosten einer hochdetaillierten Beschreibung der Evalua-tionsanlage und deren Ergebnisse führen dazu, dass zu-weilen nicht ganz klar wird, was die zentrale Botschaftdes Buches sein soll: die Beschreibung eines wirksamenhochschuldidaktischen Studienganges, welche Verant-wortlichen nachvollziehbare Handlungsanleitungen lie-fert, oder die präzise und detaillierte Darlegung einerkomplexen Evaluation? Diese thematische Doppelspu-rigkeit spiegelt sich übrigens auch auf dem Buchum-schlag: der Titel des Buches verspricht hier einen etwasanderen Schwerpunkt als es der Klappentext ausdrückt. Nichtsdestotrotz: das Buch beleuchtet eben zwei Seitender gleichen Medaille, nämlich das Entwickeln und dasEvaluieren eines hochschuldidaktischen Angebots. Dasbirgt für den erfahrenen Programmverantwortlichen

hochschuldidaktischer Angebote ganz viel Potenzial inkompaktem Format: er erhält mit diesem Buch nämlicheinerseits eine Übersicht über einen erprobten hoch-schuldidaktischen Studiengang. Es ist zwar keine Step-by-Step-Anleitung zur Entwicklung eines solchen Ange-bots, aber einen fundierten Einblick in die Konstruktionder relevanten konzeptionellen Strukturelemente. An-dererseits liefert das Buch einen Einblick in die Kon-struktion und in die Durchführung einer Evaluationeines komplexen hochschuldidaktischen Angebots ineiner solchen bestechenden Präzision und Transparenz,die handlungsleitend wirkt, indem sie den Transfer in dieeigene Praxis unterstützt.

n Roger Johner, Winterthur, E-Mail: [email protected]

A n z e i g e n a n n a h m e f ü r d i e Z e i t s c h r i f t

„ Q u a l i t ä t i n d e r W i s s e n s c h a f t ( Q i W ) ”

Anzeigenpreise: auf Anfrage beim Verlag

Format der Anzeige: JPeG- oder EPS-Format, mindestens 300dpi Auflösung

Kontakt: UVW-UniversitätsVerlagWebler, Der Fachverlag für Hochschulthemen,

Bünder Straße 1-3 (Hofgebäude), 33613 Bielefeld,

Fax: 0521 - 92 36 10-22, E-Mail:[email protected]

IV

Se i t enb l i ck au f d i e Schweste r ze i t s ch r i f t en QiW

Hauptbeiträge der aktuellen Hefte Fo, HSW, HM, P-OE und ZBS

Auf unserer Homepage www.universitaetsverlagwebler.de erhalten Sie Einblick in das

Editorial und Inhaltsverzeichnis aller bisher erschienenen Ausgaben.

HM 1+2/2015

Heinke Röbken & Anne MertensWeibliche Präsenz in Hochschul -leitungen – eine empirische Analyse

Fabian Heuel, Ilona Matheis & Solveig RandhahnHochschulen generationensensibelgestalten - Handlungsansätze für die Organisationsentwicklung an Hochschulen zum Umgang mit generationenbedingten Herausforderungen

Josef Oberneder & Paul ReinbacherDer lange weg von der Fremd- zur Selbststeuerung: Transformationsschritte an derPädagogischen Hochschule Oberösterreich.

Anna FüssingerLeitbilder an bayerischen Hochschulen

Wolff-Dietrich WeblerZur Variante „Headhunting“ (Executive Search) bei Berufungen

Peter KöglerKonzeption und Implementierungeines Risikomanagementsystems für Hochschulen am Beispiel der HTW Dresden

Thomas Lenzhofer & Markus ZwyssigQualitätsmanagement mittels Evaluation der Lehrveranstaltungendurch Studierende

Fo 1+2/2015(Vorschau)

Ulrich Schreiterer Back to the Future: Korea Bets onBasic Science to Spur Innovationand Growth

Gerold Heinrichs, Sabine Puch &Karin KiewischBi- und Multilaterale Forschungs -zusammenarbeit Deutschlands mitder Republik Südkorea

Fo-Gespräch mit Dr. Bernd Ebersold, Leiter der Abteilung „Forschung,Technologie und Innovation“ im Ministerium für Wirtschaft, Wissen-schaft und Digitale Gesellschaft desFreistaats Thüringen

Fo-Gespräch mit Sabine Hunke, Juniorprofessorin für molekulare Mikrobiologie

Hans-Dieter Daniel & Rüdiger MutzMethodenkritische Anmerkungenzum Leiden Ranking

Gabi ReinmannTriple Peer Review – Entwicklung eines neuen Peer Review-Verfahrens im Kontextder Bildungswissenschaften

F+E-Transfer – Third Mission –wissensbasierte Regionalentwicklung: Der Innovations-Inkubator Lüneburg

HSW 3+4/2015Online-Self-Assessments

Klaus D. KubingerKritische Reflexion zu Self-Assessments imRahmen der Studienberatung

Johannes Mayr & Birgit NieskensSelf-Assessments für angehende Lehrperso-nen: Was sie bezwecken, was sie leisten undwas man von ihnen nicht erwarten darf

Christa Mette & Heinrich WottawaProblematische Lenkungswirkungen vontestgestützten Orientierungstools

Kathrin Bürger & Marold WosnitzaEinfach mal schnell durchklicken? Antwortverhalten und Datenqualität bei Self-Assessments

Claudio Thunsdorff et al.Studieneignung für spezifische Studien-fächer – welche Rolle spielt die Auswahlder Anforderungsanalysemethode bei derIdentifizierung erfolgsrelevanter Eigenschaften?

Svea Hasenberg & Gundula StollErwartungschecks in Self-Assessments: Zur Erfassung und Korrektur von Studienerwartungen

Stephanie Dinkelaker & Siegbert Reiß OSA: Vom psychometrischen Test zum interaktiven Informationsangebot

Dennis Mocigemba & Heidi RuhnkeRückblick auf zehn Jahre. Freiburger OnlineStudienwahl Assistenten und Suche nachdem „Next Big OSA Thing“

Birgit Nieskens, Philipp Alexander Freund& Stefanie LüdtkeVerknüpfung von Self-Assessments undVerfahren zur Studierendenauswahl amBeispiel der Lehrerbildung in Lüneburg

Sonja Mohr & Angela IttelStudienzufriedenheit von Lehramts -studierenden an technischen Universitäten

Rödiger Voss & Roman EicherErwartungen an Studierende als Passungfür die Lehre: Einblicke in die mentalenMuster von Hochschullehrern an SchweizerFachhochschulen

QiW 2/2015

Seitenblick auf die SchwesterzeitschriftenQiW

V

ZBS 2/2015Beratung an der Hochschule aus externer und interner Sicht

Beratungsentwicklung/-politik

Rainer SchützeichelDas Studium als Krise. Über das professionale Feld der Studienberatung

Klaus SchollePrekäre Beschäftigung als zukünftiger Normalfall?Erste Ergebnisse einer Stellen -anzeigenanalyse im Arbeitsmarktfeld der Beratung imHochschulkontext

Essay

Christoph MüllerAdolphe, der akademische Smart-Shopper.Ein Beratungsdrama in vier Akten

Anregungen für die Praxis/Erfahrungsberichte

Susanne Draheim, Ute Meyer & Katharina FösteAuf Augenhöhe! Ein Praxisbericht zur Entwicklung passgenauer Angebote für Zielgruppen mit besonderem Beratungsbedarf an der Universität Hamburg

Klaus-Dieter Häberle, Cornelia Meindl-Schäfer, Christiane Westhauser & Jürgen ZieherDas Zentrum für BildungsBeratung Ulm – ein institutionenübergreifender, zukunftsweisender Vernetzungsansatz

POE 2+3/2015(Vorschau)

Barbara Bertges & Dagmar GrüblerPersonalentwicklung für Wissen-schaftlerinnen und Wissenschaftler –Status Quo und Trends

Elke KarrenbergZielgruppe zwischen den Stühlen?Personalentwicklung für das Wissenschaftsmanagement

Anke WaldauZielgruppenorientierung in der akademischen Personalentwicklung:Angebote bedürfnisorientiert zuschneiden und kommunizieren

Mirjam Müller & Elke KarrenbergKräfte für die universitäre Personal-entwicklung vereinen: Das neuge-gründete Netzwerk für Personalent-wicklung an Universitäten

Kristin Knipfer & Claudia PeusEvidenzbasierte Förderung vonFührungskompetenzen als Erfolgsfaktor für Wissenschaft -seinrichtungen

Elke Gornik & Anna SteigerPersonalentwicklung an österreichi-schen Universitäten – Was kann dasösterreichische Netzwerk AUCEN(Austrian University ContinuingEducation and Staff DevelopmentNetwork) leisten?

Cuno Künzler & Olga PardoPersonal- und Organisationsent-wicklung: Notwendigkeit oderLuxus?

u.a.

Für weitere Informationen

- zu unserem Zeitschriftenangebot,

- zum Abonnement einer Zeitschrift,

- zum Erwerb eines Einzelheftes,

- zum Erwerb eines anderenVerlagsproduktes,

- zur Einreichung eines Artikels,

- zu den Autorenhinweisen

oder sonstigen Fragen, besuchen Sie unsere Verlags-Homepage:

www.universitaetsverlagwebler.de

oder wenden Sie sich direkt anuns:

E-Mail:[email protected]

Telefon:0521/ 923 610-12

Fax:0521/ 923 610-22

Postanschrift:UniversitätsVerlagWeblerBünder Straße 1-333613 Bielefeld

UVW

QiW 2/2015

Anzeige

Sind Sie sicher, dass Sie in der Wissenschaft bleiben können?In jedem Fall ist es klug, einen Plan B zu entwickeln,

eine zweite Existenz aufzubauen.

Berufsbegleitendes, postgraduales Studium„Diploma in Higher Education Development/Science Management“

mit 5 Vertiefungsrichtungen

Motivation der StudierendenKarrierewege sind ungewiss. Auch wenn die große Liebe dem einmal gewählten Fach gilt, ist eine weitereakademische Karriere oft von Unwägbarkeiten bestimmt, von verfügbaren Stellen, personellen Konstellatio-nen usw. Da ist es umsichtig, sich rechtzeitig und mit sehr überschaubarem Aufwand berufsbegleitend einzweites berufliches Standbein zu verschaffen – den berühmten Plan B. Oder Sie haben sich bereits aus demHerkunftsfach verabschiedet, arbeiten in Projekten des Third Space und suchen eine solide Basis, die Ihreweiteren Bewerbungsaussichten entscheidend verbessert.

Künftige BerufsfelderIhnen bieten sich über 30 berufliche Funktionen im „Third Space“ (wissenschaftliche Aufgaben zwischenForschung und Lehre einerseits und traditionellen Tätigkeiten in der Hochschulverwaltung andererseits), zudenen es bisher (fast) keine Ausbildung gibt. Beispiele:• Fakultätsgeschäftsführer/in• Referent/in für Lehre und Studium, Studienreform• Hochschuldidaktische Multiplikator/in (Förderung der Lehrkompetenz)• Forschungsreferent/in• Referent/in für Personal- und Organisationsentwicklung• Referent/in für Hochschulstrukturplanung usw.

Diese Hochschulprofessionen wachsen in den letzten Jahren stürmisch, der Arbeitsmarkt ist leergefegt, dieHochschulen klagen darüber, dass sie keine qualifizierten Kräfte finden. Hier kommt die Lösung.

Zeitrahmen und Studienvolumen• einem 4-semestrigen Masterstudium äquivalent (120 CP)• Projekte, Exkursionen und ein intensiv begleiteter Übergang in die Praxis • umfangreiche Anerkennung vorausgegangener Leistungen • nur ca. 60-70 Präsenztage durch Anerkennung und hohen Selbststudien-Anteil • verteilt über 1-3 Jahre bei flexibler, semesterunabhängiger Planung der Präsenztage durch die Studierenden• mit kaum mehr als 2 Monaten Präsenzzeit sensationell kurz, um neuen Beruf aufzubauen

oder sich für eine akademische Karriere über das engere Fach hinaus breit zu qualifizieren.

Das Studium ist zeitlich so organisiert, dass es gut neben anderen Prozessen (Promotion, Projektarbeit usw.)bewältigt werden kann. Weitere Informationen unter: www.iwbb.de

Studiengangsleiter: Prof. Dr. Wolff-Dietrich WeblerKontakt: [email protected], Tel: +49 (0)521-923 610-0

IWBBInstitut für Wissenschafts- und Bildungsforschung BielefeldBielefeld Institute for Research on Science and EducationForschen - Entwickeln - Begleiten - Beraten - Fortbilden

Documents

Qualität in der Wissenschaft - uni-potsdam.de fileStefan Hornbostel, Dr., Professor für Soziologie (Wissen- schaftsforschung), Institut für Sozialwissenschaften der Humboldt-Universität