Qualitätssicherung
Barbara Ulreich
Geschäftsführerin Weiterbildung Hessen e.V.
Regionalkonferenz DEQA-VET am 02.06.2016 in Frankfurt am Main
1
2
• Qualität – was meint das eigentlich?
• Aktivitäten auf europäischer Ebene
• Aktivitäten auf nationaler Ebene
• Qualitätssicherung und
Kompetenzfeststellungsverfahren
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Qualität – was meint das eigentlich? gibt Auskunft über:
• Beschaffenheit oder Eigenschaft eines Gegenstands oder
einer Leistung
und/oder
• Güte eines Gegenstands oder einer Leistung
3
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Qualität – was meint das eigentlich? Eine mögliche Beschreibung: Der Kern des Qualitätsmanagements (QM) besteht darin, sowohl ein
Ergebnis (Produkt oder Dienstleistung) als auch den Prozess seiner
Hervorbringung (Produktion oder Dienstleistungserbringung) hinsichtlich
seiner erwünschten Eigenschaften zu definieren und zu beherrschen. Ziel
ist es, keine zufälligen Resultate, sondern vorausgeplante und gesteuerte
Ergebnisse zu erhalten, die sich primär an den Ansprüchen etwaiger
Kunden ausrichten (Universität Leipzig).
4
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Zielsetzungen von Qualitätssicherung • Transparenz
• Konsistenz
• Vergleichbarkeit
• Anerkennung
• Durchlässigkeit und Förderung der regionalen Mobilität
5
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Zielsetzung von Qualitätssicherung Es ist das Ziel, die berufliche Bildung attraktiv zu gestalten,
• damit auch zukünftig viele Menschen in diesem System
lernen und
• damit dem Fachkräftemangel entgegengewirkt wird.
6
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Vereinbarungen auf Europäischer Ebene
Qualitätszyklus
und
10 Indikatoren für Qualitätssicherung
7
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Vereinbarungen auf Europäischer Ebene Indikator Nr. 10 für die Qualitätssicherung aus dem europäischen Bezugsrahmen ist: • Programme zur Verbesserung des Zugangs zur
Berufsbildung mit dem strategischen Ziel Verbesserung
des Zugangs zur Berufsbildung, auch für benachteiligte
Gruppen
9
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Vereinbarungen auf Europäischer Ebene Indikator Nr. 3 für die Qualitätssicherung aus dem europäischen Bezugsrahmen ist: • Teilnahmequote bei Berufsbildungsgängen mit dem
strategischen Ziel: Zielgerichtete Förderung des Zugangs
zur Berufsbildung, u.a. für benachteiligte Gruppen
10
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Qualitätsstandards in Deutschland (eine Auswahl) • Berufsbildungsgesetz
• Ausbildung-, Fortbildungs- und Prüfungsordnung
• Unternehmensspezifische Qualitätsziele,
zertifiziert nach:
DIN EN ISO 9001, DIN ISO 29990
Gütesiegel Weiterbildung Hessen e.V.
LQW, EFQM u. a.
11
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Qualitätskategorien des Gütesiegels „Geprüfte Weiterbildungseinrichtung“
12
I. Organisation
II. Personal
III. Infrastruktur IV. Bildungs-veranstaltungen
V. Verbraucher-schutz
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Qualitätssicherung und Kompetenzfeststellungsverfahren Schritte der Qualitätssicherung • Ergebnisse definieren
• Ergebnisse erheben
• Ergebnisse analysieren
• Maßnahmen zur Qualitätssicherung überlegen und
durchführen
13
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
14
Ein Beispiel für einen Qualitätsstandard: das Kompetenzfeststellungsverfahren liefert differenzierte Ergebnisse, damit der Lernende aber auch der Bildungsanbieter (unabhängig ob Betrieb oder Bildungsträger) exakt die Lerninhalte kennt das Lernangebot nahezu „maßgeschneidert“ also kostengünstig und zeitökonomisch organisiert werden kann
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Qualitätssicherung und Kompetenzfeststellungsverfahren Ein Beispiel für die Definition von „Differenzierten Ergebnissen“
• 1. Variante: EDV-Kenntnisse verbessern
• 2.Variante: Word-u.Excel-Kenntnisse verbessern
• 3. Variante:
für Excel: Tabellenblätter verknüpfen, pivot-Tabellen
erstellen und
für Word: Tabellen einfügen, Inhaltsverzeichnis
erstellen, mit dem Änderungsmodus arbeiten 15
BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN
Vortrag
Helena Sabbagh & Markus Wölk Bundesinstitut für Berufsbildung
Die nationale Umsetzung des europäischen Qualitätssicherungs-
Ansatzes
Beauftragt vom Durchgeführt durch In Contentpartnerschaft mit
Gute Qualität in der beruflichen Bildung Qualitätssicherung in der Kompetenzfeststellung im
Rahmen der Nachqualifizierung 3. DEQA-VET Regionalkonferenz
02.06.2016
®
1. Relevanz von Qualitätssicherungssystemen für Berufsanbieter
2. Investitionen in die Aus- und Weiterbildung von Lehrkräften und Ausbildern
3. Teilnahmequote bei Berufsbildungsgängen
4. Abschlussquote bei Berufsbildungsgängen
5. Vermittlungsquote für Absolventen von Berufsbildungsgängen
EQAVET Indikatoren
6. Nutzung der erworbenen Kenntnisse am Arbeitsplatz
7. Erwerbslosenquote (nach individuellen Kriterien)
8. Prävalenz besonders schutzbedürftiger Gruppen
9. Mechanismen zur Ermittlung der Berufsbildungsbedürfnisse auf dem Arbeitsmarkt
10. Programme zur Verbesserung des Zugangs zur Berufsbildung
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.
Beauftragt vom Durchgeführt durch In Contentpartnerschaft mit
Gute Qualität in der beruflichen Bildung Qualitätssicherung in der Kompetenzfeststellung im
Rahmen der Nachqualifizierung 3. DEQA-VET Regionalkonferenz
02.06.2016
®
EQAVET-Mitgliedstaaten
Quelle: www.eqavet.eu
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.
®
Aufgabenbereiche
Service-Stelle DEQA-VET / DBS
sonstige Aktivitäten
Delegationen
Online-Präsenz
Qualitäts-Tools
Veranstal-tungen
Expertentagung
Fachtagung
Regionalkonferenz
EQAVET-Netzwerk
Peer learning activities / Study visits
www.DEQA-VET.de
Newsletter
Dossier
Annual Network-Meeting / EQAVET
Forum
Arbeitsgruppen
Experts Meeting
Messen / Veranstaltungen
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.
®
Kontaktinformationen
Deutsche Referenzstelle für Qualitätssicherung in der beruflichen Bildung Bundesinstitut für Berufsbildung Helena Sabbagh ([email protected]) Markus Wölk ([email protected]) Robert-Schuman-Platz 3 53175 Bonn www.deqa-vet.de
Deutscher Bildungsserver Michaela Achenbach ([email protected]) Schloßstr. 29 D-60486 Frankfurt/Main www.dipf.de
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.
Vortrag
Prof. Dr. Peter Dehnbostel Deutsche Universität für Weiterbildung
Kompetenzfeststellungen – von der Beliebigkeit
zu qualitätsgesicherten Verfahren
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
1
Kompetenzfeststellungen – von der Beliebigkeit zu qualitätsgesicherten Verfahren
1. Kompetenzfeststellung – zwischen Einschätzungen und geregelten Verfahren
2. Kompetenzfeststellung in der Nachqualifizierung – Qualitätsdimensionen und Gütekriterien
Prof. Dr. Peter Dehnbostel Deutsche Universität für Weiterbildung www.peter-dehnbostel.de www.duw-berlin.de
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
Anerkennung und Anrechnung informell und nichtformal erworbener Kompetenzen
Anerkennung (in Betrie-ben, Arbeitsmarkt, …)
• Mitarbeitergespräche, Arbeitszeugnisse, Assessmentverfahren
• Kompetenzbilanzen, -analysen, -gitter, -raster, -inventare
• Diagnostik-, Personal- und Arbeitsanalyse-verfahren
Anerkennung und/oder Anrechnung
• BBiG-Möglichkeiten von berufl. Vorbildung bis Zeugnisgleichstellungen (§ 7, 8, 43 Abs. 2, 49, 50)
• Zugang zum Studium ohne HR (KMK 2009)
• Herstellerzertifikate, betriebsinterne Auf-stiegswege
Anrechnung
• Beruflich erworbene Kompetenzen auf Hochschulstudiengänge (KMK 2008)
• Externenprüfungen (Hauptschulabschluss über AHR bis BBiG § 45/HwO § 37)
• BQFG
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
Kompetenzfeststellungswege
Nichtformal erworbene Kompetenzen
Mögliche Kompetenzfeststellungen
Informell erworbene Kompetenzen
pauschal individuell
Äquivalenzprüfung Akkreditierung Kompetenzerfassung
Anerkennung/AnrechnungZuordnung
Anerkennung/Anrechnung Zuordnung
3
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
Rahmen der Qualitätssicherung in der Aus- und Weiterbildung: u.a.
• BBiG: Berufliche Handlungsfähigkeit als Ziel von Berufsaus- und Fortbildung (& 1, Abs. 3 und 4)
• Qualitätsmanagementsysteme nach DIN EN ISO 9000ff.; DIN ISO 29990; EFQM-Modell; Q2E
• Qualitätschecks und – siegel zur Weiterbildung wie Checkliste des BIBB, Gütesiegel von Weiterbildung Hessen e. V. mit drei Zertifizierungen
• Maßnahme- und Trägerzulassung im Rahmen der Arbeitsförderung nach SGB III durch die AZAV
4
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
5
Qualitätszyklus
1. Planning measureable objectives
2. Implementation procedures and frameworks
3. Evaluation assessment of processes
4. Review assessing results and changing
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
6
Kompetenzfeststellungen – von der Beliebigkeit zu qualitätsgesicherten Verfahren
1. Kompetenzfeststellung – zwischen Einschätzungen und geregelten Verfahren
2. Kompetenzfeststellung in der Nachqualifizierung – Qualitätsdimensionen und Gütekriterien
Prof. Dr. Peter Dehnbostel Deutsche Universität für Weiterbildung www.peter-dehnbostel.de www.duw-berlin.de
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
7
Anforderungen an Kompetenzfeststellungs-verfahren in der Nachqualifizierung
Bildungsbezug durch Orientierung an Persönlichkeitsentwicklung sowie durch strukturelle und Selbstreflexion
Berufsbezug Erfassung formal, informell und nichtformal erworbener Kompetenzen und Anerkennung auf berufliche Ausbildungsgänge
Transparenz durch breite Information und Offenlegung der Ziele und Zwecke
Professionalität durch qualifiziertes Beratungs- und Begleitper-sonal
Verlässlichkeit durch Einhaltung von Qualitäts- und Gütekriterien in der Durchführung
Gütekriterien wie: Verfahrensdokumentation, kommunikative Validierung, Regelgeleitetheit, Triangulation
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
Qualitätsdimension I: Anforderungsorientierte und entwicklungsorientierte Feststellungsverfahren
Zentrale Zielsetzung
Verbesserung des Arbeitsprozesses durch Beobachtung und Beurteilung des Individuums
Reflexion und Einschätzung der Fähigkeiten und Kompetenzen des Individuums
Methode des Verfahrens
„Objektive“ Kompetenzmessung und -beobachtung
Subjektiv orientierende Kompetenzeinschätzung
Ergebnis des Verfahrens
Beurteilung und Einordnung indi-vidueller Kompetenzbestände an festgelegten Standards
Einschätzung der individuellen Kom- petenzbestände im Hinblick auf Weiter- und Persönlichkeitsentwicklung
Anforderungsorientierte Verfahren
Entwicklungsorientierte Verfahren
Arbeit Individuum
8
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
Lern- kompetenz
Qualitätsdimension II: Berufliche Handlungskompetenz
Personal- kompetenz
Sozial- kompetenz
Fach- kompetenz
Berufliche Handlungs-kompetenz
Kommunikative Kompetenz
Methoden- Kompetenz
9
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
Phase 1: Information und Beratung
Qualitätsdimension III: Ablaufphasen der Kompetenzfeststellung
Phase 2: Bilanzierung (Identifizierung)
Phase 3: Beurteilung (Dokumentation)
Phase 4: formale Bewertung
Ergänzende Bildungsmaßnahmen
Phase 5: Bescheinigung Zertifizierung
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
EU zur Validierung nichtformalen und informellen Lernens (Empfehlung des RATs v. 20.12.2012)
• Bis spätestens 2018 Einführung nationaler Regelungen für die
Validierung informellen und nichtformalen Lernens • Das jeweilige Validierungssystem steht im Einklang mit den
nationalen Qualifkationsrahmen und dem Europäischen Qualifikationsrahmen (EQR)
• Im Prinzip besteht für jeden die Möglichkeit, sich einschätzen bzw. validieren zu lassen
Beschluss des Bundesrats vom 12.10.2012 • Die „Einführung von nationalen Validierungssystemen“ nach
Empfehlungen des Rats „würde zu einem umfassenden Wandel der Lern-, Anrechnungs- und Anerkennungskultur“ führen
11
DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität
Vielen Dank für Ihre Aufmerksamkeit !
Qualitätssicherung durch Evaluation.
Das Beispiel Kompetenzfeststellungsverfahren
Dr. Anja Lietzmann, k.o.s GmbH
Regionalkonferenz am 02.06.2016 in Frankfurt am Main
Gute Qualität in der Beruflichen Bildung - Qualitätssicherung in der Kompetenzfeststellung im Rahmen der Nachqualifizierung
Evaluation von Kompetenzfeststellungsverfahren – wozu?
• Die Aussagekraft einerseits, die Wirksamkeit von Kompetenzfeststellung andererseits (‚Lohnt der Aufwand?‘) wurde immer wieder in Frage gestellt.
• Es ist daher ein berechtigtes Anliegen, Evaluationsverfahren (Kompetenzfeststellungsverfahren) selbst einer Evaluation zu unterziehen und zu prüfen, wie erfolgreich sie sind.
• Die Evaluation von Kompetenzfeststellungsverfahren ist gleichwohl ein vergleichsweise unterbelichtetes Thema.
• Die Evaluation von Kompetenzfeststellungsverfahren ist ein anspruchsvolles, komplexes, ressourcenintensives Unternehmen.
Agenda
1. Was leistet Evaluation?
2. Verhältnis von Qualitätssicherung und Evaluation
3. Evaluieren mit Nutzen
4. Evaluation von Kompetenzfeststellungsverfahren in fünf Schritten
• Begriff wird in der Alltagssprache verwendet um auszudrücken, dass etwas in irgendeiner Weise geprüft, bewertet oder beurteilt wurde
• definitorische Ungenauigkeiten und diffuse Aktivitäten in der Praxis
Was ist Evaluation?
Was ist Evaluation?
Kennzeichen wissenschaftlicher Evaluation
Systematische Verfahren der
Informationsgewinnung, Informationsanalyse und Informationsbewertung
Ziel- und Nutzenorientierung:
Transparenz über Ergebnisse und Wirkungen sowie deren Überprüfung auf Verbesserungspotenziale
Durchführung mittels wissenschaftlicher Techniken und Methoden (Methoden der empirischen Sozialforschung) sowie nach wissenschaftlichen Kriterien (Objektivität, Nachvollzieh-barkeit, etc.)
Was leistet Evaluation?
Zentrale Begriffe:
• Zielüberprüfung
• Erfolgsüberprüfung
Erfolg bestimmt sich aus den Zielen…
• spezifische Ziele des Kompetenzfeststellungsverfahrens
• übergeordnete Ziele der Organisation (Leitbild)
• Zielstellungen des Auftraggebers (bei öffentlicher Förderung)
• Ziele der Kund/innen / Teilnehmenden
…und dem Grad der Zielerreichung
Was leistet Evaluation?
Generierung von Erkenntnissen
Identifikation von Erfolgen und Problemen
Systematische Optimierung nicht-erfolgreichen Tuns
Überprüfung der Zielerreichung
Systematische Verstärkung erfolgreichen Tuns
Evaluation und Qualitätssicherung
Ähnliche Zielstellungen:
• Initiierung eines kontinuierlichen Verbesserungsprozesses – Qualitätsverbesserung eines Produkts oder Dienstleistung
• Herstellung von rationalen Entscheidungsgrundlagen für das Management
• Legitimation von Entscheidungen gegenüber verschiedenen Parteien
PDCA-Zyklus (William Edwards Deming)
Evaluation und Qualitätssicherung
DO
Ausführung
CHECK
Überprüfung
ACT
Handeln
PLAN
Planen
Wie soll das K-Verfahren sein?
* Ziele festlegen
* Tätigkeiten planen
Was tun wir, wie setzen wir das K-Verfahren um?
* Tätigkeiten umsetzen
Was wurde mit dem K-Verfahren erreicht?
* Inputs, Prozesse, Ergebnisse und Wirkungen überprüfen
* Vergleich Planung - Ergebnisse
Was ist noch zu tun?
* Fehler beheben
* Verbesserungen einleiten
Ziel: Eine Evaluation, die wirklich nützt
Problemlagen:
• Evaluation als teures Ritual, das mehr mit Dekoration als mit der Initiierung von Verbesserungen zu tun hat
• Befunde und die daraus abgeleiteten Empfehlungen werden oft nicht umgesetzt, weil:
• Organisationen verfügen über enorme Beharrungskräfte, die Evaluationsbefunde nicht überwinden kann
• es fehlt an politischem Willen
• politisch unliebsame Evaluationsergebnisse verschwinden in der „Schublade“
Wenn ich nicht weiß, zu welchem Zweck ich ein Kompetenzfeststellungs-verfahren evaluiere, bleibt die Evaluation wirkungslos!
Der Nutzen generiert sich aus den spezifischen Interessen, die eine Organisation mit der Evaluation verbindet – und ist daher individuell zu bestimmen.
Organisationen müssen daher einen Reflexionsprozess durchlaufen:
• Was genau erwarte ich von der Evaluation?
• Worin genau besteht der Informationsbedarf?
• Was genau will ich mit der Evaluation erreichen – und für wen?
• Welche Wirkungen erwarte ich von der Evaluation?
Wozu evaluieren? (Nutzen & Funktionen)
Wozu evaluieren? (Nutzen & Funktionen)
Erkenntnisfunktion
Erkenntnisgewinnung über Inputs, Prozesse, Outputs und/oder Outcomes
Kontrollfunktion
Überprüfung der Ziele, die die Organisation an sich und ihre Bildungsangebote richtet (Soll-Ist-Abgleich)
Entwicklungsfunktion
Im Sinne der internen Qualitätssicherung werden Evaluationsbefunde genutzt, um Prozesse und Ergebnisse zu reflektieren, Entwicklungspotenziale zu identifizieren und Angebote zu optimieren
Legitimationsfunktion
Evaluationsbefunde werden genutzt, um einer Rechen-schaftspflicht gegenüber Externen (etwa Auftrag-gebern) zu genügen und z.B. auch den erbrachten gesellschaftlichen Nutzen transparent zu machen bzw. in ein nachvollziehbares Verhältnis zum öffentlichen Aufwand zu setzen
Marketingfunktion
Evaluationsbefunde werden genutzt, um nach außen mehr Transparenz über eigene Angebote herzustellen
Dialogfunktion
Evaluationsbefunde werden genutzt, um einen Dialog zwischen verschiedenen Akteuren (Personal, Kund/Innen, Auftraggebern etc.) zu initiieren
Fünf Schritte – Überblick
1
Evaluationsgegenstand festlegen
2
Forschungsleitende Fragestellungen festlegen
3
Indikatoren festlegen
4
Methoden & Instrumente festlegen
5
Dateninterpretation und -bewertung
Vier Kategorien von Evaluationsgegenständen:
Schritt 1: Was evaluieren? (Gegenstand)
Inputs
Bedingungen und Unterstützungsstrukturen für das Kompetenz-feststellungsverfahren
z.B.: Ressourcen, einzu-setzende Materialien und Equipment, Räume und Ausstattung, Konzept des Verfahrens (zu erfassende Kompetenzen, einzusetzende Methoden & Instrumente, Dauer, Inhalte, Gestaltung) Kompetenzen des Personals, Kooperation durch die Teilnehmenden
Prozesse
Verlauf des Kompetenzfeststellungs-verfahren
z.B.: Organisation, Planung und Durchführung des Verfahrens, Einhaltung von Qualitätsstandards (z.B. Datenschutz, Verfahrens-transparenz), Kommuni-kation mit den Teil-nehmenden, technische Funktionsweise (bei online-Verfahren)
Outputs
Konkrete Ergebnisse des Kompetenzfeststellungs-verfahrens
z.B.: Anzahl / demo-graphische Merkmale der Teilnehmenden, Zielgruppenerreichung, Feststellung/Dokumen-tation von fachlichen Kompetenzen, Nutzen aus Teilnehmendensicht/ Teilnehmendenzufrieden-heit (z.B. Erkenntnisse über Kompetenzen, Impulse zur beruflichen (Neu-) Orientierung, Spaßfaktor, Empowerment)
Outcomes
Wirkungen für die Teil-nehmenden oder allg. im Feld von Bildung/Arbeits-markt (nachhaltiger Erfolg)
z.B.: Bestimmung von geeigneten Berufsfeldern, Einschätzung des Quali-fizierungsbedarfs, Erstel-lung eines Bildungsfahr-plans, Eintritt in eine Quali-fizierungsmaßnahme / eine andere berufliche Option (z.B. bezahlte Arbeit, Sprachkurs), Erwerb eines Abschlusses, Integration in den Arbeitsmarkt, Beitrag zur Bekämpfung von Erwerbslosigkeit
Die ‚richtigen‘ Fragen stellen: Was genau will ich wissen, wenn ich den Erfolg von Kompetenzfeststellungsverfahren evaluiere? (Operationalisierung)
Aussagekraft (Validität: Misst das Verfahren, was es zu messen vorgibt?):
• Bildet das Verfahren die festzustellenden Kompetenzen genau/realistisch ab?
• Erhebt das Verfahren zuverlässige Informationen zur beruflichen Handlungskompetenz?
etc.
Schritt 2: Was evaluieren? (forschungsleitende Fragen)
Wirksamkeit
• Produziert das Verfahren valide Informationen, die eine realistische Einschätzung des Nachqualifizierungsbedarfs bzw. alternativer beruflicher Optionen zulassen?
• Produziert das Verfahren valide Informationen, um geeignete Berufsfelder zu identifizieren?
• Produziert das Verfahren valide Informationen, um eine passgenaue Qualifizierungsmaßnahme zu identifizieren?
• Trägt das Verfahren dazu bei, dass die Integration in den Arbeitsmarkt gelingt?
etc.
Schritt 2: Was evaluieren? (forschungsleitende Fragen)
Einfluss von Input- und Prozessfaktoren (Wovon hängt der (Miss-)Erfolg ab?)
• Welche Input- und/oder Prozessfaktoren haben welchen Einfluss auf die Ergebnisse und/oder Wirkungen des Verfahrens?
• Welche fördernden / hemmenden Faktoren führen zum Ergebnis X?
z.B.: Ist das Konzept des Verfahrens (seine Methoden, Instrumente, Dauer etc.) geeignet, um valide Informationen zu vorhandenen/fehlenden Kompetenzen zu erheben?
Oder wäre ein weniger komplexes, und damit ggf. ressourcen- schonenderes und kürzeres Verfahren ebenso zielführend?
Oder umgekehrt: Müsste das Verfahren um andere Methoden erweitert und deutlich komplexer gestaltet werden?
(Hypothesen)
Schritt 2: Was evaluieren? (forschungsleitende Fragen)
Beispiele für relevante Indikatoren von Kompetenzfeststellungsverfahren:
• Zahl der durchlaufenden/abgeschlossenen Verfahren
• Zahl der beruflich (besser) orientierten Teilnehmenden nach Verfahren
• Zahl der Teilnehmenden, die auf Basis des Verfahrens eine Qualifizierungsmaßnahme gestartet haben
• Passgenauigkeit der Qualifizierungsmaßnahme gemäß dem Kompetenzprofil des Teilnehmenden (gezieltes Füllen von Kompetenzlücken?)
• Zahl der Teilnehmenden, die eine Qualifizierungsmaßnahme erfolgreich abgeschlossen haben (Prüfung bestanden)
• Zahl der Teilnehmenden, die anschließend in den Arbeitsmarkt integriert werden konnten & Art der Beschäftigung (gemäß den Qualifikationen?)
• Zahl der gestärkten Teilnehmenden (Empowerment) & Art der Stärkung
• Weitere Beiträge zur (beruflichen) Weiterentwicklung der Teilnehmenden
Schritt 3: Was evaluieren? (Indikatoren)
Komplexität des Gegenstandes „Kompetenzfeststellungsverfahrens“:
Durch welche Methoden sich die oben genannten (Teil-)Gegenstände untersuchen und die forschungsleitenden Fragestellungen beantworten lassen, ist alles andere als banal.
• Hier stößt eine Evaluation schnell an Ressourcen-Grenzen.
• Viele Evaluationsaufgaben – insbesondere Wirkungsanalysen – sind Aufgaben für Evaluationsexpert/innen (und nicht für die im Feld agierenden Organisationen).
• Dazu kommen praktische Probleme der Datenerhebung: Evaluationen basieren auf Informationen von Personen, die nicht immer kooperativ sind (z.B. Langzeituntersuchungen unter Teilnehmenden).
Was tun? – Realistische Optionen ausloten, prüfen und nutzen
Schritt 4: Wie evaluieren? (Methoden und Instrumente)
Die Bandbreite an Methoden der empirischen Sozialforschung nutzen:
Schritt 3: Wie evaluieren? (Methoden und Instrumente)
Umfrage
Interview
Dokumentenanalyse
Beobachtung Fokus-Gruppe
Monitoring
Wie bestimme ich eine geeignete Methode?
• Kriterium: Die Methoden sollte die benötigten Informationen generieren.
• Sowohl quantitative als auch qualitative Methoden in Betracht ziehen.
• Die Methode sollte sowohl wissenschaftlichen Gütekriterien genügen als auch praxistauglich sein.
• Zielgruppen sind all jene, die Auskunft über die Zielerreichung geben können: Teilnehmende, das Verfahren durchführendes Personal, Bildungseinrichtungen, Unternehmen, Prüfungseinrichtungen/Kammern, BA etc.
Schritt 3: Wie evaluieren? (Methoden und Instrumente)
Wie komme ich nun zu einem Urteil hinsichtlich meines Kompetenzfeststellungsverfahrens?
• Die gesammelten Daten müssen mittels vorab festzulegender Bewertungs- und Erfolgskriterien interpretiert und bewertet werden.
Was ist ein gutes oder schlechtes Ergebnis?
• Es gibt keinen objektiven Maßstab für Erfolg.
• Erfolg bemisst sich an den gesetzten Zielen und den dort ggf. festgelegten Kennziffern, ggf. auch an Vorgaben durch den Auftraggeber, und an den Rahmenbedingungen
Schritt 4: Dateninterpretation und -bewertung
Und was, wenn sich ein Ergebnis als Misserfolg herausstellt?
• Grundsätzlich macht Evaluation nur Sinn, wenn man bereit ist, das Risiko des Nachweises von Misserfolgen einzugehen.
• Daher sollte während des Planungsprozesses reflektiert werden:
• unter welchen Voraussetzungen Misserfolge überhaupt transparent gemacht werden können,
• wie später mit Misserfolgen umgegangen werden soll, welche Konsequenzen gezogen werden sollen/können.
Schritt 4: Dateninterpretation und -bewertung
Vielen Dank für Ihr Interesse. F & A
k.o.s GmbH
Am Sudhaus 2
12053 Berlin
Tel. 030-2887 565-10
[email protected] www.kos-qualitaet.de
@kos_qualitaet