Validität der Arbeitszufriedenheits- Messinstrumente

Susanne Büsing &

Tobias Jagusch

Validität

„Unter Validität eines Messverfahrens versteht man seine Gültigkeit: es sollte tatsächlich das messen, was es vorgibt zu messen.“

Bezüglich der Def. AZ kein Konsens Deshalb immernoch: „There is no one best way to

measure it“ Hauptschwierigkeiten bei der Messung von AZ ist

die Tatsache, dass AZ ein hypothetisches Konstrukt ist, welches nur anhand von Indikatoren erfasst werden kann.

Kernproblem: Validität der Indikatoren Zufriedenheitsraten von 60-80% der Befragten

lassen Zweifel an der Validität der standardisierten Instrumente aufkommen

Gliederung

Die Gültigkeit der Daten allgemein: Das Artefakt-Argument Das Ambivalenz-Argument Das Manipulierbarkeits-Argument Das Spillover-Argument

Verzerrung der Daten nach oben? Das Selbstselektions-Argument Abwehrmechanismen und asymmetrisches Vergessen Gesenktes Anspruchsniveau Soziale Erwünschtheit

Bestreitung der Datengültigkeit von AZ-Ergebnissen

Das Artefakt-Argument

Gegen globale Fragen zur AZ gerichtet Die Befragungsergebnisse sind kaum sinnvoll

interpretierbare Produkte der Fragestellung:

Fehlende einheitliche Definition von AZ Fragestellung sei den Befragten fremd Diskrepanzen zwischen der AZ-Def. der Fragenden &

dem AZ-Verständnis der Befragten? Inwieweit weicht das AZ-Verständnis der Befragten

untereinander und gegenüber der forschungsleitenden Definition ab?

???Fragestellung/ Definition???

Fragestellung ist den Befragten fremd Würde eine zweite Messung erst echte

Ergebnisse liefern? ???Reaktivität???

Wie könnten Diskrepanzen zwischen der AZ-Def. Der Fragenden & dem AZ-Verständnis der Befragten überwunden werden?

Der AZ steht vor der Befragung nichts Reales gegenüber Artefekte

Befragte haben sich oft nicht klargemacht, worum es bei AZ geht.

Vielleicht finden weder die postulierten kognitiven Prozesse, noch die Empfindungsqualitäten statt

Extremgruppenvergleich (Gebert): G1 keine pos. Gefühle bei Gedanken an Arbeit G2 überdurchschnittlich viele pos. Gefühle bei Gedanken

an Arbeit kein signifikanter Unterschied in der global abgefragten

AZ

Gehen Empfindungen bei der Arbeit in das Zufriedenheitsurteil ein?

Wird die Einstellung AZ erst durch den Messvorgang erzeugt (als Artefakt)?

Keine empirischen Belege

Behauptung von Sandelands/ Larson: Hohe Reaktivität bei Laborexperimenten,

jedoch nicht bei Feldexperimenten

Es ist unklar, wie mit dem Problem der Reaktivität umgegangen werden soll

Das Ambivalenz-Argument

Scott: Allgemeine AZ + Teil AZ Zufriedenheit je nach dem, mit wem man sich

vergleicht Beachtet Aspekte wie Arbeitsinhalt &

Vorgesetzte Neuberger: Ambivalenz; derselbe Faktor

wird zugleich als befriedigend und als unbefriedigend erlebt Bsp: Fachlich sehr kompetenter, menschlich

unangenehmer Vorgesetzter Auf Teil AZs der Teil AZs bezogen

AZ wird reduziert auf die Einstellung zur Arbeit

Reduktion der Zufriedenheit mit der jeweiligen Arbeit auf eine Einstellung zur Arbeit (Volmerg) Einstellungsbegriff Widerspruchsfreiheit

AZ als pos. Einstellung zur Arbeit Eine äußerst angenehme Tätigkeit kann stärker

ins Gewicht fallen als ein besonders unangenehmer Vorgesetzter – oder umgekehrt bei neg. Einstellung

Bleiben bei den gängigen AZ-Skalen Ambivalenzen unberücksichtigt?

Jein, bisher gibt es keine Erhebungen zum Ausmaß der Ambivalenzen

Eindimensionale AZ-Skalen können keine Ambivalenzen erfassen Extremwerte lassen sich zuordnen, Ambivalenzen fallen unter

„Keine Angabe“

Die Befragten müssen alles gegeneinander abwägen um ein Gesamturteil zu bilden

Im ABB gibt es keine Kategorie „Unentschieden“ mehr. (zu oft von VPN verwendet)

*Gebert: Die AUZ als Unzufriedenheitsempfindung korreliert mit der Häufigkeit von zwiespältigen Einstellungen zur Arbeit mit 0.66

Wann spricht das Ambivalenz-Argument gegen die Validität?

Wenn die neutrale Kategorie fehlt

Wenn die Ambivalenz Situationsbedingt ist Indiz für die Zufälligkeit, geringe Retest-

Reliabilität Oder Änderung der Arbeitssituation bzw. der

individuellen Beurteilungsstandards

Frage: Ist AZ ein kurzfristiges oder langfristiges Konstrukt? Meist Anweisung, Antworten ohne Überlegung zu geben

Ambivalenz-Argument in der Forschung

Argument ist nach Gawellek nicht stichhaltig, es sei denn, dass sich nicht alles zum Gesamturteil zusammenfassen lässt

Wichtig zur Interpretation von Unentschiedenheitsantworten

Es sollte stärker beachtet werden Vielleicht hängt das Verhalten der Beschäftigten

auch davon ab, inwieweit sie ihre Arbeitssituation als ambivalent erleben.

Das Manipulierbarkeits-Argument

Manipulation von Befragten Skepsis gegenüber der Anonymität Befürchtung von Nachteilen seitens des Arbeitgebers bei

freier Meinungsäußerung Ggf. Verzerrung in die neg. Richtung (durch

Überbetonung) um auf Missstände aufmerksam zu machen

Manipulation durch die Art der Frage bzw. Antwort Direkte/ indirekte Fragen Pos. oder neg. Formulierung Antwortformat Skalentyp

Antworten sind von direkten & indirekten Fragen abhängig

Direkte Fragen führen i.d. Regel zu höheren AZ-Werten „If you were starting over in your working career,

would you lean toward taking the same type of job you have now?“

Sind direkte Fragen invalide? Können indirekte Fragen etwas anderes

messen als AZ? Z.B. Vorstellungskraft

Fragearten führen zu unterschiedlichen Ergebnissen

Pos., neg. oder extreme Frageformulierung

Fragen nach AUZ führen eher – aber nicht generell zu höheren AZ-Werten als positiv formulierte

Extremität der Frageformulierung „Ich bin mit meinem Kollegen sehr

zufrieden“ „Ich bin mit meinem Kollegen

außerordentlich zufrieden“

Vermutung, die Antworten seien vom Antwortformat abhängig

Exp: Die gleichen Fragen bezüglich desselben Themas wurden auf unterschiedlichen Skalen bewertet Bipolare Skala höhere AZ-Werte als bei den anderen

Skalen Messinstrumente müssen hinsichtlich ihrer Güte hinterfragt

werden, keine Gütekriterien angegeben (Huber)

Antworten können je nach Fragestellung & Antwortformat variieren. Dies muss im Blickpunkt bleiben, damit nicht Gefahr gelaufen wird, Manipulationen zu unterliegen

Das Spillover-Argument

Die extreme Unzufriedenheit des Arbeitgebers mit einem Aspekt seiner Arbeit kann einen starken Effekt auf seine Gefühle zu anderen Aspekten seiner Arbeit haben

Ausstrahlungseffekte: Validität der Teil Zufriedenheiten

Das Argument bekommt nur Gewicht, wenn die Vermutung besteht, dass die Teil-AZ-Korrelationen auf Ausstrahlungseffekten beruhen

keine emp. Belege

Sind die AZ-Ergebnisse nach oben verzerrt?

4 Argumente die für die Verzerrung der Daten nach oben sprechen

1. Selbstselektionsargument

2. Die Argumente: Abwehrmechanismen & Asymmetrisches Vergessen

3. Das Argument: Gesenktes Anspruchsniveau

4. Das Argument: Soziale Erwünschtheit

Selbstselektionargument

Nur die „Zufriedenen“ nehmen an der Befragung teil Hohe AZ-Werte resultieren aus der Freiwilligkeit der

Befragungs-Teilnahme Verdacht: Selbstselektion der „Zufriedenen“ führt zu

hohen Zufriedenheitswerten Rücklaufquoten meist deutlich unter 100%

Vermutung: Weniger schreib-/ redegewandte /-willige verweigern die Teilnahme an der Befragung

Hoher Anteil der mit der Arbeit Zufriedenen beruht auf einem verzerrten Bild der Realität

Schwierigkeit bei dem Selbstselektionargument

Um Einwände zu belegen ist der Nachweis nötig, dass die tatsächlich weniger schreib- bzw. redegewandten die Teilnahme verweigern,

dass sie schlechteren Arbeitsbedingungen unterliegen und deshalb mit ihrer Arbeit unzufrieden sind.

Problem: Es gibt keine weiterreichenden Daten über die Befragungsverweigerer

Weiter: Standardisierte Fragebögen (simples Ankreuzen) dürften auch für nicht schreib- und redegewandte verständlich sein

Abwehrmechanismen und asymmetrisches Vergessen

A) Befunde hoher AZ werden häufig auf psychische Abwehrmechanismen zurückgeführt .

*Kornhauser: Angestellte sehen oft wenig Chancen, sich aus

der aktuellen Arbeitssituation zu befreien. Das Eingeständnis, das ihr Job nicht

zufriedenstellend ist, ist zu schmerzvoll. Aus dem natürlichen Hang zum Selbstschutz

ergibt sich ein Bias positive Akzente der Arbeit überzubewerten

Abwehrmechanismen und Gesellschaftliche Normen

*Kern/Schumann: Betonung der Rolle gesellschaftlicher Normen: Gesellschaftliche Leistungsnormen führen dazu,

dass Erfolg häufig mit Erfolg in der Arbeit gleichgesetzt wird

Kritik an der Arbeit fällt zwangsläufig mit Kritik an der Person zusammen.

Gebot positiver Selbstinterpretation: Alles in Allem zufrieden zu sein, auch wenn viele

Einzelheiten als negativ bezeichnet werden

Abwehrmechanismen und Validität

Abwehrmechanismen sprechen immer dann gegen die Validität, wenn von einem AZ-Konzept ausgegangen wird, bei dem derart zustande gekommene Ergebnisse nicht mehr als echte AZ angesehen werden können.

Jedoch ist die Annahme mit einem undifferenzierten Diskrepanzkonzept vereinbar

Weiteres Indiz für Ungültigkeit der AZ-Befunde: Nachweis, dass die Abwehr-Prozesse durch die Erhebung selbst hervorgerufen werden oder aber nur in der Erhebungssituation auftreten.

Asymmetrisches Vergessen

*Neuberger versteht darunter: Verdrängungsprozesse

Hohe AZ, Ergebnis eines Stichprobenfehlers? Es gibt viele Erlebnisse, pos. & neg. Natur im

Arbeitsleben Durch psychogene Verdrängungen vieler

Alltagsärgernisse werden möglicherweise die falschen Schlüsse gezogen.

Zusammenfassende Wirkung könnte dazu führen, dass die AZ nicht mehr angemessen repräsentiert wird.

Asymmetrisches Vergessen

Unklar bleibt jedoch, worauf Asymmetrisches Vergessen hinauszielt:

1. Auf die Annahme:- pos. Ereignisse bleiben leichter im Gedächtnis

2. Oder aber durch die:- Entstehung einer Verzerrung durch den Zwang zur Abgabe eines Globalurteils

Gesenktes Anspruchsniveau

Rückführung hoher AZ-Werte auf ein reduziertes Anspruchsniveau, die Zeichen und Ausdruck von Resignation sein können

Wird weiter von einer unmodifizierten Diskrepanzkonzeption der AZ ausgegangen, zielen diese Vermutungen nicht auf die Invalidität der AZ-Ergebnisse

AZ ist auch abhängig vom jeweiligen Anspruchsniveau. Weniger ein Problem der Validität, als von dem AZ-Konstrukt, welches undifferenziert AN nicht explizit berücksichtigt

AN-Vermutung ist eher als Hinweis einer Unzulänglichkeit bei der Zugrundelegung einer differenz. AZ-Konzeption zu betrachten.

*Brüggemann: AZ wird in Abhängigkeit von deren Zustandekommen unterschieden.

Argument Soziale Erwünschtheit (SD = Social Desirability)

Einer der gängigsten Einwände gegen AZ-Befunde: Die Annahme auf Antwortverzerrung infolge sozialer

Erwünschtheit *Ganster: versteht unter sozialer Erwünschtheit: „... a

tendency for an individual to present him or herself in a way that makes the person look positive with regard to culturally derived norms and standards“

*Mummendry sieht das Konstrukt „soziale Erwünschtheit“ gewissermaßen als Allerweltskonstrukt, auf welches immer dann zurückgegriffen wird, wenn es an die Interpretation hypothesenkonformer Ergebnisse empirischer Untersuchungen geht.

SD ist für ihn nicht die Ausprägung von AZ, sondern Ausdruck von Täuschungsverhalten. Befragte verfälschen mehr oder weniger die als „wahr“ oder „echt“ aufgefassten Reaktionen durch im Sinne sozialer Normen korrigierte Reaktionen

2 mögliche Betrachtungswinkel für SD-Effekte

SD-Effekte können einerseits als response-set auf dem Hintergrund der zugrundeliegenden Frage untersucht werden und andererseits als response-style als im Sinne einer Persönlichkeitseigenschaft

pos SD-Verzerrung neg.

Entgegen Behauptungen hohe AZ-Werte auf die soziale Erwünschtheit von Zufriedenheit zurückzuführen steht die Erwägung eines Bias in die negative Richtung. Geht man davon aus, dass auch Kritiklosigkeit als sozial unangesehen ansehen (*Bartz)

*Glatzer: Hegt generell gar keine Erwartungen hinsichtlich positiver Zufriedenheitsäußerungen

Artikulation von Unzufriedenheit sozial weitestgehend akzeptiert

Empirische Ergebnisse hinsichtlich SD-verzerrter Antworten

Mittels SD-Kontrollskalen(* Crown/ Marlow, CM-Skala) wurde der Frage nachgegangen inwieweit ein Antwortverhalten bei AZ-Fragebogen durch SD-Tendenzen beeinflusst ist:

Vielfach signifikante in der Regel aber nur schwache Zusammenhänge zwischen den AZ und den SD-Daten:

*Ganster: Korrelationen der 5 JDI-Skalen mit der CM-Skala im Bereich von – 0.03 bis 0.08

Positive, aber schwache Zusammenhänge...

Cawsay ermittelte höhere Koeffizienten. 12 bzw. 14 % der Varianz des aus den 5 Einzelskalen gebildeten JDI Summenscores durch SD erklärt

ABB nur schwache Hinweise auf sozial erwünschte Antworten

Einzelne ABB-Skalen korrelieren ausnahmslos negativ mit der Skala „Offenheit“ des FPI‘s, Werte sind jedoch fast immer deutlich unter 0.4

3 Modelle in denen die Variable SD für kommende AZ-Forschung von Bedeutung sein könnte:

1.Spuriousness model: Korrellation 2er eigentl. zusammenhanglosen Variablen die anhand SD-Verzerrungen gemeinsame Varianzanteile aufweisen

2.Suppression model: Tatsächlicher Zusammenhang 2er Größen bleibt wegen SD-Einfluss unentdeckt

3.Moderator model: SD moderiert Zusammenhang zwischen unabhängiger und abhängiger Variable wenn Interaktion zwischen Größe SD und unabhängiger Variable vorliegt

Aber: Derzeit für AZ-Forschung keine fundierten Aussagen über durch SD hervorgerufene Effekte möglich

Zusammenfassung der SD-Ergebnisse

Es gibt positive Verzerrungen durch SD Jedoch: Schwache Zusammenhänge Der SD wird ein zu starkes Gewicht

beigemessen Unbeantwortet:

Welches AZ Messinstrument ist für SD am unanfälligsten?

SD-Effekte können schwer eliminiert werden Die SD-Skalen korrelieren nur schwach miteinander Verschiedene SD-Skalen würden unterschiedliche

Änderungen nahelegen

Fazit

Einwände gegen Validität werden meist ohne empirische Belege vorgebracht

Es sind derzeit keine klaren Validitätsaussagen darüber möglich, ob die Instrumente das messen, was sie messen sollen

Zurückzuführen ist dies auf die vage begriffliche Bestimmtheit des Konstrukts AZ

Dies hat zur Folge, dass man sich schwer tut, die verschiedenen AZ-Messinstrumente in eine Validitätsrangreihe zu bringen

So kann wohl keines als das valideste bezeichnet werden, es bleibt nur der Hinweis, dass die einzelnen Verfahren nicht das gleiche messen

Ein Ansatz zur Lösung des Validitätsproblems wäre eine Einigung über eine AZ-Definition

Vielen Dank für die Aufmerksamkeit

Susanne Büsing & Tobias Jagusch