R.Niketta Multiple Regressionsanalyse

Kommentierter SPSS-Output für die multiple Regressionsanalyse (SPSS-Version 17)

Daten: Selbstdarstellung und Kontaktsuche in studi.VZ (POK VIII, AG 3)

Fragestellung: Inwieweit wird das Motiv der Kontaktsuche über studi.VZ (F29_SUCH) durch folgende Prädiktoren beeinflusst:

− Äußerliche Merkmale auf den Homepages (Items „Das Profilfoto ist mir sehr wichtig“, „Die Fotos, auf denen die Person verlinkt ist, sind mir sehr wichtig“) (V14_FOTO)

− Aspekte der Offenheit in der Selbstdarstellung (V32_OFF)

− Statusaspekte in der Selbstdarstellung (V32_STAN)

− Initiierung von Interaktionen und Beziehungen als soziale Kompetenz (ICQ_1)

Nach dem Klicken von “Regression” und “Linear” öffnet sich das Fenster rechts. Hier geben Sie Kriteriumsvariable (Abhängige Variable) und die Prädiktorvariablen (Unabhängige) ein:

Über „Statistiken“ sollten Sie zusätzlich folgende Statistiken aufrufen:

Deskriptive Statistik: Sie erhalten einen Überblick über die Kennwerte der Variablen, die Gesamtzahl der in der Analyse einbezogenen Fälle und die Korrelationsmatrix der Variablen.

Teil- und partielle Korrelationen: Sie geben Auskunft über die Überlappungen (Schnittmengen, im Sinne von Venn-Diagrammen) der Variablen. Die teilpartielle Korrelation kann verwendet werden, um die erklärte Varianz eines einzelnen Prädiktors zu berechnen.

Kollinearitätsdiagnose: Die Kennwerte (Toleranz, VIF) sind wichtig, um die Multikollinearität der Prädiktoren abzu-schätzen.

Fallweise Diagnose: Kann für die Entdeckung von Ausreißern und einflussreichen Fällen wichtig sein.

Durbin-Watson: Überprüft, ob die Daten unabhängig sind. Dies kann bei hierarchischen Designs (z.B. Schule, Klasse, Schüler) oder bei Messwiederholungsdesigns wichtig sein. Verletzungen dieser Voraussetzungen sind in der Regel schwerwiegend. Von einer Unabhängigkeit der Daten kann aber bei Umfragen ausgegangen werden, so dass der Ko-effizient nicht relevant ist.

Änderungen in R-Quadrat: Nur wichtig bei sequenziellen Regressionsanalysen.

Bei „Diagramme“ sollten Sie zur Überprüfung der Voraussetzungen folgende Diagramme aufrufen:

− Streudiagramm zwischen dem standardisierten vorausgesagten Kriterium (ZPRED auf der X-Achse) und den standardisierten Residuen (ZRESID auf der Y-Achse). Dieses Diagramm dient der Überprüfung der Linearität und der Varianzhomogenität („Homoskedastizität“)

− Histogramm und Normalver-teilungsdiagramm dienen der Überprüfung der Normalver-teilung. Diese wird an den Residuen überprüft.

Zur Überprüfung von Ausreißern und einflussreichen Fällen können folgende Variablen gespeichert werden:

− Distanzen: Mahalanobis, Cook’sche Distanz und Hebelwerte. Mahalanobis ist ein multivariates Distanzmaß. Die Cook’sche Distanz gibt den Einfluss eines Wertes auf die Regressionsgleichung an, wenn der jeweilige Fall von der Berechnung ausgeschlossen wird. Hohe Veränderungen werden durch ein hohen Distanz-Wert angezeigt. Die Hebelwerte weisen auf extreme Werte bei den Prädiktoren hin.

− Einflussstatistiken: Die standardisierten DfBeta-Werte geben den Einfluss eines Falles für jeden Prädiktor getrennt an.

Die Werte werden von SPSS berechnet und an das Ende der Daten-matrix eingefügt. Sie stehen dann als neue Variablen zur Verfügung.

Unter Optionen“ kann u.a. auch die Behandlung fehlender Werte bestimmt werden. Die Voreinstellung ist „listenweiser Fallausschluss“, d.h. ein Fall wird aus den Berechnungen ausgeschlossen, wenn dieser auf einer Variablen einen fehlenden Wert aufweist.

Es folgen die Tabellen der SPSS-Ausgabe:

Zur Kontrolle: Deskriptivstatistiken aller Variablen.

Die Skalen sind in Richtung der Labels gepolt. V29_SUCH, V14_FOTO, V32_OFF , V32_STAN sind 6er-Skalen. ICQ_1 reicht von -3 bis +3.

Korrelationsmatrix.

Wichtig: Es können die Inter-korrelationen der Prädiktoren ab-gelesen werden. Günstig: Hohe Korrelationen der Prädiktoren mit dem Kriterium, geringe Korrelationen der Prädiktoren untereinander .

Die Korrelationen mit dem Kriterium deuten eine nur geringe erklärte Va-rianz an. Auch scheinen die Prädik-toren unterschiedlich bedeutsam sein.

(Die vollständigen Signifikanzwerte wurden weggelassen)

R ist die multiple Korrelation des Kriteriums mit allen Prädiktoren. Die multiple Korrelation ist nichts anderes als die einfache Korrelation r der vorhergesagten Werte mit den beobachteten Werten.

R-Quadrat ist die erklärte Varianz und eines der wichtigsten Werte in der Regressionsanalyse. Der Wert ist mit .126 nicht gerade sehr gut, d.h. 13 % der Varianz der Kriteriumsvariablen wurden durch die vier Prädiktoren auf-geklärt. 87 % sind unbekannt. Korrigiertes R Quadrat ist eine Korrektur (Schrumpfung), in die die Zahl der Merkmalsträger und Prädiktoren ein-gehen. Sie dient der besseren Schätzung der Population. Die Qualität dieser Berechnung ist aber umstritten.

Das aufgestellte Modell erklärt also 13 % der Varianz.

Vorsicht: Man kann R² künstlich durch die Zahl der Prädiktoren erhöhen, da R² nie kleiner werden kann, wenn die Zahl der Prädiktoren steigt.

Der Standardfehler wird für die inferenzstatistische Absicherung der Modells benötigt.

Die Varianzanalyse berechnet das Verhältnis von erklärter (Regression) zur nicht erklärten (Residuen) Varianz. Der F-Test ist ein Signifikanztest. Der F-Wert ist mit einem p-Wert von < .001 statistisch signifikant. Das vorliegende Modell kann also gegen den Zufall abgesichert werden. Das Modell stammt also nicht aus einer Population mit den Regressionskoeffizienten = 0.

Vorsicht: Ob ein Modell statistisch signifikant wird, hängt u.a. vom N der Merkmalsträger ab.

SPSS gibt alle weiteren Kennwerte in einer einzigen Tabelle aus. Zur besseren Kommentierung wird diese Tabelle in Bereiche aufgeteilt.

Die Koeffizienten für die einzelnen Prädiktoren.

In der Spalte „RegressionskoeffizientB“ stehen die Regressionskoeffizienten b. Die Regressionsgleichung lautet also:

V29_SUCH = 1.582 + 0.201 * V14_FOTO – 0.094 * V32_OFF + 0.178 * V32_STAN – 0.128 * ICQ_1

Die Standardfehler der Koeffizienten werden zum Signi-fikanztest benötigt. Über diesen Standardfehler lässt sich das Vertrauensintervall bestimmen (bei 95 % -Sicherheit). Das Intervall hängt u.a. vom Standardfehler ab und somit vom N, das hier 496 beträgt.

Beta sind die standardisierten Regressionskoeffizienten. Sie sagen innerhalb des Modells über den jeweiligen Bei-trag des Prädiktors zur Varianzaufklärung etwas aus. Äußere Aspekte spielen in diesem Modell die wichtigste Rolle zur Erklärung der Kontaktsuche., gefolgt von der statusorientierten Selbstdarstellung.

Die beta-Koeffizienten sind also zentral für die Inter-pretation des Einflusses der jeweiligen Variablen. Die b-Koeffizienten werden zur Vorhersage benötigt, ein Ver-gleich zwischen den Prädiktoren ist aber wegen der unter-schiedlichen Skalenbreiten nicht sinnvoll. Allerdings muss beachtet werden, dass die beta-Koeffizienten wegen der relativen Transformation (Standardisierung) von der jeweiligen Stichprobe abhängen; dies ist bei den Regressionskoeffizienten nicht der Fall; diese können zwischen Stichproben verglichen werden.

Die t-Tests prüfen jeden einzelnen Prädiktor auf statistische Signifikanz.

Im vorliegenden Fall können V14_FOTO, v32_STAN und ICQ_1 auf dem 5 %-Signifikanzniveau ab-gesichert werden.

Die Korrelationsspalten geben die drei unterschiedlichen Kor-relationskoeffizienten wieder:

Die Korrelation Nullter Ordnung ist die einfache Korrelation zwischen der einzelnen Prädiktorvariablen und der Kriteriumsvariablen. Die einfache Korrelation zwischen V14_FOTO und V29_SUCH beträgt also 0.297.

Die partielle Korrelation ist die Korrelationen zwischen der einzelnen Prädiktorvariablen und der Kriteriumsvariablen, nachdem die gemeinsamen Varianz (der Überlappungs-bereich in einem Venn-Diagramm) „herauspartialisiert“ wurde, also der „reine“ Einfluss des einzelnen Prädiktors unter Kontrolle der anderen Prädiktoren. Die Partial-korrelation wird aber eher im Rahmen einer Korrelationsana-lyse und nicht einer Regressionsanalyse interpretiert.

Die Teilkorrelation (Semi-Partial-Korrelation) erfasst auch den „reinen“ Einfluss des einzelnen Prädiktors, allerdings wird der gemeinsame Varianzanteil nur aus den anderen Prädiktoren herauspartialisiert.

Werden die Semi-Partial-Korrelationen quadriert, erhält man den Anteil des einzelnen Prädiktors an der erklärten Varianz:

V14_FOTO = 0.23² = 0.053

V32_OFF = -0.054² = 0.003

V32_STAN = 0.162² = 0.026

ICQ_1 = -0.097² = 0.009

Die Partialkorrelationen und die beta-Koeffizienten sind kleiner als die einfachen Korrelationen. Dies deutet den Überlappungsbereich der gemeinsamen Varianz an. Dieser kann wie folgt berechnet werden (vgl. Warner , 2008, S. 428):

Gemeinsamer Bereich = 1 – (0.874 [= 1 - r²] + 0.053 + 0.003 + 0.026 + 0.009 = 0.035.

Im Prinzip ist die Regressionsanalyse beendet. Im Folgenden geht es um das Problem, ob Ausreißer oder einflussreiche Fälle das Ergebnis beein-flussen. Weiterhin wird das Vorliegen von Multikollinearität geprüft. Anschließend sollen die Voraussetzungen überprüft werden, die mit den Prüf-verteilungen bei der statistischen Absicherung gegeben sind.

Die Tabelle der fallweisen Diagnose zeigt drei Fälle mit standardisierten Residuen (= z-Werte) über 3.0. Die Differenzen zwischen vorhergesagten und beobachteten Werten sind beachtlich. Dies bedeutet aber noch lange nicht, dass diese drei Fälle das Regressionsergebnis beeinflussen. Werden diese drei Fälle bei einer nochmaligen Regressions-analyse entfernt, dann sinkt allerdings in diesem Fall r² von 0.126 auf 0.109! Der ICQ_1-Prädiktor ist dann nicht mehr statistisch signifikant.

In der Tabelle der Residuenstatistik interessieren hier nur die letzten drei Spalten.

Der Mittelwert der Mahalanobis-Abstände geht in Ordnung, Sorgen macht aber das Maximum von 27.639. Nach einer Tabelle der kritischen Werte in Stevens (2009, S. 108, auch ältere Auflagen) beträgt der kritische Wert bei einem N = 500, bei 4 Prädiktoren und einem alpha = 5 % 23.06. Dieser Wert wird überschritten.

Ein einflussreicher Fall gemäß der Cook’schen Distanz liegt vor , wenn der Wert > 1 ist. Dies ist auf der anderen Seite nicht der Fall.

Nach der „Daumenregel“ nach Urban & Mayerl (2006, S. 188) liegt bei dem zentrierten Hebelwert, der extreme Werte bei den Prädiktoren erfasst, der Kriteriumswert bei (3 * Zahl der Prädiktoren)/N. Im vorliegenden Fall beträgt das Kriterium 0.024. Mit 0.056 liegt mindestens ein Fall über diesem Kriterium. Ein Inspektion der Daten zeigt, dass 20 Fälle über 0.024 liegen, also extreme Werte aufweisen.

Während die Cook’sche Distanz ein globaler Wert ist, geben die DFBETA-Werte die einflussreichen Fälle für jeden Prädiktor gesondert aus, sie werden von SPSS in die Daten-

matrix eingefügt, aber nicht gesondert ausgegeben. Der kritische Wert liegt bei > |2| (vgl. Stevens, 2009, S. 110). Eine Inspektion der Werte zeigt aber , dass der maximale Wert bei 0.4 liegt. Einflussreiche Fälle liegen also nicht vor.

Die Tabelle gibt auch weiterhin die Kollinearitätsstatistik aus. mit der die Multikollinearität überprüft werden kann. Die besten Prädiktoren sind orthogonal zueinander , d.h. es be-stehen keine linearen Korrelationen. Dies ist selten der Fall. Multikollinearität hat aber einen großen Einfluss auf den Standardfehler , der dann unter Umständen sehr anwächst. Die Lösungen werden sehr instabil. Inwieweit lassen sich lineare Abhängigkeiten unter den Prädiktoren tolerieren?

Der Toleranzwert ist daher für die Kollinearitätsdiagnose wichtig: (1 - iR2 ), d.h. 1 - der multiplen Korrelation des jeweiligen Prädiktors mit den anderen Prädiktoren. Eine geringe Toleranz weist auf lineare Abhängigkeiten mit anderen Prädiktoren hin. VIF (variance inflation factor) baut auf TOLERANCE auf. Im Falle der Unabhängigkeit ist er 1, er steigt mit wachsender linearer Abhängigkeit. Hier ist VIF nahe bei 1, d.h. es gibt nur geringe Anzeichen auf Kollineari-tät.

Urban & Mayerl (2006, S. 232) empfehlen als „Daumen-regel“, dass der Toleranzwert nicht unter 0.25 sein sollte, und der VIF-Wert sollte nicht über 5.0 gehen.

SPSS gibt noch eine weitere Kollinearitätsstatistik aus, die auf einer Hauptkomponentenanalyse beruht. Die Ergebnisse sind nicht immer eindeutig und lassen sich schwer inter-pretieren. Auf sie soll daher nicht eingegangen werden.

Beide Diagramme überprüfen an den Residuen, ob Normalverteilung vorliegt.

Das Histogramm links zeigt nur leichte Abweichungen von der Normalverteilung.

Im P-P-Diagramm werden die be-obachteten gegen die erwarteten standardisierten Residuen geplottet. Bei Normalverteilung müssten die Werte auf der eingezeichneten Diagonalen liegen. Dies ist der Fall. Eine der Voraus-setzungen ist also erfüllt. Im Übrigen sind Abweichungen von der Normalverteilung nicht sehr schwerwiegend.

Dieses Diagramm überprüft die Linearitätsannahme und die Homoskedastizität, also die Homogenität der Varianzen. In beiden Fällen müssten die Werte zufällig streuen, es sollte kein Muster erkennbar sein.

Während von einer Linearität ausgegangen werden kann, zeigt sich ein nach rechts größer werdender „Trichter“. Dies deutet eine Verletzung der Varianzhomogenität an: Hohe Werte der Kontaktsuche (X-Achse) können weniger gut vor-hergesagt werden als niedrige Werte. Verletzungen dieser Annahme der Varianzhomogenität sind aber nicht schwer-wiegend (vgl. Tabachnick & Fidell, 2007, S. 85, 127)

Weiterhin kann gefragt werden, in welchem Konfidenzinter-vall der Determinationskoeffizient R² liegt. Tabachnick & Fidell (2007, S. 150f) weisen auf ein Programm R2 von Steiger & Fouladi hin, das ihrem Buch beiliegt, aber auch über folgende Adresse frei heruntergeladen werden kann: http://www.statpower .net/Software.html

Im vorliegenden Fall liegt R² zwischen 0.071 und 0.179.

Ein weiteres Problem betrifft die Generalisierung der Ergeb-nisse, gerade wenn die Prädiktoren eher unsystematisch oder schrittweise ausgesucht worden sind. Dann müssen die Ergebnisse kreuzvalidiert werden.

Wenn eine Kreuzvalidierung, d.h. eine Aufteilung der Stich-probe in zwei Hälften nach dem Zufall nicht möglich ist, bietet sich an, einen adjustierten R²-Koeffizienten zu be-rechnen.

Stevens (2009, S. 96) empfiehlt nicht das adjustierte R² nach der Formel von Wherry, das von SPSS ausgegeben wird. Stevens folgt dem Vorschlag von Herzberg, die Formel von Stein zu übernehmen. Ein kleines DOS-Programm HERZBERG berechnet den adjustierten R²-Wert. Dieser beträgt 0.1099. Das von SPSS ausgegebene R² ist 0.119.

Literatur: Stevens, J. P . (2009). Applied multivariate statistics for the social sciences (5. Aufl.). New York: Routledge. Tabachnick, B. & Fidell, L. S. (2007). Using multivariate statistics (5. Aufl.). Boston: Pearson Allyn & Bacon. Urban, D. & Mayerl, J. (2006). Regressionsanalyse: Theorie, Technik und Anwendung (2. Aufl.). Wiesbaden: VS Verlag für Sozialwissenschaften. Warner , R. M. (2008). Applied statistics: from bivariate through multivariate techniques. Thousand Oaks, CA: Sage.