Evaluation & Forschungsmethoden

Methoden derPsychologie

Evaluation & Forschungsmethoden

Günter MeinhardtJohannes Gutenberg Universität Mainz

q-q-Plot Methode zur Prüfung der Multivariaten Normalverteilung


Verteilungsanpassung/Prüfung

• Effiziente Tests: Die NV- Annahme ist mit effektiven Methoden und trennscharfen Test zu prüfen, um ihre Gültigkeit sicherzustellen

Prüfung der Verteilungs-annahme

• Korrekturen und Datentransformationen: Ist die NV- Annahme auf den originalen Skalen verletzt, können Skalentransformationen für die einzelnen Variablen des Variablen- verbundes gefunden werden, mit denen die multivariate Normalver- auf den transformierten Skalen gilt.

Prüfung der NV-Annahme Klassifikation

• Ausreißeranalyse: Vor der Schätzung der Parameter (,) für die multivariate NV- wird eine Analyse der Rohdaten auf Ausreißer vorgenommen.


Die allgemeine Form des Chi – Quadrat für Häufigkeiten ist:

Univariate Tests (1D) Klassifikation

• Dieses Schema wird flexibel auf die jeweilige Fragestellung angewendet.

• Die Frage ist, nach welchem Kriterium sich die erwarteten Häufigkeiten ergeben. Das einfache hat k-1 Freiheitsgrade, die zugehörige Wahrscheinlichkeitsverteilung ist die Verteilung.

• Für den Test der Anpassung an die Normalverteilung werden die erwarteten Häufigkeiten aus den Wahrscheinlichkeiten der Quantil- Intervalle der Normalverteilung berechnet.

- Test aufGüte der Passung

: beobachtete Häufigkeit

: erwartete Häufigkeiti

i

o

e

2

2

1

ki i

i i

o e

e




Nr.

Intervall

jh

(absolut) jp

(relativ)

ˆ jp

(erwartet) je

(erwartet) j jh e

(Differenz) 2

j j

j

h e

e

1x x h1 p1 1F x F e1 h1-e1

1 2x x x h2 p2 2 1F x F x e2 h2-e2

j

1k kx x x hk pk 1k kF x F x ek hk-ek

N 1 1 N 2

• Die erwarteten relativen Häufigkeiten berechnet man aus der Differenz der Werte der Verteilungsfunktion für die exakten Intervallgrenzen.

• Die erwarteten Häufigkeiten ergeben sich durch Multiplikation mit der Anzahl der Beobachtungen N.

• Test mit progressivem alpha-Niveau, da man an der Absicherung für die Beibehaltung der H0 interessiert ist ( = mind. 10%).

Univariate Normalverteilung




Univariate Normalverteilung

Beobachtet: oi

100 300 500 700 90011001300

1000

2000

3000

4000

h(x)

x

erwartet als Normalverteilung: ei

1000

2000

3000

4000

h(x)

x

Vergleich:

1000

2000

3000

4000

h(x)

100 300 500 700 90011001300

100 300 500 700 900 11001300 x


• Tests sind nicht sehr trennscharf und brauchen ein hohes N

• Sie hängen von der Anzahl der Intervalle (Freiheitsgrade) ab

• Sie können nur für die univariaten Verteilungen der einzelnen Meßvariablen durchgeführt werden (- Ausreisser durch spezielle Wertekombinationen in der multivariaten Verteilung können nicht aufgedeckt werden)

Tests der NV- Annahme

• Effektive Methoden: Methoden, die die Quantile der erwarteten und tatsächlichen Distanzen vom Zentroid verwenden, können univariat und multivariat verwendet werden

• Effiziente Tests: Die Testung der Gleichheit von erwarteten und tatsächlichen Quantilen beruht auf einer trennscharfen Testung des Korrelationskoeffizienten (uni-und multivariat).

Alternative:Q-Q Plot Methodenund Korrelations-Tests

Prüfung der NV-Annahme Klassifikation

- Tests

Nachteile von


• Ausreißer sind heikel zu bestimmen, bei kleinen Stichproben N < 30 gibt es keine zuverlässigen Methoden

• Bei N > 30 legt man die Quantile der Normalverteilung zugrunde und eliminiert die Werte, die jenseits der äußeren Quantile liegen. Dies sollten nicht mehr als 7%-8% sein.

Identifikation von Ausreißern

Test der NV-Annahme (univariat) Klassifikation

Data Clearing

-1.31.31-0.790.82-0.56-0.160.48-0.85-0.021.16-0.57-0.24-1.52-1.820.15-0.15-0.12-0.210.44-0.61-0.53.370.620.12-0.610.22-0.820.671.56-0.05z

1,2142,0651,4141,7011,2381,3561,6461,2901,4221,5471,3131,6021,2521,0021,1801,3891,4931,5951,6271,5181,3842,4121,7171,2711,4391,6141,1101,8152,0871,561x2.131.641.381.191.040.90.780.670.570.480.390.30.210.130.04-0.04-0.13-0.21-0.3-0.39-0.48-0.57-0.67-0.78-0.9-1.04-1.19-1.38-1.64-2.13qe0.980.950.920.880.850.820.780.750.720.680.650.620.580.550.520.480.450.420.380.350.320.280.250.220.180.150.120.080.050.02p

max

0.5 0.5 1, 1, , 1

2i

i Np i N p

N N N

1 1max maxe iq F q F p z

Ausreißer: maxiz z


• Nach Ausreißerbereinigung werden den Meßwerten empirische Quantile qo (in z) zugeordnet über die sortierte Reihe der Meßwerte.

• Mit aus den Daten geschätzten Parametern () werden für die Prozentränge erwartete Quantile qe (in z) bestimmt.

• Man trägt qo (y-Achse) und qe (x-Achse) gegeneinander ab. Perfekte Passung liegt vor, wenn die Daten auf der Winkelhalbierenden liegen.

• Man bestimmt Anteil der aufgeklärten Varianz und Korrelation.

Test über Quantilskorrelation


Q-Q Plot Methode

2

22

var( )1 1

var( )

oi eii

oi oi

q qe

y q q

cov ,

var var

o eqq

o e

q qr

q q

• Für den Korrelationskoeffizienten existieren kritische Werte, die bei Unterschreitung zur Ablehnung der NV-Annahme führen (s. Tabelle).


Kritische Q-Q- Korrelationen

Korrelations-Test


Q-Q Plot Methode

Ist rqq < rcrit(), wird die Annahme der NV auf dem gewählten Level verworfen. sollte progressiv gewählt sein (10%), da man eine Sicherheit für die Beibehaltung wünscht.

0.99600.99530.99353000.99420.99310.99052000.99280.99130.98791500.98950.98730.98221000.98660.98380.9771750.98360.98010.9720600.98220.97870.9695550.98090.97680.9671500.97920.97490.9632450.97710.97260.9599400.97400.96820.9538350.97150.96520.9479300.96650.95910.9410250.96040.95080.9269200.95030.93890.9126150.93510.91980.8801100.90320.87880.829950.100.050.01

Significance level Smple Size N

( )qq critr r


Datenbeispiel


Q-Q Plot Methode

2

221 0.949

oi eii

oi oi

q q

q q

cov ,.974

var var

o e

o e

q qr

q q

Korrelations-Test

( .1)qq critr r .974 .9715

NV Test knapp im Annahmebereich, aber 2 Ausreißer verschlechtern die Passung beträchtlich

-3.0

-2.5

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0

expected quantile (qe)

ob

serv

ed q

uan

tile

(q

o)

N = 30

mit 2 Ausreißern


-3.0

-2.5

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0


ob

serv

ed q

uan

tile

(q

o)

Datenbeispiel


Q-Q Plot Methode

2

221 0.983

oi eii

oi oi

q q

q q

cov ,.992

var var

o e

o e

q qr

q q

Korrelations-Test

( .1)qq critr r .992 .9715

NV Test und Varianzaufklärung zeigt perfekte der empirischen Quantile an die NV an.

N = 28

ohne Ausreißer


Datenbeispiel


Q-Q Plot Methode

2

221 0.877

oi eii

oi oi

q q

q q

cov ,.937

var var

o e

o e

q qr

q q

Korrelations-Test

( .1)qq critr r .94 .9715

• NV Annahme ist heikel und sollte abgelehnt werden

• Ausreißerentfernung würde Passung verbessern, aber die Art der Abweichung deutet auf eine systematische Transformation der Quantile

-3.0

-2.5

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0


ob

serv

ed q

uan

tile

(q

o)

N = 29

Nichtlineare Abweichung


• Unsystematische Ausreißer sollten entfernt werden.

• Bei systematischen Quantilsabweichungen können die Rohdaten einer Potenztransformation unterzogen werden, um eine gute Approximation an die NV zu erreichen.

• Parameterschätzung für (,) der NV sind über die transformierten Daten auszuführen.

Quantils-Transformation zur NV


Box-Cox-Power-Transformation

1, , für 0

kxg x k k

k

ln var , 1 ln2 i

i

Nl k g x k k x

Die Power-Transformation g(x) liefert mit dem Wert k aus der Maximierung von l(k) die beste Annäherung an die NV

maximiert nach k


70.0

71.0

72.0

73.0

74.0

75.0

76.0

77.0

78.0

79.0

80.0

0.0 0.1 0.2 0.3 0.4 0.5 0.6

k

l(k)

Datenbeispiel nichtlineare Abweichung


Q-Q Plot Methode

OptimalePotenz-Transformation

-3.0

-2.5

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0


ob

serv

ed q

uan

tile

(q

o)

N = 29

Maximierungsfunktion l(k)Q-Q - Plot

Potenztransformation der Originalskala:

0 max 0.35k k l k l k

k0

0 0.35

0

1 1,

0.35

kx xg x k

k

Erneuter Q-Q Test


-3.0

-2.5

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0


ob

serv

ed q

uan

tile

(q

o)

Datenbeispiel nichtlineare Abweichung


Q-Q Plot Methode

OptimalePotenz-Transformation

-3.0

-2.5

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0


ob

serv

ed q

uan

tile

(q

o)

2 = .877r = .937

Q-Q – Plot original

,g x k berechnen

Q-Q – Plot nach Potenztransformation

2 = .986r = .993

z- transformieren

Q-Q plotten

Potenztransformation bringt fast perfekte Passung der NV

( .1)qq critr r .993 .9715

Documents

Evaluation & Forschungsmethoden