1
Manfred Eberwein, Saskia Naescher, Gabriel Schui & Günter Krampen Leibniz-Zentrum für Psychologische Information und Dokumentation ZPID Universität Trier [email protected] Ergebnisse Herkunft sowie testtheoretische und psychometrische Fundierung psychologischer Tests im deutschsprachigen Bereich Präsentiert auf der 11. Fachtagung für Differentielle Psychologie in Saarbrücken, September 2011 Diskussion Literatur American Psychological Association (APA) (Ed.) (2007). Thesaurus of Psychological Index Terms (11th ed.). Washington: APA. Debelak, R. (2009). Einige Trends der computergestützten psychologischen Diagnostik der letzten Jahre . Psychologie in Österreich, 29 (5), 440-448. Kubinger, K.D. (2000). Replik auf Jürgen Rost "Was ist aus dem Rasch-Modell geworden?": Und für die Psychologische Diagnostik hat es doch revolutionäre Bedeutung. Psychologische Rundschau, 51 (1), 33-34. Kubinger, K.D. (2009). Psychologische Computerdiagnostik. Zeitschrift für Psychiatrie, Psychologie und Psychotherapie, 57 (1), 23-32. Kubinger, K.D. (2010). Zur Zukunft des Verfahrensinventars psychologischen Diagnostizierens. In K.D. Kubinger und T.M. Ortner (Hrsg.), Psychologische Diagnostik in Fallbeispielen (S. 30-42). Göttingen: Hogrefe. Methode Vor dem Hintergrund der derzeitigen Anglisierung psychologischer Publikationen aus deutschsprachigen Ländern (s. Abb. 1) und der anhaltenden Kritik an den Methoden der klassischen Testtheorie sowie der anhaltenden Diskussion um die Qualitätssicherung in der Testdiagnostik, wird den folgenden Fragen nachgegangen: 1) Wie verändern sich die Anteile von diagnostischen Eigenentwicklungen aus dem deutschsprachigen Bereich und von Adaptionen angloamerikanischer Testverfahren über die Zeit? 2) Welche Entwicklungstrends ergeben sich hinsichtlich der testtheoretischen und psychometrischen Fundierung bei publizierten Verfahren? Inwiefern unterscheidet sich davon die testtheoretische Fundierung nicht publizierter Verfahren? 3) Welche Entwicklungstrends sind bezüglich der Testnormierung ersichtlich? - Bibliometrische Methode: Auswertung von Informationen über psychologische Testverfahren anhand des Datenbanksegments PSYNDEX Tests mit weit über 6.000 nachgewiesenen Verfahren aus dem deutschsprachigen Raum. - Eingrenzungskriterien: Zwischen 1951 und 2010 in deutschsprachigen Ländern veröffentlichte Tests, kategorisiert nach 1.175 deutschen Eigenentwicklungen vs. 264 deutschen Adaptionen angloamerikanischer publizierter Tests. - Auszählung und anteilmäßige Berechnung der Anzahl publizierter (inklusive teilpublizierter und vergriffener) psychologischer Tests bezüglich ihrer Herkunft (deutschsprachig vs. angloamerikanisch), ihrer testtheoretischen und psychometrischen Fundierung (Classical Test Theory & Item Response Theory; Mehrfachnennungen möglich) sowie relevanter Begleitaspekte (Adaptive Testing & Computer Assisted Testing; Mehrfachnennungen möglich) sowie ihrer Normierung (normiert vs. nicht normiert). - Bildung von Zeitreihen in Dekaden für den Zeitraum von 1951-2010. - Datengrundlage: Publikationsjahre, Dokumenttypen in PSYNDEX Tests, Thesaurusbegriffe der APA (2007) Zu 1) Die Spitze bei der Übertragung angloamerikanischer Verfahren ins Deutsche in den 90er Jahren lässt sich in Zusammenhang bringen mit der Ausweitung klinisch-psychologischer Diagnostik verbunden mit der Neu- und Weiterentwicklung psychologischer Behandlungsverfahren, den Bestrebungen nach einer verbesserten Klassifikation psychischer Störungen sowie der Forderung nach einer Qualitätssicherung von Psychotherapie. Dabei können von den mehr als 400 publizierten klinischen Verfahren ca. ein knappes Drittel direkt auf Verfahren aus der angelsächsischen Psychologie zurückgeführt werden. Zu 2) Nicht publizierte Verfahren weisen in der Regel eine weniger umfassende Testkonstruktion auf, da sie vorwiegend in der Forschung z.T. nur einmalig eingesetzt werden, von daher wird öfter als bei publizierten Verfahren die methodisch weniger aufwendige Klassische Testheorie bevorzugt. Die Möglichkeiten im Rahmen der Probalistischen Testtheorie (z.B. Rasch-Modell) und des adaptiven Testens werden bei weitem nicht genutzt (Debelak, 2009; Kubinger, 2000, 2009, 2010). Viele Testentwickler scheuen wohl den methodischen Aufwand, der mit einer Überprüfung nach der Probabilistischen Testtheorie zusammenhängt. Zu 3) Der absolute Höhepunkt publizierter Tests mit Normen in den 70er Jahren spiegelt die Blütezeit pädagogisch-psychologischer Verfahren wieder, die überwiegend für Belange der schul- und bildungsberaterischen Praxis bestimmt und daher normiert waren. Dagegen wurden in den 90er Jahren viele klinische Verfahren oder Dokumentationssysteme publiziert, für die keine Normierung im repräsentativen Sinne angestrebt wurde. Fazit: Das angloamerikanische Testwesen trägt indirekt erheblich zur psychodiagnostischen Entwicklung in Abb. 1: Prozentualer Anteil der psychologischen Publika- tionen von Autoren aus deutschsprachigen Ländern in englischer Sprache (PSYNDEX Lit. & AV) Abb. 4: Anteil der publizierten und nicht publizierten Verfahren (1926-2010) in PSYNDEX Tests Abb. 5: Vergleich der testtheoretischen Fundierung (a) publizierter und (b) nicht publizierter Testverfahren (PSYNDEX Tests), Mehrfachnennungen von Tests unter verschiedenen testtheoretischen Grundlagen und Begleitaspekten enthalten Zu 1) Analog zum Anstieg der psychologischen Publikationen von Autoren aus deutschsprachigen Ländern in englischer Sprache (Abb. 1) lässt sich seit den 80er Jahren auch ein vermehrtes Übertragen von Instrumenten aus dem englischsprachigen Bereich ins Deutsche feststellen, wobei der Trend im Gegensatz zu den Publikationen seit 2001 etwas rückläufig ist (Abb. 2). Abb. 2: Anzahl von publizierten Testverfahren deutsch- sprachigen vs. angloamerikanischen Ursprungs (PSYNDEX Tests) Abb. 6: Prozentsatz der publizierten Testverfahren mit und ohne Testnomen (PSYNDEX Tests) Abb. 3 Anzahl der publizierten Testentwicklungen von 1951- 2010 nach testtheoretischer und psychometrischer Fundierung (PSYNDEX Tests) Abb. 7: Anzahl der publizierten Testverfahren mit und ohne Normierung im Zeitverlauf (PSYNDEX Tests) 0 50 100 150 200 250 300 350 bis 1950 1951-1960 1961-1970 1971-1980 1981-1990 1991-2000 2001-2010 Classical Test Theory Item Response Theory* Adaptive Testing* Computer Assisted Testing 3 38 86 266 211 272 268 3 11 11 38 47 85 66 bis 1950 1951-1960 1961-1970 1971-1980 1981-1990 1991-2000 2001-2010 Deutschsprachiger Ursprung Angloamerikanischer Ursprung 23% 77% Publizierte Verfahren Nicht publizierte Verfahren 77% 4% 0% 19% Publizierte Verfahren Classical Test Theory Item Response Theory Adaptive Testing Computer Assisted Testing 86% 2% 1% 11% Nicht publizierte Verfahren Classical Test Theory Item Response Theory Adaptive Testing Computer Assisted Testing 60% 40% Publizierte Tests mit Testnormen Publizierte Tests ohne Testnormen 0 50 100 150 200 250 Publizierte Tests mit Testnormen Publizierte Tests ohne Testnormen Zu 2) Nach wie vor ist die Klassische Testtheorie die bestimmende psychometrische Grundlage der meisten publizierten Verfahren (Abb. 3). Im Zeitraum von 1991-2000 erreicht die Probabilistische Testtheorie (mit dem adaptiven Testen) ihren zahlenmäßigen Höhepunkt, zusammenfallend mit dem Anstieg computerunterstützten Testens seit den 80er Jahren (Abb. 3). Zu 2) Nicht publizierte Verfahren, die den größten zahlenmäßigen Anteil in PSYNDEX Tests ausmachen (Abb. 4), beruhen öfter als publizierte Verfahren auf der Klassischen Testtheorie, Computerunterstützung findet sich dabei seltener (Abb. 5). den deutschsprachigen Ländern bei. Zur Qualitätssicherung in der Psychologischen Diagnostik leistet die Probabilistische Test- theorie nicht den Beitrag der vielfach gefordert wird (Kubinger, 2000), um die Probleme der Klassischen Testtheorie zu vermindern. Im klinischen Bereich sollte, trotz spezieller Störungsbereiche und beschränkter Zielgruppen, eine entsprechende Normierung vermehrt angestrebt werden. Zu 3) Nicht alle publizierten Verfahren sind normiert (Abb. 6). Der absolute Höhepunkt publizierter Test mit Normen tritt in den 70er Jahren auf, während zwischen den Jahren 1991 bis 2000 sogar nicht normierte publizierte Tests gegenüber den normierten überwiegen (Abb. 7). 0% 5% 10% 15% 20% 25% 1971-1980 1981-1990 1991-2000 2001-2010 5% 8% 14% 24%

Herkunft sowie testtheoretische und psychometrische Fundierung psychologischer Tests im deutschsprachigen Bereich

Embed Size (px)

DESCRIPTION

Eberwein, M., Naescher, S., Schui, G. & Krampen, G. (2011, September).Herkunft sowie testtheoretische und psychometrische Fundierung psychologischer Tests im deutschsprachigen Bereich. (PDF) 11. Fachtagung für Differentielle Psychologie, Saarbrücken.

Citation preview

Page 1: Herkunft sowie testtheoretische und psychometrische Fundierung psychologischer Tests im deutschsprachigen Bereich

Manfred Eberwein, Saskia Naescher, Gabriel Schui & Günter Krampen Leibniz-Zentrum für Psychologische

Information und Dokumentation

ZPID

Universität Trier [email protected]

Ergebnisse

Herkunft sowie testtheoretische und psychometrische Fundierung

psychologischer Tests im deutschsprachigen Bereich

Präsentiert auf der 11. Fachtagung für Differentielle Psychologie in Saarbrücken, September 2011

Diskussion

Literatur American Psychological Association (APA) (Ed.) (2007). Thesaurus of Psychological Index Terms (11th ed.).

Washington: APA.

Debelak, R. (2009). Einige Trends der computergestützten psychologischen Diagnostik der letzten Jahre .

Psychologie in Österreich, 29 (5), 440-448.

Kubinger, K.D. (2000). Replik auf Jürgen Rost "Was ist aus dem Rasch-Modell geworden?": Und für die

Psychologische Diagnostik hat es doch revolutionäre Bedeutung. Psychologische Rundschau, 51 (1), 33-34.

Kubinger, K.D. (2009). Psychologische Computerdiagnostik. Zeitschrift für Psychiatrie, Psychologie und

Psychotherapie, 57 (1), 23-32.

Kubinger, K.D. (2010). Zur Zukunft des Verfahrensinventars psychologischen Diagnostizierens. In K.D. Kubinger

und T.M. Ortner (Hrsg.), Psychologische Diagnostik in Fallbeispielen (S. 30-42). Göttingen: Hogrefe.

Methode

Vor dem Hintergrund der derzeitigen Anglisierung psychologischer Publikationen aus deutschsprachigen Ländern (s.

Abb. 1) und der anhaltenden Kritik an den Methoden der klassischen Testtheorie sowie der anhaltenden Diskussion um

die Qualitätssicherung in der Testdiagnostik, wird den folgenden Fragen nachgegangen:

1) Wie verändern sich die Anteile von diagnostischen Eigenentwicklungen aus dem deutschsprachigen Bereich und

von Adaptionen angloamerikanischer Testverfahren über die Zeit?

2) Welche Entwicklungstrends ergeben sich hinsichtlich der testtheoretischen und psychometrischen Fundierung

bei publizierten Verfahren? Inwiefern unterscheidet sich davon die testtheoretische Fundierung nicht publizierter

Verfahren?

3) Welche Entwicklungstrends sind bezüglich der Testnormierung ersichtlich?

- Bibliometrische Methode: Auswertung von Informationen über psychologische Testverfahren anhand des

Datenbanksegments PSYNDEX Tests mit weit über 6.000 nachgewiesenen Verfahren aus dem deutschsprachigen Raum.

- Eingrenzungskriterien: Zwischen 1951 und 2010 in deutschsprachigen Ländern veröffentlichte Tests, kategorisiert

nach 1.175 deutschen Eigenentwicklungen vs. 264 deutschen Adaptionen angloamerikanischer publizierter Tests.

- Auszählung und anteilmäßige Berechnung der Anzahl publizierter (inklusive teilpublizierter und vergriffener)

psychologischer Tests bezüglich ihrer Herkunft (deutschsprachig vs. angloamerikanisch), ihrer testtheoretischen und

psychometrischen Fundierung (Classical Test Theory & Item Response Theory; Mehrfachnennungen möglich) sowie

relevanter Begleitaspekte (Adaptive Testing & Computer Assisted Testing; Mehrfachnennungen möglich) sowie ihrer

Normierung (normiert vs. nicht normiert).

- Bildung von Zeitreihen in Dekaden für den Zeitraum von 1951-2010.

- Datengrundlage: Publikationsjahre, Dokumenttypen in PSYNDEX Tests, Thesaurusbegriffe der APA (2007)

Zu 1) Die Spitze bei der Übertragung angloamerikanischer Verfahren ins Deutsche in den 90er Jahren

lässt sich in Zusammenhang bringen mit der Ausweitung klinisch-psychologischer Diagnostik verbunden

mit der Neu- und Weiterentwicklung psychologischer Behandlungsverfahren, den Bestrebungen nach einer

verbesserten Klassifikation psychischer Störungen sowie der Forderung nach einer Qualitätssicherung von

Psychotherapie. Dabei können von den mehr als 400 publizierten klinischen Verfahren ca. ein knappes

Drittel direkt auf Verfahren aus der angelsächsischen Psychologie zurückgeführt werden.

Zu 2) Nicht publizierte Verfahren weisen in der Regel eine weniger umfassende Testkonstruktion auf, da sie

vorwiegend in der Forschung z.T. nur einmalig eingesetzt werden, von daher wird öfter als bei publizierten

Verfahren die methodisch weniger aufwendige Klassische Testheorie bevorzugt. Die Möglichkeiten im

Rahmen der Probalistischen Testtheorie (z.B. Rasch-Modell) und des adaptiven Testens werden bei weitem

nicht genutzt (Debelak, 2009; Kubinger, 2000, 2009, 2010). Viele Testentwickler scheuen wohl den

methodischen Aufwand, der mit einer Überprüfung nach der Probabilistischen Testtheorie

zusammenhängt.

Zu 3) Der absolute Höhepunkt publizierter Tests mit Normen in den 70er Jahren spiegelt die Blütezeit

pädagogisch-psychologischer Verfahren wieder, die überwiegend für Belange der schul- und

bildungsberaterischen Praxis bestimmt und daher normiert waren. Dagegen wurden in den 90er Jahren

viele klinische Verfahren oder Dokumentationssysteme publiziert, für die keine Normierung im

repräsentativen Sinne angestrebt wurde.

Fazit: Das angloamerikanische Testwesen trägt indirekt erheblich zur psychodiagnostischen Entwicklung in

Abb. 1: Prozentualer Anteil der psychologischen Publika-

tionen von Autoren aus deutschsprachigen Ländern in

englischer Sprache (PSYNDEX Lit. & AV)

Abb. 4: Anteil

der publizierten

und nicht

publizierten

Verfahren

(1926-2010) in

PSYNDEX Tests

Abb. 5: Vergleich der testtheoretischen Fundierung (a) publizierter und (b) nicht

publizierter Testverfahren (PSYNDEX Tests), Mehrfachnennungen von Tests unter

verschiedenen testtheoretischen Grundlagen und Begleitaspekten enthalten

Zu 1) Analog zum Anstieg der psychologischen Publikationen

von Autoren aus deutschsprachigen Ländern in englischer

Sprache (Abb. 1) lässt sich seit den 80er Jahren auch ein

vermehrtes Übertragen von Instrumenten aus dem

englischsprachigen Bereich ins Deutsche feststellen, wobei

der Trend im Gegensatz zu den Publikationen seit 2001 etwas

rückläufig ist (Abb. 2).

Abb. 2: Anzahl von publizierten Testverfahren deutsch-

sprachigen vs. angloamerikanischen Ursprungs (PSYNDEX

Tests)

Abb. 6: Prozentsatz der publizierten

Testverfahren mit und ohne

Testnomen (PSYNDEX Tests)

Abb. 3 Anzahl der publizierten Testentwicklungen von 1951-

2010 nach testtheoretischer und psychometrischer Fundierung

(PSYNDEX Tests)

Abb. 7: Anzahl der publizierten Testverfahren mit und ohne

Normierung im Zeitverlauf (PSYNDEX Tests)

0

50

100

150

200

250

300

350

bis 1950 1951-1960 1961-1970 1971-1980 1981-1990 1991-2000 2001-2010

Classical Test Theory Item Response Theory*

Adaptive Testing* Computer Assisted Testing

3

38

86

266

211

272 268

3

11 11

38 47

85

66

bis 1950 1951-1960 1961-1970 1971-1980 1981-1990 1991-2000 2001-2010

Deutschsprachiger Ursprung Angloamerikanischer Ursprung

23%

77%

Publizierte Verfahren Nicht publizierte Verfahren

77%

4%

0% 19%

Publizierte Verfahren

Classical Test Theory Item Response Theory

Adaptive Testing Computer Assisted Testing

86%

2%

1% 11%

Nicht publizierte Verfahren

Classical Test Theory Item Response Theory

Adaptive Testing Computer Assisted Testing

60%

40%

Publizierte Tests mit Testnormen

Publizierte Tests ohne Testnormen

0

50

100

150

200

250

Publizierte Tests

mit Testnormen

Publizierte Tests

ohne Testnormen

Zu 2) Nach wie vor ist die Klassische Testtheorie die

bestimmende psychometrische Grundlage der meisten

publizierten Verfahren (Abb. 3). Im Zeitraum von 1991-2000

erreicht die Probabilistische Testtheorie (mit dem adaptiven

Testen) ihren zahlenmäßigen Höhepunkt, zusammenfallend

mit dem Anstieg computerunterstützten Testens seit den 80er

Jahren (Abb. 3).

Zu 2) Nicht publizierte Verfahren, die den

größten zahlenmäßigen Anteil in PSYNDEX

Tests ausmachen (Abb. 4), beruhen öfter als

publizierte Verfahren auf der Klassischen

Testtheorie, Computerunterstützung findet

sich dabei seltener (Abb. 5).

den deutschsprachigen Ländern bei. Zur

Qualitätssicherung in der Psychologischen

Diagnostik leistet die Probabilistische Test-

theorie nicht den Beitrag der vielfach

gefordert wird (Kubinger, 2000), um die

Probleme der Klassischen Testtheorie zu

vermindern. Im klinischen Bereich sollte, trotz

spezieller Störungsbereiche und beschränkter

Zielgruppen, eine entsprechende Normierung

vermehrt angestrebt werden.

Zu 3) Nicht alle publizierten

Verfahren sind normiert (Abb. 6).

Der absolute Höhepunkt

publizierter Test mit Normen tritt

in den 70er Jahren auf, während

zwischen den Jahren 1991 bis

2000 sogar nicht normierte

publizierte Tests gegenüber den

normierten überwiegen (Abb. 7).

0%

5%

10%

15%

20%

25%

1971-1980 1981-1990 1991-2000 2001-2010

5%

8%

14%

24%