Errores Conceptuales
y Metodolgicos
en la
Evaluacin PsicoPedaggica
Cmo Valorar un Test Psicomtrico
Monografa Tcnica
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
1
CMO VALORAR UN
TEST PSICOMTRICO?
Errores Conceptuales y Metodolgicos
en la Evaluacin PsicoEducativa
Autores: E. Manuel Garca Prez ngela Magaz Lago Psiclogos Consultores, Clnicos y Educativos
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
2
(Julio 2011, Versin 1.0)
-manuscrito no publicado-
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
3
Dedicatoria
Son muchas las personas a quienes nos gustara dedicar esta Monografa. Por una parte, a los profesores con quienes aprendimos psicometra, cuyos apuntes y enseanzas hemos seguido1, desde hace aos para elaborar todos y cada uno de nuestros test. Por otra parte, a los profesionales que valoran nuestra formacin posgrado, en cuyo programa se incluye un mdulo de esta temtica, en el cual siempre se sorprenden cuando comentamos estos contenidos. Pero quienes ms se merecen la dedicatoria son, sin ninguna duda, los padres atribulados por los problemas de sus hijos que acuden a nosotros solicitando una ayuda que exige una evaluacin conductual y psicomtrica en la que podamos fundamentar, con plena confianza, el mejor Plan de Accin posible. A todos ellos y con un especial agradecimiento a quienes nos han animado a elaborarla se la dedicamos. Julio de 2011
1 Las profesoras D. Mariana Martnez, de la Universidad Complutense de Madrid y D. Begoa Matellanes, de la Universidad de Deusto
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
4
Presentacin
Los autores coincidimos con otros profesionales en considerar que la difusin de
esta monografa puede conllevar cierto nmero de crticas negativas por haber llevado
a cabo, en la tercera parte del mismo, algo que muchos comentan en los pasillos,
pero que pocos han decidido hacer pblico en artculos u otras publicaciones. A este
respecto es muy llamativo que la Comisin de Test del Consejo de Colegios Oficiales de
Psiclogos, pese a su declaracin de intenciones de proceder a aplicar el modelo de
valoracin de test diseado por sus miembros en el ao 2000 (vase artculo resumido
en la pgina 38), no hubiera procedido a llevar a cabo ninguna evaluacin de los
mismos hasta la publicacin en el ao 2009 de nuestra obra precedente (Cmo
Valorar Test Psicomtricos). Esta publicacin ha sido objeto de una Demanda
Mercantil, por cuenta de sociedad mercantil TEA Ediciones, en base a la Ley de
Competencia, atribuyndose a sus autores haber incluido en ella contenidos falsos,
engaosos y denigratorios, lo que supondra una vulneracin de la ley incurriendo en
competencia desleal. Asimismo, diversos autores cuyas obras se encontraban incluidas
en el citado libro, presentaron demandas deontolgicas contra el primer autor, al
considerarse perjudicados personalmente por las crticas expuestas sobre alguna de sus
obras (en algn caso su nica obra)
Tanto en el caso de la mercantil, como de los autores, ninguno de ellos ha
aportado evidencias de las atribuciones de falsedad o engao en ninguna de las
valoraciones realizadas sobre sus obras, sino, que simplemente, sintindose
perjudicados en sus intereses, iniciaron tales acciones legales las cuales no han sido
resueltas definitivamente en el momento actual (la primera sentencia judicial ha
rechazado la peticin de la demandante de prohibir la comercializacin de libro; pese
a ello ha presentado un recurso ante la siguiente instancia judicial)
En cualquier caso, los autores y el grupo editor decidieron la descatalogacin de la
obra y su retirada del mercado con el fin de no incurrir en algn tipo de accin punible
por la legislacin vigente.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
5
Al margen de esta discusin comercial, el acuerdo entre profesores universitarios
de evaluacin psicomtrica, profesionales con experiencia y estudiantes aventajados,
es bastante comn: los profesionales de la Psicologa y la Educacin tenemos un
elevado nmero de test psicomtricos de escasa calidad, de base conceptual obsoleta
y muy deficientemente baremados en Espaa y otros pases latinoamericanos. De
modo que, al igual que el escritor mencionaba en su columna del diario2, somos
conscientes de que con la difusin de esta Monografa vamos a ganarnos algunos
enemigos, pero confiamos en que el nmero de amigos resulte superior al de
aqullos y, sobre todo y muy especialmente, que su difusin contribuya a mejorar la
calidad de los servicios que prestamos los psiclogos y otros profesionales a la
poblacin general.
Esperamos contar con la comprensin de quienes nos lean.
2 Fernando Snchez-Drag, EL LOBO FEROZ, Diario El Mundo de 14 de setiembre de 2009
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
6
ndice:
Pg. Carta a los lectores 8 Una breve historia 14 Qu es un test psicomtrico 16 Clases de test psicomtricos 18 La Valoracin de un test psicomtrico: cmo, por qu y para qu 20 Cmo valorar un test psicomtrico? 22 Validez
De Contenido 22
De Constructo 24
Predictiva 24
Concurrente 25
Discriminante 26 Fiabilidad
Test-retest 26
Consistencia Interna 26 Tipificacin 29 Utilizacin prctica 30 Resumen 32 Un ejemplo 35 Extracto de los criterios propuestos por la Comisin de Test 38
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
7
Anexo: Errores conceptuales y metodolgicos en la evaluacin con los siguientes test: ANSIEDAD, de Reynolds y Richmond 44
BENDER 46
BOEHM 47
CARAS 49
COBAR 51
CLP 53
COLUMBIA, Escala de Madurez Mental 55
CONCEBAS 56
CUMANIN 57
D2, test de Atencin 60
EACP 63
EDAH 64
EMTDAH 71
FORMAS IDNTICAS 73
FROSTIG 75
ITPA 77
MSCA 83
PFSE 87
PROLEC 93
STAI-C 98
TAMAI 101
TOULOUSE-PIRON 106
TO-PALABRAS 108
TONI-2 110
WISC-III 111
WISC-IV 115
Nota Importante 125 Sobre los autores 126 Bibliografa 127
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
8
Carta a los lectores
Estimado/a lector/a:
Nos gustara conocer la razn de tu inters por esta monografa, pero dada su naturaleza
creemos que slo caben tres posibilidades:
1. Eres un profesional que realiza evaluaciones psicopedaggicas (actitudes,
valores, aptitudes, habilidades,)
2. Eres un docente universitario que se ocupa de la enseanza o de las prcticas
de evaluacin
3. Eres un estudiante de psicometra o de evaluacin psicolgica
Evidentemente caben otras, pero este libro est escrito pensando especialmente en los
estudiantes, en los profesionales noveles y en los ms experimentados con una elevada
carga o exigencias en su trabajo; en aquel psiclogo o psicloga que un da fuimos los
autores de esta publicacin y que comenzamos nuestro trabajo empleando aquellos
recursos que nos ensearon en la Facultad con una confianza ciega en ellos. Nunca
dejaremos de reconocer el esfuerzo y la dedicacin de nuestros docentes, ni apreciaremos
suficientemente las enseanzas de aqullos que nos dieron lo mejor que tenan en esos
momentos.
Ahora bien, la Universidad es quizs el templo de la sabidura, pero con el tiempo
descubrimos que no es el templo de la verdad. Ni siquiera llega a ser el templo de la
realidad.
Han transcurrido ms de veinte aos desde nuestra graduacin y constatamos que las
enseanzas universitarias distan notablemente de la prctica psicolgica y psicoeducativa.
La distancia cada vez es mayor y, en nuestra opinin, lo que se ensea en las Facultades
de Psicologa y Educacin se encuentra muy alejado de la realidad o de las necesidades
cotidianas del profesional.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
9
La poblacin a la que prestamos nuestros servicios cree que empleamos los mejores y ms
actuales mtodos e instrumentos para llevar a cabo nuestro trabajo con la mayor eficacia
posible, desconociendo que la realidad es bien diferente: posiblemente ms del 75% de los
recursos conceptuales, instrumentales y metodolgicos que se emplean en la evaluacin
Psicopedaggica tienen ms de 30 aos de antigedad.
Durante los ms de veintisis aos de experiencia de los autores de este texto, hemos
seleccionado instrumentos de evaluacin a partir de la valoracin de su utilidad prctica,
despus de utilizarlos con mltiples casos y de realizar los ajustes pertinentes. Incluso,
desde el ao 1991, comenzamos a elaborar nuevos instrumentos, aprovechando los
conocimientos y experiencias acumulados a lo largo de los primeros aos de ejercicio
independiente y de docencia con otros profesionales. Por todo ello, unido a la inquietud
para contribuir a dignificar la profesin del psiclogo, disponemos de recursos para
proporcionar la mejor asistencia posible a quienes acuden a nosotros con plena o
moderada confianza en nuestro saber y entender. Sin embargo, cuando se es un
profesional novel no se poseen esos recursos y se confa, bien en las enseanzas de los
profesores de la Universidad, bien en los usos y costumbres tradicionales, normalmente
reflejados en publicaciones de todo tipo.
Uno de los problemas ms acuciantes a los que nos enfrentamos a principios de los aos
80, era la prctica ausencia de instrumentos de evaluacin psicomtrica elaborados en
Espaa, o al menos, adaptados de manera adecuada y bien baremados o tipificados con
la poblacin de nuestro pas:
Bender, Boehm, McCarthy, Itpa, Wisc, Frostig, Caras, Percepcin de Diferencias, Binet-
Simon, Kohs, Columbia, y otras decenas ms de test, todos ellos de un antigedad
notable, desarrollados en los Estados Unidos de Amrica de acuerdo a planteamientos
conceptuales de principio, o a lo sumo de mediados, del siglo pasado, eran los
instrumentos que nos ensearon, con los que practicamos y los que adquirimos para
nuestro trabajo profesional.
Cuestionamos alguna vez estos test? Cmo bamos a hacerlo si carecamos de criterios o
bien stos entraban en colisin con los consejos aportados por nuestros profesores?
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
10
Acaso ellos en su trabajo empleaban otros diferentes? No. Cules iban a aplicar si no
haba otros?
Ahora bien, qu sentido tiene que en la actualidad, a punto de entrar en el segundo
decenio del siglo XXI, sigamos empleando algunos instrumentos de escasa calidad
psicomtrica, de base conceptual superada o falsada por la experiencia, sin validacin
emprica alguna, con contenidos inadecuados para la realidad social actual, mal o
escasamente baremados con nuestra poblacin, ?
Sin embargo, a pesar de las deficiencias notorias de algunos de estos test, la mayor parte
de los profesionales continan utilizndolos sin considerar la posibilidad de elegir otros de
mayores ventajas psicomtricas; ahora ya s disponibles, gracias a que algunos
profesionales seguimos las sugerencias de psiclogos tan experimentados e inquietos
como el que referimos a continuacin:
"... desde aqu animamos a los investigadores espaoles a que generen sus propios
instrumentos; y por otro lado, a la bsqueda de tradiciones de pensamiento ms propias de
nuestra tradicin terica y cultural con el fin de ofrecer una psicologa mejor y de mejor
aplicacin para resolver problemas que existen en nuestro entorno fsico y social. Esta
especificacin no quiere decir que sea de menor calidad ni con menores garantas
metodolgicas que las que se utilizan en otros entornos. Lo que pide es que sean relevantes
y con la misma calidad metodolgica posible. Cuando hemos puesto en prctica estas
ideas los resultados han sido mejores con instrumentos generados desde nuestro propio
contexto que con otros importados. Y pensamos que los usuarios tienen derecho a recibir
los mejores servicios posibles" (Pelechano, 1997, p. 34)
El resultado de nuestro trabajo, durante los ltimos 20 aos, se concreta hoy en los
Protocolos Magallanes, que pueden encontrar en el sitio www.protocolomagallanes.es
Esta Monografa se elabora para ayudarte a valorar los instrumentos que ests utilizando o
que te preparas para empezar a utilizar en cuanto inicies tu andadura profesional.
Deseamos que seas consciente de las deficiencias de algunos de ellos, lo que
denominamos Errores Conceptuales y Metodolgicos, y que adquieras habilidades para
seleccionar los ya existentes o los de futura aparicin, de acuerdo a criterios de la mxima
calidad psicomtrica, de utilidad prctica y de eficacia para la elaboracin de informes,
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
11
psicopedaggicos o periciales. Agradeceremos todos los comentarios o valoraciones de
otros test para ir incorporndolos a la web www.preocupados.es
Los usuarios de nuestros servicios esperan y se merecen recibir la mejor asistencia
profesional posible, algo a lo que adems nos obliga el Cdigo Deontolgico del Psiclogo
(www.cop.es/cop/codigo.htm)
Artculo 17
La autoridad profesional del Psiclogo/a se fundamenta en su capacitacin y
cualificacin para las tareas que desempea. El/la Psiclogo/a ha de estar
profesionalmente preparado y especializado en la utilizacin de mtodos,
instrumentos, tcnicas y procedimientos que adopte en su trabajo. Forma parte de
su trabajo el esfuerzo continuado de actualizacin de su competencia profesional.
Debe reconocer los lmites de su competencia y las limitaciones de sus tcnicas.
Uno de los principales problemas a los que se enfrenta un estudiante de Psicologa, un
profesional novel o un profesional excesivamente ocupado para llevar a cabo el anlisis de
los instrumentos que se le ofrecen en el mercado de los test, es el hecho de que, con
frecuencia, los diversos instrumentos psicomtricos se mencionan en artculos cientficos y
semi-cientficos, en pginas bibliogrficas, en lugares de promocin comercial o en sitios
web de diversos profesionales o entidades, sin hacer jams mencin al ao en que se
publicaron. Este dato que podra alertar sobre su posible inadecuacin a los casos que
trata, se evita de manera sistemtica en los lugares ms destacados de sus webs o de las
publicaciones, tanto por parte de los editores como por quienes los emplean en sus
investigaciones.
Tales test, convenientemente "remozados" en las portadas de sus manuales o en sus
cuadernillos de aplicacin (lo cual en algunos casos puede llegar a constituir una
desvirtuacin del mismo) dan la impresin a los profesionales noveles de ser instrumentos
de reciente creacin. Como ejemplo paradigmtico de esta realidad puede visitarse el sitio
web de TEA Ediciones para comprobar cmo se ha mejorado la imagen del Test de
Formas Idnticas (Thurstone, L. L.) diseado en el ao 1944 y reimpreso en el ao 2007
(con 65 aos de antigedad). Este fenmeno tambin est presente en otras empresas de
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
12
test de diversos pases europeos, tal y como se puede comprobar al consultar sus
catlogos.
En otras ocasiones, lo que aparece como novedad editorial, confundiendo al profesional
que lo toma como un instrumento de reciente creacin, dado su formato moderno, es un
instrumento de tal antigedad que sus planteamientos conceptuales o los metodolgicos
resultaron superados hace tiempo. Ejemplo de este caso lo constituye el test de Atencin
d2, elaborado en el ao 1962 y publicado en Espaa en el ao 2002 (40 aos ms
tarde). Probablemente conoces los avances que ha habido en este tema, ligados al
desarrollo de los modelos neuropsicolgicos, los cuales han dejado obsoleto el citado test.
Se imaginan nuestras calles y autopistas llenas de vehculos de ms de 30 aos de
antigedad? Tales vehculos representaban el mayor avance tecnolgico de la Humanidad
en el campo de la locomocin, en los mismos aos en que Psiclogos y empresas editoras
de test ponan a disposicin de los profesionales algunos test psicomtricos.
Alguno de los Psiclogos acudira a su trabajo en uno de estos vehculos si pudiera elegir
hacerlo? Probablemente, NO. En tal caso, por qu en el maletero de su moderno y
tecnolgicamente adelantado coche sigue transportando el mismo test de hace 20, 30, 40
o ms aos de antigedad?
Las personas que reciben ayuda de un profesional de la Psicologa o de la Educacin
esperan siempre recibir la mejor respuesta posible. Elegir un instrumento psicomtrico con
las mejores cualidades de validez (de contenido/constructo), fiabilidad y baremacin
poblacional es una cuestin deontolgica y ms an "de conciencia". Las Facultades de
Psicologa y los Colegios Oficiales de Psiclogos tienen un elevado grado de
responsabilidad en la difusin de este tipo de actitudes y valores en cada nueva promocin
de profesionales, y en los veteranos ms ocupados. Esperamos que progresivamente la
asuman.
Por otra parte, el menosprecio al trabajo de desarrollo de un test lleva a muchos
profesionales a la copia ilegal de los componentes esenciales del mismo, sin tener en
cuenta, como frecuentemente avisan todos los editores, del riesgo que conlleva en
Cmo valorar un test psicomtrico?
trminos de reduccin o desaparicin de la investigacin para el desarrollo de nuevos y
mejores instrumentos. Evidentemente, no nos estamos refiriendo a la copia de hojas de
anotacin o incluso a parte de los manuales, como las instrucciones de aplicacin o
correccin, sino a los elementos esenciales del test, como son los elementos estimulares
que lo constituyen. Quizs la falta de rentabilidad econmica sea en parte la explicacin al
retraso tecnolgico de que adolece la Psicologa de habla hispana. Frente al gran
desarrollo de la psicometra en los Estados Unidos y Canad, Espaa, que podra liderar el
desarrollo de los test adecuados a la poblacin hispano-hablante, sigue empleando
instrumentos elaborados en otras pocas del conocimiento y en pases con diferencias
culturales que se expresan en lenguas diferentes.
Copyright de los autores. 2011.
13
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
14
Una breve historia: La elaboracin de test psicomtricos se inicia en el siglo XIX, cuando sir Francis
Galton, en el transcurso de sus investigaciones sobre el papel de la herencia,
comprendi la necesidad de efectuar mediciones de algunas caractersticas humanas.
En 1884 estableci un Laboratorio antropomtrico en la Exposicin Internacional
sobre Salud en Londres. Las personas podan pagar 3 peniques y conocer la medida
de algunos de sus rasgos fsicos y funciones sensoriales y motrices: agudeza visual y
auditiva, energa muscular, tiempo de reaccin,.... Con ello, consigui medidas de un
grupo suficientemente amplio y diversificado de la poblacin de cuyo anlisis pudo
establecer las primeras conclusiones estadsticas.
En 1890 James McKeen Cattell emple por primera vez en un artculo de la revista
Mind la expresin test mental y el trmino medidas.
En 1903, Alfred Binet public L'etude experimentale de l'intelligence (El Estudio
Experimental de la Inteligencia), en el cual explicaba los problemas que presentaba
establecer las diferencias entre los nios aventajados y los retrasados y los mtodos
empleados para identificarlos y evaluar sus diferencias.
La lnea central de investigacin de Binet fue la elaboracin de un test capaz de
diferenciar aquellos escolares cuyas capacidades les permitiran adaptarse al sistema
educativo normal, de aquellos que necesitaran un refuerzo extra, sealando adems
las carencias de los mismos. En el ao 1905 comenz la aplicacin de test colectivos
en las escuelas francesas.
La Primera Guerra Mundial marc un hito importante en la historia de los test, al
conllevar la introduccin por vez primera de test de aplicacin colectiva en la
poblacin. Cuando los Estados Unidos entran en guerra, se ven necesitados de
reclutar soldados y suboficiales de forma rpida.
Cmo valorar un test psicomtrico?
En 1917 Arthur S. Otis recibe el encargo de preparar unos test que permitan clasificar
a los reclutados: los test alfa y beta que fueron aplicados a cerca de dos millones de
personas. Se trataba de dos test muy sencillos, de aplicacin colectiva; el test alfa era
una prueba verbal, adecuada para sujetos con capacidad lectora y el test beta una
prueba no verbal, apropiada para sujetos con dficit de alfabetizacin.
Se iniciaba as la elaboracin de pruebas de uso individual o grupal para la obtencin
de informacin de un sujeto sobre alguna de sus caractersticas (habilidades
cognitivas, sensoriales o motrices) comparndola con un grupo social, cultural, etc., de
referencia.
Copyright de los autores. 2011.
15
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
16
Qu es un test psicomtrico? Un test psicomtrico constituye esencialmente una medida objetiva y tipificada de una
muestra de comportamiento (Anastasi, 1978 pg. 21)
Esta definicin implica rigurosamente lo siguiente:
Una Medida Objetiva, lo que significa que el mtodo de medicin debe verse
afectado lo menos posible por interpretaciones del sujeto o del evaluador.
As, un buen test se presenta a quien lo tiene que resolver de una manera muy clara y
concreta, sin generar dudas sobre la tarea que se le solicita. Igualmente, los criterios
de valoracin de las respuestas no pueden dejar lugar a dudas por parte del
evaluador sobre si la respuesta es acertada o errnea. Y, an ms, cuando una
escala de un test se construye con preguntas que pueden responderse con una
valoracin mltiple: 0, 1, 2, una misma puntuacin global en la escala puede
obtenerse con pocas preguntas de respuesta 2 o con ms preguntas de respuesta
1, lo cual supone un incumplimiento del requisito de objetividad.
Una Medida Tipificada, lo que significa que debe compararse con otras medidas de
sujetos, que resulten suficientemente representativas de la poblacin. Para ello se
tienen en cuenta las puntuaciones medias y la varianza de los resultados de una
muestra de referencia. Obviamente, la comparacin entre puntuaciones de sujetos
diferentes no debe realizarse con puntuaciones directas, sino con puntuaciones
tipificadas.
Lgicamente, los grupos de comparacin no pueden ser reducidos (30, 50, 80,
sujetos), ni encontrarse todos ellos formando parte de un mismo grupo social (en el
mismo colegio, la misma ciudad,)
Cmo valorar un test psicomtrico?
Debe tenerse en cuenta que vamos a establecer una comparacin entre los
resultados obtenidos por un individuo y los obtenidos por un gran grupo de poblacin
de caractersticas similares. Por ello, resultara poco adecuado obtener grupos de
baremacin (de los que se obtienen las puntuaciones tipificadas) de cuanta reducida
o procedentes de un mismo colectivo.
La Federacin Europa de Asociaciones de Psiclogos (E.F.P.A.) acord e hizo
pblicos (www.efpa.eu/reports) unos criterios tcnicos para valorar la calidad de los
test psicomtricos. Estos criterios consideran que los grupos de baremacin deben
estar constituidos por un nmero de 150 a 200 sujetos para considerarlo de calidad
suficiente. Evidentemente, cuanto menos diversificadas sean las muestras de
baremacin, mayor debe ser el nmero de sujetos que las integren. Y al contrario,
cuando se consiguen unas muestras de baremacin muy diversificadas y
aleatorizadas, ms aceptable es un nmero reducido de las mismas.
Copyright de los autores. 2011.
17
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
18
Clases de test psicomtricos
Los test pueden clasificarse de acuerdo con distintos y diferentes criterios. Una
clasificacin til los divide en test de:
a) Actitudes, Valores, Preferencias,... En este grupo se incluyen aquellos test en
los que se trata de medir lo que piensa el sujeto sobre un tema o aspecto de su
vida. Se incluiran aqu los test de Actitudes o Valores ante las relaciones
sociales, como el ADCA; de Adaptacin, como el TAMAI o la EMA; de Auto-
concepto, etc.
b) Personalidad. Grupo en el que se incluyen aquellos test en los que se trata de
medir lo que piensa, siente y cmo acta de manera habitual el sujeto.
Se incluiran aqu test como los EPQ, EPQ-J, 16-PF, MMPI, CPQ, etc.
Obviamente, cada uno de estos test solamente resulta adecuado para su empleo
con el grupo de poblacin con el que se validaron y no con otros grupos.
Un error frecuente de los evaluadores consiste en emplear test, como el MMPI,
validado con poblacin psiquitrica, con personas mentalmente sanas, con el
supuesto objetivo de detectar anomalas psicopatolgicas.
c) Rendimiento o Aptitudes. Grupo que incluye a todos los test que pretenden
medir el grado de habilidad o destreza que tiene el sujeto en un campo o rea
de comportamiento. Dado que estos test realizan mediciones sobre muestras de
comportamiento, todos ellos son test de Habilidades. El evaluador, no realiza
una medida de la capacidad o aptitud del sujeto, sino que, a travs de la medida
de su grado de habilidad, infiere la capacidad o aptitud del sujeto para realizar
algo.
Cmo valorar un test psicomtrico?
A su vez, los test de rendimiento pueden sub-clasificarse en otras mltiples
categoras. Como pueden ser:
Habilidades intelectuales (RAVEN, IGF, WISC, TONI-2, CERVANTES, EMIN-6)
Habilidades atencionales (CARAS, TOULOUSE-PIRON, EMAV)
Habilidades verbales (ITPA, PLON, TALE-2000, ELA-R)
Habilidades lingsticas (TALE-2000)
Habilidades mecnicas
Habilidades artsticas (creatividad),
Habilidades motrices
Habilidades sensoriales
Etc.
Copyright de los autores. 2011.
19
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
20
La valoracin de un test psicomtrico: cmo, por qu y para qu
Todo profesional que desempee tareas de evaluacin diagnstica se ve en la necesidad
de valorar los test psicomtricos de que dispone en el mercado profesional con la finalidad
de seleccionar aqullos que cumplan los mejores criterios para el uso al que les destina.
Si el profesional se dedica a la intervencin psicoeducativa, la evaluacin previa de los
escolares le resulta imprescindible y, por lo tanto, tambin necesita valorar los
instrumentos de medida.
En el campo de la psicologa forense, la gran responsabilidad que conlleva la evaluacin
pericial de los casos en litigio, exige a los profesionales un cuidado esmerado en la
eleccin de test como elemento de contraste y evidencia emprica de sus conclusiones.
Ahora bien, como en todos los campos de la ciencia, la Psicometra se encuentra en
desarrollo, siguiendo las pautas de los cambios de paradigmas conceptuales de la
Psicologa. Este fenmeno es observable retrospectivamente, al constatar cmo en una
poca de predominio de los postulados psicoanalticos, los test en uso eran todos ellos de
naturaleza proyectiva (Fbulas de Duss, Figura Humana, H.T.P., Rorschach, CAT, TAT,
test de Luscher, Wartegg,) mientras que en los ltimos 30 aos, el abandono progresivo
del psicoanlisis ha llevado a los profesionales al mayor empleo de test psicomtricos.
Asimismo, un anlisis de la realidad actual, transcultural, nos permite comprobar cmo en
aquellos pases donde predominan todava los planteamientos psicodinmicos (Argentina,
Chile,...) sigue predominando el empleo de test proyectivos frente a los psicomtricos.
Por ello, tanto el profesional con experiencia, como el novel, necesitan disponer de
conocimientos prcticos, sencillos y rpidos para valorar la mayor o menor adecuacin, a
su desempeo profesional, de test clsicos y nuevos.
Cmo valorar un test psicomtrico?
El objetivo de esta Monografa es proporcionar un resumen claro y preciso de los criterios
de valoracin de test psicomtricos que puedan emplear Asesores, Orientadores y
Consultores, en sus actividades de Evaluacin Psicoeducativa, aunque puede generalizarse
a diversos campos de actuacin profesional de la Psicologa. Evidentemente, cualquier
profesional ha cursado en sus estudios de graduacin, asignaturas de Estadstica,
Psicometra, Psicologa Experimental, Diseo y Anlisis de Datos y/o similares, por lo cual,
lo que aqu se expone no ser novedoso, ni les resultar de difcil comprensin;
nicamente exponemos una visin aplicada, concreta y prctica de sus conocimientos.
Durante los pasados aos, en nuestra experiencia con posgraduados, al impartirles un
curso sobre Valoracin de Test Psicomtricos (Mster en Asesoramiento, Evaluacin e
Intervencin PsicoEducativa, ASEVINPE, del GAC), pudimos comprobar cmo los
participantes agradecan el resumen conceptual y metodolgico que supona la realizacin
de este curso. En sus comentarios, destacaron que no haban aprendido nada nuevo,
pero que haban integrado sus conocimientos previos de un modo novedoso, sencillo y
eficaz. Este es el objetivo que pretendemos con esta publicacin, planteado con una
finalidad: proporcionar a los usuarios de los servicios de Evaluacin Psicolgica la
posibilidad de recibir la mejor asistencia profesional en cuanto se refiere a la evaluacin
diagnstica de las dificultades de nios y adolescentes.
La mejor asistencia profesional favorece tanto al profesional, como al usuario de sus
servicios, entendiendo por mejor la que resulta ms econmica en trminos de
coste/beneficio; esto es: la evaluacin ms rpida, segura, cmoda y, sobre todo, ms
fiable, aquella en cuyos resultados se puede confiar para tomar decisiones respecto a las
ayudas que necesitan los escolares para mejorar su situacin de desarrollo.
Copyright de los autores. 2011.
21
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
22
Cmo valorar un test psicomtrico?
La Valoracin de un test psicomtrico es un procedimiento, al que se ve enfrentado en
diversas ocasiones todo profesional de la Psicologa, que puede llevarse a cabo con
distintos criterios, dependiendo del contenido y la finalidad de uso del instrumento que se
desea valorar.
De manera general, los aspectos fundamentales a tener en cuenta son los siguientes:
1A. VALIDEZ B. FIABILIDAD C. TIPIFICACIN D. UTILIDAD
A. VALIDEZ: Se denomina validez de un test al grado en que dicho test mide lo que
pretende medir. Esta es la primera condicin, indispensable, que debe reunir un test de
calidad: poseer una validez ptima, dado que de no ser as el resto de criterios de
valoracin posibles resultan insignificantes. Si un test pretende medir ansiedad, lo
esperable es que mida indicadores de ansiedad. Si un test pretende medir autoestima, lo
esperable es que mida indicadores de autoestima.
La validez puede estudiarse desde diversas perspectivas:
A.1. Validez de Contenido: un test posee validez de contenido cuando los elementos de
cada escala corresponden fielmente a la definicin operativa de cada variable a medir.
Lo deseable, aunque no siempre sucede as, es que los autores del test hagan explcita la
definicin operativa de la variable o variables que mide su test.
Si esta definicin no se encuentra de manera explcita en su manual tcnico, entonces
debemos considerar si, a nuestro juicio profesional, los elementos del test corresponden
realmente a manifestaciones de la variable que el profesional desea medir.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
23
Por ejemplo: si un test se denomina de ansiedad pero incluye indicadores de depresin,
no es un test vlido para medir ansiedad (vase como ejemplo el STAI, Spilberger, C.)
Lamentablemente, algunos autores, con innegable buena fe, pero confundidos por la
fantasa de la estadstica, construyen test o escalas siguiendo un procedimiento
estadstico: el denominado anlisis factorial exploratorio. Este mtodo, que no es otra cosa
que un estudio mltiple de correlaciones entre elementos, puede inducir a errores muy
graves, ya que puede considerar que los elementos que correlacionan entre s constituyen
una escala que mide una misma variable. Ese error es muy frecuente y se puede detectar
rpidamente, si en el manual tcnico analizamos el apartado en el que se explica cmo se
construy el test y encontramos que se llev a cabo mediante anlisis factorial. Este dato,
aadido a la ausencia de una definicin operativa de cada variable (o factor) que mide el
test nos permite saber que su construccin no es vlida.
Un ejemplo que usamos habitualmente para explicar este error metodolgico:
Si tomamos medidas sobre el desarrollo de un nio con indicadores de lenguaje (palabras
que conoce), indicadores de conocimientos culturales o de la naturaleza, habilidades de
clculo matemtico, e incluimos, por ejemplo, el tamao de sus pies y la longitud de sus
orejas,
Al estudiar a nios de edades entre 4 y 8 aos, veremos que existe una correlacin muy
elevada entre:
1. tamao de los pies y tamao de las orejas (lo cual sera un indicador de desarrollo
fsico)
2. amplitud de vocabulario, conocimientos culturales y clculo aritmtico (lo cual sera
indicador de desarrollo curricular)
Pero nuestra sorpresa sera enorme al ver que un posible anlisis factorial exploratorio
podra muy bien indicar que todos los indicadores estn incluidos en un nico factor que
podramos denominar ndice de desarrollo. Pues bien, a nadie se le oculta que no
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
24
podemos sumar la longitud del pie con la cantidad de palabras que conoce un nio, ya
que el resultado sera una media estadstica que lejos de aportar informacin
nicamente confunde y favorece conclusiones errneas.
Pero tiene perfecto sentido constatar la correlacin entre un posible ndice de
conocimientos curriculares de vocabulario y un ndice de desarrollo fsico, ya que entre
los 4 y los 8 aos de edad el nio se desarrolla en ambas reas.
A.2. Validez de Constructo: un test posee validez de constructo cuando las escalas que lo
constituyen, corresponden fielmente al constructo que trata de medir, definido por los
autores de test en base a los conocimientos aportados por la Psicologa o las disciplinas
que corresponda.
Por ejemplo: si un test trata de medir inteligencia, entendida sta como capacidad de
razonamiento, no puede estar compuesto, como, por ejemplo, el K-BIT, de Kaufman por
dos escalas independientes: una escala que mide vocabulario y otra que mide
razonamiento.
Por otra parte, si un test trata de medir ansiedad, que es una respuesta fisiolgica, no
puede incluir una escala de pensamientos depresivos.
Como puede comprobarse fcilmente, la ausencia de validez de contenido afecta
gravemente a la validez de constructo.
A.3. Validez Predictiva o Criterial: si el test desea realizar una prediccin de conducta o
comportamiento, grado en que correlaciona con un criterio externo.
No siempre se utiliza un test para efectuar predicciones, en cuyo caso, no corresponde
estudiar su validez predictiva. Sin embargo, en los casos adecuados, esta validez
predictiva debe indicarse en el manual y su valor debe ser notablemente superior al 50%.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
25
Entindase que una validez predictiva del 50% equivale a lanzar una moneda al aire. El
uso del test se justifica si su prediccin es notablemente superior a este 50%.
A.4. Validez Concurrente o Convergente: constituye un modo de valorar la validez de
constructo. La validez concurrente o convergente de un test hace referencia al grado en
que la medida que realiza coincide con la medida proporcionada por otro test que evala
la misma variable por un procedimiento diferente. Un ndice de validez de un nuevo test
lo proporciona una alta correlacin con otro test de validez ya constatada anteriormente
para la misma medida. De modo opuesto se puede analizar la Validez Divergente.
Se podra cuestionar la necesidad de un nuevo test cuando se dispone ya de otro que
satisface la necesidad de evaluacin. Las razones son varias:
a) un test vlido y fiable puede haber quedado obsoleto por aspectos meramente
formales (de forma: expresiones culturales, formato de presentacin,) lo cual justifica
que se elabore otro nuevo, superando al anterior en estos aspectos y acumulando las
bondades del anterior o anteriores.
b) un nuevo test que evale lo mismo que otro anterior, vlido y fiable, puede justificarse
por razones de economa, ser ms breve, resultar ms cmoda su administracin o
correccin,
En todo caso, cuando no se dispone de un test suficientemente vlido y fiable, resulta
innecesaria, por imposible, establecer la validez convergente del nuevo test. En estos
casos, a veces se informa de la escasa validez convergente del test nuevo con respecto a
otro al que se pretende sustituir por su dficit de validez o de fiabilidad.
En ocasiones, para asegurar la validez de un test para evaluar una variable y no otra u
otras, se analiza la correlacin con otro/s test/s que miden otra/s variable/s y se establece
una validez divergente, en trminos de muy escasa correlacin con ellos.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
26
A5. Validez Discriminante: se refiere a la posibilidad de distinguir a los sujetos
con respecto a la variable que mide el test.
Por ejemplo: un test de eficacia atencional debe asegurar que los sujetos que sacan
puntuaciones bajas tienen menos eficacia atencional que los que obtienen puntuaciones
altas. Un test de inteligencia debe asegurar que las puntuaciones bajas corresponden a
sujetos de nivel intelectual significativamente por debajo de la zona media y que las altas
corresponden a los situados significativamente por encima de la zona media.
La gran relevancia de esta validez se ha destacado en la X Conferencia de la Asociacin
Europea de Evaluacin Psicolgica, en setiembre de 2009 (Mler Jrg Michael, Hospital
Universitario de Mnster).
B. FIABILIDAD: la fiabilidad es el grado en que un test realiza la medicin con exactitud.
El estudio de la fiabilidad siempre debe realizarse con posterioridad al estudio de la
validez, entendindose que si el test no es vlido para lo que afirma medir, qu sentido
tiene asegurar que es ms o menos fiable? De anloga manera a la validez, la fiabilidad
de un test se puede analizar de varias maneras.
B.1. Fiabilidad Test-Retest: Grado de estabilidad temporal de la medida; un indicador de
que siempre mide igual cuando el constructo es estable. Un test que proporciona una
medida cuando se aplica en una ocasin y otra medida cuando se aplica en otra ocasin
diferente, no tiene buena fiabilidad.
B.2. Fiabilidad o Consistencia Interna: Grado en el que cada elemento de una escala del
test contribuye a dar estabilidad a la medida de cada caracterstica. Obviamente, cada test
est constituido por diversos elementos. Se da por supuesto que cada elemento contribuye
a medir lo mismo que los dems y que su suma constituye una medida total.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
27
Sin embargo, pudiera ser que algn elemento no contribuya de manera significativa a la
misma medida que los otros, lo que debera llevar al autor a desestimarlo.
En este aspecto conviene destacar que los valores de consistencia interna aumentan con el
nmero de elementos del test. Por ello, para valorar la fiabilidad es fundamental estudiar
los ndices de homogeneidad de cada elemento (correlacin de cada elemento con el total
de la escala de la que forma parte). Cuando estos ndices son mayores de 0,3 podemos
estar seguros de la consistencia interna del instrumento.
Tambin se suelen considerar los ndices de correlacin entre elementos; sin embargo, se
debe tener presente que un ndice de correlacin entre elementos (normalmente entre
pares-impares) elevado no es una garanta de fiabilidad del test, ya que puede haber
muchos elementos similares, formulados de manera diferente, convenientemente situados
en lugares pares o impares para asegurar un elevado ndice de correlacin.
Por otra parte, cuando se indican elementos cuyos coeficientes tem-total arrojan valores
menores a 0,35 deben considerarse de baja consistencia.
Entendida la fiabilidad de un test como la cualidad que permite confiar en sus resultados,
sta tambin se ve afectada por otros factores; como pueden ser:
1. Una excesiva cantidad de elementos, lo que hace que se llegue a los ltimos con un
estado de fatiga fsica o bien con un estado de desmotivacin. Las respuestas de los
ltimos elementos pueden ser mucho menos fiables que los primeros, lo que afectara a la
totalidad de la prueba. Este puede ser el caso de las Escalas BASC, bien elaboradas pero
de dudosa fiabilidad (en su aspecto prctico) por la excesiva longitud de las mismas.
Adems, un test con ms de 15 20 elementos puede aumentar la fiabilidad de forma
errnea.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
28
2. La presencia de elementos del test formulados en trminos negativos:
No me gusta cambiar de planes ( ) Nunca ( ) A veces ( ) A menudo
Se ha comprobado en mltiples ocasiones que en castellano, la formulacin negativa
afecta seriamente a la comprensin del sentido en el que deben darse las respuestas. De
hecho, al revisar las respuestas con los sujetos, con frecuencia stos indican que lo
entendieron en sentido contrario.
3. La inclusin en la formulacin de los elementos del test aspectos relacionados con la
frecuencia o intensidad de la variable a medir:
Frecuentemente cambio de planes ( ) Nunca ( ) A veces ( ) A menudo
Muchas veces pienso en hacer un viaje ( ) Nunca ( ) A veces ( ) A menudo
Tiene excesiva inquietud motora ( ) Nada ( ) Poco ( ) Bastante ( ) Mucho
Esto hace, en ocasiones, imposible responder adecuadamente a la pregunta formulada,
afectado a la confiabilidad de la medida. Curiosamente, instrumentos de amplio uso entre
los profesionales adolecen de esta deficiencia; tal es el caso de las Escalas de Conners y la
EDAH para la deteccin de Dficit de Atencin con Hiperactividad.
4. La presencia de enunciados complejos, confusos, difciles de entender por todos los
sujetos:
Sus esfuerzos se frustran fcilmente, es inconstante...
Su actitud es impropia y escasamente apreciable desde un punto de vista objetivo...
Si el enunciado no es claro y concreto, unos sujetos lo contestarn entendindolo de una
manera y otros de otra diferente, con lo que sus resultados no sern comparables entre s
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
29
C. TIPIFICACIN: la tipificacin de un test es el aspecto final de su valoracin
psicomtrica, que va ligado a su fiabilidad.
En la medida en que la tipificacin-baremacin es una caracterstica del test de todo
punto fundamental, afecta seriamente a la calidad psicomtrica del mismo.
Todo test que intenta situar a un sujeto con relacin a un grupo de referencia debe
acreditar que ha sido aplicado a una muestra amplia y significativa de la poblacin con la
cual se utilizar posteriormente.
Obtener estas medidas es el proceso de baremacin del test. Las muestras de poblacin
que participan en el estudio de baremacin deben cumplir los siguientes requisitos:
a) ser suficientemente amplias,
b) estar diversificadas y no proceder del mismo lugar, y
c) representar adecuadamente al grupo al que pertenece la persona que ser
evaluada con el test.
Adems de que las muestras deben estar bien definidas y ser amplias, el proceso de
tipificacin debe ser realizado con las mximas garantas; esto es, llevado a cabo por
profesionales con experiencia en la administracin de test (evitando el empleo de
estudiantes, sin experiencia previa) y siguiendo estrictamente las instrucciones de
seleccin de sujetos y de aplicacin y valoracin del instrumento.
Algunos test evalan caractersticas que se distribuyen normalmente en la poblacin, pero
en otras ocasiones esto no es as. Por ejemplo, la distribucin de los niveles de ansiedad
no suele ser normal, sino asimtrica, mientras que la de la inteligencia lgica es normal.
Por ello, todo test debera proporcionar como informacin relevante para su valoracin las
curvas de distribucin en la poblacin con la que se obtuvieron los baremos.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
30
Adems, es muy importante conocer si el test tiene efecto techo. Es decir, si a partir de
cierta puntuacin todos los sujetos tienen la misma.
Resulta fundamental conocer con detalle las caractersticas de la muestra de tipificacin,
ya que eso permitir al evaluador determinar la fiabilidad del test en unos u otros grupos
de poblacin.
Por ejemplo: no se puede utilizar un test de problemas emocionales, tipificado con
muestra de poblacin general, con sujetos de poblacin clnica o al revs.
D. UTILIDAD PRCTICA: Todo test se disea o desarrolla con cierta finalidad. Existen
test que se disean con fines exclusivamente de investigacin, mientras que otros se
disean para su aplicacin en la elaboracin de programas de intervencin educativa o
teraputica.
Cada test puede considerarse de mayor o menor utilidad, en funcin de su finalidad. As,
un test puede tener una calidad indiscutible pero, no servir al profesional para
determinada finalidad, en cuyo caso, su empleo es, sencillamente, intil.
Los test psicomtricos se pueden emplear para conocer datos sobre una poblacin o sobre
un sujeto, siempre con una finalidad concreta:
D.1. Descriptiva: lo que se desea es conocer la distribucin de puntuaciones en una o ms
variables.
Ejemplo: conocer los miedos o temores de los escolares de secundaria ante los exmenes
D.2. Evaluativa: lo que se desea es integrar las medidas obtenidas con el test con otras
informaciones, para elaborar hiptesis explicativas de un fenmeno conductual o bien,
conocer la influencia de un proceso de intervencin en una o ms variables.
Ejemplo: encontrar una posible explicacin al bajo rendimiento escolar
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
31
D.3. Teraputica: se desea conocer algunas caractersticas de un sujeto para disear una
estrategia de tratamiento en funcin de las medidas obtenidas.
Ejemplo: conocer el nivel de intensidad de un trastorno depresivo o conocer factores
predisponentes de un sujeto para padecer un trastorno por estrs
D.4. Investigadora: llevar adelante una investigacin bsica o emprica.
El investigador puede emplear los mismos test que el profesional, dependiendo de la
finalidad de la investigacin.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
32
EN RESUMEN Si el lector desea un esquema-resumen de estos criterios para valorar mnimamente un test psicomtrico, con vistas a su empleo profesional, puede utilizar los cuadros de las pginas siguientes.
Cmo valorar un test psicomtrico?
VALORACIN DE UN TEST PSICOMTRICO
VALIDEZ DE CONSTRUCTO
Copyright de los autores. 2011.
33
Se describen operativamente las variables a medir? Se informa del modelo conceptual en el que est basado el test?
VALIDEZ DE CONTENIDO
Los elementos de cada escala corresponden a la definicin operativa de cada variable?
FIABILIDAD
Consistencia interna alrededor de 0.80 (para test con menos de 10 elementos)? ndice de homogeneidad de cada elemento superior a 0.3, para todos, especialmente en los test de ms de 10 elementos? Test-retest superior a 0.80?
TIPIFICACIN
Se describe con detalle la procedencia de la muestra? Muestra superior a 150 sujetos por grupo de edad/sexo? Muestra aleatorizada? Muestra geogrficamente amplia? Muestra socio-culturalmente amplia y representativa? Se proporciona descripcin de la distribucin de las puntuaciones en la muestra de baremacin: normal/asimtrica?
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
34
Sirve para disear una estrategia de actuacin? Sirve para valorar la eficacia de una estrategia de actuacin? Comparte el test el modelo conceptual de algn Programa de Intervencin? Para los test de habilidad: incluye un registro de observacin de ejecucin que permite explicar resultados incongruentes con otras fuentes de informacin?
VALIDEZ PREDICTIVA
Est documentada de manera fiable la correlacin entre la medida del test y un criterio externo?
VALIDEZ CONCURRENTE / DIVERGENTE
Est documentada de manera fiable la correlacin entre la medida del test y otros test que midan la misma variable? Est documentada de manera fiable la independencia entre la medida del test y otros test que midan distintas variables conceptualmente prximas?
VALIDEZ DISCRIMINANTE
Est documentada de manera fiable la capacidad del test para discriminar a los sujetos con altas y bajas puntuaciones?
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
35
2UN EJEMPLO
3de valoracin de la Validez de Constructo y de Contenido
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
36
Las Escalas Magallanes de Evaluacin de Hbitos Asertivos Las Escalas Magallanes de Hbitos Asertivos se han diseado para evaluar el grado de asertividad con el que se suele relacionar una persona a partir de los 12 aos de edad. Al tratar de evaluar comportamiento asertivo, inicialmente hay que definir el constructo asertividad y constatar la validez de constructo del instrumento. Este instrumento consta de tres versiones, una que corresponde a los padres de un adolescente, en la cual, se solicita que informen de la frecuencia de diversos comportamientos de su hijo en estudio. Otra escala, correspondiente al profesorado tutor, a quien se solicita que informe de diversos comportamientos de este escolar en estudio. La ltima escala es un auto-informe del escolar sobre la frecuencia de diversos comportamientos suyos. En los tres casos, al tratar de evaluar asertividad, como aquella clase de comportamientos que constituyen un acto de respeto a uno mismo y a los dems, se ha decidido elaborar dos escalas conceptualmente diferentes entre s: una escala auto-asertividad permite evaluar el grado en que el individuo acta con respeto a s mismo; otra escala hetero-asertividad, permite evaluar el grado en que el individuo acta con respecto hacia los dems. Al disponer de dos escalas, es posible valorar el estilo de comportamiento del individuo, por comparacin entre las puntuaciones obtenidas en cada escala: Pasivo, Agresivo, Pasivo-Agresivo o Asertivo3. As diseado, el instrumento tiene acreditada su validez de constructo, ya que est construido con las dos escalas que permiten describir o identificar su estilo de conducta social, segn el constructo asertividad. Sin embargo, esta estructura no asegura su validez de contenido. Para asegurar la validez de contenido se debe proceder a analizar cada uno de los elementos que constituyen cada escala. En el caso de la escala de auto-asertividad, todos y cada uno de los elementos deben representar una interaccin que manifieste respeto a s mismo. De manera anloga, la escala de hetero-asertividad debe estar compuesta por elementos que representen interacciones de respeto a los dems. Una vez constatadas ambas condiciones, podemos asegurar la validez de contenido. Un posterior anlisis de fiabilidad de ambas escalas nos permitir constatar la consistencia interna de cada una de ellas y el ndice de homogeneidad de cada uno de los elementos, asegurando as que los elementos estn adecuadamente formulados y resultan comprensibles para las personas que respondern al instrumento. No se propone un ndice general porque el constructo tiene dos componentes independientes.
3 Para ms detalles puede consultarse el manual del test, EMHAS
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
37
Escala de Auto-asertividad:
Expone y defiende sus ideas de manera respetuosa con los dems
Cuando se enfada, expresa su malestar de manera adecuada
Expresa sus sentimientos sin reparos, pero de manera adecuada
Se muestra enfadado/a o disgustado/a cuando no hace las tareas perfectamente
Cuando quiere algo, lo pide educadamente, de manera clara y directa
Le cuesta mucho cambiar de opinin
Cuando le preguntan algo que no sabe, lo reconoce sin buscar excusas o justificaciones
Felicita a sus compaeros/as cuando hacen algo que le gusta
Cuando no entiende algo, se enfada bastante
Cuando se equivoca busca excusas para justificarse
Cuando tiene alguna duda pregunta de manera correcta
Si necesita ayuda la pide con buenos modales
Cuando hace algo que perjudica a algn/a compaero/a lo reconoce y pide disculpas
Acta de manera independiente, sin dejarse llevar por lo que hagan o digan los dems
Cuando cree que le critican injustamente, se defiende de manera adecuada
Sabe negarse, cortsmente, cuando los/as compaeros/as le piden que haga algo que no
quiere hacer
Escala de Hetero-asertividad:
Suele criticar a los/as dems cuando se equivocan, olvidan algo o hacen algo mal
Admite, sin enfadarse, que los dems le nieguen algo que les pide
Protesta o se enfada cuando le critican
Cuando dice algo que los dems no entienden, vuelve a explicarlo sin enfadarse
Se enfada, cuando los dems le llevan la contraria
Admite, sin enfadarse, que los dems cambien de opinin
Cuando le piden cosas, responde con buenos modales
Se molesta cuando se le hacen preguntas personales
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
38
Extracto de los criterios propuestos por la Comisin de Test:
UN MODELO PARA EVALUAR LA CALIDAD DE LOS TEST
UTILIZADOS EN ESPAA
Gerardo Prieto* y Jos Muiz**
* Universidad de Salamanca. ** Universidad de Oviedo
Papeles del Psiclogo: Revista del Colegio Oficial de Psiclogos. Ao 2000. Nmero 77, pp. 65-75
0Resumen En el ejercicio de su profesin los psiclogos utilizan con frecuencia los test para la obtencin de datos. Para que los datos as obtenidos sean de calidad y puedan ayudar al psiclogo a tomar las decisiones adecuadas, los test utilizados han de reunir las propiedades tcnicas oportunas. Un medio eficaz para mejorar los test y su prctica es ofrecer a los usuarios toda la informacin posible acerca de su calidad y caractersticas. El Colegio Oficial de Psiclogos tiene la intencin de promover un proceso de evaluacin de los test ms utilizados en Espaa para proporcionar as una informacin tcnica precisa a los usuarios de las pruebas. En este artculo se describen las caractersticas del procedimiento de evaluacin y se presenta un modelo de cuestionario para llevar a cabo la evaluacin.
Los test psicolgicos constituyen una de las herramientas ms importantes al servicio de la prctica
profesional y de la investigacin de los psiclogos. Como ocurre con cualquier otra tecnologa cientfica, los test pueden utilizarse de forma correcta o incorrecta. La Comisin de Test se cre para promocionar y potenciar el uso adecuado de los test en nuestro pas. Para llevar a cabo esta tarea, la Comisin funciona de forma coordinada con otros grupos de trabajo internacionales con fines similares, tales como la Federacin Europea de Asociaciones de Psiclogos Profesionales (EFPPA), o la Comisin Internacional de Test (ITC).
En nuestro pas las informaciones acerca de las caractersticas de los test no son exhaustivas, estn muy dispersas, no son fcilmente accesibles o, al ser facilitadas por el editor del test, no pueden ser consideradas independientes e imparciales. Por este motivo, los profesionales carecen en muchas ocasiones de orientaciones cientficas que les permitan seleccionar el instrumento ms apropiado para sus objetivos. Consciente de este problema, la Comisin de Test del COP ha diseado un modelo estandarizado de evaluacin de test (CET) con la finalidad de revisar los test empleados en nuestro pas, al objeto de informar a los usuarios sobre su calidad tcnica. Puesto que se dispone de datos recientes bastante fiables sobre los test ms usados en los distintos campos profesionales de la psicologa (Muiz y Fernndez-Hermida, 2000), es intencin de la Comisin de Test focalizar inicialmente en estas pruebas las revisiones, aunque tambin sera posible incluir otros test en la primera fase de evaluacin a instancias de editores y autores.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
39
El objetivo de este artculo es la descripcin de un posible proceso de revisin a seguir, y la presentacin del modelo de cuestionario que se utilizara en las revisiones de los test. Consideramos que la publicacin del sistema de evaluacin y de los criterios de evaluacin generar un beneficio colateral aadido a la informacin tcnica facilitada, a saber, informar a los autores de test de los estndares de calidad que han de poseer las nuevas pruebas que aparezcan en el mercado. Tanto el sistema de evaluacin que se describe a continuacin, como el modelo de cuestionario presentado, se han inspirado principalmente en los modelos ingls y holands actualmente en funcionamiento.
./
Conclusiones
La mayora de los expertos, as como las organizaciones profesionales nacionales e internacionales coinciden en sealar que una de las medidas ms eficaces para mejorar la utilizacin que se hace de los test es la de proporcionar una buena informacin y formacin a los usuarios.
Un profesional con una buena informacin sobre las pruebas y una formacin adecuada difcilmente utilizar de forma incorrecta los test.
Enmarcado en esa filosofa, en 1995 4 el Colegio Oficial de Psiclogos (COP) cre una Comisin de Test (http://www.cop.es/test/) con el fin de analizar los problemas implicados en el uso de los test.
./
4 En el mes de octubre de 2009 (14 aos ms tarde) est Comisin todava no ha valorado ni un solo test.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
40
CUESTIONARIO PARA LA EVALUACIN DE LOS TEST (CET) 1. Descripcin general del test 1.1. Nombre del test: 1.2. Nombre del test en su versin original (si la versin espaola es una adaptacin): 1.3. Autor/es del test original: 1.4. Autor/es de la adaptacin espaola: 1.5. Editor del test en su versin original: 1.6. Editor de la adaptacin espaola: 1.7. Fecha de publicacin del test original: 1.8. Fecha de publicacin del test en su adaptacin espaola: 1.9. Fecha de la ltima revisin del test en su adaptacin espaola: 1.10. Clasifique el rea general de la o las variables que pretende medir el test ( ) Inteligencia ( ) Aptitudes ( ) Habilidades y Rendimiento acadmico ( ) Psicomotricidad ( ) Alteraciones neuropsicolgicas ( ) Personalidad ( ) Motivacin ( ) Actitudes ( ) Intereses ( ) Valores ( ) Otros (Indique cul:............................................) 1.11. Breve descripcin de la variable o variables que pretende medir el test: 1.12. rea de aplicacin ( ) Psicologa clnica ( ) Psicologa educativa ( ) Neuropsicologa ( ) Psicologa forense ( ) Psicologa del trabajo y las organizaciones ( ) Psicologa del deporte ( ) Servicios sociales ( ) Psicologa del Trfico ( ) Otros (Indique cul:............................................) ./ 1.17. Descripcin de las poblaciones a las que el test es aplicable (especifique el rango de edad, nivel educativo, etc., y si el test es aplicable en ciertas poblaciones especficas: minoras tnicas, discapacitados, grupos clnicos, etc.): 1.18. Indique si existen diferentes formas del test y sus caractersticas (formas paralelas, versiones abreviadas, versiones informatizadas o impresas, etc). En el caso de que existan versiones informatizadas, describa los requisitos mnimos del hardware y software.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
41
2. Valoracin de las caractersticas del test 2.1. Calidad de los materiales del test (objetos, material impreso o software): * ( ) Inadecuada ** ( ) Adecuada pero con algunas carencias *** ( ) Adecuada **** ( ) Buena
***** ( ) Excelente (Impresin y presentacin de gran calidad, software muy atractivo y eficiente) 2.2. Calidad de la documentacin aportada 2.3. Fundamentacin terica 2.4. Adaptacin del test (si el test ha sido traducido y adaptado para su aplicacin en Espaa) 2.5. Calidad de las instrucciones 2.10. Validez 2.10.1. Validez de contenido: 2.10.1.1. Calidad de la representacin del contenido o dominio: 2.10.1.2. Consultas a expertos: 2.10.2. Validez de constructo: 2.10.2.2. Tamao de las muestras en la validacin de constructo: ( ) No se aporta informacin en la documentacin * ( ) Un estudio con una muestra pequea (N
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
42
2.10.4. Comentarios sobre la validez en general: 2.11. Fiabilidad 2.11.3. Consistencia interna 2.11.3.1. Tamao de las muestras en los estudios de consistencia: ( ) No se aporta informacin en la documentacin * ( ) Un estudio con una muestra pequea (N
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
43
4ANEXOS
Por su posible inters, a continuacin incluimos diversas valoraciones de test de mayor o menor uso
en evaluacin psicoeducativa. Las valoraciones se han efectuado por profesionales con experiencia en
psicometra y en evaluacin, pero las opiniones son responsabilidad exclusiva de los autores de la presente
obra.
El sitio web www.preocupados.es est dedicado a la problemtica del Fracaso Escolar, cuestin sta
que preocupa a padres, profesionales, interesados y autoridades educativas de todos los niveles.
En este sitio web puede acceder al Modelo Explicativo del xito-Fracaso Escolar (modelo D.S.I.).
Con esta Monografa, elaborada para nuestros alumnos de posgrado, confiamos en haber
contribuido a la mejor informacin de los profesionales de la evaluacin psicoeducativa, tanto expertos,
como noveles.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
44
Escala de Ansiedad Infantil revisada Revised Childrens Manifest Scale: RCMAS
(Reynolds, C.R. y Richmond, B.O., 1978)
Adaptacin al castellano de C.D. Sosa, J.I. Capafns, P. Flores, A.M. Navarro y F. Silva. Madrid: MEPSA
Los autores de la adaptacin espaola de esta Escala (revisada en 1978) informan de que est compuesta
de "28 tems en forma de afirmaciones, expresados en la direccin de la ansiedad". En la escala se intenta
recoger tanto aspectos motores como fisiolgicos y cognitivos que tengan relacin con el constructo
ansiedad".
A este respecto cabe indicar lo siguiente:
a) Para hacer tales afirmaciones los autores deberan definir previamente la ansiedad, cosa que no hacen en
el manual de la adaptacin espaola.
b) La ansiedad se considera universalmente una respuesta de tipo fisiolgico exclusivamente, lo cual no
quiere decir que no est presente simultneamente con cogniciones y acciones motrices.
El hecho de haya algunas cogniciones frecuentemente asociadas a la ansiedad no justifica, desde el punto
de vista de la validez de constructo, que se punte una escala de Ansiedad con afirmaciones de tipo
cognitivo tales como:
Me cuesta decidirme (ms propio de un estado depresivo que de un estado ansioso)
Parece que los dems hacen las cosas con ms facilidad que yo (qu tiene que ver esto con la ansiedad?)
Me preocupo mucho (las preocupaciones se dan en las personas sin que sea necesario que tengan
ansiedad)
Me enfado con mucha facilidad (un indicador de irritabiliad, no de ansiedad)
Me preocupa lo que los dems piensen de mi (de nuevo preocupaciones que pueden aparecer sin estados
de ansiedad)
Otros nios son ms felices que yo (eso no quiere decir que el nio tiene ansiedad)
Muchas personas estn en contra ma (no es un indicador de ansiedad)
Como puede comprobarse con facilidad, esta "supuesta escala para evaluar ansiedad" contiene poqusimos
indicadores fisiolgicos de ansiedad, como mximo los siguientes: tem 2 (ansiedad situacional y no
permanente), tems 4 y 6 (tambin situacional e incluyendo el miedo), tem 10 (que puede ser por
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
45
preocupaciones no por ansiedad), tem15 (claro indicador de ansiedad), tems 25 y 26. En total 7
indicadores fisiolgicos frente a 21 indicadores que no son manifestaciones unvocas de ansiedad.
Vase pues, cmo esta escala de ansiedad carece absolutamente de validez de contenido y, por lo tanto, de
tambin de constructo. Toda vez que, incluso, suma indicadores fisiolgicos con indicadores cognitivos.
De acuerdo a la propuesta del Prof. Pasquali 5, no corresponde seguir analizando un test psicomtrico que
carece de validez de contenido/constructo. Resulta irrelevante considerar su posible fiabilidad (de qu nos
vamos a "fiar"?)
En cuanto a los baremos, qu sentido tiene comparar los pensamientos y sentimientos de un sujeto con la
media de un grupo poblacional?. Si la poblacin tiene un nivel de ansiedad moderado, quien lo tenga
menor, qu representa? y quien tiene un valor medio, quiere decir que no tiene ansiedad, o que tiene la
ansiedad de la mayora?
An ms, la edicin que se puso a la venta en Espaa (Madrid: TEA Ediciones, 2004) era una edicin
mexicana con baremos americanos y mexicanos.
Por todas estas razones, en nuestra opinin, la CMAS-R carece de valor alguno para considerar sus datos
con valor pericial o para tenerlos en cuenta como variable interviniente en el anlisis de casos de bajo
rendimiento o fracaso escolar.
Desde nuestro punto de vista, con respecto a este instrumento, podemos considerar
Finalidad Valorar el nivel de ansiedad en Nios de 6 a 19 aos
Validez de contenido Nula
Validez de constructo Nula
Fiabilidad Irrelevante
Baremos Irrelevantes
Facilidad de Aplicacin Alta
5 Profesor Luiz Pasquali del Instituto de Psicologa de la Universidad de Brasilia
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
46
BENDER Test guestltico visomotor de Lauretta Bender
(Bender, L. 1938)
Lauretta Bender es la autora de un test muy conocido y empleado en Educacin: el test guestltico viso-
motor, cuya primera publicacin se llev a cabo en 1938.
La autora se describe a s misma como psiquiatra y neurloga, especialista en patologa cerebral con
adultos. Se reconoce sin formacin en psicologa clnica ni otra clase se estudios de psicologa. Sin embargo,
en una poca de gran desarrollo de la Psicologa de la Guestalt y en la investigacin psicopatolgica con
adultos cre este test, formado por una serie de tarjetas en las que aparecen unos dibujos que el paciente
deba reproducir con la mxima exactitud posible. Los resultados que obtuvo la autora (que nunca hizo
ningn otro test o instrumento de evaluacin, es decir, que no era experta en el diseo o elaboracin de
instrumentos de evaluacin) se referan a qu clase de errores en la reproduccin de los dibujos cometan
pacientes adultos con lesiones cerebrales.
El error que subyace al empleo de este test en educacin (cuyo uso comenz en los 60) es que considera
que si un error en la reproduccin de dibujos por parte de un adulto, se encuentra asociado a un dao
cerebral concreto, entonces... si un nio entre los 5 y los 11 aos de edad (poca en la que se encuentra en
desarrollo su cerebro) comete el mismo tipo de errores, eso significa que sufre algn tipo de anomala en su
funcionamiento cerebral. Los autores ms atrevidos lo atribuyen a lesin cerebral y otros, ms prudentes, lo
explican como un indicador de retraso en el desarrollo madurativo del cerebro.
Lo ms curioso del caso es que en varias decenas de aos en que se lleva empleando este test NADIE HA
COMPROBADO que sean ciertas las hiptesis de partida; habindose comprobado, todo lo contrario: los
nios con indicadores de dao o anomala cerebral segn el test de Bender que son remitidos al Servicio de
Neurologa Peditrica no reciben una diagnstico confirmatorio de tales daos o desajustes.
En conclusin: Nunca se ha puesto de manifiesto la validez criterial o predictiva del test de Bender con
nios, por lo que consideramos absolutamente desaconsejado su uso en evaluaciones psicopedaggicas.
En la actualidad, la mejor evaluacin de dao o mal funcionamiento cerebral debe llevarla a cabo un
Profesional de Neurologa Peditrica.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
47
BOEHM
Test de Conceptos Bsicos de BOEHM
(Boehm Ann, 1971; Madrid: TEA)
Para valorar este instrumento hemos optado por citar el resumen de un trabajo de investigacin del Profesor
Dr. D. Miguel Galeote Moreno (Departamento de Psicologa Evolutiva y de la Educacin. Facultad de
Psicologa. Universidad de Mlaga. Campus de Teatinos s/n. 29071-Mlaga. Espaa)
"El Test Boehm de Conceptos Bsicos (TBCB) (Boehm, 1971) es una prueba bastante utilizada en el mbito
psicopedaggico y logopdico. Esta prueba parte del supuesto de que gran parte del fracaso escolar se debe
a que los alumnos desconocen una serie de conceptos / trminos bsicos imprescindibles para seguir con
xito las enseanzas curriculares. Tras varias etapas de investigacin, en las que se analizaron las
instrucciones que acompaaban los materiales didcticos en los centros de preescolar, se seleccionaron los
50 conceptos / trminos que componen el test.
Aunque en la actualidad se reconoce que la prueba adolece de varios problemas, stos se ven agudizados en
su adaptacin espaola. Uno de los ms importantes es que no se analizaron los programas y materiales
curriculares para el nivel de preescolar empleados en nuestro pas. Este paso es, no obstante, esencial para
determinar la validez de contenido de la prueba, entendiendo por tal la representatividad de los tems del
universo de conocimiento especificado (Jensen, 1980).
El objetivo del presente trabajo consiste en verificar dicha validez. Ms concretamente, se trata de verificar la
hiptesis de si los conceptos / trminos examinados son pertinentes para el aprovechamiento / xito escolar
en nuestro pas. Estudios realizados en otros pases no la han confirmado.
Para este fin: (1) se seleccion una muestra bastante amplia de los materiales curriculares ms utilizados
para el nivel de preescolar; (2) se analiz las instrucciones que acompaaban esos materiales y (3) se
comprob si los conceptos incluidos en el TBCB (as como sus derivados, sinnimos y antnimos) aparecan
en dichas instrucciones.
Los resultados muestran que los conceptos / trminos que componen el TBCB no son representativos de los
materiales curriculares empleados en nuestro pas, en otras palabras, el test carece de validez de contenido."
Tal y como mencionamos en la pgina principal de esta Seccin, si un test carece de validez de contenido
resulta poco til seguir valorando otras propiedades del mismo, aunque sera bueno destacar que los
elementos del test (50 se consideran escasos) solamente incluyen tres opciones de respuesta con lo que la
probabilidad de acertar por azar es muy alta.
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
48
En conclusin: en nuestra opinin, y de acuerdo a las conclusiones del Prof. Galeote, consideramos que el
test de Boehm, cumpli una funcin en un momento dado, pero que en la actualidad debera ser sustituido
en la prctica profesional por otro ms adecuado.
Desde nuestro punto de vista, con respecto a este instrumento, podemos considerar
Finalidad
Valorar el conocimiento de palabras que
designen conceptos bsico
(incluidos en el currculum acadmico)
Validez de contenido Insuficiente
Validez de constructo Regular
Fiabilidad Regular
Baremos Insuficientes: muestras escasas
Facilidad de Aplicacin Alta
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
49
CARAS Test de Percepcin de Diferencias
(Thurstone, L.L., 1944)
(Versin espaola preparada por el Dr. Mariano Yela en 1979; Madrid: TEA)
Se afirma en la introduccin del Manual de este test que... "este instrumento psicomtrico fue preparado
inicialmente con el propsito de apreciar la rapidez para percibir detalles y discriminar objetos, esto es, la
capacidad del sujeto para detectar semejanzas y diferencias".
As entendido, constituye un grave error conceptual y metodolgico considerar, como se ha venido haciendo
desde bastantes aos, el Test de Caras como un test para medir la atencin. Atender a un estmulo es una
condicin imprescindible para poder realizar algn tipo de operacin con l, por lo tanto "todos los test
seran test de atencin", si consideramos que para realizar la tarea que se nos solicita en cada uno de ellos,
hace falta "poner atencin".
Los doctores Thurstone y Yela nunca consideraron a este test como una prueba para medir la capacidad de
atencin, sino para valorar la "RAPIDEZ para APRECIAR DETALLES y DISCRIMINAR OBJETOS.
Con esta breve aclaracin introductoria, deseamos salir al paso de quienes, ahora que est "de moda"
diagnosticar a muchos escolares como Hiperactivos o Inatentos, en todo caso con TDAH, deciden utilizar
este test para la valoracin de sus capacidades atencionales. A nuestro entender, esto constituye un ERROR
METODOLGICO GRAVE en los procesos de evaluacin psicopedaggica de los escolares con sospechas
de algn tipo de dficit de atencin. Este test nunca se dise con esa finalidad.
Por otra parte, en la misma introduccin se destaca que los estudios factoriales llevados a cabo con esta
prueba por el Dr. Yela han mostrado que tiene una composicin factorial compleja que abarca,
principalmente, aspectos perceptivos y espaciales.
Cul es el significado de esta afirmacin introductoria?
Pues la ms importante es la siguiente: si la prueba tiene una composicin factorial, por qu no se
proporcionan los valores correspondientes a cada factor de manera independiente?
Resulta una incongruencia que el test proporcione una puntuacin nica y sin embargo se presente como
de componentes factoriales.
Qu es lo que representa la medida del test y, por tanto, los baremos que proporciona? y, cmo es posible
que solamente se contabilicen los aciertos sin ponerlos en relacin con el total de figuras vistas, los errores y
las omisiones?
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
50
Significa lo mismo una puntuacin de 30 con diez errores que otra de 30 sin errores, que otra de 30 con
15 errores? Y es igual haber acertado 30 habiendo revisado slo 30 figuras, que haber acertado 30 con 20
errores, o sea haber revisado 50 figuras?
Pues segn este test s: es lo mismo.
As que, si el test mide... VELOCIDAD DE EJECUCIN + EFICACIA PERCEPTIVA DE SEMEJANZAS y
DIFERENCIAS
El resultado, qu dice sobre la velocidad y la eficacia?
Por otra parte, si tiene componentes factoriales de ASPECTOS PERCEPTIVOS y ESPACIALES, una buena
puntuacin quiere decir que tiene buenas capacidades perceptivas y espaciales, pero una mala puntuacin,
qu implica?: mala percepcin o mala orientacin espacial?
Desacreditada la validez de constructo de este test, carece de inters proceder a valorar su fiabilidad o su
baremacin. No obstante, destaca que en el manual consultado no se indica nada de la procedencia de las
muestras, claramente insuficientes.
Desde nuestro punto de vista, con respecto a este instrumento, podemos considerar
Finalidad Valorar la rapidez y eficacia perceptiva de semejanzas y diferencias en Nios de 6 a 15 aos
Validez de contenido Nula
Validez de constructo Nula
Fiabilidad Irrelevante
Baremos Irrelevantes
Facilidad de Aplicacin Alta
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
51
COBAR Conceptos Bsicos Relacionantes
(Yuste Hernanz, C. y Sanz Moriigo, L.M., 1991; Madrid: CEPE)
El COBAR es un instrumento de evaluacin de la habilidad alcanzada por los escolares para conceptualizar
y emplear el trmino verbal adecuado al concepto correspondiente.
Sus fundamentos conceptuales son adecuados y la forma de elaborar los distintos niveles de evaluacin
tambin lo es. Como otros test de naturaleza similar (BOEHM, CONCEBAS,...), la nica diferencia con ellos
se refiere a los aspectos siguientes:
1. Los conceptos elegidos varan en funcin de los estudios realizados por cada equipo de autores.
2. Las muestras poblacionales utilizadas para la seleccin de los conceptos a incluir en cada nivel curricular.
3. La forma de presentacin de los cuadernillos-estmulo.
Quedara por tanto al gusto o la necesidad de los evaluadores elegir uno u otro instrumento.
En otro lugar, incluimos un anlisis crtico del test de BOEHM y otro del CONCEBAS las diferencias entre
ellos, llevarn seguramente a los profesionales a descartar el uso del BOEHM y del CONCEBAS por sus
deficiencias, ampliamente superadas por COBAR y por otros.
Los aspectos ms discutibles en el uso del COBAR lo constituyen:
a) el formato poco amigable de los cuadernillos, aspecto a tener en cuenta cuando se emplean con nios de
4 a 6 aos de edad.
b) la inexistencia de informacin sobre la consistencia temporal de las medidas (fiabilidad test-retest)
c) el hecho de que el COBAR es un Test Psicomtrico sin baremos poblacionales.
Sorprende este hecho ya que en evaluacin del bajo rendimiento o de las dificultades de aprendizaje, resulta
en muchas ocasiones imprescindible y siempre muy til, conocer el nivel de desarrollo conceptual de un
escolar, con respecto a la media de su grupo cultural normativo. En este sentido la mayor deficiencia del
COBAR es que no permite llevar a cabo una valoracin entre sujetos.
No obstante, puede resultar til cuando se desee evaluar los progresos realizados por determinado escolar
tras una intervencin educativa prolongada.
Por otra parte, resulta una falacia muy peligrosa la sugerencia hecha por los autores en la pgina 86 del
Manual, para que cada usuario "se vaya haciendo sus baremos particulares". Esta sugerencia, reiterada en
otras obras por el primer autor, conllevara gravsimos riesgos de valoracin de los escolares. As, en un
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
52
grupo cultural, colegio de alto nivel o de poblacin desfavorecida, un escolar podra obtener una puntuacin
media en cada uno de ambos casos, resultando con unas grandes diferencias entre ambos.
Debe tenerse en cuenta que en el proceso educativo, la programacin curricular es moderadamente la
misma, sea cual sea el nivel socioeconmico y cultural de los escolares y este tipo de valoraciones NO
PERMITE COMPARAR sujetos de mbitos poblacionales diferentes.
Desde nuestro punto de vista, con respecto a este instrumento, podemos considerar
Finalidad
Valorar el dominio de las palabras-concepto
necesarias para el aprendizaje curricular y
social
Validez de contenido Buena
Validez de constructo Buena
Fiabilidad No constan datos en el Manual
Baremos Inexistentes
Facilidad de Aplicacin Moderada
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
53
CLP Prueba de Comprensin Lectora de Complejidad Lingstica Progresiva
(Alliende, F., Condemarn, M. Milicic, N, 1991; Madrid CEPE)
Para llevar a cabo el anlisis de la validez de contenido/constructo de este test resulta fundamental partir de
la definicin de comprensin lectora de sus autores.
As, en la pgina 26 del manual, indican que se pueden dar diversos niveles de significado al constructo
"comprensin lectora"; desde el ms elemental "la captacin del sentido manifiesto, explcito o literal de un
determinado texto escrito", hasta niveles tales como que el lector dar significado propio a lo que lee,
pasando por un nivel intermedio no muy explicado en el manual.
En resumen, una introduccin compleja y discutible, que podra simplificarse de modo tal que podamos
entendernos todos:
La comprensin sera el proceso de elaborar el significado por la va de conocer las ideas relevantes de un
texto y relacionarlas con las ideas que ya se tienen: es el proceso a travs del cual el lector interacta con el
texto. Sin importar la longitud o brevedad del prrafo, el proceso se da siempre de la misma forma.
Entendido de esta manera, la estructura del CLP resulta algo discutible en sus aspectos conceptuales y
metodolgicos.
A nivel conceptual, algunas partes de la prueba no constituyen en s mismas un ejercicio de lectura
comprensiva, ya que el nio debe elegir una palabra que falta para completar y dar sentido a una frase.
A nivel metodolgico, la unin de frases con dibujos o palabras no siempre demuestra eficacia lectora, ya
que la ltima frase siempre est determinada al quedar una sola figura para elegir.
No obstante, la realidad es que los diversos ejercicios de prueba, lejos de ser tpicos ejercicios de memoria
lectora, constituyen un verdadero ejercicio de comprensin de textos.
En cuanto a la fiabilidad de las medidas, el test se manifiesta con gran consistencia temporal (test-retest)
Por su parte la validez predictiva resulta escasa para los cinco primeros niveles y mejor para los tres ltimos.
Esto se puede explicar porque comprender un texto es necesario, pero no suficiente para alcanzar los
criterios de dominio del lenguaje.
Finalmente, los baremos han sido obtenidos con una muestra poblacional muy escasa y no aleatorizada:
todos los sujetos pertenecen a la Rioja (colegios pblicos de Logroo y algunos pueblos de la provincia). En
resumen, nos encontramos con un total de 313 sujetos, repartidos en grupos de 29 a 50 sujetos (mnimo y
mximo respectivamente). Esto constituye un gran hndicap que impide, en su fase final, contar con un
Cmo valorar un test psicomtrico?
Copyright de los autores. 2011.
54
instrumento de muy buena validez de contenido, fiabilidad interna y validez predictiva, pero de escasa
fiabilidad extrnseca. Con estos baremos, comprender el Evaluador que, en el mejor de los casos, que
emplease el CLP en La Rioja, estara comparando los resultados de un escolar de 1, 2, 5, 6, 7 u 8 de
EGB (ahora los ltimos seran de 1 y 2 de ESO), con una media y desviacin tpica de un grupo de menos
de 40 sujetos.
Imagine lo que sucedera cuando emplease estos baremos con escolares de las Islas Canarias, Galicia,
Extremadura, Andaluca, Murcia,...
En conclusin: la Prueba CLP es un instrumento con muy buena validez de contenido/constructo y
fiabilidad interna, pero con tan deficiente baremacin que su empleo conllevar un riesgo de error que el
Evaluador debe estar dispuesto a correr si lo elige como alternativa a algn otro test, de similar
construccin pero mucho ms ampliamente baremado.
Desde nuestro punto de vista, con respecto a este instrumento, podemos considerar
Finalidad Valorar la habilidad para comprender textos
escritos
Validez de contenido Alta
Vali