(M) 4. Consistencia semÃ¡ntica

Artículo

Consistencia semántica de enunciados de destrezas mentalesy de relación en el ámbito de la Administración Pública Vasca

Semantic consistence of descriptors of cognitive and socialskills in the Basque Public Administration

ANA M. AGUIRRE1

RESUMEN

En el contexto de implantación de los Análisis Funcionales de la Administración Generaldel País Vasco (Gorriti, 2003; Oficina para la Modernización Administrativa, 1998), se ana-lizaron los diferentes puestos de trabajo de esta Administración. Como parte de dicho pro-ceso de análisis de puestos, se realizaron entrevistas de análisis de las tareas representativasde cada puesto. Los trabajadores entrevistados aportaron un total de 1.410 enunciados dedestrezas mentales y 1.344 de relación. Para racionalizar dicha información se elaboró, enbase a criterios de similitud semántica, una propuesta de 94 enunciados de destrezas menta-les y 65 de relación. Así se redujo el número de enunciados sin pérdida de significado. Elobjeto de este estudio es comprobar la consistencia semántica de estos 94 y 65 enunciadospropuestos a partir del grado de acuerdo de 5 expertos en Recursos Humanos con dicha pro-puesta. Para calcular dicho acuerdo se utiliza el Content Validity Ratio (CVR) de Lawshe(1975). El análisis de estos datos ha permitido identificar cuáles de estos 94 y 65 enuncia-dos propuestos mantener, modificar o eliminar. Como resultado se obtienen 30 enunciadosde destrezas mentales y 26 de relación. Estos enunciados finales serán la base de estudiosposteriores, cuyo objetivo será identificar la estructura factorial y desarrollar una taxonomíade las destrezas mentales y de relación de los trabajadores de la Administración General delPaís Vasco.

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 3 333

Revista de Psicología del Trabajo y de las Organizaciones - 2007Volumen 23, n.º 3 - Págs. 333-350. ISSN: 1576-5962

1 Técnico de Recursos Humanos de la Dirección de Función Pública del Gobierno Vasco.

ABSTRACT

Jobs in the General Public Administration of the Basque Country were analyzed on theoccasion of functional analysis implementation (Gorriti, 2003; Office for the Modernizationof the Public Administration, 1998). As a step in the job analysis process, a number ofinterviews were carried out to analyze the representative tasks in each job. The interviewsyielded 1,410 cognitive skill descriptors and 1,344 social skill descriptors. Based on seman-tic similarity criteria, five human resources experts reduced the number of descriptors to 94and 65 respectively, without losing any meaning. This paper checks the semantic consisten-cy of these latter descriptors according to the Content Validity Ratio (CVS) (Lawshe,1975). Data analysis identified which descriptors to keep and which of them needed to bemodified or rejected. As a result of this second analysis, 30 cognitive skill descriptors and26 social skill descriptors were left. These final descriptors will be the base for further stud-ies in an attempt to identify a factor structure and develop a taxonomy of mental skills onone side and social skills on the other side concerning the employees of the General PublicAdministration of the Basque Country.

PALABRAS CLAVE

Homogeneización semántica, Consistencia semántica,Destreza mental, Destreza de relación, Taxonomía dedestrezas.

KEY WORDS

Semantic homogenization, Semantic consistency, Cog-nitive skill, Social skill, Skills taxonomy

Consistencia semántica de enunciados de destrezas mentales y de relación en el ámbito de la Administración...

334 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 3

INTRODUCCIÓN

Si se atiende a la bibliografía se en-cuentran diferentes definiciones tantopara las destrezas mentales como para lasdestrezas de relación. Así, a la hora dedefinir una destreza mental, VanLehn(1996) habla de habilidad para resolverproblemas en tareas intelectuales en lasque el éxito está determinado en mayormedida por el conocimiento del sujetoque por su capacidad física. Por su parte,Kirsh (1991) define destreza mentalcomo un mecanismo de control basado eninformación, que regula la ejecución enalgún área y que cubre actividades talescomo resolución de problemas, uso dellenguaje, toma de decisiones, actividadesrutinarias, percepción y algunos elemen-tos de control motor. En lo referente alárea relacional, Meichenbaum, Butler yGruson (1981) se refieren a destrezasocial como capacidad y conocimientossobre qué y cuándo realizar ciertas con-ductas, además de la posesión de flexibi-lidad y control del comportamiento.Desde el punto de vista de Witt y Ferris(2003), las destrezas sociales reflejantanto la percepción interpersonal como lacapacidad de ajustar la propia conducta adiferentes y cambiantes demandas situa-cionales y a influenciar y controlar lasrespuestas de otros. Según estos autores,la percepción interpersonal refleja lahabilidad de interpretar con precisión lasdinámicas interpersonales. Por otro lado,Riggio (1986) define destreza social entérminos de estrategias y habilidadessociales aprendidas. Por último, Camp-bell y Kuncel (2001) indican que las des-trezas son aprendidas y dirigidas a resol-ver problemas o producir efectos conoci-dos, y son un reflejo de la aplicación exi-tosa de las capacidades que da el conoci-miento.

Pueden verse en estas definicionesalgunos elementos comunes, tales comoque las destrezas son formas estandariza-das y aprendidas que permiten resolverproblemas. En este estudio se entiendedestreza mental como un procesamientocognitivo estandarizado y aprendido deinformación compleja, que permite resol-ver o mecanizar un problema, cuya conse-cuencia es una ejecución eficaz en un áreaespecífica relacionada con el desempeñode la tarea. Al hablar de destrezas de rela-ción se hace referencia a interaccionesinterpersonales estandarizadas y aprendi-das que permiten ajustar la propia conduc-ta en función de la situación e influir en larespuesta del otro, cuya consecuencia esuna ejecución eficaz en el ámbito del des-empeño contextual. En estas definicionesse pone de manifiesto que la ejecución efi-caz, el “hacer bien” las diferentes activida-des, es el resultado del aprendizaje de unaserie determinada de destrezas por partede los trabajadores. Es decir, las destrezasson “predictoras de la ejecución”, de aquíla importancia de identificar cuáles son lasdestrezas que los trabajadores debenadquirir para desempeñar con éxito losdiferentes puestos de trabajo.

El hecho de que la destreza sea estan-darizada y aprendida es precisamente loque la diferencia de la aptitud, que es lapotencia o capacidad que permite, en fun-ción de las variables tiempo y entrena-miento, aprender y desarrollar las diferen-tes destrezas. En otras palabras, las aptitu-des son “predictoras del aprendizaje” delas destrezas, que a su vez son “predicto-ras de la ejecución”. Más concretamente,las aptitudes cognitivas junto a los cono-cimientos son la base para la adquisiciónde las destrezas técnicas y mentales, pre-dictoras, a su vez, del desempeño de latarea, mientras que las aptitudes de rela-

Ana M. Aguirre


ción (entendidas como nivel de personali-dad en rasgo) son el cimiento para adqui-rir las destrezas de relación, que predicenel desempeño contextual. Por tanto, laejecución de la tarea sería función de laaptitud cognitiva y conocimientos técni-cos mediada por las destrezas mentales,mientras que la ejecución contextual seríafunción de la personalidad mediada porlas destrezas de relación. A este respecto,Borman y Motowidlo (1993, 1997) de-sarrollan una taxonomía del desempeñocontextual, diferente del desempeño de latarea. Así, dentro del dominio del criteriodistinguen entre ambos tipos de ejecu-ción. Estos autores definen desempeño dela tarea como el grado de competenciacon que los trabajadores realizan las acti-vidades formalmente reconocidas comoparte de sus puestos, mientras que en eldesempeño contextual incluyen aquellasactividades que no son formalmente partedel puesto, pero que son importantes parala efectividad organizacional ya que creanel contexto social y psicológico en que serealizan las diferentes tareas. Posterior-mente, Borman, Pender, Allen y Motowi-dlo (2001) describen un modelo de tresdimensiones del constructo del desempe-ño contextual. Además, presentan unmodelo que propone que la aptitud cogni-tiva es el principal antecedente del desem-peño de la tarea, mientras que la persona-lidad es el principal antecedente del des-empeño contextual. Según este modelo, lapersonalidad sería predictora del desem-peño contextual, mediada por el conoci-miento “cívico”, la aplicación de dichoconocimiento y los hábitos o costumbres“cívicas”, mientras que la ejecución de latarea sería función de la aptitud cognitiva,mediada por el conocimiento técnico, laaplicación de dicho conocimiento y laaplicación de respuestas características asituaciones de la tarea. En los dos últimos

elementos de cada caso subyacerían lasideas de aprendizaje y estandarización,características definitorias de las destre-zas. En cualquier caso, dichos autores secentran en la revisión de la investigacióncientífica que relaciona personalidad ydesempeño contextual. Como resultadode dicho estudio concluyen que existeevidencia de que la personalidad tiene unacorrelación más robusta con la ejecucióncontextual que con la ejecución de latarea. En lo referente a las aptitudes men-tales, Schmidt y Hunter (1998) indicanque la Aptitud Mental General es muybuen predictor tanto de la ejecución comodel éxito en la formación o entrenamien-to.

Dentro del dominio del criterio puedeincluirse, además del desempeño de latarea y del desempeño contextual, un ter-cer ámbito, el de las conductas contrapro-ductivas, que se refieren a comportamien-tos intencionados contrarios a los intereseslegítimos de la organización (Sackett yDeVore, 2001). En este caso, la variableindependiente que predice la contrapro-ductividad es la Integridad, compuesta porlos factores de personalidad Conciencia,Agradabilidad y Estabilidad Emocional,en este orden de importancia (Ones y Vis-wesvaran, 1998). Estos factores, junto a laApertura a la Experiencia y la Extrover-sión se conocen como los Big Five, cadauno formado por varios rasgos (nivel de laaptitud relacional). Dichos factores for-man la estructura taxonómica de la perso-nalidad. Barrick y Mount (1991) detallanlos rasgos asociados a cada uno de estoscinco factores. Según Hough y Ones(2001) diferentes investigaciones han pro-bado la robustez de esta estructura de lapersonalidad, además de demostrar que esgeneralizable a diferentes tipos de cultura,género o lengua. Indices de validez obte-



nidos meta-analíticamente han demostradoque la Integridad es uno de los mejorespredictores de conductas contraproducti-vas, como el absentismo o tardanza, entreotros (Ones, Viswesvaran y Schmidt,1993; Ones y Viswesvaran, 2001). En estecaso, la Integridad es un antecedente“directo” de la ausencia de conductas con-traproductivas, es decir, no hay mediaciónde las destrezas, ya que conductas talescomo “llegar a la hora”, “no malgastar eltiempo” o “no dañar la propiedad” no pue-den ser objeto de entrenamiento, no pue-den aprenderse para después aplicarse deforma sistemática.

Por tanto, a nivel de variable depen-diente o criterio existen taxonomías tantoa nivel de desempeño contextual (Bormany Motowidlo, 1993, 1997; Borman et al.,2001) como de desempeño de la tarea(Bernardin y Beatty, 1984; Campbell,1990; Murphy, 1989; Hunt, 1996) desarro-lladas estas últimas a partir de estudiosfactoriales o de procesos de síntesis racio-nal. En cuanto a la dimensionalidad de lasconductas contraproductivas, Sackett yDeVore (2001), tras realizar una revisiónde la bibliografía, proponen un modelojerárquico, formado por un factor generalde contraproductividad y una serie de fac-tores y conductas más específicas. Gruys ySackett (2003) identificaron en base a aná-lisis factoriales y pruebas de consistenciainterna, una estructura de las conductascontraproductivas formada por 11 catego-rías. En cualquier caso, independiente-mente de las tipologías del desempeño,Viswesvaran, Ones y Schmidt (1996)identificaron, desde una aproximaciónléxica y mediante estudios factoriales, 10dimensiones que cubren el dominio deldesempeño. A nivel de variable indepen-diente, en lo referente a la personalidad,predictor de las conductas contraproducti-

vas y del desempeño contextual existe,como se ha dicho, evidencia de su estruc-tura taxonómica (McCrae y Costa, 1987;Goldberg, 1990, 1992), al igual que en elcaso de las aptitudes (Fleishman, 1975),predictoras del desempeño de la tarea. Enel caso de las destrezas, diferentes estu-dios han propuesto modelos de sus com-ponentes básicos. Así, para las destrezasde relación, Riggio (1986) propone unmodelo de 6 dimensiones. Por otro lado,Campbell y Kuncell (2001) ofrecen unataxonomía de capacidades potencialmenteentrenables, incluyendo entre ellas las des-trezas de resolución de problemas. Porúltimo, Mumford, Peterson y Childs(1999) proponen una estructura de las des-trezas ocupacionales formada por 2 cons-tructos de orden superior, 7 constructos denivel intermedio y 46 constructos de nivelinferior.

MÉTODO

En este estudio se obtienen, a partir delos datos “brutos” obtenidos en el procesode análisis de puestos correspondiente a lafase de implantación de los análisis fun-cionales de la Administración General delPaís Vasco (Gorriti, 2003; Oficina para laModernización Administrativa, 1998), unnúmero reducido de enunciados de destre-zas que tratan de representar, sin pérdidade información, la totalidad de enunciadosde destrezas mentales y de relación apor-tadas por el funcionariado de dicha Admi-nistración.

En este proceso de análisis de puestosse identificaron, por un lado, aspectosrelacionados con el contenido del trabajo,y por otro, aspectos relacionados con elperfil del trabajador. En lo referente alperfil del trabajador, para obtener infor-

Ana M. Aguirre


mación sobre las aptitudes y los rasgos depersonalidad, se utilizaron las taxonomíasexistentes refrendadas por la investiga-ción científica. Estos datos se obtuvierona través de una encuesta en la Intranet delGobierno. Sin embargo, en el caso de lasdestrezas y los conocimientos se preguntóen entrevistas realizadas con ocupantes delos puestos. Éstos aportaron un total de5.520 destrezas tanto de relación, comomentales, técnicas y psicomotoras. Deellas, 1.410 (25,54 %) fueron catalogadasen el grupo de destrezas mentales y 1.344(24,34 %) en el de destrezas de relación.Muchas de estas destrezas se repetían endiferentes puestos, y en muchas ocasio-nes, a pesar de estar redactadas de dife-rentes maneras, se sospechó que su signi-ficado era el mismo. Por ello, se conside-ró necesario racionalizar la informaciónobtenida: identificar sinónimos y eliminardatos ambiguos. Es decir, reducir elnúmero de enunciados originales sin per-der significado. Este esfuerzo de depura-ción y homogeneización semántica resul-tó en una propuesta de 94 enunciados dedestrezas mentales y 65 enunciados dedestrezas de relación, con lo se redujoconsiderablemente los listados inicialesde 1.410 y 1.344. Los pasos seguidos eneste proceso de homogeneización semán-tica fueron los siguientes:

1. Agrupación de enunciados similaressemánticamente: dentro de cada listade enunciados originales (1.410 y1.344) se identificaron conjuntos dedestrezas que podían agruparse bajoun mismo enunciado sin que su sig-nificado se viese alterado.

2. Redacción de nuevos enunciados: acontinuación, se redacto un enuncia-do común para cada uno de estosconjuntos (94 en total en el caso de

las destrezas mentales y 65 en el delas destrezas de relación).

Para comprobar la consistencia semán-tica de estos 94 y 65 enunciados o ítemsse decidió consultar a otros expertos,siendo este documento el resultado y aná-lisis de dicha consulta. En este punto con-viene aclarar que en este documento, alhablar de destrezas o enunciados origina-les, se hace alusión a las 1.410 enuncia-dos de destrezas mentales y 1.344 enun-ciados de destrezas de relación aportadaspor los trabajadores, mientras que alhablar de destrezas o enunciados propues-tos, se alude a aquellos 94 y 65 que for-man la propuesta de enunciados resultantedel proceso de homogeneización semánti-ca. Por otro lado, cuando se habla deenunciados finales, se hace referencia alos 30 y 26 enunciados resultantes unavez aplicadas las diferentes fases del pro-cedimiento.

PARTICIPANTES

En este estudio, se pidió a 5 expertos enRecursos Humanos que asignasen unaserie de enunciados de destrezas originalesa un enunciado de destreza propuesto. Lle-varon a cabo este proceso dos veces: parauna muestra de 314 enunciados de destre-zas mentales originales, que había queasignar a uno de los 94 enunciados de des-trezas mentales propuestos, y para unamuestra de 311 enunciados de destrezas derelación originales, que había que asignar auna de las 65 destrezas de relación pro-puestas. En ambos casos se indicó a losexpertos que asignasen cada enunciado ori-ginal al enunciado propuesto con el quecompartiese el mismo significado, demodo que ambos enunciados (original-pro-puesto) se refiriesen a la misma destreza.



INSTRUMENTOS

Con el fin de facilitar la tarea de asig-nación a los expertos, se elaboraron dosbases de datos: una formada por los 94enunciados de destrezas mentales pro-puestos y una muestra de 314 enunciadosde destrezas mentales originales, y la otraformada por los 65 enunciados de destre-zas de relación propuestos y una muestrade 311 enunciados de destrezas de rela-ción originales. En estas bases de datosiban apareciendo cada uno de los enuncia-dos originales de la muestra junto a la listade enunciados propuestos para que elexperto realizase la asignación original-propuesto. Una vez que un enunciado ori-ginal se asignaba, éste desaparecía de lalista de enunciados originales. En caso deque el experto no identificase ningúnenunciado propuesto adecuado se podíandejar enunciados originales sin asignar.

La decisión de seleccionar una muestrade enunciados originales a valorar fue moti-vada por el elevado número de enunciadosoriginales total (1.410 y 1.344). Partiendodel supuesto de que los resultados obtenidosen una muestra representativa pueden extra-polarse a la población, en este caso se pre-supone que el porcentaje de acuerdos obte-nido por los expertos en 314 y 311 enuncia-dos, será proporcional al que hubiesen obte-nido en 1.410 y 1.344, respectivamente.

Para seleccionar dicha muestra se utilizóla siguiente fórmula, utilizada en los caso devariables dicotómicas o dicotomizadas ypoblaciones finitas (Fisher y Navarro, 1994):

• n: número de enunciados originales avalorar (tamaño de la muestra).

• p: porcentaje de ocurrencia del fenó-meno. En este caso sería la coinci-dencia de la asignación enunciadooriginal-enunciado propuesto realiza-do por los expertos con la agrupacióno asignación realizada en el procesode homogeneización semántica paraelaborar las propuestas de 94 y 65enunciados. En ausencia de estudiosprevios suele ponerse 50% (0.50).

• q: complemento de p (0.50). En estecaso sería la no coincidencia de laasignación enunciado original-enun-ciado propuesto realizada por losexpertos con la agrupación o asigna-ción realizada en el proceso de homo-geneización semántica para elaborarlas propuestas de 94 y 65 enunciados.

• N: número total de enunciados dedestrezas originales (1.410 y 1.344).

• E: error de muestreo. Para poblacio-nes finitas suele usarse el valor de5% (0.05).

Aplicando la fórmula en el caso de lasdestrezas mentales se obtiene una n de 311(aunque al final se incluyeron 314), mien-tras que en el caso de las destrezas de rela-ción la n es de 308 (aunque al final seincluyeron 311). Una vez calculada la n seseleccionó una muestra de enunciados ori-ginales para cada uno de los enunciadospropuestos, de modo que todos quedasenrepresentados en la base de datos (deberecordarse que cada enunciado propuestofue redactado a partir de un grupo de enun-ciados originales). Así, en el caso de lasdestrezas mentales, dado que el número deenunciados propuestos es de 94, por cadauno de ellos se seleccionó una media de 3(311/94=3,3) enunciados originales del lis-tado de 1.410 (N) para ser valoradas por los

Ana M. Aguirre


pqNE

pqNn

4)1(

42 +−

=

donde:

expertos. En lo referente a las destrezas derelación, ya que el número de enunciadospropuestos es de 65, por cada uno de ellosse seleccionó una media de 5 (308/65=4,7)enunciados originales del listado de 1.344(N) para ser valorados por los expertos.

Este criterio de selección de muestrasde enunciados originales se siguió enaquellos casos en los que fue posible, yaque algunos de los 94 ó 65 enunciadospropuestos habían sido elaborados a partirde uno o dos enunciados originales. Debi-do a ello y para conseguir las muestrasadecuadas se incluyeron para algunosenunciados propuestos más de 3 ó 5 enun-ciados originales.

Una vez cumplimentada, la base dedatos muestra a que enunciado propuestoasigna cada experto cada uno de los enun-ciados originales de las muestras. Propor-ciona información sobre el acuerdo o des-acuerdo de cada experto con el proceso dehomogeneización realizado a la hora deelaborar los 94 y 65 enunciados.

PROCEDIMIENTO

El Content Validity Ratio (CVR) deLawshe (1975) permite calcular el gradoen que varios expertos están de acuerdosobre la validez de contenido de una medi-da (Aguinis, Henle y Ostrof, 2001). Sinembargo, para elaborar este estudio, laformula de Lawshe se ha utilizado con elfin de calcular el grado de acuerdo entreexpertos, no sobre dicha validez, sinosobre la homogeneización semántica deenunciados de destrezas mentales y derelación. Es decir, en vez de obtener elgrado de coincidencia percibida por variosexpertos entre una serie de ítems y undeterminado dominio, en este caso, se cal-

culará el grado de coincidencia percibidapor 5 expertos entre una serie de enuncia-dos de destrezas originales aportadas portrabajadores de la Administración PúblicaVasca y una propuesta de enunciados deri-vados de los primeros en base a criteriosde similitud semántica.

La fórmula es la siguiente:

donde, en este caso

• ne. es el número de expertos que eli-gen la opción coincidente con laagrupación o asignación realizada enel proceso de homogeneizaciónsemántica.

• N: es el número total de expertos (5)

La fórmula tiene las siguientes caracte-rísticas:

• Cuando todos de los expertos coinci-den el CVR es 1.

• Cuando la mitad de los expertos coin-ciden y la otra mitad no el CVR es 0.

• Cuando coinciden más de la mitad,pero menos que el total, el CVR estaen algún lugar del intervalo 0 y 1.

• Cuando menos de la mitad de losexpertos coinciden el CVR es negati-vo.

Como se ha dicho, en este estudio sepretende comprobar la consistenciasemántica de los 94 y 65 enunciados pro-puestos en base al grado de acuerdo de 5



2

2N

NneCVR

−=

expertos con el proceso de homogeneiza-ción semántica realizado para su elabora-ción. Con este fin, se han adaptado a estecaso las asunciones en base a las cualesLawshe desarrolla su fórmula, resultandolos siguientes presupuestos:

• Presupuesto 1: cualquier enunciadopropuesto al que más de la mitad delos expertos le han asignado unmismo enunciado original, tienealgún grado de consistencia semánti-ca. De todos modos, en este caso,debido a que el nº de expertos es de5, el valor mínimo del CVR debe serde 0.99 para satisfacer un nivel designificación de p=.05 (Lawshe,1975). Es decir, debe haber acuerdoentre todos los expertos para que unenunciado original se considere evi-dencia de la consistencia semánticade un enunciado propuesto.

• Presupuesto 2: cuantos más expertos(sobre el 50%) coincidan en dichaasignación, mayor será el grado dedicha consistencia semántica. Estepresupuesto no se tendrá en cuenta eneste estudio, ya que, como se hadicho, con 5 expertos es necesarioque haya acuerdo entre todos ellos aun nivel de significación p=.05.

Además, teniendo en cuenta que cadaenunciado propuesto está elaborado a par-tir de una muestra de enunciados origina-les, se añade la siguiente asunción (que nose deriva de la teoría de Lawshe):

• Presupuesto 3: para cada enunciadopropuesto, cuanto mayor sea el núme-ro de enunciados originales que hanlogrado acuerdo de más de la mitadde los expertos, mayor será el gradode dicha consistencia semántica.

Estos presupuestos, a excepción del 2,se aplicarán en los sucesivos pasos delprocedimiento seguido en este estudio,que se describen a continuación:

1 Cálculo del CVR para cada uno delos 314 y 311 enunciados originales.Se identifican, en este paso, aquellosenunciados originales que han sidoasignados al mismo enunciado pro-puesto por todos los expertos (presu-puesto 1). Como se ha dicho, al apli-car la fórmula del CVR las valora-ciones obtenidas pueden oscilar entre1 y -1, considerándose en este estu-dio que un enunciado original pro-porciona evidencia de la consistenciasemántica de un enunciado propuestoen caso de que el CVR sea 1 (esdecir, hay acuerdo entre los 5 exper-tos). En estos casos se hablará deacuerdo entre expertos. Por el contra-rio, en los casos en que el CVR seainferior a 1 (es decir, no hay acuerdoentre los 5 expertos) se hablará dedesacuerdo.

El CVR obtenido por cada uno de los314 y 311 enunciados originales no esun fin en sí mismo sino un mediopara decidir sobre la continuidad, eli-minación o modificación de los 94 y65 enunciados resultantes de lahomogeneización semántica, tal comose describe en el siguiente paso.

2 Comprobación de la consistenciasemántica de cada uno de los 94 y 65enunciados propuestos. Teniendo encuenta el número de enunciados ori-ginales que han logrado acuerdo detodos los expertos en cada uno dedichos 94 y 65 enunciados (presu-puesto 3) pueden darse las siguientessituaciones:

Ana M. Aguirre


Enunciados propuestos representadospor enunciados originales que han obteni-do en todos los casos acuerdo (CVR iguala 1). Estos enunciados propuestos se hanmantenido sin realizar ninguna modifica-ción.

Enunciados propuestos representados,tanto por enunciados originales que hanobtenido acuerdo (CVR igual a 1), comopor enunciados originales que han obteni-do desacuerdo (CVR inferior a 1). Laredacción de los enunciados propuestospertenecientes a este grupo se ha modifi-cado, teniendo en cuenta únicamente lainformación proporcionada por los enun-ciados originales que obtuvieron acuerdo.Es decir, se ha obviado la informacióncontenida en los enunciados originales quehan obtenido un CVR inferior a 1, infor-mación que en un principio se tuvo encuenta para redactar estos enunciados pro-puestos.

Enunciados propuestos cuyas enuncia-dos originales correspondientes no obtu-vieron en ningún caso acuerdo entre losexpertos. Dichos enunciados propuestoshan sido eliminados.

RESULTADOS

Resultados relacionados con las destrezas mentales

La tabla 1 muestra un resumen de losresultados obtenidos de la valoración de los314 enunciados originales de destrezasmentales incluidos en este estudio, resulta-dos derivados de la aplicación del paso 1del procedimiento. El amplio rango devalores del CVR obtenido por los enuncia-dos originales, tal como se ve en la primerafila de la tabla, se explica por el hecho deque no todos los enunciados originales fue-ron valorados por todos los expertos. Esdecir, en función del número de expertos elrango de puntuaciones que se pueden obte-ner al aplicar la fórmula de Lawshe varía.Así, los enunciados originales valoradospor los 5 expertos pueden obtener valoresde 1, 0,6, 0,2, -0,2, -0,6 o -1, en función desi hay acuerdo de 5, 4, 3, 2, 1 o ningúnexperto, respectivamente. De este modo, losenunciados originales valorados por 4expertos pueden obtener valores de 1, 0,5,0, -0,5 y -1, mientras que las puntuacionesobtenidas por los enunciados valorados por3 expertos pueden ser de -1, -0,33, 0,33 y 1.



Tabla 1.Resumen de los resultados obtenidos por los 314 enunciados de destrezas

mentales originales

En este caso, 296 enunciados fueron valora-dos por todos los expertos, 12 enunciadospor 4 expertos, 4 enunciados por 3 exper-tos, y el resto, un total de 2 enunciados, fue-ron valorados únicamente por un experto.

La tabla 2 muestra un resumen de losresultados obtenidos por los 94 enuncia-dos de destrezas mentales propuestos.Dichos resultados se corresponden con laaplicación del paso 2 del procedimiento.

Resultados relacionados con las destrezas de relación

La tabla 3 resume los resultados obteni-

dos de la valoración de los 311 enunciadosde destrezas de relación originales, resul-tados que proceden de la aplicación delpaso 1 del procedimiento. Al igual que enel caso de las destrezas mentales, en estecaso tampoco fueron valorados todos losenunciados originales por todos los exper-tos. Así, los 184 enunciados valorados porlos 5 expertos obtuvieron valores de 1,0,6, 0,2, -0,2 y -0,6, en función de si huboacuerdo de 5, 4, 3, 2, o 1 experto, respecti-vamente. Los 4 enunciados valorados por3 expertos obtuvieron en todos los casosun valor de 1, es decir, acuerdo de los 3expertos. Por último, los 123 enunciadosvalorados únicamente por 2 expertos obtu-vieron valores de -0,2 , -0,6 o -1, en fun-

Ana M. Aguirre


Tabla 2.Resumen de los datos obtenidos por los 94 enunciados de destrezas mentales propuestos

Tabla 3.Resumen de los resultados obtenidos por los 311 enunciados de destrezas

de relación originales.

ción de si hubo acuerdo de 2 , 1 o ningúnexperto.

En la tabla 4 se pueden ver, resumidos,los resultados obtenidos por los 65 enun-ciados de destrezas de relación propues-tos. Como en el caso de las destrezasmentales, dichos resultados provienen dela aplicación del paso 2 del procedimien-to.

DISCUSIÓN

Como resultado de este estudio se hapasado de 94 enunciados propuestos dedestrezas mentales a 30, y de 65 enuncia-dos propuestos de destrezas de relación a26. Estos resultados se describen y anali-zan a continuación.

El número de acuerdos y desacuerdosobtenidos en cada enunciado propuesto,tal como se ve en las tablas 2 y 4, propor-ciona evidencia útil para realizar las modi-ficaciones oportunas en cada uno de los 94y 65 enunciados propuestos. De este modose han mantenido sin realizar ningunamodificación los 14 enunciados mentalesy 10 enunciados de relación propuestosque han obtenido en todos sus enunciadosoriginales acuerdo entre los expertos. Este

grado de acuerdo indica que los expertosidentifican los diferentes enunciados pro-puestos a partir de la muestra de destrezasoriginales que se les presentó como repre-sentativa de cada uno de dichos enuncia-dos. Por lo tanto, puede decirse que estosenunciados propuestos reflejan con fideli-dad y claridad el significado de los enun-ciados originales a partir de los cuales fue-ron elaborados.

En cuanto al grupo de enunciados pro-puestos que han obtenido tanto acuerdoscomo desacuerdos, un total de 16 tanto enel caso de las destrezas mentales como enel de las de relación, tal como se muestraen las tablas 2 y 4, estos han sido modifi-cados de modo que el enunciado resultan-te reflejase únicamente la información delos enunciados originales que obtuvieronacuerdo. Al obviar en la redacción de losnuevos enunciados la información de losenunciados originales que obtuvieron des-acuerdo, se incrementa la fidelidad conque dichos enunciados resultantes reflejanlos enunciados originales “validados” porlos expertos.

Por último, los 64 enunciados mentalespropuestos y los 39 enunciados de relaciónpropuestos cuyos enunciados originales



Tabla 4.Resumen de los datos obtenidos por los 65 enunciados de destrezas de relación

propuestos

correspondientes no obtuvieron en ningúncaso acuerdo de los expertos, han sido eli-minados. En estos casos los enunciadospropuestos no reflejan el significado de losenunciados originales a partir de los cualesfueron elaborados, y por tanto, no puedenconsiderarse en ningún caso parte deldominio de las destrezas mentales y derelación de los trabajadores de la Adminis-tración Pública Vasca. En cuanto los moti-vos de la eliminación de los 64 enunciadosmentales propuestos, tras un análisis cuali-tativo se identifican los siguientes: 1) losenunciados originales a partir de las cualesse redactaron los enunciados eran ambi-guos, 2) hay enunciados propuestos elabo-rados a partir de un solo enunciado origi-nal, con lo que si el primero no obtiene unCVR suficiente, el segundo queda invali-dado, y 3) el enunciado propuesto aglutinade forma general aspectos que en otrosenunciados se plasman por separado deforma más específica. Por otro lado, en loreferente a los 39 enunciados de relaciónpropuestos, además de los motivos expues-tos para los enunciados mentales, hay quetener en cuenta que de los 311 enunciadosoriginales, un total de 123 sólo fueronvalorados por dos expertos. Esto se debe aque el resto de los expertos consideraronque dichos 123 enunciados originales (ypor tanto, los 13 enunciados propuestoselaborados a partir de ellos) no se referíana destrezas de relación si no a capacidadesde comunicación, rasgos de personalidad,destrezas mentales o destrezas técnicas.

Las conclusiones a que se ha llegadouna vez aplicadas las diferentes fases delprocedimiento se resumen en la tabla 5,para las destrezas mentales y en la tabla 6para las de relación. En ellas se reflejanlos 30 enunciados mentales y 26 enuncia-dos de relación finales una vez realizadaslas modificaciones oportunas.

Como resultado de este estudio se hanobtenido 30 enunciados de destrezas men-tales y 26 enunciados de destrezas derelación, que pretenden reflejar toda lainformación de las destrezas mentales yde relación aportadas por los trabajadoresde la Administración Pública Vasca.Siguiendo a Aguinis et al. (2001), el pro-ceso de validez de contenido puede resu-mirse en los siguientes pasos: descripcióndel dominio del contenido, redacción delos ítems de acuerdo a dicha descripción yevaluación de cada ítem para determinarsi cae dentro de dicho dominio. Por tanto,el proceso de validez de contenido serefiere a la relevancia y representatividadde una serie de ítems en cuanto a muestrade un dominio previamente especificado(Morales, 1988). En este estudio se hanidentificado los items o enunciados dedestrezas mentales y de relación del fun-cionariado de la Administración PúblicaVasca. Una limitación de este estudio esla posibilidad de que dichos enunciadosno cubran la totalidad del dominio de lasdestrezas mentales y de relación. Es decir,la manifestación de este dominio a nivelde destreza puede que no sature la totali-dad de las dimensiones o factores de lastaxonomías existentes a nivel de variabledependiente e independiente. Esto esdebido a que durante el proceso de análi-sis de puestos se dieron tres tipos de res-tricción:

1. No se identificaron las destrezas detodas las tareas, sino que, por cadapuesto tipo, se seleccionaron unaserie de tareas representativas. Estose hizo en función de su peso relati-vo y el grado en que éstas represen-taban las funciones de los diferentespuestos tipo. En cualquier caso, seobtuvo información sobre todos lospuestos tipo.

Ana M. Aguirre




Tabla 5.Listado de enunciados finales de destrezas mentales

• Saber argumentar en base a criterios y datos.• Saber extractar la información relevante de entre una totalidad de información pre-

sentada.• Saber aplicar estructuras gramaticales, sintaxis y normas de estilo.• Saber encontrar el correlato técnico o teórico de información no técnica.• Saber simultanear labores de diferente naturaleza o contenido.• Saber anticipar soluciones a posibles incidencias futuras.• Saber comprobar y verificar la fiabilidad y bondad de una información. Probar su

veracidad cotejando con otra información o repitiendo las demostraciones que laprueban.

• Saber estimar necesidades de recursos humanos, económicos y materiales en funciónde la actividad a realizar.

• Saber adaptar las metodologías de trabajo al contexto y condiciones de la ejecución.• Saber concatenar acciones, determinar objetivos y asignar recursos (elaborar planes y

proyectos)• Saber aplicar conocimientos teóricos a la práctica del trabajo diario.• Saber sintetizar. Integrar información en un todo coherente.• Saber elaborar/identificar leyes generales aplicables a un sistema o conjunto de casos

concretos.• Saber elaborar hipótesis.• Saber discriminar qué información proporcionar y solicitar.• Saber prever la evolución de una variable.• Saber identificar la finalidad implícita de una consulta o información.• Saber priorizar actuaciones urgentes y relevantes.• Saber focalizar la atención.• Saber concretar en acciones operativas objetivos y líneas generales de actuación.• Saber establecer analogías. Descubrir relaciones de semejanza entre variables distin-

tas.• Saber visualizar un producto final: funcionalidades y características.• Saber retener y recuperar información (memoria).• Saber describir la realidad a partir de datos numéricos.• Saber improvisar actuaciones ante situaciones inesperadas.• Saber construir mentalmente una representación espacial.• Saber prever supuestos más allá de los conocidos.• Saber adaptar los esquemas mentales propios a nuevos inputs.• Saber supervisar. Identificar desviaciones en las ejecuciones ajenas.• Saber realizar análisis descriptivos: distinguir y separar las partes de un todo hasta

llegar a conocer sus principios o elementos.

2. Para obtener datos referentes a lospuestos tipo se utilizó un cuestiona-rio al que los trabajadores teníanacceso a través de la red. Estaencuesta fue contestada por el 47%del funcionariado.

3. Para obtener datos de las tareas repre-sentativas de cada puesto tipo se rea-lizaron entrevistas con algunos de losfuncionarios que previamente habíancontestado el mencionado cuestiona-rio. Así, de ese 47%, fueron entrevis-

Ana M. Aguirre


Tabla 6.Listado de enunciados finales de destrezas de relación

• Saber adaptar el lenguaje e información y su vía de transmisión a las característicasdel receptor.

• Saber establecer y mantener contactos útiles.• Saber concienciar de la necesidad, conveniencia u obligación de una actividad o

situación.• Saber consensuar intereses, criterios u opiniones.• Saber convencer de la necesidad, conveniencia u obligación de una actividad o situa-

ción.• Saber convocar intereses y entusiasmos ajenos.• Saber dinamizar un grupo.• Saber realizar escucha activa (asegurarse de comprender correctamente el mensaje

del interlocutor)• Saber generar en otros cooperación, apoyo y complicidad por confianza.• Saber manejar conflictos.• Saber negociar. Selección de estilos de negociación.• Saber persuadir al interlocutor de la conveniencia de una determinada actuación.• Saber ser empático y discriminar situaciones en las que es adecuado serlo.• Saber ser asertivo y discriminar situaciones en las que es adecuado serlo.• Saber crear climas de colaboración acordes con la personalidad, capacidad y cultura

de los interlocutores.• Saber intermediar entre dos partes.• Saber encauzar una conversación hacia los objetivos pretendidos.• Saber dominar y reconducir situaciones tensas.• Saber mostrar consideración, amabilidad, paciencia y tacto en las relaciones con

otros.• Saber comunicar información sensible o conflictiva.• Saber mostrar interés y accesibilidad en las relaciones con otros.• Saber relajar o generar ambientes distendidos.• Saber gestionar la incertidumbre.• Saber buscar puntos de acuerdo y conciliar intereses opuestos.• Saber generar conformidad con las decisiones tomadas.• Saber generar tranquilidad en situaciones sensibles o de emergencia.

tados unos 300 trabajadores, que fue-ron los que aportaron los enunciados“brutos” de destrezas.

Siguiendo el procedimiento expuestopor Aguinis et al. (2001), en estudios pos-teriores se llevarán a cabo el análisis yselección de los items o enunciados de des-trezas, en este caso. Tanto estos autorescomo Morales (1988) proporcionan unadescripción de dichos procesos de análisisy selección, como pueden ser la correla-ción ítem-total o el cálculo de la fiabilidad.A partir del conjunto final de ítems selec-cionados se identificarán los constructos oestructura de las destrezas mentales y derelación en el ámbito de la AdministraciónPública Vasca. De acuerdo a Messick(1975) la validación de constructo es unproceso mediante el cual se acumulan evi-dencias sobre relaciones teóricamenteimportantes que apoyan una determinadainferencia o interpretación de las puntua-ciones. Morales (1988) describe diferentesmétodos y enfoques de la validación deconstructo, como la matriz multi-rasgomulti-método o el análisis factorial. Puededecirse, por tanto, que este estudio, la iden-tificación de enunciados consistentessemánticamente, supone un primer pasopara el posterior desarrollo de una taxono-mía de destrezas válida en el ámbito de laAdministración Pública Vasca. La infor-mación resultante de este proceso de orga-nización y validación será utilizada endiferentes actividades relacionadas con lasáreas de selección, formación y carrera, yaque será posible describir el perfil de des-trezas de los diferentes puestos y por tanto,podrán compararse unos con otros.

REFERENCIAS BIBLIOGRÁFICAS

Aguinis, H., Henle, C.A. y Ostrof, C.

(2001). Measurement in Work and Orga-nizational Psychology. En N. Anderson,D. S. Ones, H. K. Sinangil y C. Viswes-varan (Eds.). Handbook of Industrial andOrganizational Psychology. Vol 1: Per-sonnel Psychology. Chapter 2. Londres:SAGE

Barrick, M.R. y Mount, M.K. (1991).The Big Five personality dimensions andjob performance: A meta-analysis. Per-sonnel Psychology, 44, 1-26.

Bernardin, H.J. y Beatty, R. (1984).Performance Appraisal: Assessing humanbehaviour at work. Boston: Kent-PWS.

Borman, W. C. y Motowidlo, S. J.(1993). Expanding the criterion domain toinclude elements of contextual perform-ance. En N. Schmitt and W.C. Borman(Eds.). Personnel selection in organiza-tions. San Francisco: Jossey-Bass.

Borman, W. C. y Motowidlo, S. J.(1997). Task performance and contextualperformance: The meaning for personnelselection research. Human Performance,10, 99-109.

Borman, W. C., Penner, L A., Allen, T.D. y Motowidlo, S. J. (2001). PersonalityPredictors of Citizenship PerformanceInternational Journal of Selection andAssessment, Vol. 9, Numbers 1/2, 52-69.

Campbell, J.P. (1990). Modelling theperformance prediction problem in indus-trial and organizational psychology. En M.Dunnette y L.M. Hough (Eds.). Handbookof industrial and organizational psycholo-gy (Vol. 1, 2ª ed., pp.687-731). Palo Alto,CA: Consulting Psychologist Press.

Campbell J.P.y Kuncel, N.R. (2001).



Individual and Team Training. En N.Anderson, D. S. Ones, H. K. Sinangil y C.Viswesvaran (Eds.). Handbook of Indus-trial and Organizational Psychology. Vol2: Personnel Psychology. Chapter 13.Londres: SAGE.

Fisher, L y Navarro, A. (1994). Investi-gación de Mercados. México: Ed. Inter-americana.

Fleishman, E.A (1975). Toward a tax-onomy of Human Performance. AmericanPsychologist, 30, 327-328.

Goldberg, L.R. (1990). An alternativedescription of personality: The Big FiveFactor Structure. Journal of Personalityand Social Psychology, 59 (6), 1216-1229

Goldberg, L.R. (1992). The develop-ment of markers of the Big Five factorstructure. Psychological Assessment, 4,26-42.

Gorriti, M. (2003). Análisis Ocupa-cional y de Estructuras Organizativas apartir de Componentes de Función yAnálisis de Clusters (La Administracióndel País Vasco. Un caso concreto de Apli-cación). Revista de Psicología del Trabajoy de las Organizaciones. Vol. 19, 75-105.

Gruys, M.L. y Sackett, P.R. (2003).Investigating the Dimensionality of Con-traproductive Work Behaviour. Interna-tional Journal of Selection and Assess-ment. Vol. 11, number 1.

Hough, L. M. y Ones, D. S. (2001).The Structure, Measurement, Validity andUse of Personality variables in IndustrialWork, and Organizational Psychology .En N. Anderson, D. S. Ones, H. K.Sinangil y C. Viswesvaran (Eds.). Hand-

book of Industrial and OrganizationalPsychology. Vol 1: Personnel Psychology.Chapter 12. Londres: SAGE.

Hunt, S.T. (1996). Generic workbehaviour. An investigation into thedimensions of entry –level, hourly job per-formance. Personnel Psychology, 49, 51-83.

Kirsh, D. (1991). Foundations of artifi-cial intelligence: The big issues. ArtificialIntelligence , 47, 3-30.

Lawshe C.H. (1975). A quantitativeApproach to Content Validity. PersonnelPsychology, 28. 563-575.

McCrae, R.R, y Costa, P.T. (1987).Validation of the Five Factor Model ofpersonality across instruments andobservers. Journal of Personality andSocial Psychology, 52 (1), 81-90.

Meichenbaum, D., Butler, L. y Gruson,L. (1981). Toward a conceptual model ofsocial competence. En J. D. Wine y D.Smye (Eds.). Social Competence (pp. 36-60). New York: Guilford Press.

Messick, S.J. (1975). The StandardProblem: Meaning and Values in Measu-rement and Evaluation. American Psycho-logist, 30, 955-966.

Morales, P. (1988). Medición de Actitu-des en Psicología y Educación. Construc-ción de Escalas y Problemas Metodológi-cos. San Sebastian: Tártalo.

Mumford, M.D., Peterson, N.G. yChilds, R.A. (1999). Basic and Cross-Functional Skills. En N.G. Peterson, M.D.Mumford, W.C. Borman, P.R. Jeanneret yE.A. Fleishman (Eds.). An occupational

Ana M. Aguirre


information system for the 21ST century:The development of O*NET (pág. 49-68).Washington: American PsychologicalAssociation.

Murphy, K.R. (1989). Dimensions ofjob performance. En R. Dillon y J. Pelli-grino (Eds.). Testing: Applied and theore-tical perspectives (pp. 218-247). NewYork: Praeger.

Oficina para la Modernización de laAdministración (1998). Análisis Funcio-nal de los Grupos C y D en la Administra-ción Vasca (identificación de puestos tipomediante análisis de clusters). RevistaVasca de Administración Pública. Vol. 51,pp.169-18.

Ones, D. S., Viswesvaran, C. ySchmidt, F.L.(1993). Comprehensivemeta-analysis of integrity test validities:Findings and implications for personnelselection and theories of job performance(Monograph). Journal of Applied Psychol-ogy, 81, 660-679.

Ones, D. S. y Viswesvaran, C. (1998).Integrity Testing in organizations. EnR.W. Griffin, A. O´Leary-Kelly andJ.M.Collins (Eds.). Dysfunctional Behav-iour in Organizations: Vol.2, NonviolentBehaviours in Organizations. Greenwich,CT. JAI.

Ones, D. S. y Viswesvaran, C. (2001).Integrity Test and Other Criterion–Focused Occupational Personality Scales(COPS) Used in Personnel Selection. Inter-national Journal of Selection and Assess-ment, Vol. 9, Numbers 1/2. (31-39).

Riggio, R.E. (1986). Assessment ofbasic social skills. Journal of Personalityand Social Psychology, 51, 649-660.

Sackett, P. R. y DeVore, C. J. (2001).Counterproductive Behaviours at Work.En N. Anderson, D. S. Ones, H. K.Sinangil y C. Viswesvaran (Eds.). Hand-book of Industrial and OrganizationalPsychology. Vol 1: Personnel Psychology.Chapter 8. Londres: SAGE.

Schmidt, F.L. y Hunter, J.E. (1998).The Validity and Utility of SelectionMethods in Personnel Psychology: Practi-cal and Theoretical Implications of 85Years of Research Findings. Psychologi-cal Bulletin, Vol. 124, nº 2, 262-274.

Society for Industrial and Organization-al Psychology, Inc. (2004). Principles forthe validation and use of personnel se-lection procedures. (Fourth edition).www.siop.org.

VanLehn, K. (1996). Cognitive SkillAcquisition. Annual Review Psychology,47, 513-539.

Viswesvaran, C., Ones, D.S. y Schmidt,F. L. (1996). Comparative analysis of thereliability of job performance ratings. Jour-nal of Applied Psychology, 81, 557-574.

Witt, L.A. y Ferris, G.R. (2003). SocialSkill as Moderator of the Conscientious-ness-Performance Relationship: Conver-gent Results Across Four Studies. Journalof Applied Psychology, 88, 809-820.



Documents

(M) 4. Consistencia semÃ¡ntica