Influencias formales no citadas como crítica al análisis de

citas en la evaluación científica

Carolina Callejo

El análisis de citas es el método más utilizado para determinar el crédito y el prestigio de los

investigadores y de las publicaciones que difunden los resultados de sus trabajos. La corriente normativa

de la ciencia presupone que los documentos científicos más citados son los de mayor calidad y que por

tanto los autores de esos trabajos y las revistas que los publican son referentes de una ciencia de

calidad, por lo que resulta lógico que sean éstos los que reciban el mayor prestigio y crédito científicos.

Sin embargo, en opinión de algunos autores esto genera una serie de prácticas indeseadas por parte de

científicos y revistas con el único objetivo de aumentar sus índices de citación e impacto y posicionarse

dentro del reducido círculo de productores de investigación de calidad.

Según esta enfoque, el análisis de citas como método de evaluación científica se convierte en un

artefacto artificial que desvirtúa la esencia de la actividad investigadora. En esta línea, son muchas las

críticas defendidas por parte de numerosos autores, entre ellas la que afirma que los científicos no

siempre citan todas las influencias formales de sus trabajos. Esto resultaría, por tanto, en un mecanismo

viciado en el que solo los actores más citados se considerarían los más influyentes y prestigiosos,

mientras el resto quedarían desprovistos del sello de “calidad científica”.

Este ensayo tiene por objetivo presentar, de forma resumida, cuál es el debate en torno al uso de las

citas como sistema de evaluación de la calidad investigadora y reflexionar sobre la crítica de

MacRoberts1 con respecto a las influencias formales no citadas.

Introducción

En la actualidad la información disponible sobre el mundo que nos rodea crece

exponencialmente. Esa información no es sino consecuencia de la continua producción y

difusión del conocimiento humano que es fruto de la investigación científica. Porque la

ciencia se ha convertido en la vía principal de acceso al conocimiento de la realidad,

posicionándose como el motor del desarrollo político, económico y social y, por ende, de la

evolución humana.

La actividad científica es determinante para la vida humana actual. Porque lo que produce la

ciencia son conocimientos certificados; de ahí que los resultados de la investigación y su

aplicación práctica condicionen todos los ámbitos de nuestra existencia (recursos, bienestar

social, economía, actuaciones políticas…). Se deduce, por tanto, el papel vital que la ciencia

desempeña en nuestra sociedad. Y más que la ciencia como una especie de ente abstracto,

me refiero a la actividad investigadora materializada en el conjunto de personas implicadas

en el ciclo de producción científica. Son ellos sobre quienes recae la auténtica

responsabilidad de practicar una ciencia de calidad. Y para conocer la calidad de la

investigación científica es necesario evaluarla.

1 MacRoberts, 1989.

Evaluación de la ciencia y de la actividad científica

La evaluación de la ciencia es hoy en día una práctica sistemática dentro de la comunidad

científica y sus resultados tienen efectos directos sobre las personas, instituciones y

empresas implicadas en la producción del conocimiento científico (investigadores,

universidades, editoriales, laboratorios…). El método de evaluación por excelencia son los

indicadores bibliométricos, que han convertido a la actividad investigadora en un

competitivo mercado sustentado por la cultura del “publicar o perecer” (publish or perish2).

En este contexto, las citas constituyen el principal (aunque no el único) sistema de

evaluación de la ciencia a través de los artículos publicados en revistas de revisión por

pares, mediante la medición del impacto que los resultados de la investigación tienen

dentro de la comunidad científica. Así, estos artículos se convierten en los productos

científicos por excelencia ya que son los que proporcionan el conocimiento certificado.

Como consecuencia, el sistema de evaluación por citas determina el prestigio y

reconocimiento científicos de los autores y las instituciones que los respaldan, delimitando

lo que es y lo que no es ciencia de calidad.

En opinión de muchos esto genera un círculo vicioso en el que siempre son los mismos

autores y revistas los que representan el sello de calidad de la investigación científica. De

hecho, se ha constatado que las distribuciones bibliométricas siguen en muchos casos el

Principio de Pareto, en el que el 20% de una población ostenta el 80% de algo, mientras que

el 80% de la población restante solo ostenta el 20%. Esto, aplicado a la investigación

científica supone que solo el 20% de los autores (aquellos con mayor reconocimiento que

publican sus trabajos en las revistas de mayor prestigio) generan el 80% de la producción

científica.

Si tenemos en cuenta que la evaluación repercute directamente en la carrera profesional de

los investigadores (posibilidades de promoción, carga docente, remuneración…) este

mecanismo de evaluación de la ciencia margina a gran parte de los actores.

Esta distribución asimétrica de la bibliometría no solo afecta a la producción, sino también

al crédito científico que se otorga a través de las citas, de manera que tanto la producción

como el impacto se concentran en un pequeño número de agentes. Pese a este perverso

efecto, ampliamente conocido, el impacto científico medido a través de las citas sigue

siendo el método de evaluación de la actividad investigadora más utilizado en la actualidad.

¿Por qué? Quienes defienden esta corriente, derivada de la concepción mertoniana de la

ciencia, tienen sólidos argumentos para ello. Asumen que las citas de un documento

reflejan el mérito del mismo y, por tanto, las citas se dirigen a los mejores trabajos

publicados. Este pensamiento resulta lógico, ya que si las mejores investigaciones

científicas son las más citadas es por méritos propios, porque son las de mayor calidad

científica y, por ende, sus autores deberán obtener el mayor crédito y reconocimiento.

2 Expresión acuñada por Phillip Clapham como título de su famoso artículo en el que ilustró la importancia que

tiene la publicación y difusión de los resultados de la investigación para los científicos.

[…] las publicaciones son un elemento fundamental de la arquitectura

institucional de la empresa científica. Y dado que la calidad de la investigación se

infiere del crédito concedido a las publicaciones en las que aparece, la mejor

ciencia es en la práctica la que se muestra en las revistas con un mayor impacto y

los mejores científicos son los que consiguen publicar sus investigaciones en ellas

y obtienen más citas de sus trabajos (Requena, 2014: 131).

Esto provoca el denominado “efecto mateo”: los científicos más prestigiosos concentran

todo el reconocimiento a costa de los demás colaboradores, mientras que éstos últimos

quedan a la sombra de los primeros. Así, quienes más crédito reciben a través del sistema

de citas son lo que tienen más recursos y mejores condiciones laborales y gracias a ello

generan, a su vez, mejores investigaciones que son reconocidas de nuevo por el sistema de

citas. El resultado inevitable es que el prestigio y reconocimiento científicos se concentran

siempre en los mismos.

Críticas al análisis de citas como método de evaluación

Todo esto ha generado durante años un intenso debate dentro de la comunidad científica

sobre el uso de las citas como sistemas de evaluación de la actividad investigadora. Muchos

autores critican este modelo al considerar que se trata de un sistema artificial de evaluación

de la ciencia que promueve una serie de acciones contraproducentes para la propia esencia

del trabajo científico: intereses comerciales derivados del impacto de las publicaciones que

interfieren en los procesos de selección de los trabajos de calidad, prácticas editoriales

cuestionables (reducción artificial del número de trabajos publicados, promoción excesiva

de las marcas editoriales), motivaciones de los autores citantes ajenas al propio interés

científico que derivan en citas sesgadas, autocitación e incluso en influencias formales no

citadas para aumentar el índice de calidad de los trabajos.

Desde los enfrentamientos iniciales, los defensores del análisis de citas como

sistemas de evaluación de la calidad científica siguen reivindicando que reconocen

las limitaciones del método y corrigen los problemas, mientras que los detractores

defienden que los primeros no solo subestiman los problemas, sino que aún no los

reconocen (MacRoberts, 1989: 342).

Una de las críticas al análisis de citas que realiza MacRoberts3 es la de las influencias

formales no citadas. Una de las principales hipótesis subyacentes al análisis de citas como

medio para evaluar la calidad científica es que los investigadores siempre citan los trabajos

que les influyen y que son raros los casos en los que los autores no citan sus influencias

formales. Sin embargo, esta asunción no tiene una base sólida ya que no había sido

comprobada en estudios cuantitativos.

Por este motivo, este autor llevó a cabo una investigación4 a nivel cuantitativo para

examinar el problema de las influencias formales no citadas. En este trabajo, se

seleccionaron 15 documentos sobre la historia de la genética y se anotaron las influencias

formales que sí habían sido citadas y las que no habían sido citadas pero que sí constituían

3 MacRoberts, 1989. 4 MacRoberts, Michael H.; MacRoberts, Barbara, R. (1986). Quantitative Measures of Communication in Science: A Study of the Formal Level. Social Studies of Science [en línea]. Nº 1, vol. 16, pp. 151-172. Disponible en: http://sss.sagepub.com/content/16/1/151.abstract.

influencias formales. Los resultados mostraron la influencia de un total de 719 referencias,

de las cuales solo 216 habían sido citadas y el resto se habían omitido. De manera que las

influencias formales citadas solo representaban el 30% de todas las influencias reales.

Se examinaron documentos en otras disciplinas y los resultados obtenidos fueron similares.

El estudio más minucioso, citó solo el 64% de las influencias. Según MacRoberts “la mayoría

de los autores simplemente no citan la mayoría de sus influencias, y ninguno cita todas sus

influencias” (MacRoberts, 1989: 343).

¿Análisis correcto o tendencioso?

¿Refleja la crítica de MacRoberts un análisis correcto o tendencioso del empleo de las citas

como medio de evaluación científica?

Antes de responder a esta pregunta quiero comentar algunas cuestiones importantes. Si

damos por sentado que la hipótesis de las influencias formales no citadas es cierta,

debemos preguntarnos cuál sería la causa de que los investigadores no citen todas sus

influencias. Planteo dos opciones: que no lo hagan intencionadamente, citando solo

aquellas influencias que se consideran más prestigiosas para aumentar el impacto de sus

propios trabajos y alcanzar el tan deseado crédito y reconocimiento científicos, o que la

omisión de algunas influencias se deba a factores inconscientes. En el mundo académico las

influencias entre autores son continuas, y en ocasiones es difícil discernir entre lo que se

considera pensamiento propio e influencia5.

El primer caso supondría una interferencia consciente y premeditada del autor en beneficio

propio y podría violar los derechos de propiedad intelectual. Sinceramente, no me decanto

por esta opción. Quizá en algunos casos el propio investigador manipule los cimientos de su

trabajo6 con el único fin de obtener un mayor reconocimiento, pero no creo que esta sea la

regla general. Me decanto más bien por la segunda opción, que responde a un mecanismo

inconsciente más cerca del error humano que de la intencionalidad.

Por otro lado, hay que tener en cuenta que el documento que sustenta la crítica de

MacRoberts de las influencias formales no citadas es del año 1986 y constituye el primer

estudio cuantitativo hasta entonces a este respecto. Por tanto, no se pueden inferir los

resultados de un solo estudio al universo de todos los investigadores. Aun siendo verdadera

la hipótesis de las influencias formales no citadas, los resultados de un trabajo no

representan el quehacer científico de las diferentes disciplinas, instituciones y grupos de

investigación.

Además, en su estudio este autor afirma que los científicos omiten en sus trabajos gran

parte de sus influencias formales, pero no especifica (ni creo que lo contabilizase) si estas

influencias formales omitidas son las de menor prestigio y reconocimiento y, por tanto, solo

citan las de mayor impacto o la inclusión de unas u otras responde al azar. Por tanto, hasta

5 A veces, nos surge una idea que creemos que es propia y luego nos damos cuenta de que había alguien, a quien no conocíamos, que ya la había formulado previamente. 6 Las influencias de un trabajo, plasmadas en la bibliografía, no son sino los cimientos de ese trabajo, lo que sustenta y justifica las conclusiones y resultados.

que se desarrolle una línea de investigación empírica a este respecto no podremos obtener

conclusiones certeras.

Lo que sí puedo concluir, en respuesta a la pregunta que se plantea al principio de este

apartado, es que el análisis de MacRoberts es más tendencioso que correcto, ya que

muestra una tendencia parcial y dirigida a un determinado fin: reforzar su crítica al uso de

las citas como medida de la calidad investigadora.

Referencias

JIMÉNEZ, Evaristo (2015). La evaluación de la Ciencia y de la actividad científica (ppt). Apuntes

del máster en Información y Comunicación científica de la Universidad de Granada.

MACROBERTS, Michael H.; MACROBERTS, Barbara R. (1989). Problems of Citation Analysis:

A Critical Review. Journal of the American Society for information science [en línea]. Nº 40,

vol. 5, pp.342-349. Disponible en: http://onlinelibrary.wiley.com/doi/10.1002/%28SICI%291097-

4571%28198909%2940:5%3C342::AID-ASI7%3E3.0.CO;2-U/abstract.

REQUENA, Miguel (2014). La evaluación de la investigación a debate. Revista Española de

Sociología [en línea]. Nº 21, pp. 129-136. Disponible en: http://www.fes-

web.org/res/sumarios/021.php.