Upload
ngokien
View
220
Download
4
Embed Size (px)
Citation preview
Indicadores Bibliométricos como Instrumentos de Política
Científica.
Los Retos de los Sistemas de Evaluación de la Calidad Científica en
los Países Emergentes
Monterrey 0ctubre 2013
EC3metrics – GRUPO EC3
Dr. Evaristo Jiménez-Contreras
Facultad de Comunicación y Documentación
Universidad de Granada
Contenidos
EC3metrics
Una reflexión inicial
La percepción sobre las evaluaciones
Es posible la evaluación?
Las herramientas
Aplicaciones:
Proyectos
Instituciones
Rankings
Los resultados
Los retos, reflexiones y valoración final
Una reflexión inicial
EC3metrics
La reflexión sobre los indicadores no es meramente técnica, tiene
unas evidentes implicaciones políticas.
Su uso deben ser decidido a la luz del modelo de universidad que
busquemos (y no hay un modelo único).
La no evaluación de las actividades científicas, o su disolución entre
un conjunto más o menos amplio de objetivos o indicadores. también
es una opción política,
La percepción de las evaluaciones
EC3metrics
Actitud de los investigadores franceses ante los procesos evaluativos:
Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS
y H), Desde luego no gustan en España (en Latinoamérica?)
Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones
En Alemania a día de hoy no hay un sistema constituido de evaluación institucional
Actitud Porcentaje
Totalmente en contra 15 Aceptan con reparos 85 Totalmente a favor 0
Evaluación en Ciencia
EC3metrics
• La evaluación es inherente a la actividad científica.– La revisión por expertos es uno de los signos distintivos del quehacer
científico, es lo que diferencia a las revistas científicas de las restantes (por ejemplo)
• Es cualitativa/cuantitativa
• Sin embargo, evaluar la Ciencia con la pretensión de orientar su avance, optimizar los recursos, controlar sus progresos, etc. es algo completamente diferente y en cierto modo ajeno a la tradición científica
Es posible la planificación y la evaluación en Ciencia?
EC3metrics
• El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muycomplejo que implica a numerosos agentes:– Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto
• Sus efectos y algunos de sus factores son en parte intangibles
• Es incierta y a veces impredecible
• Las herramientas analíticas están poco desarrolladas (aunque cada vez más)
• Con frecuencia genera polémicas y tiene efectos contraproducentes
A quien interesa? Y porque puede ser aconsejable
EC3metrics
• Economía : Aprovecha los resultados, optimización de recursos. Planificación de inversiones,
• Academia: Aporta fundamentos teóricos, herramientas, autoevalúación, priorización
• Sociedad: beneficio, prioridades, rendición de cuentas
• Política: Desde la política se crean la herramientas legales para su organización y se utilizan los resultados para financiar las actividades
El debate sobre la Política científica
EC3metrics
Entre la Ciencia responsable.
Bernal JD, (1931) La responsabilidad social del científico
Los poderes públicos pueden y deben controlar la orientación de la
Ciencia
Y la república de la Ciencia…La evaluación ex ante no es necesaria porque
“the results of any one particular investigation cannnot be predicted
with accuracy” (Bush, V. 1945)
Los científicos debían gozar de libertad total, nace la NSF
la práctica evaluadora se generaliza a partir de los 70-80 como
consecuencia de la crisis económica
Dimensiones de la actividad científica y sus productos
EC3metrics
Investigación
Formación/docencia
Nuevo conocimiento Innovación
Políticas públicasDivulgación y
peritaje
ArtículosArtículos
Libros,
MOOCS…Patentes, spin-off
Subvenciones y programas Comunicación, informes, asesorías..
EC3metrics
• La conclusión de que se puede obtener una imagen ajustada
de un investigador a partir de su obra, de las revistas en
las que publica o del impacto que alcanza, puede
considerarse hoy en día un razonamiento correcto y en
consecuencia un punto de partida para construir políticas
evaluativas
• Pero no es el único y debe ser complementario a otros
Bases de datos; Preguntas
EC3metrics
• Que fuente elegir?– Thomson Sci.
– Scopus
– Google Scholar
– Otras: Redalyc, SciELO
– Exhaustividad vs. Selectividad
– Control en el ingreso de las fuentes frente a repositorios abiertos
– Indicadores clásicos o nuevos indicadores (almetrics)
– Adaptación a perfiles propios o a standards internacionales
– Indicadores simples vs. complejos
– Indicadores absolutos vs. relativos
Bibliometría Output científico
Selección vs exhaustividad
EC3metrics
Ejemplo Psicología
TS Scopus Diferencial
Revistas 555 890 circa 300 >50%
Citas Diferencial
14000 9%
Revistas Citas Artícuos
58 0
60entre 1 y 9 3700
La ganancia en cobertura, en contra de los que suele pensar no es necesariamente un beneficio.
Lo que nos falta desde hace años no es información sino tiempo para leerla..
Pautas de actuación
EC3metrics
• La elección de las fuentes determina el resultado
• La respuesta no es la misma según se trate se Ciencias Exactas y Experimentales o Ciencias Sociales y Humanidades.
• Aunque los criterios de fondo no deberían alterarse
• Calidad de la información– Científica
– Accuracy
• Complementariedad y ajuste al perfil institucional
Ámbitos de actuación
EC3metrics
• Valoración de proyectos
• Aplicación a la evaluación de las carreras académicas
e institucionales
• Rankings
Valoración de proyectos
EC3metrics
• Desde los primeros ensayos en USA la valoración de
proyectos ha incluido sistemáticamente un apartado de
valoración de los CV de los solicitantes
• Gradualmente esta valoración ha incorporado elementos
bibliométricos
– Producción, impacto, citas como parte del proceso
Valoración de proyectos, Caso España, la ANEP
EC3metrics
Agencia Nacional de evaluación y Prospectiva (1989)
1, Méritos científicos del investigador principal y del resto del equipo de investigación.
1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo.1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos científicos de cada uno de los participantes, valorando positivamente la participación de investigadores en formación
2. Interés científico-técnico del proyecto.3. Viabilidad de la propuesta.
Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros.
Aplicación a la evaluación de las carreras académicas e institucionales
EC3metrics
• Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia…
han implementado alguna forma de premio por publicar fuera.
• Se vincula la carrera académica a la publicación en los “mainstream
journals”.
• En general promueven la autoselección por parte de los autores
• Consecuencias:
• La investigación ha pasado a ser el centro de la vida universitaria
• Incremento de las cifras de publicaciones internacional
• Reacción en contra de las áreas de CCSS y Hum.
Algunos ejemplos; Noruega
EC3metrics
• Tipos de publicaciones “A,B,C publications that could have achieved
greater significance by expending more effort and being compiled
into a smaller number of publications”
• Tipos de investigadores: local, nacional, Internacional
• “As a general rule, publications in publication channels with local
authorship are not to be included in the statistics on academic publishing
reported to the Database for Statistics on Higher Education (DBH), and
which would therefore be included in the Ministry’s basis for setting the
research component of the budgets.”
• Se diferencia entre Thomson Sci, Norart y BibSys
Algunos ejemplos; UK, del RAE al REF
EC3metrics
• Controvertido, calificado como muy negativo o muy positivo
• Mide la calidad de los resultados (publicaciones), entorno, reputación
• Flexible: cada panel establece sus reglas y umbrales.
• Se valoraban los 7 años anteriores del miembros permanentes pero
se consideró a los part-time más adelante.
• Selección de las mejores publicaciones
• 15 paneles y 67 subpaneles
• Muy costoso
• Incremento de la visibilidad pero no necesariamente de la calidad
(Moed 2008)
• Ha generado una adaptación de conductas
• Valoración en 5 niveles.
• Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente
15%
• 36 paneles
• Cada panel desarrolla sus propios criterios. A modo de ejemplo
en el de Medicina no se menciona el impacto científico clásico
medido en citas o similar.
• Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither
receive nor make use of citation data, or any other form of
bibliometric analysis including journal impact factors.
Algunos ejemplos; UK, del RAE al REF (2014)
España
EC3metrics
• CNEAI: objetivos
– Introducir un régimen retributivo para incentivar, mediante evaluaciones,
la actividad investigadora de calidad
– Fomentar que los investigadores orienten sus trabajos a lograr resultados
de amplia repercusión (internacional) científica y social
• Procedimiento:
– Evaluación sobre resultados de investigación: Las publicaciones
– Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de
objetivación forma
– Evaluación por pares: comisiones de expertos y selección de las mejores
publicaciones de cada candidato (5 en 6 años)
– Valoración bibliométrica sobre todo
ACTIVIDAD
INVESTIGADORA
• Artículos en revistas
• Libros y Capítulos
• Proyectos y contratos
• Transferencia
• Congresos
MÉRITOS
DOCENTES
• Docencia universitaria
• Dirección de tesis,
tesinas, trabajos grado…
• Cursos de formación
docente
FORMACIÓN
ACADÉMICA
• Títulos y premios
• Becas y ayudas
• Estancias de
investigación
GESTIÓN
• Cargos Académicos
• Puestos en la
administración
• Liderazgo de grupos de
investigación y docentes
OTROS MÉRITOS
ANECA, dimensiones de evaluación
CU
Investigación
Docencia
Formación
Gestión
TU
Investigación
Docencia
Formación
Gestión
Pesos y puntuaciones para acreditación
Revistas Indexadas o con
Índice de Calidad Relativo
JCR
Valoración de las revistas
Revistas no
Indexadas o sin
Índice de Calidad
Relativo
Rankings
EC3metrics
• Cual es la razón del éxito?– Percepciones, metodologías, información, expectación mediática
• Los rankings han venido para quedarse por tanto…
– hay que tener un programa de actuación y debemos ser pro-activos
– Conocer sus criterios internos y potenciarlos en nuestra política científica si son razonables y es factible hacerlo, por ejemplo;• Favorecer la publicación en revistas internacionales de alto impacto
• Contratar profesores de reconocido prestigio
• Atraen/ran visibilidad, estudiantes y recursos tanto humanos como económicos
• Los rankings son un arma arrojadiza
• Unidimensionales o lo que es peor multidimensionales
• Difieren en sus reglas por tanto son incomparables entre sí
• No descansan en supuestos teóricos claros en muchos de
sus apartados
Rankings
Desmontando los rankings
EC3metrics
• Elementos que componen la realidad de los rankings
• Elementos que componen la realidad universitaria:
Investigación Investigación
Docencia
Inserción laboral
Transferencia
Opinión de los expertos
Reconocimiento
Opiniones y éxito de los
egresados
Otras labores sociales
• No existe un patrón común: – Países con sistemas universitarios muy desarrollados: México, Chile,
Brasil y otros no tanto…
– Países con infraestructuras organizativas maduras y otros no tanto…
• También hay que considerar si nos dirigimos a:– Universidades enfocadas a investigación o a docencia
– Si tienen orientación internacional, nacional o local
– Si los destinatarios de los indicadores son usuarios, gestores, responsables políticos
– Públicas o privadas
• Por tanto los indicadores deben adaptarse a esos modelos y objetivos.
Antes de tomar medidas…
Pros & Cons
EC3metrics
• Los indicadores bibliométricos miden outputs que en general son aceptados
como válidos por la comunidad científica (sobre todo en Ciencias)
• Utilizan una evaluación ex post que se basa en el principio de que los
resultados anteriores son un buen predictor del rendimiento futuro.
• Se centran principalmente (y en muchos casos únicamente) en el rendimiento
de la investigación, prestando poca atención a otros aspectos de la actividad
universitaria como la enseñanza o la innovación
• Uno de sus objetivos principales es la distribución eficiente de los fondos. Por
lo tanto el presupuesto final de las universidades (u otras instituciones de
investigación) dependerá en cierta medida, de los resultados de dicha
evaluación.
Pros & Cons
EC3metrics
• Se implementan sobre todo a nivel nacional. Altamente enfocados en los
detalles y las características de su sistema universitario nacional.
• A pesar de los anterior utilizan metodologías y enfoques bastante homogéneos
• Son sistemas dinámicos que se actualizan y rediseñan constantemente.
• Son económicos
• Son transparentes o deberían serlo
Pros & Cons
EC3metrics
• Dependen vitalmente de la calidad de las fuentes.
- (actualmente la disponibilidad de fuentes nacionales de calidad es limitado)
• Tienden a crear un escenario común con unas reglas únicas
• Favorecen la orientación hacia un modelo de universidad internacional, de
excelencia investigadora, especializada en áreas experimentales, tecnológicas
y salud
• Son parciales
Por tanto:
• Deben combinarse con otras fuentes que incorporen información sobre
recursos humanos y económicos
• Deben manejarlos expertos
Conclusiones
EC3metrics
• No hay una receta mágica. Todos las metodologías de evaluación tienen pros y
contras y hasta cierto punto pueden ser complementarias
• La bibliométrica es especialmente eficiente para los aspectos relacionados con
la investigación.
• Introducir la cultura de la evaluación no tanto como sistema de competencia
despiadada, sino como herramienta para optimizar los recursos y como forma
de rendición de cuentas.
• Debemos tener claro el modelo que queremos, tanto en la enseñanza
académica como en la investigación pero en ambos la necesidad de disponer de
recursos de información de calidad es imprescindible.
• Si se opta por la vía bibliométrica es necesario profesionalizar la gestión. Se
necesitan expertos que procesen, que adapten los indicadores y que generen
los informes liberando en lo posible a los investigadores y actúen cerca de los
centros de toma de decisiones, lo que en algunas universidades llamamos
unidades de bibliometría
• Al final seguramente habrá que elegir entre:
• Procedimientos bibliométricos:
“groseros”, sencillos y supuestamente “fáciles de engañar”
• Procedimientos basados en paneles: cualitativos, costosos,
sensibles y finalmente subjetivos y por tanto con poca
comparabilidad
Recuerden