Calidad de la Investigación y Métodos de Medición en el actual contexto Nacional e Internacional, by Álvaro Cabezas (EC3 UGR)

Calidad de la Investigación y

métodos de medición en el actual

contexto nacional e internacional

Grupo EC3 EC3metrics


ÁLVARO CABEZAS CLAVIJOÁLVARO CABEZAS CLAVIJO

Estructura del taller


Estructura del taller

1.1. CÓMO MEDIR LA INVESTIGACIÓN: CÓMO MEDIR LA INVESTIGACIÓN: LA OMNIPRESENCIA DE LA BIBLIOMETRÍA EN LOS PROCESOS EVALUATIVOS

2. LOS INDICADORES BIBLIOMÉTRICOS, LOS INDICADORES BIBLIOMÉTRICOS, CON ESPECIAL ATENCIÓN AL FACTOR DE IMPACTO Y AL ÍNDICE H

ÍNDICE

ÍNDICE H

3. LOS ÍNDICES DE CITAS (WEB OF SCIENCE, LOS ÍNDICES DE CITAS (WEB OF SCIENCE, SCOPUS, GOOGLE SCHOLAR)SCOPUS, GOOGLE SCHOLAR) -PRÁCTICUM-

4. LOS PRODUCTOS DOCUMENTALES QUE OFRECEN LOS PRODUCTOS DOCUMENTALES QUE OFRECEN INDICIOS DE CALIDADINDICIOS DE CALIDAD

- DE REVISTAS (LA SOPA DE LETRAS: JCR, SJR, ULRICHS,

LATINDEX, ERIH, DICE, RESH, INREC*, CIRC,…)

- DE LIBROS (SPI, BKCI)

1.1.CÓMO MEDIR LA CÓMO MEDIR LA INVESTIGACIÓN: INVESTIGACIÓN: LA


INVESTIGACIÓN: INVESTIGACIÓN: LA

OMNIPRESENCIA DE LA

BIBLIOMETRÍA EN LOS

PROCESOS

EVALUATIVOS

¿Qué es la calidad de un trabajo científico?

Algo fácil de percibir pero difícil de medir

ConsensoConsenso implícitoimplícito:: cualquier científico competente puededistinguir los trabajos buenos de los malos y clasificar unoscomo mejores que otros.

Multidimensional

No existen medidas absolutas y directas de la calidad sino indicadores parciales

Métodos para valorar la calidad

Cuantitativos

* Bibliometría

* Indicadores I+D

Cualitativos

* Peer Review

* Paneles

Mixtos

*Combinando los dos anteriores

Porque la mayor de las políticas científicas y la evaluación

del rendimiento científico a nivel individual en la mayoría

de países se articulan en torno a bases de datos y

productos de evaluación basados en la bibliometria

CNEAI

¿Por qué es necesario estar familiarizado con la bibliometría? (1/3)

El rendimiento en centros I+D se suele comparar a partir

de rankings basados en indicadores bibliométricos


Convocatoria Centros de Excelencia Severo Ochoa

Gran parte de los recursos se asignan en la actualidad

teniendo en cuenta o con un peso importante de los

indicadores bibliométricos logrados.


Convocatoria Programa Nacional Contratación RRHH I+D

Presupuestos para realizar evaluaciones basadas en indicadores

bibliométricos

Al contar publicaciones se

Todos los firmantes de un

Los resultados investigación se manifiestan a

través de publicaciones

científicas.

publicaciones se asume que todas ellas

portan la misma cantidad de

conocimiento científico

certificado.

firmantes de un trabajo son

responsables de la investigación expuesta y han contribuido de igual manera a

la misma.

Las citas son una medida

fiable y válida de la

repercusión de los trabajos

El ‘estándar’ ISI no siempre funciona especialmente por dos razones relacionadas con las áreas de Ciencias Sociales, Humanidades, Arte, Derecho, etc..:

Problemas a nivel de investigador y CV

● Gran parte de las áreas no están bien cubiertas en el set de revistas de las bases de cubiertas en el set de revistas de las bases de datos Thomson-Reuters. Son áreas con menor grado de internacionalización.

● Estas áreas pueden tener hábitos de publicación diferentes, es decir los libros y capítulos tienen un valor importante y han de ser tenidos en cuenta.

El problema de los ‘hábitos’

Hábitos de publicación

en la UGR durante el

quinquenio 2007-2011

en diferentes áreas

científicas

(Fuente: SICA2)

• Para respetar los hábitos de publicación de áreas como las

Humanidades, Sociales, Derecho, etc.. Se da cabida a los libros /

monografías y los capítulos de libros entre los méritos que se

pueden evaluar

Publicación de resultados de investigación

por tipo de documento

RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their

findings.

…pero, la publicación en revistas, cada vez más importante

Biomedicina

Psicología

Los hábitos informativos

Incremento en el % de citas a revistas)

Ingenierías

Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

Las comunidades científicasEl tamaño

Científicos = Publicaciones = Referencias bibliográficas =+ Citas+ + +

Compare peras con peras, y manzanas con manzanas. Cada disciplina tiene patrones de publicación y citación diferenciados. ¡¡No compare a un sociólogo con un físico!!

Indicadores bibliométricos de mayor tamañoMayores Impact Factor, Índice H…

Diferentes comportamientos según disciplina

Volúmenes y promedios de citas diferentes

Datos: España | Categorías JCR | Período 2001-2010

Efectos en la productividad y la citación

Nº de citas Nº de citas x trabajox trabajoWeb of Science

1999-2009

Media de citas por artículo y por

especialidades

Artículos ISI-WOS

Producción anual Investigadores muy

productivos (Población: Invest. Principales

de Proyectos Plan nacional español 2007)

Nº trabajosNº trabajos x autorx autor

Artículos ISI-WOS

año

QUIMICA 9

FISICA 8

BIOMEDICINA 6

AGRICULTURA 4

MATEMATICAS 4

PSICOLOGIA 2

ECONOMIA 1

EDUCACION 1

2. LOS INDICADORES LOS INDICADORES BIBLIOMETRICOS, BIBLIOMETRICOS, CON


BIBLIOMETRICOS, BIBLIOMETRICOS, CON

ESPECIAL ATENCIÓN AL

FACTOR DE IMPACTO Y AL

ÍNDICE H

PRODUCCIÓN IMPACTO

Indicadores

Bibliométricos

Tipos de indicadores bibliométricos

s

COLABORACIÓNINDICADORES DE

USO Y ALTMETRICS

Bibliométricos

MAPAS DE LA CIENCIA

Producción

• Nº Total documentos

• Nº Total documentos citables

• Nº de documentos por investigador

Impacto

• Promedio y suma del Impacto Factor

• Factor de Impacto de relativo

• Nº o % de documentos por cuartil (o bien decil

Colaboración

• Tasas de colaboración

• Índice de coautoría general

• Índice de coautoría institucional

Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos

Ejemplos de indicadores bibliométricos habituales

s

investigador

• Nº de documentos según posición firma (inicial o final etc.)

• Índice de Especialización Temática

• Índice de Actividad temática

• Nº o % de documentos por cuartil (o bien decil y tercil)

• Promedio de citas

• Número de citas

• Tasa Autocitación

• Citas normalizadas: Crown Indicator, Karolinska

• Índice H y derivados

institucional

• Número de Instituciones firmantes

• Patrones de colaboración (interna, nacional, internacionales)

* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.

Uso

• Descargas

Altmetrics

• Lectores en Mendeley

Mapping

• Mapas de cocitación

• Historiogramas

Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos

Ejemplos de indicadores bibliométricos habituales

s• Visitas

• Páginas vistas

• Enlaces

• Visualizaciones en Slideshare

• Retweets en Twitter

• Reproducciones en Youtube

• Likes en Facebook…

• Historiogramas

• Análisis de redes sociales

• Técnicas de visualización de información científica (PCA, MDS, mapas heliocéntricos)

Indicadores de producción. Ejemplo

Ejemplo: Producción total y citable de la Univ. Navarra en WoS (se consideran ítems citables los artículos de investigación, las revisiones, las cartas y las notas, mientras

que no citables son las editoriales, las reseñas de libros, resúmenes de congresos,… )

Ejemplos: Índice Actividad Temática

Índice de Actividad temática (IAT) de la Universidad de Granada IAT 1 = MUNDO

El factor de impacto

¿Qué entendemos por Factores de Impacto?

� La denominación Factores de Impacto la

empleamos para referirnos a indicadores empleamos para referirnos a indicadores

bibliométricos destinados a valorar el impacto de

una revista científica

� Además estos indicadores deben estar

construidos a partir de una fórmula que contemple

el número de citas que las revistas reciben

� Asimismo no solo nos basta el número; las

revistas deben aparecer ordenadas en función de

una categoría temática de manera que podamos

conocer su posición un año determinado

El origen del término impacto

El origen del término impacto: años ‘60 y ’70. Construye a partir de las bases de datos del SCI y SSCI y fue formulado por Eugene

Garfield en este articulo científico.

• Miden la utilidad y la influencia intelectual de las

revistas científicas, aunque en ocasiones puede

Consideraciones a tener en cuenta

revistas científicas, aunque en ocasiones puede

equiparse a calidad no siempre es así.

•Hay que tener muy claro que miden el impacto de

la revista y no el impacto del artículo.

• Por tanto es un indicador de impacto esperado y

no observado

• Todo los investigadores aspiran y necesitan publicar gran parte

de su producción científica en revistas de “Alto Impacto”.

• Son revistas globales, nos enfrentamos a científicos de todo el

mundo

Cómo indicador de competitividad

El Factor de Impacto como un indicador de competitividad

mundo

• Reciben muchos manuscritos por lo que tienen por tanto tasas de

rechazo más elevadas.

• Los procesos de revisión son más duros, más exigentes y

realizados por los mejores expertos del área.

Al contar con más manuscritos los editores tienen más donde

seleccionar y más posibilidades de contar con los mejores papers

del área, que suelen ser los más citados, por tanto lo que más

reconocimiento reciben, por tanto alcanzan un IF más elevado.

Otras limitaciones de los indicadores de impacto

Algunas de las limitaciones del Factor de Impacto que debes conocer

● No es representativo del índice de citación de los artículo ● Es variable según la disciplina científica● Es sensible al número y el tipo de trabajos de las revistas● Puede manipularse por parte de los editores ● Existe un problema con las autocitas● La ventana de citación de dos años a veces no es suficiente

200620052004

2006 Impact Factor

2003 2007

Tiempo

JCR

La fórmula mágica del Factor de Impacto

A: Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005

B: Número de trabajos publicados en 2004 y 2005

Impact Factor = A/B

Las alternativas al Impact Factor

CITAS REALESCITAS CON PESOS

ÍNDICE HCROWN INDICATOR

FACTOR DE IMPACTO NORMALIZADO% DE ARTÍCULOS EN PRIMER CUARTIL

SCIMAGO JOURNAL RANKSCIMAGO JOURNAL RANK

Se recomienda usar siempre varios indicadores en la evaluación de la actividad científica, a fin de superar los sesgos y

limitaciones de cada uno de ellos

Citas reales

Profesores, Doc. Citables por profesor, citas y promedio de citas para el TO10 de las

universidades españolas. Absoluto Vs Relativo

El índice H

Un investigador tiene un Un investigador tiene un índice h índice h cuando cuando h h de sus documentos han recibido al menos de sus documentos han recibido al menos h h citas citas cada unocada uno, y el resto tiene no más de , y el resto tiene no más de h h citas por documento.citas por documento.

11Trabajos Trabajos

ordenados ordenados

22Posición o Posición o

rango de los rango de los trabajostrabajos

El índice H

ordenados ordenados según según

número de número de citascitas33

coinciden coinciden posición y posición y citas o la citas o la posición > posición > citas tenemos citas tenemos el Hel H--IndexIndex

99

•• FortalezasFortalezas– Combina producción e impacto en un solo indicador– Simple y sencillo de calcular y entender

•• DebilidadesDebilidades– Valora la carrera de un investigador:

El índice H

– Valora la carrera de un investigador: • No existen bases de datos que contengan todos los trabajos y las citas asociadas a

las mismas-

• Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar).

– Inadecuado para comparar a investigadores de distintas áreas científicas– Favorece a los autores senior frente a los noveles– No excluye las autocitas– Penaliza a los autores con estrategias de publicación muy selectivas: pocos

documentos y altamente citados

Índice H de universidades españolas en dos campos científicos diferentes para 2007-2011

El índice H

TOP Categorías de la UGR según producción citable. Se puede ver

el detalle del cálculo del CROWN INDICADOR (Citas Teóricas/Reales)

CROWN Indicator

Factor de impacto normalizado

Ejemplo: Impacto Vs Impacto Normalizado para las categorías JCR con más documentos de la Univ. Navarra

% Docs en el 1º Cuartil

Ejemplo: Producción de las universidades españolas según área de conocimiento y % de documentos en el 1º Cuartil.

El ‘Scimago Journal Rank’

Sobre el indicador SJR

● Trata de medir el prestigio científico y visibilidad de las revistas científicas. SCImago lo ha desarrollado tomando revistas científicas. SCImago lo ha desarrollado tomando como base el algoritmo ideado por Google para ordenar sus resultados de búsqueda (más conocido como Google PageRank).

● SJR: expresa el número de enlaces que una revista recibe a través de la citación ponderada de sus documentos en relación con el número de documentos publicados en el año por cada publicación. La ponderación de las citas se hace en función de las que recibe la publicación citante.

Altmetrics

El contexto tecnológico e internet han evolucionado enormemente en los últimos años

Han surgido cientos de plataformas que permiten compartir libremente todo tipo de información y

conectarnos a través de redes (web 2.0)

También se ha visto reflejado en la actividad académica y científica:

• Redes sociales académicas • Repositorios de acceso abierto• Gestores de referencias on-line• Data Sharing • etc…

Altmetrics

• Twitter, Facebook, youtube…Medios

Sociales

• Connotea, Mendeley, Zotero..Gestores de

Surgen múltiples herramientas de gestión, almacenamiento o networking en ciencia

• Connotea, Mendeley, Zotero..Gestores de

referencias

• Researchblogging, etc..Blogs

Científicos

• Artículos (Arxiv), revistas

(PLoS), datos (Dryad)..

Repositorios

acceso abierto

Altmetrics

• Retweet, Like, menciones

conversaciones

Medios

Sociales

• Lecturas, incorporación a

bibliografías de los usuarios

Gestores de

referencias

Qué generan estadísticas de la actividad de la actividad e interacciones entre sus usuarios

• Lecturas, incorporación a

bibliografías de los usuarios

Gestores de

referencias

• Comentarios, enlaces

recibidos por la entrada, …

Blogs

Científicos

• Consultas, vistas del artículo,

descargasRepositorios

Altmetrics

Ejemplo de indicadores obtenidos con

ImpactStory para una conferencia

Si queremos de verdad que estas métricasfuncionen con nuestros trabajos y aportacionesacadémicas debemos ser activos en la web:

� IMPLICA PLUS DE TIEMPO QUE NOS SERÁ POCO RECONOCIDO

Consejos muy básicos

IMPLICA PLUS DE TIEMPO QUE NOS SERÁ POCO RECONOCIDO �

• Tendremos por ejemplo que tener cuenta/pefil en las

redes sociales habituales (Twitter o Facebook)

• Subir los trabajos a un repositorio en acceso abierto

profesional o institucional.

• Utilizar aquellas plataformas sobre las que se

construyen las métricas (slideshare, mendeley, etc..)

3. LOS ÍNDICES DE CITAS LOS ÍNDICES DE CITAS (WEB OF SCIENCE, (WEB OF SCIENCE,


(WEB OF SCIENCE, (WEB OF SCIENCE, SCOPUS, GOOGLE SCOPUS, GOOGLE

SCHOLAR)SCHOLAR) -PRÁCTICUM-

Web of Science: SCI, SSCI y AHCI

• Es la base de datos de referencia internacional para estudios bibliométricos. Cubre las mejores revistas de todas las áreas

• La selección de las revistas se basa en la ley de Bradford y la empresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencialprestigio juegan un papel esencial

• La cobertura de las revistas es cover to cover y recoge las citas de todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llega a 1900

• Ofrece un variado conjunto de indicadores bibliométricos como puede es el caso de todos aquellos incluidos en los Essential Science Indicators (investigadores altamente citas, hot papers, indicadores por países, …)

• El concepto de un índice fue desarrollado por el doctor Eugene Garfield. El publicó su concepto en un artículo en la revista “Science” en 1955.

• Con el apoyo del ‘National Science Foundation’y el ‘National Institutes of Health’ el doctor Garfield creó el Índice de Genética en 1961.

• El doctor Garfield se dio cuenta que para


• El doctor Garfield se dio cuenta que para investigar completamente un tema se necesitaba una vista más global/ multidisciplinaria y creó el Índice de Ciencias (SCI) en 1963.

SCI Print

La Web of Science contiene 7 bases de datos diferentes de citas. Sin embargo para nosotros son de interés los índices de citas

de revistas: SCI, SSCI y A&HCI

REVISTAS● Science Citation Index Expanded SCI-EXPANDED


● Science Citation Index Expanded SCI-EXPANDED

● Social Sciences Citation Index SSCI

● Arts & Humanities Citation Index A&HCICONFERENCIAS

● Conference Proceedings Citation Index- Science CPCI-S

● Conference Proceedings Citation Index- Social Science &

Humanities CPCI-SSHLIBROS

● Book Citation Index– Science BKCI-S

● Book Citation Index– Social Sciences & Humanities BKCI-SSSH

Web of Science: Interfaz

Interfaz que nos encontramos una vez estamos dentro de la Web of Science

Web of Science: Interfaz

Campo de Búsqueda. Nos permiten seleccionar el

campo de búsqueda. Hay que controlar el campo

“Author” que nos permite buscar la producción

científica de un investigador introduciendo su

nombre (firma científica).

También nos interesa el campo ‘Topic’ y ‘Title’ que

nos permite lanzar búsquedas de temás y es

especialmente útil a la de buscar un artículo

concreto de un investigador

Web of Science CategoriesDocument TypesSubject Areas

Campos sobre los que podemos hacer los filtros

Book Series TitlesConference TitlesPublication YearsInstitutionsSubject Areas

AuthorsGroup AuthorsEditorsSource Titles

InstitutionsFunding AgenciesLanguagesCountries/Territories

• Encuentra las citas a un artículo, libro, … (incluso si no

está recogido en WoS) pero ha sido citado desde las

revistas indizadas en WoS

• Ejemplo: citas recibidas por

Cited Reference Search

• Ejemplo: citas recibidas por los artículos publicados en 2007 en la revista NO ISI Anales de Documentación

• Thomson cuenta con un listado maestro (master list) donde aparecen las revistas recogidas en sus índices de citas http://science.thomsonreuters.com/mjl/

Cómo localizar las revistas indexadas en la WoS

¡Ojo! No confundir con JCR: No todas las revistas incluidas en WoS tienen factor de impacto JCR

Web of Science: Caso práctico

CASO PRÁCTICO 1.Buscando las citas a un trabajo científico

Human adult stem cells derived from adipose tissue protect a gainst experimental colitis and sepsisGonzalez-Rey, E.; Anderson, P.; Gonzalez, M. A.; et al.GUT Vol: 58 Nº: 7 PP: 929-939

Debemos por tanto hacer una búsqueda por el campo ‘Title’ en la Web of Science



1. Seleccionamos la Web of Science

2. Introducimos título del artículo

Web of Science

3. No olvidar seleccionar campo

‘Title’

4. Pulsa Search



Después de Search este sería el resultado

NÚMERO DE CITAS RECIBIDAS POR EL

ARTÍCUO

Si pinchamos podríamos ver la cita

completa


CASO PRÁCTICO 2Buscando la producción científica de un

investigador en la Web of Science

El profesor Francisco Gónzalez Lodeiro quiere que lebusquemos su producción científica (quiere saber elnúmero de artículo en la base de datos) y quiereconocer el número de citas de cada artículoconocer el número de citas de cada artículo

Para buscar por autor en la Web of Science tienes que buscar porApellidos y la Inicial del Nombre. Además tendrás que probarvarias combinaciones. Por ejemplo, en el caso de nuestroinvestigador podría estar firmando con las siguientecombinaciones:

1. Gonzalez-Lodeiro F2. Lodeiro FG

• Prueba diferentes opciones de consulta• Por ejemplo para Daniel Torres Salinas

• Torres-Salinas D | Salinas DT | Torres D

• Limita siempre por su institución• Por ejemplo para Daniel Torres Salinas


• Por ejemplo para Daniel Torres Salinas

• Author: Torres-Salinas D AND

Adress: Univ Navarra

• Limita por años de su carrera• Por ejemplo para Daniel Torres Salinas

• Author: Torres-Salinas D AND

Adress: Univ Navarra AND

Publication date: 2007-2012

CASO PRÁCTICO 2Buscando y analizando la producción científica de

un investigador en la Web of Science


1. Nombre del investigador

2. SeleccionamosCampo de

autor

3. Buscamos



un investigador en la Web of Science

1. Hemos obtenido 31 resultados/trabajos

2. Que automáticamente podemos analizar si

pinchamos en la opción Create Citation Report



un investigador en la Web of ScienceAl pinchar en Citation Report el sistema nos genera uninforme con diversos indicadores como por ejemplo: TotalTrabajos (results found), Suma de citas (Sum of the TimeCited) o el Promedio de citas (Average Citations per Item).

• Cuidado con la búsqueda por fechas

• Cuidado con la sintaxis de WoS

• Cuidado con los autores con dos apellidos

• Cuidado con los homónimos

Precauciones generales en las búsquedas

• Cuidado con los homónimos

• Cuidado con nombre regionales, abreviaturas o

“nombres artísticos”

• Cuidado con los errores de indización

• Extremo cuidado al limitar por los campos

afiliación o categoría JCR

● La base de dato Scopus cuenta con casi 50 millones

de registros. Es una base de datos de datos mayor que

la Web of Science. Aunque solo cubre información

desde el año 1996. Incluye 17.500 revistas científicas,

SCOPUS

desde el año 1996. Incluye 17.500 revistas científicas,

que cuentan con revisión por expertos

● No solo incluye revistas científicas también podemos

encontrar otras tipologías (al igual que ocurre en la

Web of Science) como Congresos o Libros. Por ejemplo

incluye 300 series de libros y 4.4 millones de sus

registros son conferencias a congresos

SCOPUS

Ciencias

Exactas y

Naturales

Ciencias de la

salud y

Biomedicina

Ciencias

Sociales y

Humanidades

Ciencias de la

Vida

Ésta es la cobertura de la base de datosScopus según el número de revistas que tieneindexada en cada una de la áreas científicas

Naturales

6350

REVISTAS

Biomedicina

6200

REVISTAS

Humanidades

5900

REVISTAS

3950

REVISTAS

Química Oncología Psicología Neurociencias

Física Enfermería Economía Biología

Ingeniería Odontología Humanidades Bioquímica

etc etc etc etc

SCOPUS

Ésta es la cobertura por área geográficacomparada con la Web of Science. Vemos comopara todas las zonas tiene más revistas

EUROPA NORTEAMÉRICA RESTO DEL MUNDO

Scopus: Interfaz

Scopus: Interfaz

El interfaz de consulta de Scopus es muy

similar al de la Web of Science. Aunque

incluye campos de consulta diferentes

los campos son esenciales algunos

como ‘Autores’ y “Article, Title, Abstract,

Kewords’ son equivalente a la búsqueda

de autores y temas.

Scopus: Caso prácticoCASO PRÁCTICO 1.

Buscando las citas a un trabajo científico

Un investigador llega a la biblioteca y nos solicita el número de citas recibidas por este trabajo

Human adult stem cells derived from adipose tissue protect a gainst experimental colitis and sepsisGonzalez-Rey, E.; Anderson, P.; Gonzalez, M. A.; et al.GUT Vol: 58 Nº: 7 PP: 929-939

Debemos por tanto hacer una búsqueda por el campo ‘Title’ en la Web of Science

1. Nos situamos en la pestaña Document Search


Scopus: Caso práctico

2. Introducimos el título del trabajo

3. Seleccionamos el campo ‘Article,…

4. Pulsamos Search

Si pinchamos podríamos ver la cita

completa



NÚMERO DE CITAS RECIBIDAS POR EL

ARTÍCUO



El profesor Evaristo Jiménez Contreras quiere que lebusquemos su producción científica (quiere saber elnúmero de artículo en la base de datos) y quiereconocer el número de citas de cada artículo


conocer el número de citas de cada artículo

Para buscar por autor en Scopus existe lamisma problemática que con el nombre de losautores a la de la Web of Science. En este casonuestro hombre firma como:

Jiménez-Contreras E




Introducimos el nombre del investigador

Seleccionamos el campo Authors




La base de datos nos devuelve los documentosCon la opción de View

Citation Overviewrápidamente obtenemos

un informe




Resultados del información de citación del

profesor Jiménez Contreras.

SCOPUS. Author evaluator

SCOPUS. Author evaluator

Subproducto de Google nacido en 2004 especializado en buscar e identificar material bibliográfico publicado de carácter científico y

Google Scholar

bibliográfico publicado de carácter científico y académico

¿Qué podemos encontrar en Google Scholar?

1) Referencias bibliográficas con resúmenes2) Textos completos en formato PDF o HTML3) Citas a los trabajos científicos

¿Qué tipologías documentales cubre?

Cubre● Artículos de revistas científicas y libros● Comunicaciones y ponencias a congresos● Informes científico-técnicos● Tesis, tesinas o memorias de grado● Trabajos depositados en repositorios● Trabajos depositados en repositorios● Páginas web personales o institucionales● Cualquier publicación con resumen

No cubre● Reseñas de libros y editoriales● Libros de texto y monografías● Periódicos y revistas comerciales

Diapositiva 78

em2 emilio delgado; 22/08/2008

¿Cuáles son sus fuentes de información?

● Webs académicas, universidades y centros de I+D:

> harvard.edu 2.240.000 ; ugr.es: 17.400 docs

● Repositorios institucionales o temáticos:

> arxiv.org: 352000 ; ssrn.com: 247.000

● Editoriales comerciales:● Editoriales comerciales:

> Elsevier - sciencedirect.com: 7.200.000

● Bibliotecas

> dialnet.unirioja.es: 2.190.000

● Servicios de distribución o almacenaje

> Ingenta - ingentaconnect.com: 640.000

● Bases de datos bibliográficas:

> Pubmed: nlm.nih.gov: 6.050.000

Cómo se ordenan los resultados?

Cómo se ordenan los resultados

• El número de citas es fundamental para determinar• El número de citas es fundamental para determinar

la posición de un documento en los resultados

• EL título o el resumen del documento contiene las

palabras por las que el usuario esta buscando

• Agrupación de versiones permite recopilar todas las

citas, lo cual puede mejorar la posición

Fortalezas y debilidades (I)

● Localiza toda la literatura especialmente la no anglosajona que es la peor controlada por los sistemas de información

● Especialmente útil en disciplinas que no

Fortalezas

● Especialmente útil en disciplinas que no emplean preferentemente las revistas como medio de comunicación: Humanidades, Ciencias Sociales, Ingenierías…

● Encuentra CITAS a libros y a trabajos publicados en revistas secundarias no incorporadas a la llamada “corriente principal de la ciencia”

● No existe control de calidad de las fuentes procesadas. Errores en el procesamiento de la información: errores tipográficos, algoritmos automáticos, errores en la referencias

Debilidades

Fortalezas y debilidades (II)

● Falta de transparencia en el contenido de la base de datos. Google no nos informa exactamente de las fuentes que indexa

● Muy costosa la recuperación y el tratamiento de los resultados de las búsquedas. Hay que dedicar mucho tiempo a la depuración de resultados

Cómo puedo conseguir que GS indexe mis trabajos

Si quiero que mi producción aparezca entre losresultados de Google Scholar y podamosutilizarlos para el perfil hay cuatro métodos:utilizarlos para el perfil hay cuatro métodos:

1. Subir los trabajos a un repositorio2. Subirlos a la web de la universidad3. Indicar en el perfil de G. Scholar nuestra

web4. Escribir a Google indicando web

4. LOS PRODUCTOS LOS PRODUCTOS DOCUMENTALES QUE DOCUMENTALES QUE


DOCUMENTALES QUE DOCUMENTALES QUE OFRECEN INDICIOS DE OFRECEN INDICIOS DE

CALIDADCALIDAD

Productos de evaluación de


Productos de evaluación de

revistas

El ‘Journal Citation Reports’

Descripción básica

� El ‘Journal Citation Reports’ es un producto creado por el Institute for Scientific

Information. Actualmente está gestionado por la empresa Thomson Reuters.

� Abarca una cobertura internacional, tiene � Abarca una cobertura internacional, tiene registradas revistas científicas de todo el mundo, la mayoría anglosajonas.

� Actualmente podemos encontrar unas12.000 revistas científicas, distribuidas en dos ediciones diferentes: Ciencias (SCI) y Ciencias Sociales (SSCI) y éstas se distribuyen en 220 categorías científicas diferentes


1Para acceder tenemos

que ir a Additional Resources


En la versión web solo encontramos En la versión web solo encontramos impactos desde el año 1997 hasta el año

2011 que es el último evaluado.

Si queremos impactos a anteriores a 1997 tenemos que consultar las antiguas ediciones

impresas del JCR

El ‘Journal Citation Reports’Los indicadores que podemos encontrar

Aunque en el Journal Citation Reports podemos encontrar muchos indicadores de citación para las revistas científicas como por ejemplo:

- La vida media de las revistas- Eigen Score- Cited Half Life- Otros…

A nosotros desde el punto de vista de la evaluación de las carreras científicas lo que nos solicitan las agencias es el Impact Factor

Citas recibidas en 2011 por los artículos publicados en 2010 y 2009

Citas recibidas por los artículos publicados en 2010 = 297

Citas recibidas por los artículos publicados en 2009 = 493

Total Citas = 793

Ejemplo de cálculo del Impact Factor para el año 2011. Se trata de una simple división


Total Citas = 793

Número de artículos publicados en 2010 y 2009

Número de artículos publicados en 2010 = 178

Número de artículos publicados en 2009 = 203

Total Artículos = 381

IMPACT FACTOR = Citas (793) / Artículos (381) = 2.081


Ejemplo del Ranking

1

Consulta Categoría3

Posición revista

2

Nos devuelve este ranking de revistas ordenadas por Impact Factor

Posición revista


Ejemplo de búsqueda revista

1

1. Seleccionar edición y opción ‘Search for a especific journal’

2. Seleccionar opción de búsqueda

3. Resultados. Pinchar y accederemos al informe de la revista

2

3

El ‘Journal Citation Reports’Dentro de la ficha seleccionar Journal

Ranking y obtendremos todos los datos que nos piden las agencias

Essential Science Indicators

1Para acceder tenemos

que ir a Additional Resources

ESI ofrece un archivo rodante de diez años, actualizado cada dos meses, que permite a los usuarios buscar en 22 campos específicos

de investigación:

Clasificaciones de científicosClasificaciones de trabajos

Clasificaciones institucionales de laboratorios de investigación universitarios, privados y gubernamentales


universitarios, privados y gubernamentalesClasificaciones nacionales

• Indicadores a nivel macro de producción y citación

• Nos proporciona un marco comparativo; podemos confrontar los registros de un investigador o institución con áreas / países, etc

• Podemos también obtener información sobre los papersmás citados o sobre los científicos con mayor impacto


más citados o sobre los científicos con mayor impacto


BASELINES


INTERPRETACIÓN: Un artículo publicado en 2003 en una revista de Computer

Science debe obtener al menos 12 citas para situarse entre el 10% más citado de

su disciplina y año


● El SCImago Journal & Country Rank es unproducto desarrollado por el grupo SCImago queproducto desarrollado por el grupo SCImago quetiene en cuenta las publicaciones científicaslistadas en la base de datos SCOPUS desde 1996

● En lo que a revistas se refiere, se establece unaclasificación de acuerdo a uno o variosparámetros: área de conocimiento, categoría(dependiente directamente del área elegida), ypaís


Acceso al producto, gratis desde su web

http://www.scimagojr.com/journalrank.php


● Aunque ofrecen varios indicadores nos interesa sobre todo el SJR que es su propuesta frente al Impact Factor de Thomson ReutersThomson Reuters

● Como vemos, también nos ofrece

directamente el dato sobre el cuartil en que se posiciona

cada revista


Ejemplo del Ranking. Opciones de consulta.Claramente vemos como se puede hacer rankings por Área y Tema que son los que nos interesan en términos de evaluación


Ejemplo del Ranking. Resultado de la consulta anterior ordenada según el ‘SJR’


Sobre el indicador SJR

● Trata de medir el prestigio científico y visibilidad de las revistas científicas. SCImago lo ha desarrollado tomando revistas científicas. SCImago lo ha desarrollado tomando como base el algoritmo ideado por Google para ordenar sus resultados de búsqueda (más conocido como Google PageRank).

● SJR: expresa el número de enlaces que una revista recibe a través de la citación ponderada de sus documentos en relación con el número de documentos publicados en el año por cada publicación. La ponderación de las citas se hace en función de las que recibe la publicación citante.


Ejemplo Práctico Un profesor ha publicado el siguiente artículo y necesita conocer su SJR (Scimago Journal Rank)

R. Alcalá, Y. Nojima, F. Herrera, H. Ishibuchi. MultiobjectiveGenetic Fuzzy Rule Selection of Single Granularity-BasedFuzzy Classification Rules and its Interaction with theFuzzy Classification Rules and its Interaction with theLateral Tuning of Membership Functions. Foundations and

Trends in Machine Learning 15:12 (2011) 2303-2318.

Vemos como el artículo está publicado en Foundations and Trends in Machine Learning

en el año 2011


Ejemplo Práctico 1. Nos vamos a la página de SJR y

seleccionamos ‘Journal Search’2. Introducimos título y seleccionamos ‘Search’

1 2


Ejemplo Práctico 3. Obtenemos resultado y pinchamos

4. A continuación pinchamos en una de las disciplinas donde se encuentra la revista

3

4


Ejemplo Práctico 5. podemos ver como la revista ocupa la posición número 3 en Artificial Intelligence con un SJR de

5,601 y está situada en el primer cuartil

5

Google Scholar Metrics

Producto de Google que proporciona el índice h de lasrevistas científicasNacido en 2012, elabora además rankings de revistascientíficas:

� por idioma (las 100 primeras)�por disciplina (sólo para las revistas en inglés, eneste caso muestra las 20 primeras)este caso muestra las 20 primeras)

Publicaciones Top en Inglés en GSM

Indicadores en GSM

Ofrece el índice h de las revistas científicas, tomando encuenta los trabajos publicados en los últimos 5 años (en laactualidad periodo 2007-2011), de ahí que Google lodenomine h5Además ofrece otro indicador, que es la mediana de las citasrecibidas por los trabajos que cuentan para el índice h. Esteindicador sirve para “desempatar” a las revistas con mismoindicador sirve para “desempatar” a las revistas con mismoíndice hEl indicador elegido por Google es muy dependiente deltamaño de las revistas, por ello, las que publican mayornúmero de artículos tienen más posibilidades de ocuparlugares altos que las revistas con menor número de trabajos

Qué revistas indiza GSM

1. Que hayan publicado al menos 100 trabajos en los 5 añosde análisis (se descartan así muchas revistas de pequeñotamaño, en general de los campos de Humanidades y

DEBEN CUMPLIR

2 REQUISITOS

tamaño, en general de los campos de Humanidades ySociales

2. Que hayan recibido al menos una cita en el periodo deanálisis (es decir, su índice h debe ser al menos de 1)

Ventajas de GSM frente a WoS y Scopus

40.000

•Indiza más revistas

•Indiza más tipos documentales

•Indiza revistas de un mayor número de

países e idiomas

•Proporciona indicadores más elevados que40.000

19.708

10.617

•Proporciona indicadores más elevados que

WOS y Scopus

•Su cobertura crece más rápidamente

•Es gratuito y de libre acceso

Desventajas

•No hay apenas normalización por lo que se

detectan errores en la asignación de citas

•No se pueden acceder más que al ranking

de las 20 revistas top en inglés por

disciplinas

El indicador elegido, el índice h es un•El indicador elegido, el índice h es un

indicador discutido

•Falta de transparencia acerca de las fechas

de actualización del producto

•Posibilidad de manipular los datos con

poco esfuerzo

Latindex

- Latindex es producto de la cooperación de unared de instituciones que funcionan de maneracoordinada para reunir y diseminar informaciónbibliográfica sobre las publicaciones científicasseriadas producidas latinoamerica. Es útil en lasáreas de Ciencias Sociales y Humanidades.áreas de Ciencias Sociales y Humanidades.

- Desde el punto de vista de la evaluación nosinteresa porque tienen un subproducto llamadoCatálogo Latindex. Es un subconjunto de lasrevistas incluidas en el Directorio. Forman partedel Catálogo solamente aquellas revistas quecumplen con un umbral de característicaseditoriales establecidas por el Sistema mediantela aplicación de criterios de calidad editorial.

Latindex

EL CATÁLOGO LATINDEXLas revistas se evalúan según el cumplimento de 33 (36

en revistas electrónicas) características que se agrupan

en los siguientes grupos:

1)Características Básicas 2)Características de Presentación de las Revistas

1)Características Básicas 2)Características de Presentación de las Revistas3) Características de Gestión y Política Editorial

4) Características del contenido

Para ingresar al Catálogo la revista debe cumplir las ochocaracterísticas obligatorias y al menos 17 de las restantescaracterísticas, para un mínimo de 25 cumplidas. Si unapublicación incumple algunas de las características básicasno ingresa al Catálogo, aún cuando la suma total decriterios cumplidos rebase los 25

Latindex

Búsqueda

Cobertura por

disciplinas

Hay que seleccionar el catálogo para identificar

aquellas revistas que nos interesan desde el

punto de vista de la evaluación

Latindex

Cuando buscamos una

revistas nos indica

cuantos criterios cumple

y el detalle de cuales son

ERIH: European Index for the…

ERIH

- ‘European Reference Index for the Humanities’

es una clasificación de revistas a nivel europeo

desarrollada por la European Science

Foundation

- Detecta mediante una consulta a paneles de

expertos las mejores revistas, intentando

superar el sesgo anglosajón de otros productos

- Está orientada a las Humanidades y clasifica las

revistas científicas en tres grupos diferentes

- Ha logrado clasificar un total de 5610 revista

diferentes


Grupos- Este es un indicio que se puede aportar en las

diferentes agencias de evaluación. Los grupos

en los que clasifica ERIH las revistas científicas

son los siguientes:

- NACIONAL (NAT): Son publicaciones

europeas con reconocimiento en una

determinada zona, especialmente lingüística

- INTERNACIONAL (INT): revistas europeas y

no europeas con reconocimiento y visibilidad

entre la comunidad científica. Tiene dos

subclasificaciones:

- INT1: con reconocimiento mundial

- INT2: concentrado en zona europea


WEB: https://www2.esf.org/asp/ERIH/Foreword/index.asp

El interfaz de

búsqueda es

bastante simple así

como los

resultados que nos resultados que nos

devuelve

ULRICHS Global Serials Directory

Ulrichsweb es una fuente de información detallada, y fácil de

usar, sobre más de 300.000 publicaciones periódicas

(también denominadas publicaciones en serie) de todo tipo:

publicaciones académicas y de investigación, revistas

electrónicas, títulos revisados por pares, revistas de gran

popularidad, periódicos, boletines informativos, etc.popularidad, periódicos, boletines informativos, etc.

A nivel de evaluación nos interesa sobre todo ya que nos ofrece las bases de datos donde puede

estar indexada la revista científica donde ha aparecido publicada la aportación.

Por tanto podemos ver si una revista está o no está en una determinada base de datos.

Se puede acceder a través de la biblioteca


Menú de búsqueda. texto libre

Resultado


Una vez dentro de la ficha debemos seleccionar la sección Abstracting & Abstracting & Indexing. Allí encontremos las bases de datos.

Este dato o indicio será útil especialmente en las áreas de ciencias sociales y humanidades

La Familia INREC*

ÍNDICES DE IMPACTO DE REVISTAS ESPAÑOLAS EN CIENCIAS SOCIALES, JURÍDICAS Y HUMANAS

La Familia INREC*

�Índices de impacto de revistas españolas elaboradospor el grupo de investigación EC3 desde el año 2003

�Índices estadísticos basados en recuentos dereferencias bibliográficas citadas en revistas científicasespañolas a fin de medir el impacto de revistas, artículos,autores e instituciones españolas

�Empleados en los procesos de promoción profesional en�Empleados en los procesos de promoción profesional enla universidad española

�Cubren la laguna de la evaluación de la ciencia en losámbitos poco o al cubiertos por los índicesinternacionales

http://ec3.ugr.es/in-recs/ http://ec3.ugr.es/in-recj/ http://ec3.ugr.es/in-rech/

CIRC toma las diferentes plataformas de evaluación de revistas para crear una única clasificación de

revistas en cuatro grupos: A, B, C y D

Clasificación CIRC

Los principios de CIRC, en qué se basa para su construcción

-Respeto de los criterios de evaluación de agencias-Qué se puedan obtener indicadores bibliométricos

-Qué sea consensuado la comunidad científica bibliométrica-Qué siga un modelo similar a los JCR

Integrado por las revistas científicas

de mayor nivel. Pertenecerían al

mismo las revistas internacionales

de mayor prestigio que han

superado procesos de evaluación

muy exigentes para el ingreso en

diferentes bases de datos.

Revistas científicas españolas de

calidad pero que no alcanzan un

alto nivel de internacionalización

aunque son revistas que reciben

cierto grado de citación y que

respetan los estándares. Asimismo

forman parte revistas científicas

internacionales con un menor

grado de prestigio

A B

Clasificación CIRC: GRUPOS

grado de prestigio

Se incluirían en este grupo las

revistas científicas españolas de

segundo orden que, o bien son

poco citadas, o bien no cumplen

con los estándares de publicación

científica. También se incluyen las

revistas internacionales de menor

relevancia.

Este último grupo estaría

conformado por todas aquellas

publicaciones no incluidas en

ninguna de las categorías anteriores

y, por tanto, con un dudoso status

científico.

C D

-SCI, SSCI O A&HCI según los master list de 2010

-Listas ERIH con un calificación de A

- 1ºC (2004-2008) del INRECS O INRECJ- DICE con Peer Review e incluidas en Latindex-Scopus en Social y Humanities- ERIH como B y C

A B

Clasificación CIRC: GRUPOS

- ERIH como B y C

- 2ºC, 3ºC, 4ºC (2004-2008) del INRECS O INRECJ- DICE sin evaluación con expertos- Catálogo Latindex

Cualquier revista que noforma parte de todos losproductos anteriores

Revistas no científicas??

C D

DICE

�Producto auspiciado por ANECA y elaborado por grupo

EPUC del CSIC

�Mide la difusión y calidad editorial de revistas españolas de

Ciencias Sociales, Humanas y Jurídicas

RESH

�Producto elaborado por grupo EPUC del CSIC y EC3 de la

Universidad de Granada

�Similar a DICE, además proporciona números de criterios de

calidad según Aneca y Cneai cumplidos por las revistas,

ranking según opinión de expertos e impacto acumulado

2005-2009 (tomado de INREC*)

Productos de evaluación de libros


Productos de evaluación de libros

1. Están apareciendo los primeros rankings

de editoriales basados en encuestas a

Iniciativas en la evaluación de libros y editoriales

de editoriales basados en encuestas a

miembros de la comunidad científica

2. Los índices de citas cada vez tiene

mejor cobertura de los libros y su impacto,

nos permitirán análisis de citas globales

Iniciativas en la evaluación de libros y editoriales

Elaborado por el GRUPO EPUC de Elea Giménez Toledo

Encuesta 11.647 a científicos (Tasa respuesta 26%)

Indicador de Calidad de Editoriales según los Expertos (ICEE)

Scholarly Publishers Indicators (SPI)

● Es una ranking de editoriales construido a partir de la opinión de más de 3000 investigadores españoles

● Por tanto se evalúa la calidad de las editoriales según Prestigio de las editoriales según expertos españoles

● Solo se presenta para los ámbitos de Ciencias Sociales y Humanidades

● Se presenta a nivel general un ranking de editoriales españolas (201 editoriales) y otro internacional (208 editoriales)


● La posición que ocupa la editorial se podría aportar como indicio de

calidad de la

El top de las editoriales españolas según SPI

calidad de la editorial en las

diferentes agencias de evaluación.


Bellas ArtesAntropologíaArqueología y PrehistoriaDocumentaciónComunicaciónEconomíaEducaciónEstudios árabes y hebraicos

● Además de los ranking generales

contamos con rankings específicos

por disciplinas científicasEducación

Estudios árabes y hebraicosDerechoFilosofíaGeografíaHistoriaLingüística, Literatura …Ciencias PolíticasPsicologíaSociología

científicas

● En total se han analizado 16

disciplinas científicas diferentes

Book Citation Index (BKCI)

• Índice de citas de Web of Science enfocado alibros y capítulos

• Indización selectiva. Se aspira a seleccionarlos libros de las editoriales más relevantesdel mundo

• Producto actualmente en desarrollo yexpansiónexpansión

• De momento más errores y limitaciones queaciertos

Distribución por áreas de libros y sus citas

Libros indexados en el BKCI y

las citas que han recibido

Idiomas

Oh!

96%

Ranking de

editoriales del

BKCI en Ciencias

Principales editoriales del BKCI

BKCI en Ciencias

Sociales y

Humanas según

el número de

libros publicados

• Orientación total anglosajona (lengua y editoriales)

• Gran concentración editorial

Limitaciones actuales del BKCI

• Gran concentración editorial • Ausencia de editores reputados• Tan solo 18 editoriales construyen la base• Poca presencia de editoriales universitarias• Problemas agravados en Sociales & Humanidades

• Inclusión de revistas (Annual Reviews) como libros

si fuera editor haría todo lo posible por estar en

el BKCI

si fuera autor me gustaría publicar en editoriales

indexadas en el BKCI

Dicho todo esto…

si fuera una agencia empezaría a tener en

cuenta el indicio de calidad BKCI

Calidad de la Investigación y

métodos de medición en el actual


Grupo EC3 EC3metrics¡MUCHAS GRACIAS!¡MUCHAS GRACIAS!


ÁLVARO CABEZAS CLAVIJOÁLVARO CABEZAS CLAVIJO [email protected]@ec3metrics.com

Education

Calidad de la Investigación y Métodos de Medición en el actual contexto Nacional e Internacional, by Álvaro Cabezas (EC3 UGR)