Faculté des arts et des sciences SCI6304 Cours /8 1/25 Faculté des arts et des sciences École de bibliothéconomie et des sciences de l'information SCI6304

Faculté des arts et des sciences SCI6304Cours /8

1/25

Faculté des arts et des sciencesÉcole de bibliothéconomie et des sciences de l'information

SCI6304 – Bibliométrie et communication savante

Cours 7Applications, défis actuels

et effets pervers de la bibliométrie

7 novembre 2014


2/25

Plan de la séance

Brièvement: langue de publication

Études de cas:

Évaluation de la recherche et classements

Sociologie des sciences

Développement de collections

Défis actuels

Effets pervers


3/25

Langue de publication des articles Russes, 1973-2010 (Kirtchik et al., 2012)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1970 1975 1980 1985 1990 1995 2000 2005 2010

Perc

enta

ge o

f pap

ers English

Russian


4/25Impact scientifique des articles Russes, selon le type de revue 1973-2010

(Kirtchik et al., 2012)

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1993 1995 1997 1999 2001 2003 2005 2007 2009

Aver

age o

f rel

ative

cita

tions

(ARC

)

Foreign Journals

Translated Russian Journals

Russian in Russian

Russian in English


5/25

Quelques applications

Bibliométrie et scientométrie

Histoire des science

Économie

Sociologie des sciences

Politiques scientifiques

Sciences de l’information et de la documentation

Évaluation de la recherche


6/25

Évaluation de la recherche (1)Forme traditionnelle: évaluation par les pairs

Évaluation par les pairs: procédé par lequel un chercheur soumet ses travaux, un projet ou son dossier de recherche au regard des autres qui sont des experts dans le même domaine

Appliqué à plusieurs niveaux dans la communauté scientifique:

• Publications• Subventions et bourses• Positions• Permanence


7/25

Évaluation de la recherche (2)Désavantages de l’évaluation par les pairs dans

l’évaluation de la recherche

Dispendieux

Taille optimale: individus ou groupes de recherche• Moins efficace à l’échelle d’institutions ou de pays

Subjectif

La bibliométrie est donc de plus en plus utilisée afin de complémenter ou remplacer l’évaluation par les pairs


8/25

Évaluation de la recherche (3) Research Assessment Exercise en Grande-Bretagne

Mesure productivité et l’impact des départements et les finance (en partie) en fonction de leur classement.

Tenu aux 3-4-5 ans depuis 1986

Quatre scores peuvent-être obtenus.

Chaque chercheur du département évalué fournit 4 articles qu’il veut voir inclus:

Donc, on ne prends pas l’ensemble de la production scientifique des chercheurs

• Ni l’ensemble des chercheurs (personnel non-permanent exclut)


9/25

Les Classements:Le ranking de Shanghai

Criteria Indicator Code Weight

Quality of EducationAlumni of an institution winning Nobel Prizes and Fields Medals

Alumni 10%

Staff of an institution winning Nobel Prizes and Fields Medals

Award 20%

Highly cited researchers in 21 broad subject categories

HiCi 20%

Articles published in Nature and Science*

N&S 20%

Articles indexed in Science Citation Index-expanded, and Social Science Citation Index

PUB 20%

Per Capita

Performance

Total 0 0 100%

Quality of Faculty

Research Output

Per capita academic performance of an institution

PCP 10%


10/25

Les Classements:Le Times Higher Education Supplement

Utilise les données de Thomson Reuters

Méthode pas très claire: on dit que l’on normalise les citations selon la spécialité et la région du monde, mais le détail de la recette n’est pas fournit…

Indicateurs: bibliométrie et sondage (16,639 répondants)

Enseignement (sondage): 30%

Recherche: publications, revenus et réputation (30%)

Citations (30%)

Revenus industriels (2,5%)

Visibibité Internationale: employés, étudiants et collaboration internationale des articles (7,5%)

http://www.timeshighereducation.co.uk/world-university-rankings/


11/25

Sociologie des sciences:L’effet St-Matthieu à l’échelle des revues

L’effet St-Matthieu: « For to all those who have, more will be given, and they will have an abundance; but from those who have nothing, even what they have will be taken away” (25:29) »

Comment contrôler pour la qualité intrisèque des articles (ou des chercheurs)?

Ceux qui ont davantage sont peut-être simplement meilleurs?

Méthode: articles identiques publiés dans deux revues distinctes (4,532 paires publiées dans deux journaux à facteur d’impact différent, pour un total de 9,064 articles).


12/25Citations reçues par les articles dupliqués(Lariviere et Gingras, 2010)

Average number

of citations

Average of

relative citations

Higest

I.F.

Lowest

I.F.

Higest

I.F.

Lowest

I.F.

Biology 5.97 4.17 0.69 0.59 66

Biomedical Research * 19.77 8.15 0.68 0.37 111

Chemistry * 5.90 5.19 0.42 0.36 272

Clinical Medicine *** 21.46 12.08 1.40 0.83 1,342

Earth and Space 3.86 2.98 0.25 0.19 57

Engineering and Technology *** 5.02 1.78 0.97 0.41 961

Health (Social Sciences) 5.79 5.74 1.07 0.99 34

Mathematics 5.00 5.05 0.79 0.78 74

Physics *** 10.02 3.57 0.79 0.31 571

Psychology 17.10 15.63 2.59 1.78 30

Social Sciences ** 10.98 3.49 1.57 0.90 55

*** p<0,001; ** p<0,01; * p<0,05.

Discipline

Number of

duplicate

pairs


13/25

Développement des collections: Transformation des pratiques de

citation, 1900-aujourd’hui

Cite-t-on du matériel plus récent ou plus vieux? Autrement dit, est-ce que la durée de vie des documents est plus rapide aujourd’hui qu’auparavant?

Doit-on s’abonner aux documents rétrospectifs?

Les citations sont elles plus « concentrées » entre certains papiers ou distribuées de plus en plus uniformément?

À combien de revues doit-on s’abonner? Plus ou moins?


14/25Âge moyen de la littérature citée, 1900-2004


15/25Âge médian de la littérature citée, 1900-2004


16/25Âge médian de la littérature citée en astronomie et en physique des particules,

1900-2004


17/25

Pourcentage des articles ayant reçu au moins une citation, 1900-2004

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1900 1920 1940 1960 1980 2000

Perc

enta

ge o

f pap

ers (

%)

Year published

2-year citation window

MED

NSE

SS

HUM0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1900 1920 1940 1960 1980 2000

Perc

enta

ge o

f pap

ers (

%)

Year published

5-year citation window

MED

NSE

SS

HUM


18/25Pourcentage cumulatif d’articles nécessaires afin d’obtenir 20%, 50% et 80% des citations,

1900-2004

0%

5%

10%

15%

20%

25%

30%

35%

1900 1920 1940 1960 1980 2000

Perc

enta

ge o

f pap

ers (

%)

Year published

MED

80%

50%

20%

0%

5%

10%

15%

20%

25%

30%

35%

1900 1920 1940 1960 1980 2000

Perc

enta

ge o

f pap

ers (

%)

Year published

NSE

80%

50%

20%

0%

5%

10%

15%

20%

25%

30%

35%

1900 1920 1940 1960 1980 2000

Perc

enta

ge o

f pap

ers (

%)

Year published

SS

80%

50%

20%

0%

5%

10%

15%

20%

25%

30%

35%

1900 1920 1940 1960 1980 2000

Perc

enta

ge o

f pap

ers (

%)

Year published

HUM

80%

50%

20%


19/25

Défis actuels: désambiguation des auteurs

Homonymes!!!

Faire le test: qui est l’auteur canadien le plus productif en 2011?

Que prendre en compte pour faire la désambiguation?

Disciplines/revues

Co-auteurs

Références

Mots-clés

Noms de famille rares


20/25

Défis actuels: mesures d’impact et couverture

Prendre en compte la diversité des pratiques de citations

Mesures de l’impact sur la société

Twitter et autres médias sociaux?

Augmentation de la couverture de la littérature

Tout couvrir en Sciences

Couverture des livres

Couverture de la littérature locale, dans des langues autres que l’anglais


21/25

Effets pervers…

L’effet « Hawthorne »

Lorsque les “participants” d’une étude connaissent les critères d’évaluation et changent leur comportement…

Que font les chercheurs en sachant qu’ils seront évalués par la bibliométrie?

Prime à la publication dans les “grandes” revues dans certains pays

Fraude scientifique…

Prêtes-noms (ghost writing)


22/25

Nombre d’articles rétractés, 1973-2005 (Furman et al., 2012)


23/25

Citations pré- et post-rétractation (Furman et al., 2012)


24/25

Taux d’admission de fraude(Fannelli, 2009)


25/25

Fanelli D. (2009) How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS One, 4(5): e5738.

Furman, J, Jensen, K, Murray, F. (2012) Governing knowledge in the scientific community: exploring the role of retractions in biomedicine. Research Policy, Research Policy 41: 276– 290,

Kirchik, O., Gingras, Y., Larivière, V. (2012) Changes in publication languages and citation practices and their effect on the scientific impact of Russian Science (1993-2009). Journal of the American Society for Information Science and Technology, 63(7): 1411–1419.

Larivière, V., Archambault, É., Gingras, Y. (2008) Long-term variations in the aging of scientific literature: from exponential growth to steady-state science (1900-2004). Journal of the American Society for Information Science and Technology, 59(2): 288–296.

Larivière, V., Gingras, Y., Archambault, É. (2009) The decline in the concentration of citations, 1900-2007. Journal of the American Society for Information Science and Technology, 60(4): 858-862.

Larivière, V., Gingras, Y. (2010) The impact factor’s Matthew effect: a natural experiment in bibliometrics. Journal of the American Society for Information Science and Technology, 61(2): 424-427.

Merton, R.K. (1968). The Matthew Effect in science. Science, 159(3810): 56–63

Bibliographie

Documents

Faculté des arts et des sciences SCI6304 Cours /8 1/25 Faculté des arts et des sciences École de bibliothéconomie et des sciences de l'information SCI6304