Click here to load reader
Upload
vinicius-kern
View
237
Download
0
Embed Size (px)
Citation preview
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)
Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação
Vinícius M. Kern, Marta Denisczwicz (Bolsista PIBIC CNPq/UFSC)
Universidade Federal de Santa Catarina
[email protected], [email protected]
Esta apresentação disponível em http://www.slideshare.net/vmkern
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)2
Problema e objetivo
Críticas ao processo: confiabilidade, validade, generalizabilidade e potenciais vieses [1]. Faltam indicadores quantitativos de gestão [2]
• Revisão por pares Formação precária de pareceristas: Há iniciativas na PG [3, 4]
Processo de RP recíproco anônimo de propostas de mestrado em CI
Confiabilidade (concordância entre pares) [-1, +1] = “Can we trust grads?”
1 MARSH, H. W.; JAYASINGHE, U. W.; BOND, N. W. Improving the peer-review process for grant applications—reliability, validity, bias, and generalizability. American Psychologist, v. 63, n. 3, p. 160-168, 2008.
2 JENNINGS, C. G. Quality and value: The true purpose of peer review. What you can't measure, you can't manage: the need for quantitative indicators in peer review (Nature Peer Review Debate). Nature, 2006.
3 KERN, V. M. et al. Growing a peer review culture among graduate students. In: TATNALL, A.; JONES, A. (Orgs.) Education and technology for a better world. Proceedings of WCCE. Berlin, Heidelberg, New York: Springer, 2009. p. 388-397.
4 YANKULOV, K.; COUTO, R. (2012), Peer review in class: Metrics and variations in a senior course. Biochem. Mol. Biol. Educ., v. 40, n. 3, p. 161-168, 2012.
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)3
Trabalhos relacionados
• No Brasil: Processo de avaliação de artigos (não especificamente relacionados; não enfocam confiabilidade)
COSTA, S. M. S. Controle de qualidade em periódicos científicos eletrônicos disponibilizados na Internet: a questão do julgamento pelos pares. R. bibl. Brasília, v. 20, n. 2, p. 227-236, 1996.
CASTRO, R. C. F.; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciência da saúde da América Latina e Caribe. Ci. Inf., v. 25, n. 3, p. 352-356, 1996.
MUELLER, S. P. M. A seleção de artigos científicos p/ publicação em revistas brasileiras: um levto. de práticas e procedimentos adotados pelas ver. científicas brasileiras financ. p/ CNPq e INEP, 1995-1996. R. bibl. Brasília, v. 21, n. 2, p. 229-250, 1997.
PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ci. Inf., v. 27, n. 2, p. 226-229, 1998.
STUMPF, I. R. C. Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores. Perspect. ci. inf., v. 13, n. 1, p. 18-32, 2008.
PAVAN, C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas brasileiras de ciência da informação: procedimentos e percepções dos atores. Enc. Bibli, v. 14, n. 28, p. 73-92, 2009.
• Métricas de confiabilidade: metaestudosWELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford,
New Jersey (EUA): Information Today, Inc. 2002. 342 p.
BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)4
Procedimentos metodológicos
• Revisão por pares de propostas de mestrado (n=12)Anônima, recíproca (9 a 11 revisões/proposta), com diretrizes [1]
• 7 pontos de avaliação em escala Likert-6• Escala de 1 (discordo totalmente) a 6 (concordo totalmente)
• Itens de avaliação: Problema e objetivos Fundamentação Abordagem metodológica Resultados esperados e conclusões Referências Linguagem e estilo Formatos
1 SMITH, A. J. The task of the referee. Computer, v. 23, n. 4, p. 65–71, 1990.
Existe um problema de pesquisa relevante e claramente
enunciado, bem contextualizado na literatura, com objetivo geral
coerente com o problema e objetivos específicos
mensuráveis, atingíveis, realistas, realizáveis no tempo
disponível, específicos e consistentes entre si.
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)5
Procedimentos metodológicos
• Seleção do indicador: intraclass correlation ICC(2,1) [1]
• Para dispor de algum termo de comparação...• Conduzimos outro processo em artigos (n=11, 2 rev/aluno ou 4/artigo) de
duplas em disciplina de PG de programa interdisciplinar (mestr./dout.)
• Coletamos índices de confiabilidade nos metaestudos de Weller [2] e de Bornmann [3]
1 SHROUT, P. E.; FLEISS, J. L. Intraclass correlations: Use in assessing rater reliability. Psychol. Bull., v. 86, n. 2, p. 420-428, 1979.
2 WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford, New Jersey (EUA): Information Today, Inc. 2002. 342 p.
3 BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)6
Resultados até o momento
Esperávamos: ICC de mestrandos em CI < ICC de profissionais no fomento e publicação
Não esperávamos: ICCs CI frequentemente < ICCs de pós-graduandos interdisciplinares
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)7
Discussão / conclusão
• Tratamos da formação sistemática de novos revisores
• Um passo na direção de criar indicadores de gestão da RP(Acordo preliminar c/ Enc Bibli para levar sistemática aos periódicos)
• Confiabilidade (mestrandos em CI): positivo que em ¾ predomine a concordância(E slide anterior – confirmação e quebra de expectativas nas comparações)
• Alcance dos resultados: estudo pontual; precisa mais, preferencialmente estudos longitudinais (pesquisa atual)
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)8
[email protected], www.kern.prof.ufsc.br
Ao CNPq (bolsa PIBIC)
Ao PGCIN/UFSC (permissão para fazer, input dos colegas professores)
Aos alunos participantes
UFSC/CED/CIN – Programa de Pós-Graduação em Ciência da Informação
Grupo de Pesquisa em Informação Científica – InfoCient