Sistematização de revisões bibliográficas em pesquisas da área de IHC

Universidade Federal de Campina Grande UFCGDepartamento de Sistemas e Computação DSC

Programa de Pós-Graduação em Ciência da Computação COPIN

Sistematização de revisões bibliográficas em pesquisas da

área de IHC

MSc. Elizabete MunzlingerMSc. Fabricio Batista Narcizo

Prof. Dr. José Eustáquio Rangel de Queiroz

2

Tópicos

Revisão Sistemática (RS):1. O que é?2. Quais são os objetivos?3. Qual é a importância?4. Onde surgiu?5. Quais são as suas contribuições?6. Quais são as suas etapas?7. Ciclo de vida da RS.8. Etapas e procedimentos da RS.9. Qual a documentação gerada?

(88 slides)

3

1. O que é uma Revisão Sistemática?

É um método de revisão bibliográfica do estado da arte.

Processo de apoio à condução de estudos;

É um meio de identificar, avaliar e interpretar todas as pesquisas disponíveis, atuais e relevantes para uma questão de pesquisa específica, área temática, ou fenômeno de interesse;

É uma forma de estudo secundário. Os estudos individuais que fornecem subsídios para

uma revisão sistemática são chamados de estudos primários.

4

2. Quais são os objetivos de uma RS?

Buscar fundamentação teórica.

Levantar o estado da arte;

Resumir e confrontar as evidências existentes sobre um dado assunto, tema, problema;

Buscar novas linhas de investigação, evitando abordagens infrutíferas;

Identificar recomendações e lacunas para pesquisas futuras.

5

2. Quais são os objetivos de uma RS?

Auxiliar o pesquisador.

Amadurecer o conhecimento sobre o tema a ser visto;

Posicionar adequadamente novas atividades de investigação;

Subsidiar conteúdo para a delimitação do problema de pesquisa para Tese/Dissertação/Projeto;

Fornecer conteúdo para a produção científica (publicações).

6

3. Qual é a importância de uma RS?

Gerar uma revisão de qualidade.

Robusta e consistente: Maior cobertura de publicações pertinentes. Oferece melhores resultados do processo de revisão

da literatura.

7

3. Qual é a importância de uma RS?

Gerar uma revisão de qualidade.

Robusta e consistente: Maior cobertura de publicações pertinentes; Oferece melhores resultados do processo de revisão

da literatura.

Íntegra e confiável: Permite que a RS seja auditada, reproduzida e

continuada.

8

3. Qual é a importância de uma RS?

Gerar uma revisão de qualidade.

Robusta e consistente: Maior cobertura de publicações pertinentes; Oferece melhores resultados do processo de revisão

da literatura.

Íntegra e confiável: Permite que a RS seja auditada, reproduzida e

continuada.

Justa e não tendenciosa: Sintetiza todos os trabalhos relacionados sem

preconceitos; Inclui também as publicações cujas hipóteses são

contrárias às defendidas.

9

4. Onde surgiu a RS?

Na medicina.

Método desenvolvido por uma rede de colaboração para que médicos pudessem se atualizar acerca de novos procedimentos sem necessariamente fazer um curso ou especialização, acompanhando a evolução da medicina.

Método proposto em diversos guias: (i) Cochrane Reviewers Handbook. (ii) Australian National Health and Medical Research

Council. (iii) Systematic Reviews Group. (iv) CRD Guidance.

10

5. Quais são as contribuições da RS?

Revisão abrangente:

Revisão do estado da arte de temas relativos à área de IHC, de modo abrangente, incorporando um espectro maior de resultados relevantes, não limitando as conclusões à leitura de um número reduzido de artigos, obtidos a partir de processos de busca ad hoc;

11

5. Quais são as contribuições da RS?

Pesquisas alinhadas:

Realização de estudos e pesquisas científicas não enviesadas e com elevado valor científico;

12

5. Quais são as contribuições da RS?

Pesquisas interessantes:

Auxílio à identificação de problemas atuais não esgotados na área de IHC;

13

5. Quais são as contribuições da RS?

Encontrar respostas:

Subsídios para a identificação de soluções para problemas investigados no foco da pesquisa de interesse;

14

5. Quais são as contribuições da RS?

Encontrar perguntas:

Oportunidade de identificar problemas novos e relevantes no desenvolvimento do estudo;

15

5. Quais são as contribuições da RS?

Promove a produção científica:

Produção de conteúdo relevante para publicações científicas;

16

5. Quais são as contribuições da RS?

Atualização constante da pesquisa:

Rápida atualização do estado da arte sobre o tema ou área da pesquisa, graças à possibilidade de repetição da busca, a partir dos mesmos critérios previamente adotados na RS, o que garante a inclusão de novas referências em função do período de meses/anos remanescentes;

17

5. Quais são as contribuições da RS?

Resultados visíveis:

Rápida produção textual de relatórios, trabalhos de conclusão de curso, dissertações e teses;

18

5. Quais são as contribuições da RS?

Integração entre pesquisadores:

Possibilidade de interação mais intensa entre orientador e orientando no desenvolvimento gradual de pesquisas caracterizadas pela constante geração/atualização da documentação produzida;

19

5. Quais são as contribuições da RS?

Nivelamento dos pesquisadores:

Rápida incorporação e nivelamento de novos membros no âmbito dos grupos de pesquisa das instituições, mediante o acesso a relatórios de atividades de RS de outros pesquisadores;

20

5. Quais são as contribuições da RS?

Reabilitação de pesquisadores:

Desenvolvimento do hábito da pesquisa científica sistematizada por uma sequência de etapas e fundamentada em procedimentos bem definidos a partir de um protocolo de estudo.

21

6. Quais são as etapas da RS?

Basicamente três etapas de estudo, e muitos procedimentos. Etapa 1 – Planejamento e formalização Etapa 2 – Condução/execução Etapa 3 – Sumarização

Todas as fases devem ser organizadas e documentadas insistentemente, inadiavelmente, (in)voluntariamente...

Figura 1. Etapas-chave de uma RS.

22

7. Ciclo de vida da RS:

Figura 2: Macro-visão do processo de RS (Munzlinger, 2012).

23

24

25

8. Etapas e procedimentos: Etapa 1 – Planejamento e formalização.

Metatarefas e suas atividades.

26

27

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa.

O que te move?(Reflexão e diagnóstico)

28

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa (reflexão/diagnóstico).

Cansado do ócio e resolve voltar

a estudar

Motivações

29

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa (reflexão/diagnóstico).

Motivações

Cansado do ócio e resolve voltar

a estudar

Problemas ao defender uma ideia

30

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa (reflexão/diagnóstico).

Explorar uma ideia (nova?)

Trabalhar em um projeto

Motivações

.

Problemas ao defender uma ideia

Cansado do ócio e resolve voltar

a estudar

31

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa (reflexão/diagnóstico).

Não tem certeza sobre o que resolver

ou como resolver

Motivações

32

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa (reflexão/diagnóstico).

Não tem certeza sobre o que resolver

ou como resolver

Necessidade de publicação

Motivações

33

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa (reflexão/diagnóstico).

Não tem certeza sobre o que resolver

ou como resolver

Rever o estado da arte

Necessidade de publicação

Motivações

34

35

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa b) Execução dos estudos primários.

Por onde começar?(Organização e ação)

36

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa b) Execução dos estudos primários.

Conversar muitocom o orientador

Ações

37

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa b) Execução dos estudos primários.

Conversar muitocom o orientador

Trocar informaçõescom o grupo de pesquisa

Ações

38

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa b) Execução dos estudos primários.

Conversar muitocom o orientador

Coletar materialcom o orientador

e grupo de pesquisa

Trocar informaçõescom o grupo de pesquisa

Ações

39

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa b) Execução dos estudos primários.

Conversar muitocom o orientador

Coletar materialcom o orientador

e grupo de pesquisa

PesquisarRevisar

Ler

Trocar informaçõescom o grupo de pesquisa

Ações

40

41

42

43

44

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa c) Criação do Protocolo de Estudo.

Redação dos estudosprimários

(Pré-projeto)

Ações

45

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa c) Criação do Protocolo de Estudo.

Redação dos estudosprimários

(Pré-projeto)

Ações

Delineamento dos critériosde seleção de publicações

relevantes

46

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa c) Criação do Protocolo de Estudo.

Redação dos estudosprimários

(Pré-projeto)

Definição das bases dedados para consulta

com restrições definidas

Ações

Delineamento dos critériosde seleção de publicações

relevantes

47

48

49

50

8. Etapas e procedimentos:

Etapa 1 – Planejamento e formalização. Metatarefa a) Identificação da necessidade da

pesquisa. Metatarefa b) Execução dos estudos primários. Metatarefa c) Criação do Protocolo de Estudo.

Ações → Documentações

Revisão primária:Pré-projeto com introduçãoproblema, objetivos e questões de pesquisa.

DOC

Protocolo de RevisãoSistemática com pré-projeto e critérios de seleção e definição de bases de busca

DOC

51

8. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefas e suas atividades.

52

53

8. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefa a) Planejamento da execução do PE.

Ações

Criação e calibraçãoda expressão

de buscaExecução da buscapara criar grupo

de controle

54

8. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefa a) Planejamento da execução do PE.

Ações

Criação e calibraçãoda expressão

de buscaExecução da buscapara criar grupo

de controle

Atualização do grupo de

controle e do PE

55

8. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefa a) Planejamento da execução do PE.

Ações

Criação e calibraçãoda expressão

de buscaExecução da buscapara criar grupo

de controle

Atualização do grupo de

controle e do PE

Adaptação da da expressão de busca para cada engenho

56

57

58

59

60

61

62

7. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefa b) Execução do PE.

Ações

Execução da busca

Download e catalogação

daspublicações

nas ferramentas

Cadastro do PE na ferramenta

de apoio

63

7. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefa b) Execução do PE.

Ações

Seleção das publicações

por leitura de metadados

(critérios de filtragem)

Execução da busca

Download e catalogação

daspublicações

nas ferramentas

Cadastro do PE na ferramenta

de apoio

64

7. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefa b) Execução do PE.

Ações

Seleção das publicações

por leitura de metadados

(critérios de filtragem)

Leitura e extração de dados das

publicações selecionadas(critérios de filtragem)

Execução da busca

Download e catalogação

daspublicações

nas ferramentas

Cadastro do PE na ferramenta

de apoio

65

66

67

8. Etapas e procedimentos:

Etapa 2 – Condução/execução. Metatarefa a) Planejamento da execução do PE. Metatarefa b) Execução do PE.

DOCDOCMMI

DOC

START

Ações → Documentações

Representações de dados extraídos das publicações

Protocolo de RevisãoSistemática atualizado

Coletânea de publicações

Catálogo de metadados daspublicações retornadas na busca

68

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefas e suas atividades.

69

70

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa a) Análises quantitativas e

qualitativas.

Sumarizaçãodos dados catalográficos

das publlicações e de conteúdo

Ações

71

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa a) Análises quantitativas e

qualitativas.

Sumarizaçãodos dados catalográficos

das publlicações e de conteúdo

Criação de fichas de leiturascom registros próprios

Ações

72

73

74

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa b) Análises das publicações.

Representação dos dadosem tabelas, gráficos, etcRascunho de relatórios

Ações

75

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa b) Análises das publicações.

Representação dos dadosem tabelas, gráficos, etcRascunho de relatórios

Criação de mapas mentais e/oumapas conceituais

Ações

76

77

78

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa c) Produção de relatórios e artigos.

Fechamento derelatórios

Atualização do PE

Ações

79

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa c) Produção de relatórios e artigos.

Fechamento derelatórios

Atualização do PE

Produção de artigo(s), capítulos de

dissertações/teses

Ações

80

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa c) Produção de relatórios e artigos.

Fechamento derelatórios

Atualização do PE

Produção de artigo(s), capítulos de

dissertações/teses

Publicaçãode artigo(s)

Ações

81

82

8. Etapas e procedimentos:

Etapa 3 – Sumarização. Metatarefa a) Análises quantitativas e

qualitativas. Metatarefa b) Análises das publicações. Metatarefa c) Produção de relatórios e artigos.

Indicadoresquantitativose qualitativos

DOC

Protocolo atualizado

DOC

Textos e análises

DOC

Informação adquiridarepresentada em mapas mentais e/oumapas conceituais

DOC

RelatóriosArtigos

DOCCapítulo da Tese/Dissertação

DOC

Ações → Documentações

83

9. Precisa mesmo de documentação?

Sim! A documentação constante é a base deste

método S I S T E M Á T I C O ! Ao final teremos ao menos:

“Proposta de Projeto.doc” “Protocolo de Revisão Sistemática.doc” “Artigos Catalogados.start” “Relatório de Revisão Sistemática.doc” “Mapa Mental.mm” “Artigo(s) para Publicação.doc” “Capítulo de Tese.doc”

→ Documentações

84

10. Na prática funciona?

Sim!

Referências

Protocolos completos para leitura nos anexos de: Barcellos, Monalessa Perini. “Uma Estratégia Para

Medição De Software E Avaliação De Bases De Medidas Para Controle Estatístico De Processos De Software Em Organizações De Alta Maturidade”. Tese de Doutorado. Programa de Pós-graduação em Engenharia de Sistemas e Computação, COPPE, da Universidade Federal do Rio de Janeiro, 2009.

Souza. Gleison dos Santos. “Ambientes De Engenharia De Software Orientados A Corporação”. Tese de Doutorado. Programa de Pós-graduação em Engenharia de Sistemas e Computação, COPPE, da Universidade Federal do Rio de Janeiro, 2008.

Referências

Ferramenta de execução da RS: StArt [http://lapes.dc.ufscar.br/ferramentas/start-

tool]

Ferramentas de catalogação de artigos: Mendeley [http://www.mendeley.com/]

EndNote [http://www.endnote.com/]

Onde publicar (Qualis A1): ACM Computing Surveys (CSUR)

[http://csur.acm.org/]

Information Sciences [http://www.journals.elsevier.com/information-sciences/]

ACM Transactions on Information Systems (TOIS) [http://tois.acm.org/]

Referências

Links com guias e cursos online: Curso de Revisão Sistemática On-line da

Univesp/Cochrane: [http://www.virtual.epm.br/cursos/metanalise/]

Alvaro Nagib Atallah, Aldemar Araujo CastroRevisão Sistemática da Literatura e Metanálise: [http://www.centrocochranedobrasil.org.br/apl/artigos/artigo_530.pdf]

Estudos De Revisão Sistemática: Um Guia Para Síntese Criteriosa Da Evidência Científica [http://www.scielo.br/pdf/rbfis/v11n1/12.pdf]

Referências

Bibliografia: Kitchenham,B.A.; Dyba,T.; Jorgensen,M. (2004).

Evidence-based Software Engineering, Proceedings of the 26th International Conference on Software Engineering (ICSE’04), Scotland.

Biolchini,J., Mian, P. G., Natali, A. C. C., and Travassos, G. H. (2005). Systematic review in software engineering. Technical report, RT–ES 679/05 System Engineering and Computer Science Dept., COOPE/UFRJ.

Mafra, S. N., Travassos, G. H. (2006). Estudos primários e secundários apoiando a busca por evidência em Engenharia de Software. Relatório Técnico, RT-ES 687/06, Travassos, G. H.

ReferênciasGuias da metodologia:

(i) Cochrane Collaboration. Cochrane Reviewers’ Handbook. Version 4.2.1. December 2003

(ii) Australian National Health and Medical Research Council. How to review the evidence: systematic identification and review of the scientific literature, 2000. IBSN 186-4960329.

(iii) Pai, Madhukar., McCulloch, Michael., and Colford, Jack. Systematic Review: A Road Map Version 2.2. Systematic Reviews Group, UC Berkeley, 2002. [www.medepi.org/meta/guidelines/Berkeley_Systematic_Reviews_Road_Map_ V2.2.pdf viewed 20 June 2004].

(iv) Khan, Khalid, S., ter Riet, Gerben., Glanville, Julia., Sowden, Amanda, J. and Kleijnen, Jo. (eds) Undertaking Systematic Review of Research on Effectiveness. CRD’s Guidance for those Carrying Out or Commissioning Reviews. CRD Report Number 4 (2nd Edition), NHS Centre for Reviews and Dissemination, University of York, IBSN 1 900640 20 1, March 2001.

Universidade Federal de Campina Grande UFCGDepartamento de Sistemas e Computação DSC

Programa de Pós-Graduação em Ciência da Computação COPIN

Elizabete Munzlinger{elizabete@elizabete.com.br}

Fabricio Batista Narcizo{narcizo@copin.ufcg.edu.br}

José Eustáquio Rangel de Queiroz{rangel@computacao.ufcg.edu.br}

Material de apoio em http://www.elizabete.com.br/rs