Design experimental - educ.fc.ul.pt e Claudiaquasi... · uma medida da variabilidade dentro de cada grupo passível de ser comparada com a variabilidade entre grupos! ... no fim da

Métodos quasi-experimentais

Exemplo de design experimental Ameaças à validade interna e externaExemplos de designs quasi-experimentais e principais ameaças à validade

Mestrado em Educação FCUL- 2005/2006Disciplina de Metodologias de InvestigaçãoCláudia FariaDiana Boaventura

Design experimental

Design experimental! Problema! Hipóteses ! Experiência

Experiência

Variável(eis) independente(s)

Variável(eis) dependente(s)

envolve uma mudança no valor

que provoca uma mudança

Design experimentalO efeito do tratamento é medido no grupo

Grupo experimental

Grupo controlo

Grupo de controlo do procedimento

É comparado com o efeito para outro grupo que não recebeu o tratamento, mas que é em todos os outros aspectos semelhante ao grupo experimental

Devido à possibilidade de o efeito no grupo experimental ser devido à manipulação e não ao próprio tratamento, terá de haver um 3º grupo onde é testado o efeito da manipulação

Design experimental! Exemplo:

! Medir o efeito de uma hormona no comportamento sexual - os sujeitos experimentais têm de receber uma injecção

! O efeito da injecção no comportamento sexual pode ser causado pela hormona, mas também por outros factores, como o desconforto provocado pela injecção

! Terá de haver um grupo a quem é dado a injecção mas sem a hormona

Design experimental

! Exemplo:

! Utilização de simulações em computador na aprendizagem de ciências

! O efeito da utilização do computador pode por si só desenvolver outras capacidades

! Teríamos que ter um outro grupo que utilizasse o computador mas sem simulações

Design experimental! Replicados

! utilizar vários grupos de cada tipo de forma a ter uma medida da variabilidade dentro de cada grupo passível de ser comparada com a variabilidade entre grupos

! Amostra representativa! aleatoriedade (selecção e experiências são o mais

semelhantes possível entre os vários grupos)! dimensão adequada aos objectivos! variabilidade equivalente à existente na população

em estudo

ExperiênciasInfluência da herbivoria nas comunidades

! Que factores condicionam os limites de distribuição vertical

! Qual a influência das lapas no limite superior das algas vermelhas?

! Comparação dos efeitos da herbivoria em diferentes escalas espaciais

Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L. Cancela da Fonseca & S.J. Hawkins (2002). The effects of grazing on the distribution and composition of low shore algal communities on the central coast of Portugal and on the southern coast of Britain. Journal of Experimental Marine Biology and Ecology, 267 (2): 185-206.

Design ExperimentalTratamentos

"" ""

""""

22 MeiaMeia--rederede 33 ControlControloo11 ExclusExclusãoão

0.5m0.5m

1m1m

0.25m0.25m

0.5m0.5m

0.5m0.5m

1m1m

-- redesredes+ + lapas

+ + redesredes-- lapas

+ 1/2 + 1/2 redesredes+ + lapas lapaslapas lapas

Design ExperimentalDiferentes escalas espaciaisDesign ExperimentalDiferentes escalas espaciais

PortugalPortugal BritainBritain

Cabo RasoCabo Raso EstorilEstoril SwanageSwanage Heybrook BayHeybrook Bay

Patch 1Patch 1 Patch 2Patch 2 Patch 1Patch 1 Patch 2Patch 2 Patch 1Patch 1 Patch 2Patch 2 Patch 1Patch 1 Patch 2Patch 2

T1 T2T1 T3T3T2 3 treatments x 3 replicates3 treatments x 3 replicatesx 3x 3



Ameaças à validade de uma experiência

Factores que afectam a validade interna

! As alterações observadas na variável dependente são de facto devidas ao efeito da variável independente e não a outras variáveis?

Ameaças à validade interna! Exemplo:

! Teste do aproveitamento dos alunos no 1º semestre da disciplina de metodologia de investigação

! Turmas mistas de didáctica das ciências e didáctica da matemática

! Durante o 1º semestre os alunos de matemática têm que apresentar 2 trabalhos escritos, 3 orais e 5 testes #.

! Os alunos de ciências, para além do trabalho desta disciplina, não têm mais nada para fazer ☺.

! Questão: diferenças nas notas dos dois grupos da turma podem ser atribuídas ao que cada grupo aprendeu?

História – factos ocorridos em simultâneo com o teste de uma variável experimental

Aumentar o número de grupos para menor probabilidade de acontecimentos estranhos


! Nesta apresentação são solicitadas respostas a perguntas sobre designs quasi-experimentais

! Avaliação prévia dos conhecimentos dos alunos sobre este tema dando algumas dicas

! Questão: Pode-se concluir que respostas correctas são exclusivamente devidas à apresentação?

Testagem – O tratamento repetido ou a testagem do mesmo sujeito pode influenciar o seu comportamento

Pré-teste não dê conhecimentos adicionais aos sujeitosAlternar a ordem de apresentação de diferentes tratamentos

Ameaças à validade de uma experiência! Exemplo:

! A metade da turma é dito que a metodologia de investigação vai ser dada de uma forma revolucionária

! Supondo que não existe comunicação entre as duas metades da turma

! Questão: será que a atenção (e talvez o aproveitamento) irá ser igual entre as duas metades?

Expectativa – Quando um tratamento é mais eficaz que um controlo porque os intervenientes acreditam que seja e actuam em conformidade

“dupla cegueira”


! Determinar o efeito da aplicação de um conjunto de práticas pedagógicas inovadoras no aproveitamento dos alunos de uma Universidade com uma selecção de entrada particularmente exigente

Selecção – os resultados da investigação podem ser devidos às próprias características dos sujeitos

Comparar com um grupo controlo


! Os alunos das ciências têm um teste na sexta feira, às 18h, no fim da aula de metodologia, sem ter tido intervalo

! Os alunos de matemática têm o mesmo teste de manhã! Partindo do pressuposto que não existe comunicação entre

os dois grupos! Questão: Se os resultados forem diferentes nos dois grupos

poderemos concluir que é apenas devido a diferenças no aproveitamento?

Maturação – processos vividos pelos participantes decorrentes da passagem do tempo (ex. ficar mais velho, cansado, com fome)

grupo de controlo que passa pelos mesmos processos/situações


! Alunos com melhor e pior aproveitamento num determinado teste

! Independentemente do tratamento em qualquer pós-teste existirá tendência para que os resultados dos melhores alunos diminuam e os dos piores aumentem

Regressão estatística – quando os grupos são escolhidos com base nos valores extremos de uma variável

ter um termo de comparação (alunos com aproveitamento médio)


! Testar o efeito de actividades de conversação na aprendizagem de uma língua estrangeira

! No fim do curso apenas ficaram aqueles que eram à partida mais comunicativos

Mortalidade – perca diferencial de sujeitos durante a realização da experiência

características prévias dos que saíramobter dados dos que saíram


! Numa investigação sobre comportamentos de indisciplina utilizar diferentes observadores

! Consideram “o aluno levantar-se sem autorização” um acto de indisciplina?

! Um investigador fazer observações sobre o comportamento dos alunos antes e depois de se ter familiarizado com o tema ou com os sujeitos em estudo

Instrumentação – problemas na fiabilidade ou consistência nos instrumentos ou no processo de recolha de dados

Operacionalizar as definiçõesTeste intra- e inter-observador

Validade externa! Factores que afectam a representatividade

das conclusões de um estudo, ou seja, a possibilidade de generalizar:

! Amostra representativa da população em estudo! Amostra aleatória

! Qualquer falha na validade interna vai afectar a validade externa porque os resultados vão ser relativos àquela situação particular

Métodos quasi-experimentais

Exemplos de designsPrincipais ameaças à validade

Métodos quasi-experimentaisCaracterísticas e aplicações

! Não controlam todas as fontes de distorção

! Aplicam-se quando não é possível uma selecção aleatória dos sujeitos! Na investigação em educação é possível que a

escola:! Não permita que as turmas sejam desfeitas ou divididas

para proporcionar amostras aleatórias! Não permita que um tratamento seja dado a umas

turmas e a outras não

Métodos quasi-experimentaisDesign das séries temporais

O1 O2 O3 O4 X O5 O6 O7 O8

O – observaçãoX –“tratamento”

! Características:! Não tem grupo de controlo! Utiliza uma série de pré- e pós-testes

Métodos quasi-experimentais Design das séries temporais

! Exemplo:! Foi registada a evolução

do número de aulas sem incidentes agressivos por parte dos alunos antes e depois de se ter tido uma discussão colectiva desses mesmos incidentes

! Linhas C e D é impossível inferir qualquer efeito devido a X

! Linhas A e B é possível inferir que há efeito que ocorre entre O4 e O5possivelmente devido a X


! Ameaças à validade interna

! História – possibilidade de ocorrência de um ou mais acontecimentos em simultâneo com X


! Controlo da validade interna! Maturação – não justifica a alteração que se deu

apenas entre O4 e O5

! Testagem – porque a exposição repetida leva à adaptação ou à ausência de sensibilização

! Regressão, selecção e mortalidade – utilizam-se os mesmos sujeitos

Métodos quasi-experimentaisDesign das amostras temporais equivalentes

X1 O1 X0 O2 X1 O3 X0 O4O – observaçãoX1 – “tratamento1”X0 – “tratamento0 ”

! Características:! Não tem grupo de controlo! Os sujeitos são expostos ao tratamento de forma sistemática

! Exemplo:! Uma professora de arte vai determinar o efeito de uma visita

de estudo a um museu na aprendizagem ! X1 – ida ao museu! X0 - aula dada normalmente! O - teste

Métodos quasi-experimentais Design das amostras temporais equivalentes

! Ameaças à validade interna

! Efeito reactivo da ordem – só poderá ser controlado quando temos mais do que um grupo em que se aplica o tratamento e observação numa ordem diferente

Métodos quasi-experimentaisDesign das amostras temporais equivalentes

! Controlo da validade interna! História – porque é altamente improvável que um

acontecimento estranho ocorra em simultâneo com todas as aplicações do tratamento

! Maturação – afecta igualmente o tratamento e a ausência de tratamento

! Testagem – porque a exposição repetida leva à adaptação ou à ausência de sensibilização

! Regressão, selecção e mortalidade – utilizam-se os mesmos sujeitos

Métodos quasi-experimentaisDesign do grupo de controlo não equivalente

O1 X O2 grupo experimental-------------------- grupos intactosO3 O4 grupo de controlo

O – observaçãoX – “tratamento”

! Características: ! Design mais utilizado na investigação em educação! Tem grupo de controlo! Participantes não são seleccionados aleatoriamente (grupos

intactos, ex. turmas)! Ambos os grupos fazem pré- e pós-teste! É possível utilizar este design com mais de 2 grupos! É possível todos os grupos receberem tratamento em vez de

ter um controlo sem tratamento

Métodos quasi-experimentaisDesign do grupo de controlo não equivalente

! Ameaças à validade interna! Devido à falta de selecção aleatória a principal

ameaça é que as diferenças que surjam na experiência sejam devidas às características dos grupos e não ao tratamento

! Realização de um pré-teste para demonstrar que os grupos são equivalentes em relação às variáveis relevantes (e.g. idade, sexo, etc.)

implica

Métodos quasi-experimentaisTarefa 1

Objectivo: determinar o efeito da utilização de apresentações em power-point na aprendizagem em metodologias de investigação

Amostra: 2 turmas de alunos do mestrado de educação 2006/2008

Métodos quasi-experimentaisTarefa 1

! Procedimento?! Cuidados a ter?

Metade da turma: aplicar o design das amostras temporais equivalentes

X1 O1 X0 O2 X1 O3 X0 O4

Metade da turma: aplicar o design do grupo de controlo não-equivalente

O1 X O2-------------O3 O4

Métodos quasi-experimentaisDesenho do grupo de controlo não equivalente

! A) Design das amostras temporais equivalentes

! Procedimento:! Alternar aulas com e sem power-point sobre

temas semelhantes às 2 turmas! Cuidados a ter:

! Alternar a ordem de apresentação de cada tipo de aula

! dentro de cada tema para a mesma turma

Métodos quasi-experimentaisDesenho do grupo de controlo não equivalente

! B) design do grupo de controlo não equivalente! Procedimento:

! Dar aulas com power-point a 1 turma! Dar aulas sem power-point a 1 turma

! Cuidados a ter:! Fazer a avaliação de cada turma de forma a determinar

previamente as semelhanças e diferenças entre elas:! Em termos de variáveis externas (idade, formação, etc.)

! Aplicar um pré-teste a cada turma de forma a determinar previamente as semelhanças e diferenças entre elas:

! Em termos de conhecimentos prévios sobre metodologias de investigação

Métodos quasi-experimentaisTarefa 2- Estudo de Meichtry, 1992 *

! Objectivo: perceber se um determinado programa de ciências influencia o conhecimento com que osestudantes ficam da natureza da ciência

! Amostra: 1607 alunos do 6º, 7º e 8º anos! Procedimento:

! avaliação do conhecimento de 1004 alunos de uma escolaantes e depois da aplicação do novo programa

! avaliação do conhecimento de 603 alunos doutra escola (com alunos de igual status socio-económico e etnia) antes e depoisda aplicação do programa tradicional

! acompanhamento da prática de todos os professoresenvolvidos

* Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case ofcurriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.

Métodos quasi-experimentaisTarefa 2- Estudo de Meichtry, 1992*

! Identifica o design do estudo! Que tipo de grupo(s) existe(m) neste design?! Quais as variáveis que foram controladas? Porquê?! Qual a necessidade de acompanhar a prática de todos os

professores?

Expectativa - não sabemos se os alunos foram informados que estavam a ser sujeitos a um novo programa

* Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case ofcurriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.

Bibliografia

! Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L. Cancela da Fonseca & S.J. Hawkins (2002). The effects of grazing on the distribution and composition of low shore algal communities on the central coast of Portugal and on the southern coast of Britain. Journal of Experimental Marine Biology and Ecology, 267 (2): 185-206.

! Campbell, D.T. & J. Stanley 1963. Experimental and quasi-experimental designs for research. Houghton Mifflin Company, Boston.

! Gall, M.D.; W.R. Borg & J.P. Gall 1996. Educational research. An introduction. Longman Publishers USA. New York.

! Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.

! Tuckman, B.W. 2005. Manual de investigação em educação. Fundação Calouste Gulbenkian, Lisboa.

Documents

Design experimental - educ.fc.ul.pt e Claudiaquasi... · uma medida da variabilidade dentro de cada grupo passível de ser comparada com a variabilidade entre grupos! ... no fim da