Upload
internet
View
107
Download
4
Embed Size (px)
Citation preview
Gregory Light, PhD
Consórcio Brasileiro Ciência, Tecnologia, Ciências Humanas, Engenharia e Matemática (STHEM)
2º WORKSHOP: LORENA, BRASIL, 26-30 de maio de 2014
Mudando o Ensino, Transformando a Aprendizagem
Sessão II: Aprendendo a Avaliar
Visão geral
Sessão I: Princípios de Design e Resultados de Aprendizagem
• Desafios Globais e Nacionais (Apresentação Interativa)
• Ensinar para Aprender: um Quadro (Apresentação Interativa)
• Construindo Resultados de Aprendizagem (Atividade)
Sessão II: Aprendendo a Avaliar
• Avaliando a Aprendizagem do aluno (Discussão)• Dimensões da Avaliação (Apresentação
Interativa/Atividade)• Alinhando a Avaliação (Atividade)
“A forma mais rápida de mudar a aprendizag
em do aluno é
mudando o sistema de avaliação.” -- Elton & Laurillard, 1979, p.
10
AGORA LEMBREM-SE DESTA
FÓRMULA! CAIRÁ NA PROVA.
AVALIAÇÃO
Questão em Grupo:
Por que nós avaliamos os estudantes?
Compartilhecom a mesa
Propósito da AvaliaçãoSumativa
• Para aprovar ou reprovar um estudante
• Para dar nota ou rankear um aluno• Para habilitar para continuar• Para selecionar para cursos futuros• Para habilitar para a prática• Para predizer sucesso em futuros
cursos• Para predizer sucesso no emprego• Para seleção para emprego futuro
Propósito da AvaliaçãoFormativa
• Para fornecer feedback aos estudantes, a fim de melhorar sua aprendizagem
• Para motivar estudantes• Para diagnosticar os pontos fortes e
fracos dos estudantes• Para ajudar os estudantes a desenvolver
suas habilidades de auto-avaliação• Para fornecer um perfil do que o aluno
aprendeu
Propósito da AvaliaçãoDiagnóstica
• Para fornecer feedback aos professores
• Para melhorar o ensino• Para diagnosticar os pontos fortes e
fracos de um curso• Para fazer o curso parecer respeitável
e digno de crédito perante outras instituições e empregadores
Dimensões da Avaliação
Dimensões da Avaliação
FormativaSumativa
ConfiabilidadeRazão em que os resultados do método de avaliação podem ser
confiáveis
ValidadeRazão em que os métodos de
avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso
Essencialmente projetada para
resumir o feito de alguém
Essencialmente projetada para
auxiliar o processo de
aprendizagem
Praticidade
Referenciada em Critério
Referenciada pela Norma
Baseada na auto-reflexão da
aprendizagem alcançada no curso
Auto-ReferenciadaBaseada nos
conhecimentos e habilidades adquiridas
no curso
Baseada na comparação
com outros do grupo
Referenciada por ParesBaseada na
avaliação pelos pares da
aprendizagem alcançada no
curso
Dimensões da Avaliação
FormativaSumativa
ConfiabilidadeRazão em que os resultados do método de avaliação podem ser
confiáveis
ValidadeRazão em que os métodos de
avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso
Essencialmente projetada para
resumir o feito de alguém
Essencialmente projetada para
auxiliar o processo de
aprendizagem
Praticidade
Referenciada em Critério
Referenciada pela Norma
Baseada na auto-reflexão da
aprendizagem alcançada no curso
Auto-ReferenciadaBaseada nos
conhecimentos e habilidades adquiridas
no curso
Baseada na comparação
com outros do grupo
Referenciada por ParesBaseada na
avaliação pelos pares da
aprendizagem alcançada no
curso
Dimensões da Avaliação
FormativaSumativa
ConfiabilidadeRazão em que os resultados do método de avaliação podem ser
confiáveis
ValidadeRazão em que os métodos de
avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso
Essencialmente projetada para
resumir o feito de alguém
Essencialmente projetada para
auxiliar o processo de
aprendizagem
Praticidade
Referenciada em Critério
Referenciada pela Norma
Baseada na auto-reflexão da
aprendizagem alcançada no curso
Auto-ReferenciadaBaseada nos
conhecimentos e habilidades adquiridas
no curso
Baseada na comparação
com outros do grupo
Referenciada por ParesBaseada na
avaliação pelos pares da
aprendizagem alcançada no
curso
Dimensões da Avaliação
FormativaSumativa
ConfiabilidadeRazão em que os resultados do método de avaliação podem ser
confiáveis
ValidadeRazão em que os métodos de
avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso
Essencialmente projetada para
resumir o feito de alguém
Essencialmente projetada para
auxiliar o processo de
aprendizagem
Praticidade
Referenciada em Critério
Referenciada pela Norma
Baseada na auto-reflexão da
aprendizagem alcançada no curso
Auto-ReferenciadaBaseada nos
conhecimentos e habilidades adquiridas
no curso
Baseada na comparação
com outros do grupo
Referenciada por ParesBaseada na
avaliação pelos pares da
aprendizagem alcançada no
curso
Dimensões da Avaliação
FormativaSumativa
ConfiabilidadeRazão em que os resultados do método de avaliação podem ser
confiáveis
ValidadeRazão em que os métodos de
avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso
Essencialmente projetada para
resumir o feito de alguém
Essencialmente projetada para
auxiliar o processo de
aprendizagem
Praticidade
Referenciada em Critério
Referenciada pela Norma
Baseada na auto-reflexão da
aprendizagem alcançada no curso
Auto-ReferenciadaBaseada nos
conhecimentos e habilidades adquiridas
no curso
Baseada na comparação
com outros do grupo
Referenciada por ParesBaseada na
avaliação pelos pares da
aprendizagem alcançada no
curso
Dimensões da Avaliação
FormativaSumativa
ConfiabilidadeRazão em que os resultados do método de avaliação podem ser
confiáveis
ValidadeRazão em que os métodos de
avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso
Essencialmente projetada para
resumir o feito de alguém
Essencialmente projetada para
auxiliar o processo de
aprendizagem
Praticidade
Referenciada em Critério
Referenciada pela Norma
Baseada na auto-reflexão da
aprendizagem alcançada no curso
Auto-ReferenciadaBaseada nos
conhecimentos e habilidades adquiridas
no curso
Baseada na comparação
com outros do grupo
Referenciada por ParesBaseada na
avaliação pelos pares da
aprendizagem alcançada no
curso
CENTRADA NO ENSINO
CENTRADA NA APRENDIZAGEM
Atividade: Métodos AvaliativosEscolha um método avaliativo que você atualmente use
e o mapeie em relação 1) a resultados de aprendizagem;
2) essas dimensões.
Fazer individualmente.Após, compartilhar com a mesa.
Então, compartilhar com o grupo todo.
Métodos de Avaliação(Alguns Exemplos)
• Exame Final (escrito)
• Tarefa• Projetos• Relatórios• Apresentações• Grupos de
discussão e observação
• Horas de Trabalho
• Exame Final (múltipla escolha)
• Questionários• Chamada oral,
prova surpresa.• Desempenho na
carreira• Testes
padronizados• Sistema de
respostas pessoais.
Higher validity – less reliable Higher reliability – less validity
Alinhando a Avaliação
Usando Categorias(Fazer e validar avaliações mais
confiáveis)BreveDiscussão
Alinhando Avaliações tendo em vista resultados na Aprendizagem (Ex: Biologia)
Objetivo do Curso
Resultados de Aprendizage
m
Avaliação Formativa
Avaliação Somativa
O que os alunos aprenderão?
Se eles aprenderam isso, o que os alunos sabem e serão capazes de fazer?
O que os alunos farão para aprender?
Como os estudantes demonstram que sabem ou que são capazes de fazer isso?
Os alunos deverão compreender sobre a transferência de informação do DNA para a proteína.
Estudantes serão capazes de prever mudanças em sequências de aminoácidos, causadas por mutações .
Em grupos, aos estudantes é dada a sequência de DNA correspondente à de aminoácidos. Os alunos identificam, fazem a leitura de frame e predizem as mudanças de aminoácidos, devido a mutações na sequência.
No exame, na prova, estudantes vão prever de novo a sequência de aminoácidos que resulta de uma mutação em determinada sequência.
Knight, (2011)
Um Típico Formato de Modelo Prova do aluno
(1)FracoPouca ou nenhuma evidência
de resultado
(2) BásicoAlguma
evidência de
resultado
(3) ProficienteDetalhada evidência
de resultado
(4) ForteResultado altamente criativo.
Critério do professor
Critério 1 - Argumento
Critério 2 – Uso de leituras, integração de literatura.
Critério 3 – Qualidade da escrita.
Adapted from Beauchamp et al 1996
Avaliação Escrita: Modelo (1)Fraco
Pouca ou nenhuma evidência
de resultado
(2) BásicoAlguma
evidência de
resultado
(3) ProficienteDetalhada evidência
de resultado
(4) ForteResultado altamente criativo.
Critério 1Argumento
Incoerente, pouco lógico, opinião pessoal.
Estrutura básica com algum uso de evidências.
Forte estrutura lógica, com uso de provas, evidências em todo o texto.
Forte estrutura lógica, com uso de provas, evidências; discussão sofisticada.
Critério 2 Uso de leituras, integração de literatura.
Não usou minimamente as fontes
Fontes usadas, mas não integradas às ideias escritas.
Fontes muito bem integradas às ideias do autor.
Fontes bem integradas e de modo crítico
Critério 3Qualidade da Escrita
Organização deficiente, problemas gramaticais.
Esforço para organizar ideias; problemas gramaticais
Boa organização; poucos problemas de gramática.
Fluxo bem desenvolvido, elegante, sem erros.
Adapted from Beauchamp et al 1996
Benefício das categorias
Usado para classificar (Somativa) ou comentar (Formativa)
Esclarece critérios (Critério Ref.) Garante que a classificação está alinhada
com os resultados da aprendizagem. (Validação)
Permite compartilhar com vários professores situações niveladoras. (Recuperação)
Pode ser usado com estudantes (Self Ref.) e pares (Peer Ref.)
Atividade
Em pequenos grupos,
identificar e criar
(desenhar) uma categoria,
um modelo de avaliação
para um específico
resutado de
aprendizagem.
Grupo amplo de discussão.
Alinhando avaliações
Usando questões de múltipla escolha (MSQ)
(Fazendo avaliações mais válidas e confiáveis.)
QuickShare
MCQs como instrução formativa
Responder and fornecer sua análise racional:
1. Qual das opções a seguir apresenta características intrínsecas ao marcapasso ?
a) Medulla c) Sinoatrial node
b) Pons d) Atrioventricular node
Usar a análise racional (pequena explicação aberta para
escolha) para fazer os estudatnes demonstrarem seu conhecimento – ser classificado ou não..
Stanford Learning Lab: Nash & Shaeffer, 1999; Schaeffer et al., 1999
Análise racional: SA node é o marcapasso normal para todo coração. AV node também tem potencial marcapasso, mas é ofuscado pelo SA node. Medula tem potencial como marcapasso para o ritmo respiratório também. Pons ajuda a refinar o ritmo, mas não tem potencial para marcapasso.
Análise racional insatisfatória: Resposta incompleta: Normalmente, o SA node é responsável por gerar a velocidade do coração e ele tem a havilidade de fazê-lo por causa de seu próprio e intrínseco ritmo. O AV node também tem um ritmo intrínseco, mas ele está “ofuscado” pelo do SA node.
Fornecendo a definição do livro: O nó sinoatrial é o marcapasso do coração dos mamíferos.
Fornecendo informações irrelevantes: Receptores de estiramento estão localizados no arco aórtico e seio carotídeo. Eles têm a habilidade de responder a mudanças de pressão.
Reafirmação da pergunta: O nó SA, AV e a medula, todos possuem características intrínsecas ao marcapasso e podem ser usados como tal.
Blindar a resposta com o recurso da autoridade: Esta resposta é correta porque o Professor Heller disse que era, e o Professor Heller é legal.
Atividade
Em pequenos grupos,
compartilhem outros
caminhos em que a
validade do MCQs pode
ser melhorada.
Compartilhar com grupos
maiores.
Teste que envolve nível baixo de conhecimento
Perda puramente econômica é recuperável em ação de responsabilidade do produto.
a) Verdadeiro.b) Falso.
Recuperação puramente econômica será barrada em qual das seguintes causas de ação?
c) Negligênciad) Fraudee) Difamaçãof) Responsabilidade do produto.
“Qual é a regra?”
Sem contexto, não permitindo a interpretação e análise.
from Case & Donohue, 2008
Revisão: Alto nível de entendimento
Um restaurante contratou um exterminador para eliminar baratas do porão, sob o restaurante. Por volta da meia-noite, o exterminador aplicou ao chão e paredes do porão um eficiente pesticida que ele havia comprado do fabricante. Um gás tóxico liberado pelo pesticida penetrou na cozinha do restaurante e não se dispersou no dia seguinte. Como resultado, o restaurante foi obrigado a fechar naquele dia.
• restaurante moveu uma ação de responsabiidade civil, por lucros cessantes, com base na responsabilidade sobre o produto, contra o fabricante do pesticida .
• O restaurante ganhará a ação?
a) Não, porque nesta ação, perdas puramente econômicas não são recuperáveis. *
b) No, porque o exterminador foi a causa imediata dos danos ao restaurante. c) Sim, porque a fabricação de pesticidas é uma atividade
extraordinariamente perigosa. d) Sim, porque o pesticida estava sendo usado como o previsto.
from Case & Donohue, 2008
3 ideias para levar com você
Avaliar é ensinar.
Estudantes precisam ser envolvidos.
A avaliação dá a você, o que você pede.
QUESTÕESFINAIS?
References• Entwistle, N. & Tait, H. (1990) ‘Approaches to learning,
evaluations of teaching and preferences for contrasting academic environments’, Higher Education, 19 (2): 169–94.
• Knight, J. (2011) University of Colorado. NAS/HHMI Summer Institute on Undergraduate Biology Education, Madison, WI.
• Light, G, & Micari, M. (In press) Making Scientists: Six Principles for Effective College Teaching, Harvard University Press.
• Beauchamp, McConaghy, Parsons & Sanford. (1996) Teaching From the Outside In. Duval: 1996, 37.