Upload
joao-jose-saraiva-da-fonseca
View
6.046
Download
1
Embed Size (px)
DESCRIPTION
A Avaliação da Aprendizagem em Educação à Distância. Dr. Stella C.S. Porto. Graduate School – UMUC. (IC/UFF) Disponibilizado originalmente no portal http://www.abed.org.br/congresso2002/minicursos/08/congresso/frame.htm Joao Jose Saraiva da Fonseca http://www.joaojosefonseca1.blogspot.com/
Citation preview
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 1
A Avaliação da Aprendizagem em Educação à Distância
Dr. Stella C.S. PortoGraduate School – UMUC
(IC/UFF)
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 2
Agenda
• Apresentação• Parte 1: Discutindo o conceito de
avaliação• Parte 2: Planejamento e design da
avaliação• Parte 3: Métodos e estratégias• Parte 4: E na prática?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 3
Apresentação
• Quem eu sou? / O que eu faço?• Quais os objetivos para esse minicurso?
– Tratar da questão da avaliação e suas especificidades em EAD
– relação da avaliação com o processo inteiro de planejamento da instrução
– estratégias diversas de avaliação– Foco na questões de avaliação online
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 4
Agenda: Parte 1
• Discutindo o conceito de avaliação– O que é avaliação? – Avaliação vs. Grau– Como se diferencia em EAD?– Por que avaliar? O que avaliar?– Aspectos críticos– A avaliação do eficácia do ensino
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 5
Agenda: Parte 2
• Planejamento e design da avaliação– O processo de design instrucional– A relação da avaliação com o design
instrucional– A relação da avaliação com os objetivos
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 6
Agenda: Parte 3
• Métodos e estratégias– Métodos existentes– Como se adaptam à EAD?– Quais os fatores que devem ser levados em
consideração na escolha do método?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 7
Agenda: Parte 4
• E na prática?– Como se organizam os métodos hoje usados
no ambiente online– A UMUC como um estudo de caso
• A organização da UMUC• As escolas de graduação (SUS) e pós-graduação
(GS): dois esquemas de design instrucional e de avaliação
• A prática puramente online da GS/UMUC• As questões críticas, as questões em aberto…
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 8
“Goal Ranking & Matching”
1. Utilize o formulário para escrever 2-5 metas você espera alcançar – coisas especificas que você deseja aprender – participando desse seminário. Formulário
2. Na coluna do meio dê uma ordem d prioridade de acordo com sua importância relativa. O mais importante recebe número 1.
3. Olhando para as metas dadas no inicio do curso e escolha YES. Os que sobrarem escolha NO
4. Prepare-se para perguntar e fazer comentários sobre metas importantes que não tenham sido mencionadas inicialmente.
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 9
Discutindo o conceito de avaliação
• Atividade motivadora – Parte 1– Páre, pense e reflita
• O que é avaliação?• Qual é a relação da avaliação com o processo de
aprendizado?• Como vivencio o processo de avaliação?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 10
Discutindo o conceito…• A avaliação é um
aspecto desafiador do processo de aprendizagem– é motivo de
ansiedade em alunos e instrutores
– O que você sente como aluno?
– O que você sente como professor?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 11
Discutindo o conceito…
• Perguntas que permanecem…– Os trabalhos avaliados refletem de forma
válida o currículo?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 12
Discutindo o conceito…
• Perguntas que permanecem…– Os trabalhos avaliados refletem de forma
válida o currículo?– Existe um sistema de avaliação e feedback
que seja igualitário e claro a todos?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 13
Discutindo o conceito…
• Perguntas que permanecem…– Os trabalhos avaliados refletem de forma
válida o currículo?– Existe um sistema de avaliação e feedback
que seja igualitário e claro a todos?– Além do grau, a avaliação é genuinamente
significativa e útil aos alunos em seu crescimento acadêmico?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 14
Discutindo o conceito…
• As estratégias de avaliação são importantes quando permitem que os alunos tenham “insights” sobre seu próprio processo educacional
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 15
Discutindo o conceito…
• A metodologia de avaliação deve ser capaz de informar a alunos e profs sobre a qualidade da experiência educacional
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 16
Discutindo o conceito…
• Logo, a visão holística da avaliação a enxerga como parte VITAL do processo de ensino-aprendizado
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 17
Discutindo o conceito…
• O aluno adulto deve ser avaliado de tal forma a que perceba seus pontos fracos e fortes, e que os primeiros possam ser corrigidos durante e APÓS o curso
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 18
Discutindo o conceito…
• O aluno precisa de informação sobre a qualidade do seu trabalho
• O aluno precisa de sugestões construtivas de como melhorar seu desempenho
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 19
Discutindo o conceito…
• É preciso que a avaliação se dê através de vários recursos, para que a visão do processo de aprendizado seja mais completa
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 20
Discutindo o conceito…
• O objetivo maior então deve ser:
Prover informação necessária para a melhoria de experiências
educacionais futuras
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 21
Discutindo o conceito…
• Em que nivel do aprendizado estamos avaliando os alunos?– Os 4 níveis de avaliação de Kirkpatrick…
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 22
Discutindo o conceito…Niveis de Kirkpatrick
• A avaliação deve ir subindo de nivel
• Cada nivel serve de base para o superior
• A cada nivel tem-se uma medida mais precisa da eficácia da instrução
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 23
Discutindo o conceito…Niveis de Kirkpatrick
• Reações– Você gostou? O
material é relevante para o seu trabalho?
– Uma reação negativa pode comprometer todo o processo de aprendizado
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 24
Discutindo o conceito…Niveis de Kirkpatrick
• Cognitivo (aprendizado)– Determinar a
extensão em que o aluno desenvolveu suas habilidades, conhecimentos ou atitudes
– Pré-teste e pós-teste são especialmente úteis
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 25
Discutindo o conceito…Niveis de Kirkpatrick
• Comportamento (transferência)– Mede a
transferência que ocorre no comportamento devido ao curso (ou programa)
– Mede o nivel de aplicação dos conhecimentos adquiridos
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 26
Discutindo o conceito…Niveis de Kirkpatrick
• Institucional (Resultados)– Medida de sucesso
através de efeitos institucionais
– Aumento de produção, redução de acidentes
– Esses resultados são o maior motivo para realização de treinamento
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 27
Discutindo o conceito…
• Grau vs. Avaliação– São diferentes? Como?– A seguir tabela fornecida pela Southern
Illinois University Edwardsville (http://www.siue.edu/~deder/assess/cats/gradesv.html)
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 28
Assessment Grades
Formative Summative
Diagnostic Final
Non-Judgmental Evaluative
Private Administrative
Often Anonymous Identified
Partial Integrative
Specific Holistic
Mainly Subtext (skills and capabilities)
Text(content)
Suggestive Rigorous
Usually Goal-oriented Usually Content-Driven
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 29
Discutindo o conceito…
• Até que ponto a avaliação se confunde com o grau?
• Por que?• Se temos que medir (e
consequentemente dar grau), como podemos fazê-lo mantendo os principios que devem reger o processo de avaliação?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 30
Discutindo o conceito…
Avaliação do aprendizado
Avaliação do ensino
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 31
Discutindo o conceito…
• O caminho inverso da avaliação– Avaliar a eficiência e
a eficácia das estratégias de ensino e currículo
– Logo os resultado de boas estratégias de avaliação contém informação para alunos, profs, e administradores
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 32
Discutindo o conceito…Avaliação à distância
“A key challenge to the authenticity of learning
that takes place at a distance has been the
demand for DUPLICATION of classroom testing.”
EditorEd at a Distance, Jan. 2000
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 33
Discutindo o conceito…
• O ambiente à distância cria desafios específicos em relação à avaliação do aluno– instrutores não tem os
indicadores informais visuais e verbais que podem ser tão úteis
– muitos dos métodos de avaliação que requerem a presença dos alunos não são possíveis
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 34
Discutindo o conceito…• O ambiente online (por
exemplo) promove outros tipos de aprendizados ao aluno: – sobre a própria
tecnologia empregada– sobre seu próprio
processo de aprendizado
– sobre si mesmo
• A avaliação deve incluir esses aspectos
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 35
Discutindo o conceito…
• Papel do instrutor online– É um papel dinâmico– Requer pessoas capazes de criar um
ambiente virtual que propicie e encorage o aprendizado individual e colaborativo
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 36
Discutindo o conceito…
• Atividade de conclusão – Parte 1:– Em grupo: proponha algumas atividades de
avaliação do aprendizado dos Niveis de avaliação de Kirkpatrick, usando para isso os próprios níveis propostos por Kirkpatrick
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 37
Parte 2: Planejamento e design da avaliação
• Atividade motivadora – Parte 2– Páre, pense e reflita: Qual a ordem de design
que você usaria na elaboração de um curso?• Objetivos – instrução – avaliação• Objetivos – avaliação – instrução • Avaliação – Objetivos – instrução• Avaliação – instrução – objetivos • Instrução – objetivos – avaliação • Instrução – avaliação – objetivos
– Por que?– Discuta em grupo
ISD: Instructional Systems Design
ISD: Instructional Systems Design
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 38
Planejamento e design…
• O processo de ISD
• O modelo ADDIE– Análise– Design– Desenvolviment
o– Implementação– Avaliação
Análise
Design
Avaliação
Desenvolvimento
Implementação
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 39
Planejamento e design…
• A avaliação do aprendizado é de fato determinada durante a fase de design– Nesta fase acontece
determinação de objetivos, construção da instrução e definição da avaliação
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 40
Planejamento e design…
• Existe assim uma relação fortissima entre avaliação e objetivos– Determinar se
objetivos foram alcançados e em que grau
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 41
Planejamento e design…
• Descrição de objetivos é determinante sobre a avaliação
• Como construir objetivos?– Enfoque
behaviorista– Enfoque
construtivista, etc.
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 42
Planejamento e design…
• A relação da avaliação com os objetivos• Teaching Goals Inventory (Angelo &
Cross, 1993)– Auto-avaliação para professores
• Profs se tornam atentos às metas e objetivos a serem alcançados
• Profs se tornam mais capazes de descobrir qual a estratégia a ser usada para avaliar a aprendizagem
• Proporciona tema de discussão entre profs
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 43
Planejamento e design…
• Teaching Goals Inventory (Angelo & Cross, 1993)http://www.siue.edu/~deder/assess/cats/tchgoals.html
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 44
Métodos e estratégias• A literatura indica a
importância do uso de diversas formas de avaliação– formas qualitativas e
quantitativas
• Recomenda-se a individualização da avaliação, mesmo em atividades de grupo
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 45
Métodos e estratégias• O feedback dado aos alunos deve
focalizar os comportamentos ao invés das personalidades
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 46
Métodos e estratégias• Logo, deve…
– Ser orientado às necessidades de informação dos alunos
– Ser direcionado aos comportamentos que podem ser modificados…
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 47
Métodos e estratégias• Logo, deve…
– Fazer com que os alunos sintam que eles são donos desse feedback
– Ser claro, acurado e dado em tempo apropriado
– Fazer parte de um relacionamento continuado entre instrutor e aluno
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 48
Métodos e estratégias
• Muito provavelmente, a boa prática na avaliação é constante através das diferentes modalidades de ensino– No entanto, outros métodos com
tecnologias alternativas podem em muitos casos gerarem uma maior eficiência do feedback
• Em educação online, a identificação do aluno é mais individualizada
• O que significa isso?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 49
Métodos e estratégias
• Importante para a população adulta– Os alunos devem se
tornar auto-direcionados em seus planos e atividades de aprendizado
– Reconhecer os talentos e as necessidades dos alunos
• O aluno precisa ser reconhecido como autônomo– Diferentes graus de
indepedência em seus hábitos de estudo
– Relevância na avaliação de seus trabalhos
O enfoque centrado no aluno
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 50
Métodos e estratégias
• No modelo centrado no aluno– O prof deve enxergar os alunos como seus
parceiros que trabalham na produção de experiências educacionais relevantes
– O prof agora passa a ter múltiplas funções:• Pesquisadores das percepções do aluno• Designers de estratégias de avaliação multifacetadas• Gerentes de processos de avaliação• Consultores que auxiliam o aluno na interpretação da
informação rica que advem do processo de aprendizado
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 51
Métodos e estratégias
• Características do processo de aprendizado centrado no aluno– Alunos estão envolvidos ATIVAMENTE e
recebem feedback– Alunos aplicam conhecimentos a questões e
problemas permanentes e emergentes– Alunos integram o conhecimento baseado
na disciplina em questão, desenvolvendo habilidades genéricas
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 52
Métodos e estratégias
• Características do processo de aprendizado centrado no aluno– Potencial crescente de reconhecer a
qualidade do trabalho– Alunos tornam-se cada vez mais
sofisticados como alunos e conhecedores do conteúdo
– Instrutores mesclam ensino com avaliação– O aprendizado é interpessoal, e todos os
alunos e profs são respeitados e valorizados
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 53
Métodos e estratégias
• As práticas e a filosofia de avaliação deve confirmar que alunos adultos variam em suas necessidades– Devido às experiências anteriores e
educação prévia• Implicação séria para programas com alcance
internacional
• Logo, o ensino precisa ser mais individualizado, e deve oferecer conexão com suas vidas pessoais e profissionais
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 54
Métodos e estratégias
• A avaliação deve fazer uma ponte entre o conhecimento acadêmico, habilidades (skills) e experiências de sala de aula com trabalho diário do aluno
• Métodos alternativos tem sido estudados em função da insatisfação com métodos tradicionais…
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 55
Métodos e estratégias
• Instrutores mais tradicionais tendem a valorizar instrumentos em número menor e de caráter mais formal
• Instrutores com métodos alternativos utilizam uma variedade maior de atividades de avaliação como:– Portfolios, apresentações em ppt, revisão de
livros, entrevistas, etc.
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 56
Métodos e estratégias
• Avaliação com métodos alternativos– Alunos devem ter diversas oportunidades
de demonstrar suas habilidades de:• Pensamento crítico, conhecimento de maior
profundidade, conectar o conhecimento à atividades do dia-a-dia
– Desenvolver o diálogo mais profundo sobre o material do curso e promover atividades de aprendizado individuais ou em grupo
– O prof será capaz de identificar características dos alunos, incluindo seus estilos de aprendizado
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 57
Métodos e estratégias
• Avaliação com métodos alternativos (cont.)– Esses métodos em geral requerem um maior
tempo de desenvolvimento e integração dos mesmos ao currículo
• É preciso que exista um plano prático que alivie essa carga de notas+feedback através da limitação do número e do tamanho dos projetos a serem usados na avaliação
– Alunos se tornam criadores de conhecimento– Em geral várias respostas são possíveis
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 58
Métodos e estratégias
• Os critérios usados na avaliação precisam ser apresentados de forma clara para evitar falsas expectativas
• Para tanto, o uso da Rúbrica no processo de dar grau deve ser usada– Grading Rubric ou Grading Standards
• Expectativas altas são importantes e devem ser públicas– O conto da “baleia assassina”
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 59
Métodos e estratégias
• “Goal Ranking & Matching” (Angelo & Cross, 1993)– Projetado para tornar metas e objetivos
mais claros e visiveis ao próprio aluno• O instrutor pode então adaptar se possivel o
curso a estas expectativas• O instrutor pode esclarecer quais dessas
expectativas não poderão ser atendidas• O instrutor pode ajudar o aluno a alcançar seus
objetivos particulares
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 60
Métodos e estratégias
• Utilização de avaliação anônima– interessante porque desvincula do grau e faz
com que o aluno se torne proprietário do próprio "feedback"
– o aluno se torna mais responsável pelo processo de aprendizado
• Como implementar tal esquema em EAD?– Isso é desejado em EAD?– O que se ganha, o que se perde?
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 61
Métodos e estratégias
• “Directed Paraphrasing” (Angelo & Cross, 1993)– O aluno deve resumir através de palavras-
chaves o que foi apresentado durante uma aula ou aula passada
– O aluno precisa assim encontrar uma NOVA forma de expressar um conceito
– Público é determinado: paráfrase é direcionada
– O desafio é: BREVIDADE + ESCOLHA DA LINGUAGEM
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 62
Métodos e estratégias
• “Directed Paraphrasing” (Angelo & Cross, 1993)– O aluno deve resumir através de palavras-
chaves o que foi apresentado durante uma aula ou aula passada
– O aluno precisa assim encontrar uma NOVA forma de expressar um conceito
– Público é determinado: paráfrase é direcionada
– O desafio é: BREVIDADE + ESCOLHA DA LINGUAGEM
Se adapta a EAD?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 63
Métodos e estratégias
• “Muddiest point” (Angelo & Cross, 1993)– Escreva aquilo que você achou menos claro.
• Este é um exercicio interessante e potencialmente integrativo, porque requer que alunos primeiro deem grau ao seu conhecimento sobre diversos conteúdos e segundo porque faz com que o aluno por um momento reflita sobre por que algum tópico deveria ser selecionado como o menos entendido
• Deve ser usado com parcimonia, porque existe subliminar uma tendência a enfatizar o negativo.
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 64
Métodos e estratégias
• “Minute Paper” (Angelo & Cross, 1993)– Muito comum– Oferece feedback rápido sobre se as idéias
principais estão sendo percebidas pelos alunos
– Além disso, o aluno deve também fazer perguntas ao final, tornando a tarefa integrativa
– é preciso organizar o pensamento e decidir sobre a questão significativaExemplo
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 65
Métodos e estratégias
• Auto-avaliação (Angelo & Cross, 1993)– São oferecidos 2 ou mais trechos de auto-
avaliação relacionados a posturas em relação a aspectos especificos. (Exemplo)
• O aluno escolhe dentre os trechos aquele que se adequa melhor a sua própria postura e pensamento
• Escolhe também, por exemplo, qual o tipo de personalidade que melhor se adequa a determinadas situações
• Escolhe, por exemplo, aquela personalidade que ele próprio preferia se relacionar
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 66
Métodos e estratégias
• Auto-avaliação– O aluno pode se confrontar com atitudes e
posturas pessoais, de maneira privada• Algumas delas podem ser empecilhos ao
aprendizado
– O ideal é oferecer ao aluno pontos de vistas controvertidos
– Só podem ser usados como AUTO-avaliação• O professor deve reconhecer possiveis obstáculos
ao aprendizado e formulá-los• Recolher as respostas e propor formas de superar
esses obstáculos.
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 67
Métodos e estratégias
• Self-confidence survey (Angelo & Cross, 1993)– Utilizado para identificar áreas onde os alunos
sentem-se confortáveis ou disconfortáveis– Reflete o reconhecimento da competência do
aluno por ele mesmo– Fácil de elaborar, mas a forma de agir de
acordo com os resultados pode ser mais complexa.
– Exemplo de formulário
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 68
Métodos e estratégias
• Characteristic features (Angelo & Cross, 1993)– Lista de traços que ajudam a definir um
tópico e diferenciá-lo de outros– Permite perceber se o aluno é capaz de
separar elementos e idéias que podem ser confundidos
– Muito útil em turmas grandes.– Exemplo
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 69
Métodos e estratégias
• Background Knowledge Probe (Angelo & Cross, 1993)– A melhor forma de prever o aprendizado de
um aluno é saber o quanto ele já sabe antes de começar a instrução
• Os alunos trazem consigo muitos conhecimentos já internalizados, incluindo preconceitos e idéias pré-concebidas.
– O conhecimento novo em geral cola-se no conhecimento pré-existente. (Exemplo)
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 70
Métodos e estratégias
• Transfer & Apply (Angelo & Cross, 1993)– Forma intencional de fazer com que
participantes reconheçam idéias que tenham aprendido e que conscientemente transfiram estas para aplicações em seu próprio ambiente.
– Exemplo
EXEMPLOS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 71
Métodos e estratégias
• Trabalho de grupo– Tamanho do grupo– Objetivo preciso, conhecido e relevante ao
aprendizado– Acompanhento ao longo do processo– Avaliação inter-participantes– Componente individual de tarefas (com grau
individualizado)– Estruturação inicial: construindo a confiança
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 72
Métodos e estratégias• Participação
– Dar grau ou não?– Importante determinar o se
considera como participação– Importante determinar como a
participação será avaliada• Usar Participation Rubric
– Prover feedback ao longo do curso especificamente sobre participação
• Feedback construtivo, convidando o aluno
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 73
Métodos e estratégias
• “Peer evaluation”– Efetivo no ambiente online– Tem que ser feito de forma
cuidadosa• Pode ser anônimo• Em pares
– É preciso criar um clima de confiança
– A avaliação deve ser entendida claramente como um processo construtivo que faz parte da aprendizagem, desligada do grau
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 74
Métodos e estratégias
• “Learning about the ways we learn is an important outcome of the online environment.” – Isso se relaciona apenas ao ambiente online
(ou a distância)?
• Instrutores podem reforçar o aspecto de meta-aprendizado, reforçando o poder que o aluno deve adquirir sobre seu próprio processo
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 75
Métodos e estratégias
• O que está acontecendo online?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 76
Métodos e estratégias
• Exames tradicionais • Trabalhos individuais e de grupo para
nível de domínio do conteúdo• Atividades de nível alto (i.e. estudo de
casos, entrevistas, discussões, artigos, propostas de pesquisa…)
• Atividades criativas (palavras-cruzadas online, avaliação e desenvolvimento de web-page, …)
métodos usados online (assincrono)
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 77
Métodos e estratégias
• Nenhuma diferença no geral
• Avaliação via web permite feedback mais eficiente e detalhado
• Aprendizado via web permite maior individualização na avaliação do trabalho do aluno
• Aprendizado via web encoraja maior participação e engajamento do aluno
• Sala de aula tradicional dá mais facilidade ao instrutor em inferir sobre o entendimento do material pelo aluno”” (será??)
Comparando avaliação online e tradicional
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 78
Métodos e estratégias
• Maior eficiência no feeback de tarefa
• Feedback individual mais detalhado
• Conveniência da comunicação entre instrutor e aluno
• Área de conferência estimula troca efetiva entre alunos em grupo
• Tempo adicional para alunos processarem o aprendizado e completarem trabalho.
• Maior oportunidade para alunos desenvolverem habilidades diversas
O que está funcionando na avaliação online
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 79
Métodos e estratégias
• Menor percepção do aluno sobre carga de trabalho
• Falta de auto-conhecimento do aluno sobre seu tipo de aprendizado e casamento apropriado com a aula online
• Problemas tecnológicos• Deficiências dos alunos
em escrita• Se e-mail é utilizado,
pode se tornar um gargalo
• Falta de apoio financeiro para pessoal de suporte no processo de avaliação
O que não está funcionado na avaliação online
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 80
Métodos e estratégias
• Desejos de um instrutor para avaliação online…– Maior suporte e acesso tecnológico para
alunos e instrutores– Melhores procedimento de avaliação
baseados em tecnologia (p. ex. Um “gradebook online”)
– Maior confiaça e uso por parte dos alunos nas áreas de trabalho comuns (evitando o e-mail)
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 81
Métodos e estratégias• Desejos de um instrutor para
avaliação online…– Maior entendimento por parte dos alunos de
tempos razoáveis para feedback de trabalhos– Maior suporte administrativo
• relativo a tamanho máximo de salas de aula e de pessoal de suporte à avaliação
– Maior uso de “peer mentoring”, e suporte às questões enfrentadas por instrutores online
– Incorporação de teorias de aprendizado de adultos mais corrente e novas práticas de ensino
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 82
Métodos e estratégias
• Algumas conclusões sobre avaliação online:– A maior parte dos procedimentos de avaliação
de aulas ao vivo podem ser adaptadas ao ambiente online
– O ambiente online tem permitido cada vez mais o uso de múltiplos procedimentos de avaliação criativos
– A avaliação baseada em Web é caracterizada pela eficiência, individualizada e detalhada em curto espaço de tempo
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 83
Métodos e estratégias
• Algumas conclusões sobre avaliação online:– Suporte preparatório adequado deve ser
dado aos alunos e instrutores online, de tal maneira a garantir o sucesso da sala de aula baseada em Web
– De muitas formas, as questões ligadas à boa prática de ensino e avaliação transcendem o formato utilizado (f2f ou online)
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 84
Métodos e estratégias
• Atividade de conclusão – Parte 3:– Retome as suas notas do início sobre a
avaliação na sua prática educacional– Tente projetar recomendações para tornar
essa prática mais válida– Avalie aquilo que no momento é utopia e
aquilo que de fato pode ser feito imediatamente
– Procure traçar diretrizes bem simples para levar suas novas conclusões sobre o tema para a sua prática
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 85
Parte 4: E na prática?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 86
E na prática?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 87
E na prática?
• Não existe uma melhor forma de avaliar o progresso do aluno
• O elemento mais importante em utilizar métodos tradicionais ou alternativos na avaliação de EAD talvez seja garantir que a ferramenta escolhida se ajuste ao modo em que é feita a instrução
• Dois grupos: sincronos e assincronos
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 88
E na prática?• Métodos sincronos (1)
– Prof. e aluno interagem em tempo-real durante a avaliação
– EAD: geralmente centrados no aluno e utilizam instrução baseada em competências
• Se adequam ao uso de avaliação referenciada por critérios (criterion-referenced assessment)
• Definição: aquela quer interpreta a pontuação do aluno através da descrição de como este é capaz de realizar tarefas num dado dominio
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 89
E na prática?• Métodos sincronos (2)
– Ferramentas de conferência em tempo real• Exemplos: Entrevistas usando Netmeeting ou
telefone; tecnologias de video podem permitir que o aluno seja visto fazendo o teste.
– Legitimização da avaliação em EAD• Fator determinante no processo de “accreditation” • Em muitos casos, isto é alcançado de forma mais
direta: exames f2f em centros pré-determinados (“proctored exams”)
– Trabalho em grupo• Ferramentas de chat permitem interação sincrona
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 90
E na prática?
• Métodos assincronos– Avaliação pode tomar diferentes formas: de
exames até portifolios• Uso de interação assincrona, e muitas formas de
tarefas escritas• Alguns desses métodos podem gerar muita
subjetividade no momento de dar grau
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 91
E na prática?• O dominio cognitivo é mais
frequentemente avaliado em EAD• A avaliação do dominio afetivo lida com
variáveis como atitudes, interesses e valores– Por isso a maior complexidade em avaliá-lo de
forma efetiva– Mas isso não se torna pior em EAD, pelo
contrário, pode até aumentar a validade dos resultados
• O dominio psicomotor é ainda o mais dificil de ser avaliado num ambiente de EAD
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 92
E na prática?
• Desafios– Grau vs. Avaliação (estrutura
de graus determinada pela instituição)
– Trabalho colaborativo– Participação– Heterogeneidade /
Diversidade– As demandas do aluno adulto– Desenvolvimento de cursos
que atendam à demanda, às restrições de custo, às mudanças de tecnologia, às mudanças de contexto, sejam criativos, sejam flexiveis, etc.
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 93
“Why do we insist on measuring it with a
micrometer when we mark it with chalk and
cut it with an axe?”Peter Ewell
MAXIM
AS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 94
“Why teach to testing when it is so productive to teach to learning?”
Guy Bensusan
MAXIM
AS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 95
“As the question about what is wrong with tests to the learners/students in YOUR courses – and
let them post ANONYMOUS answers.”
Guy Bensusan
MAXIM
AS
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 96
Qual foi o ponto mais importante para você
desse mini-curso?
Qual foi o aspecto mais confuso?
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 97
Referências
• M. Dereshiwsky (2001), ‘A’ is for Assessment: Identifying Online Assessment Practices and Perceptions, Ed at a Distance Magazine and Ed Journal, Vol. 15, No.1 (http://www.usdla.org/html/journal/Jan01_Issue/article02.html)
• T.A. Angelo & K.P. Cross (1993), “Classroom Assessment Techniques”, 2nd ed. San Francisco: Jossey-Bass
• Palloff & Pratt (1999), “Building Learning Communities”, Jossey-Bass
• M. Moore & G. Kearskely (1996), “Distance Education: A Systems View”, Wadsworth.
• J. Morley (2000), “Methods of Assessing Learning in Distance Education Courses”, ed at a distance, Vol. 13 no.1
• Classroom Assessment from Southern Illinois University Edwardsville, http://www.siue.edu/~deder/assess/cats
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 98
Referências
• UMUC site, http://www.umuc.edu• T.A. Angelo (1999), “Doing Assessment as if Learning
Matters Most”, AAHEBulletin, May• G. Bensusan (2000), “Subject:What’s Wrong with Tests?”,
Ed at a distance• J. Kemp (2000), “Instructional Design for Distance
Education”, Ed at a distance, Vol. 14 No. 10• “Distance Education at a Glance”, Engineering Outreach –
College of Engineering University of Idaho, http://www.uidaho.edu/evo/dist3.html
• “ae is assessment and evaluation”, Maricopa Center for Learning & Instruction, http://www.mcli.dist.maricopa.edu/ae0/
São Paulo (9/02) S.C.S Porto (ITS-UMUC) 99
Referências
• L. Suskie (2000), “Fair Assessment Practices”, AAHEBulletin, May.
• “Classroom Assessment”, Center for Excellence in Learning & Teaching, http://cstl.syr.edu/cstl/t-l/cls_asmt.htm
• M.D. Roblyer & L. Ekhaml, “How Interactive are YOUR Distance Courses? A Rubric for Assessing Interaction in Distance Learning”, http://www.westga.edu/~distance/roblyer32.html