Upload
internet
View
109
Download
3
Embed Size (px)
Citation preview
MEDIDAS DE AVALIAÇÃO DE PROCEDIMENTOS, PROCESSOS E APOIO INSTRUCIONAIS EM TD&E
Denise Furlanetto 2011
ALGUNS CONCEITOS
APOIO: É parte do conceito de ambiente; Abrange fatores do contexto interno e
externo que podem afetar todas as atividade de um sistema de TD&E;
condições ou restrições impostas à realização do evento instrucional enquanto ele ocorre;
Exemplos: equipamentos; instalações; facilidade de acesso a material de apoio; transporte; alimentação
ALGUNS CONCEITOS
PROCEDIMENTOS INSTRUCIONAIS: Refere-se, no Modelo MAIS, à ação de TD&E
propriamente dita; refere-se a operações, ocorrências e
estratégias instrucionais utilizadas durante o treinamento, com a finalidade de levar o participante a alcançar os objetivos instrucionais.
são as características do desenho instrucional postas em prática.
Exemplos: apresentação de objetivos do curso; tempo destinado a atividade teóricas e práticas, seqüência de conteúdos, etc
ALGUNS CONCEITOS
PROCESSOS: referem-se aos resultados parciais ou
intermediários ocorridos durante a implementação do evento e observados principalmente no comportamento do participante.
Exemplos: erros e acertos em provas, absenteísmo, desistências, interações (participante-participante/participante-instrutor.
POR QUE AVALIAR PROCEDIMENTOS, PROCESSOS E
APOIO?
Procedimentos
Processos
São a essência do treinamento;Possibilitam descrição detalhada do sistema instrucional;Permitem verificar quais operações instrucionais são + eficazes e eficientes para diferentes clientelas.
Podem subsidiar predições sobre ações de TD&E de médio e longo prazos;Permitem saber o que funcionou ou não e aprimorar (caráter somativo).
POR QUE AVALIAR PROCEDIMENTOS, PROCESSOS E
APOIO?
Apoio
Pesquisas empíricas mostram que tal variável é fundamental na predição de impacto do treinamento no trabalho.
Os fatores de apoio à execução do treinamento vêm se mostrando, na prática, importantes variáveis que indicam as razões para abandono, absenteísmo e falta de motivação para o treinamento.
AO PLANEJAR UMA AVALIAÇÃO DE UM PROGRAMA INSTRUCIONAL DEVEMOS PERGUNTAR:
1- O que medir? Remete à necessidade de definir constructos
envolvidos na avaliação. Ex: apoio, procedimentos, processos.
Medidas são geralmente extraídas das definições de cada constructo;
INDICADORES DE AVALIAÇÃO
Constructo Indicadores
Apoio
Salas de aulas: ventilação, tamanho, mobiliário, layout, acústica
Hospedagem: proximidade do local, hóspedes por quarto, alimentação
Coordenação: facilidade de acesso, presteza no atendimento
Instalações: banheiros, salas para estudo, consultas a materiais didáticos
Serviços e recursos de apoio: equipamentos, materiais
Procedimentos
Planejamento ou desenho instrucional: objetivos instrucionais, seqüência de conteúdos, estratégias instrucionais
Execução: Desempenho do instrutor, interações requeridas pelos exercícios
Em cursos presenciais
INDICADORES DE AVALIAÇÃO
Constructo Indicadores
Processos
Resultados de testes ou exercícios práticos
Motivação desenvolvida durante o curso
Quantidade de tempo dedicado ao estudo individual
Interações participante-participante, participante-instrutor
Reações dos participantes às atividades propostas durante o curso
Nível de absenteísmo não justificado
Quantidade de pessoas que abandonam o curso
Em cursos presenciais
INDICADORES DE AVALIAÇÃO
Constructo Indicadores
Apoio
Interface gráfica
Serviço de apoio técnico
Sistema de tutoria: passiva ou ativa, quantidade de alunos por tutor
Ambiente de estudo: adequação do curso ao computador, aos locais, preferências e hábitos de estudos dos participantes, apoio ao participante na administração do tempo para conclusão das unidades do curso
Procedimentos
Interação com o tutor: natureza e freqüência
Interação com outros participantes: natureza e freqüência
Interatividade: tipo de participação exigida pelas atividades (ativa ou passiva)
Qualidade das avaliações de aprendizagem
Cursos à distância
INDICADORES DE AVALIAÇÃO
Constructo Indicadores
Processos
Resultados de testes, exercícios, provas
Participação em chats, fóruns, listas de discussão
Tempo para conclusão de cada unidade
Interações participante-participante, participante-instrutor (natureza, freqüência e qualidade)
Mensagens de satisfação ou insatisfação com curso e componentes do curso
Tempo dedicado à realização de exercícios e estudo individual
Atrasos na entrega de trabalhos
Nível de absenteísmo não justificado a momentos de atividade síncrona
Quantidade de abandonos
Cursos à distância
AO PLANEJAR UMA AVALIAÇÃO DE UM PROGRAMA INSTRUCIONAL DEVEMOS PERGUNTAR:
2- Com o que medir? Leva à escolha ou construção e validação de um
instrumentos capazes de gerar informações válidas e precisas sobre o que se quer avaliar;
Os instrumentos mais utilizados são: Questionários de avaliação de reação dos
participantes Observação com roteiros para registro Análise documental do curso Testes e/ou provas (na avaliação de variáveis de
processos)
INSTRUMENTOS DE MEDIDA – PONTOS CRÍTICOS
A escolha dos instrumentos deve levar em conta:Características do evento: presencial ou à
distânciaCaracterísticas da clientelaContexto em que o treinamento está
inserido
Encontram-se disponíveis instrumentos de avaliação de reações à procedimentos, processos e apoio, construídos e validados de acordo com recomendações técnicas oriundas da psicometria.
EXEMPLOS DE INSTRUMENTOSReação ou satisfação com a programação Pontuação
1-Clareza na definição dos objetivos do curso
2-Compatibilidade dos objetivos com suas necessidades de treinamento
3-Carga horária programada para as atividades teóricas
4-Ordenação dos conteúdos
5-Carga horária programada para as atividades práticas
6-Carga horária diária
7-Adequação do conteúdo aos objetivos
8-Qualidade das instalações
9-Qualidade e organização do material didático
10- Quantidade do material didáticoEscala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruimFonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)
EXEMPLOS DE INSTRUMENTOS
Desempenho do Instrutor (cursos presenciais) Pontuação
1-Transmissão dos objetivos do treinamento
2-Nível de profundidade com que os temas e assuntos foram abordados, tendo em vista os objetivos do curso
3-Ritmo de apresentação dos tópicos
4-Uso de estratégias instrucionais (estudos de caso, exposições orais, discussão em grupo) em relação à apreensão dos conteúdos
5-Qualidade das avaliações de aprendizagem
6-Conhecimento dos temas abordados
7-Segurança na transmissão do conteúdo
8-Disposição para esclarecer dúvidas
Escala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruimFonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)
EXEMPLOS DE INSTRUMENTOS
Nota Reações à Interface Gráfica do curso
( ) Relação entre os nomes e as siglas dos comandos e suas funções
( ) Relação entre o ícone e sua função
( ) Manutenção da função de um mesmo comando em todas as telas
( ) Quantidade de passos para chegar na função que preciso
( ) Quantidade de conteúdo por tela
( ) Adequação do ambiente eletrônico do curso à minha experiência com o uso da Internet
( ) Letras (cor, tipo, tamanho) usadas nos textos
( ) Qualidade das mensagens que recebo do ambiente eletrônico quando cometo erros de navegação
Escala de 11 pontos, em que 0 corresponde a péssimo, e 10, a excelenteFonte: Carvalho (2003)
AO PLANEJAR UMA AVALIAÇÃO DE UM PROGRAMA INSTRUCIONAL DEVEMOS PERGUNTAR:
3- Como medir? Leva à definição e seleção de estratégias de coleta e
análise de dados.
4- Como emitir julgamentos de valor a partir da mensuração?
Requer a escolha do tipo mais adequado de avaliação: baseada em critério o u norma (dependente da situação)
ETAPAS DE PROCEDIMENTOS DE AVALIAÇÃO
1-Definir os constructos 2-Listar indicadores
3-Identificar instrumentos4-Escolher ou construir e
validar instrumentos
5-Escolher fontes e meios 6-Definir avaliadores
7-Definir procedimentos de coleta de dados
8-Definir procedimentos de análise de dados
9-Definir relatório e devolução dos resultados
FONTES, MEIOS E AVALIADORES
Fontes: Primárias ou Secundárias (arquivos e materiais preexistentes)
Meios: Material impresso, meio eletrônico
Avaliadores: Participantes, instrutores, desenhistas instrucionais, especialistas em conteúdo, profissionais de TD&E
A escolha das fontes, meios e avaliadores deve levar em conta: Características dos eventos (presenciais ou à
distância) Características da clientela Contexto em que a ação de TD&E está inserida Custos
PARA DEFINIR PROCEDIMENTOS DE AVALIAÇÃO É PRECISO:
Estudar o caso (características dos eventos, da clientela e do contexto);
Escolher um modelo de avaliação que defina claramente seus componentes;
Seguir as etapas 1 a 8 (descritas anteriormente)
Sobre procedimentos: apesar da importância, há pouca pesquisa, por ex, sobre operações instrucionais;
Há evidências de que objetivos instrucionais claros afetam a aprendizagem e que a realização de atividades práticas aumenta o impacto do treinamento no trabalho.
DISCUSSÕES FINAIS
DISCUSSÕES FINAIS
Estudos estrangeiros afirmam que reações favoráveis não garantem necessariamente a aprendizagem ou a mudança no comportamento do participante no trabalho.
Estudos brasileiros já mostram correlações favoráveis entre reação e impacto do treinamento no trabalho.
Abbad, Gama e Borges-Andrade (2000) concluíram que: Aprendizagem depende das características do
treinamento, somadas às características pessoais e de suporte à transferência.
Abbad, Gama e Borges-Andrade (2000) concluíram, ainda, que:Reações dependem de combinações
diferentes dos mesmos conjuntos de variáveis preditoras de aprendizagem.
Impacto do treinamento depende fortemente do suporte à transferência e de variáveis de reações aos resultados dos treinamentos.
Há avanços na área, mas a multiplicidade de medidas com definições e estruturas empíricas diferentes, dificulta a comparação e a análise da generalidade dos resultados de pesquisas que tentem correlacionar reação com aprendizagem e mudanças de comportamento no trabalho
DISCUSSÕES FINAIS
REFERÊNCIA
Abbad, Borges-Andrade, Mourão. Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas. Artmed: Porto Alegre, 2006 p.443-468