View
131
Download
0
Category
Preview:
Citation preview
AVALIAÇÃOAVALIAÇÃO
Suely F. Deslandes
IFF-FIOCRUZ
O que é Avaliação ?O que é Avaliação ?
Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto, proposta ou programa.
Dimensões da avaliação Dimensões da avaliação (Penna (Penna Firme, 2003)Firme, 2003)
– Utilidade– Viabilidade– Ética– Precisão da técnica
Historicidade das Abordagens de Historicidade das Abordagens de avaliação avaliação (Guba & Licoln, 1989)(Guba & Licoln, 1989)
1900-1930 Primeira Geração– Mensuração (inicia-se com o desempenho de escolares,
produtividade) 1930-1950 Segunda Geração
– Nasce a “avaliação de programas”– Descrever como o programa atinge (ou não) seus resultados
1950-1980 Terceira Geração– Mensurar, descrever, mas a finalidade é julgar o mérito do
programa 1980 - .... Quarta Geração
– Negociar parâmetros de avaliação com os envolvidos (stakeholders) /Avaliações participativas
2000- (??) avaliações por triangulações de métodos
Definições e sua historicidadeDefinições e sua historicidade
“É a atividade que consiste em fazer julgamento sobre uma intervenção, comparando os recursos empregados e sua organização (estrutura), os serviços e os bens produzidos (processo) e os resultados obtidos, com critérios e normas” (Contandriopoulos et al, 1997, 37).
“A avaliação é uma forma de pesquisa social aplicada(*), sistemática, planejada e dirigida;
destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante
para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão,
(…)comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para a tomada de decisões” (Aguilar & Ander-Egg, 1994)
(*) Há diferenças entre pesquisa e avaliação
“Entendemos avaliação como a elaboração, a negociação, a aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar o contexto, o mérito, o valor ou o estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações”(Silva e Brandão, 2003)
uma boa avaliação visa a reduzir incertezas, a melhorar a efetividade das ações e a propiciar a tomada de decisões relevantes, guia-se por quatro objetivos:
oferecer respostas aos beneficiários, à sociedade e ao governo sobre o emprego dos recursos públicos;
orientar os investidores sobre os frutos de sua aplicação;
responder aos interesses das instituições, de seus gestores e de seus técnicos;
buscar sempre uma melhor adequação de suas atividades.
Uma avaliação poderá levar em conta:
a adequação entre os objetivos e estratégias propostas e recursos utilizados ;
a adequação da estrutura organizacional para realizar o trabalho proposto;
o quanto e como os objetivos e metas foram atingidos;
a qualidade dos serviços prestados e dos resultados;
a sustentabilidade da ação ou projeto.
TIPOLOGIAS DE AVALIAÇÃOTIPOLOGIAS DE AVALIAÇÃO
Quanto à metodologia: Avaliação qualitativa (não de “qualidade”) Avaliação quantitativa – contribui para
estabelecer as relações causais entre as variáveis independentes (intervenção, exposição) e dependentes (resposta ou de desfecho).
Avaliações por triangulação de métodos
Metodologias QualitativasMetodologias Qualitativas
Objeto de estudo de pesquisa qualitativa = ação social e os significados atribuídos pelos seus agentes (instituições, grupos, indivíduos, movimentos sociais) .
Propósito comum em analisar o significado atribuído pelos sujeitos aos fatos, relações e práticas, isto é, interpretando tanto as interpretações quanto as práticas dos sujeitos.
Pressuposto:
– relação dinâmica entre mundo objetivo e (inter) subjetivo. Concepções, valores, crenças que são referências naquela cultura estarão presentes na tomada de decisões, nas ações concretas dos sujeitos.
Abordagens Abordagens qualitativas de qualitativas de
avaliaçãoavaliação
Condições e Interações
Sociais
VivênciasCulturais
Atribuição de Significados
BASE PARA AÇÃO
AvaliaçãoAvaliação qualitativa qualitativa
Estará sempre presente quando o avaliador desejar compreender quais os significados que os sujeitos atribuem a qualquer uma das dimensões do programa (definição da demanda, objetivos, estratégias, metas, resultados, sustentabilidade etc) ou como se dá, na prática e no cotidiano, a interface entre a realização das ações do programa e os discursos/concepções sobre estas ações
Usos correntes da avaliação Usos correntes da avaliação qualitativaqualitativa (Patton, 1987)(Patton, 1987)
Descrições detalhadas das demandas/expectativas/obstáculos para a implementação do programa
Análise de processos
Descrição dos diferentes tipos e participação e seus papéis
Análise de como o programa afeta seus participantes
Análise dos efeitos, impactos e mudanças observadas (ou sua ausência)
Análise das “fraquezas” e dos “facilitadores” do programa
Usos correntes da avaliação Usos correntes da avaliação qualitativaqualitativa
Expectativas dos sujeitos
Determinado serviço se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas ? (Atkinson, 1993).
Usos correntes da avaliação Usos correntes da avaliação qualitativaqualitativa
A dinâmicas das relações- Análise de processos A realização de qualquer programa ou
serviço é um processo que possui movimento, uma dinâmica própria. Envolve a ação de atores distintos que se aliam e se contrapõem.
A avaliação qualitativa, portanto, também busca compreender antagonismos e consensos que acontecem no cotidiano da execução dos programas/serviços e que podem ser elementos favoráveis ou obstáculos a sua realização.
Análise de como o programa afeta a identidade de seus participantes
Os programas envolvem de forma mais ou menos direta a vida e a auto-imagem de seus participantes. Não raro a participação como agente ou usuário de determinado programa pode significar uma considerável mudança de status daquela pessoa diante de seus familiares e comunidade (seja de forma positiva ou negativa).
Análise dos efeitos, impactos e mudanças observadas (ou sua ausência)
A avaliação de programas sociais envolve sempre a perspectiva de mudança de uma situação, comportamentos ou problemas. Incluir no rol da análise as interpretações dos sujeitos sobre as mudanças percebidas, confrontando com aquelas inicialmente esperadas pelo programa é item indispensável à avaliação qualitativa.
Análise das “fraquezas” e dos “facilitadores” do programa
Toda boa avaliação desencadeia um processo interno de discussão, de debate sobre os obstáculos encontrados;
. O quanto cada fator, cada ator e conjuntura (política, administrativa etc) colaboraram para o projeto atingir (ou não) seus propósitos? Há, nesse processo, um ganho de reflexão crítica.
Análise das “fraquezas” e dos “facilitadores” do programa
Sujeitos - balanço crítico- sugestões para melhor realizar as ações. Estas interpretações devem sofrer as críticas dos avaliadores e o confronto do que se tem como consenso do que seja uma boa prática.
Aprender com as lições, com os acertos e erros, com a criatividade dos envolvidos - patrimônio precioso para todos os que atuam nos programas.
Avaliação como campo Avaliação como campo polissêmicopolissêmico
(apud Novaes, 2000; Patton, 2004)(apud Novaes, 2000; Patton, 2004)
Classificações podem variar quanto:
– Objetivos da avaliação
– Posição do avaliador
– Período
DiagnósticoLevantamento de demandas
MonitoramentoTomada de decisões
•Interno/Externo•Negociador/ “Técnico”
•Compactua critérios/determina critérios
ImplantaçãoImplementação
Resultados
Quanto ao momento da realização avaliação em relação à existência da ação avaliada
Ex-ante Ex-post
(a) análise diagnóstica situacional inicial; (b) uma avaliação da implantação e da
implementação (c) apreciação dos resultados, valorizando
também o processo e as tendências, entendendo que os efeitos das intervenções sociais não findam quando ela cessa.
A avaliação da implantação observa todos os passos necessários à efetivação da intervenção. Visa (1) verificar a extensão do alcance do programa para a população alvo; (2) monitorar a “dose do programa”, ou seja, a freqüência da sua aplicação e a participação dos sujeitos envolvidos nas atividades previstas; (3) avaliar a variabilidade do contexto organizacional ou situacional na qual o programa se implementa; (4) correlacionar a extensão na qual os programas são implementados e as metas propostas e (5) mensurar o seu custo de implementação (McGraw et al, 1989 apud Minayo, 2006).
O estudo sobre a implementação de um programa, realizado in loco, visa (1) à análise da extensão com que ele alcança a população-alvo; (2) a freqüência e a intensidade de aplicação da proposta e a participação dos sujeitos envolvidos; (3) as questões organizacionais e administrativas; (4) a viabilidade e variabilidade das metas propostas e (5) a formação da equipe de intervenção nos diferentes níveis.
A avaliação de resultados visa a dimensionar, qualitativa e quantitativamente, as diferenças entre o momento inicial e as metas/objetivos atingidos ao final de uma intervenção
TRIANGULAÇÃO de TRIANGULAÇÃO de MÉTODOSMÉTODOS
EM AVALIAÇÃOEM AVALIAÇÃO
Triangulação de abordagensTriangulação de abordagensCampos disciplinares
Racionalidades científicas
Metodologias
Técnicas
Pesquisadores
Triangulação é um termo que significa: a combinação e o cruzamento de múltiplos
pontos de vista; a tarefa conjunta de pesquisadores com
formação diferenciada; a visão de vários informanteso emprego de uma variedade de técnicas de
coleta de dados que acompanha o trabalho de investigação
CondiçõesCondições
Primeiro é a existência de uma equipe formada por profissionais de várias áreas que desejem trabalhar de forma solidária
A segunda condição é a competência disciplinar de cada componente do grupo.
Quanti-QualiQuanti-Quali
a ‘compreensão/explicação em profundidade’
a ‘explicação em extensão’
princípios para a análiseprincípios para a análise Causalidade complexa, que se opõe à visão de
linearidade entre causa-efeito. Destacam-se: as relações em uma visão hologramática no
sentido de que o todo contém as partes, a parte contém o todo, mas parte e todo têm características e propriedades específicas;
a inseparabilidade da ordem e da desordem em qualquer projeto, proposta ou organização;
a irredutibilidade do acaso, da incerteza e do inacabado em todos os fenômenos sociais.
Etapas da avaliaçãoEtapas da avaliação(1) Formulação do objeto e do planejamento
da avaliação(2) Elaboração de indicadores(3) Escolha das fontes de informação(4) Construção dos instrumentos (5)Trabalho de campo(6)Análise(7) Elaboração do informe – relatório(8)Devolução e debate dos dados
INDICADORESINDICADORES Os indicadores, como o próprio nome designa, “são
somente uma indicação sobre determinada situação, ou reflexo dessa situação”, e são usados para medir alterações, efeitos e resultados de uma situação social ou projeto específico (OMS, 1980).
Os indicadores ideais são aqueles considerados válidos, objetivos, sensíveis e específicos. Contudo, na prática, poucos indicadores preenchem todos esses quesitos. Não podemos esquecer que “são medidas indiretas ou parciais de uma situação complexa” e não explicam inteiramente a realidade (OMS, 1980).
Funcionam como guias, pistas fundamentais para avaliar alterações, direções, efeitos e resultados dos projetos.
Transformar os objetivos em itens capazes de mensurar/expressar as mudanças devidas a uma intervenção social .
Indicadores quantitativos
Indicadores qualitativos
IndicadoresIndicadores
Indicador quantitativoIndicador quantitativo Exemplo:COBERTURA Indicador1 : Proporção de indivíduos da população-alvo
captada pelo projeto PIPACP = NIPACP/ TIPA Onde: PIPACP = proporção de indivíduos da população alvo,
captada pelo projeto NIPACP = número de indivíduos da população alvo captados
pelo projeto TIPA = total de indivíduos da população alvo Definição: número de indivíduos da população alvo captados
pelo projeto, expresso como percentual do total de indivíduos da população alvo do projeto.
Obs: considera-se indivíduo captado pelo projeto aquele que participou de 3 atividades educativas
Propósito: este indicador visa saber a proporção de indivíduos da população alvo captada pelo projeto
Indicador qualitativoIndicador qualitativo
Exemplos:Ganho de capacidade de argumentação para
o reconhecimento de direitosAtitudes em relação a determinada questãoArticulação comunicacional Ampliação e conectividade da rede de
suporte social
Por que investir em Por que investir em avaliação?avaliação?
ganho de legitimidade pública e institucional.
ganho de competência técnica e gerencial. ganho de reflexão crítica . possibilita o compartilhamento de saberes
e experiências. maior competitividade na busca de
recursos cada vez mais limitados de financiamento
Se quem planeja governa melhor, quem avalia
aumenta sua governabilidade
fim
desland@iff.fiocruz.br
Recommended