Upload
internet
View
105
Download
1
Embed Size (px)
Citation preview
Ideias centrais e conceitos
Tensões para os usos da avaliação
Condições para os usos da avaliação
Os dilemas para o uso da avaliação no contexto do SUS
Ana Cláudia Figueiró (GEAS-IMIP)
Rio de Janeiro, dezembro 2012
Ideias centrais
2
“…evaluation's most important purpose is not to prove, but to improve.” … o propósito mais importante da avaliação não é provar, mas sim melhorar
(Stufflebeam. CIPP Model, 1999)
“All evaluations have a cost but not necessarily a value. Their value does not depend on their cost but on their use.” Todas as avaliações têm um custo, mas não necessariamente um valor. Seu valor não depende do seu custo, mas do seu uso
(Feinstein, 2002:433)
Ideias centrais
3
Suposição inicial: evidências científicas, produzidas por pesquisas rigorosamente conduzidas a cerca do sucesso ou fracasso de programas, seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando os estudos à implementação de ações de qualidade e aos resultados esperados
Entendimento atual: variados e legítimos aspectos (interesses, valores, motivações, recursos) estão implicados nas decisões políticas e nos usos das avaliações para tomada de decisões
(WEISS, 1993; WEISS, 1999; CHAMPAGNE, 1999; BRAGA; ALBUQUERQUE; MORAIS, 2004; CHAMPAGNE; CONTANDRIOPOULOS; TANON, 2005)
Pressupostos
4
Avaliação não se traduz automaticamente em ações; como qualquer política ou intervenção, deve ser questionada em relação aos seus objetivos, inserção institucional, custos e conseqüências (positivas e negativas) pelos interessados e envolvidos na intervenção e na avaliação
A avaliação sendo uma intervenção tal como políticas e programas, deve ela mesma ser objeto de avaliação – Meta-avaliação
Meta-avaliação
5
Utilidade: atende as necessidades de informação dos usuários
Factibilidade: realista e moderada nos custos de modo a justificar a sua realização
Propriedade: conduzida eticamente, com respeito ao bem-estar dos envolvidos
Precisão ou acurácia: informa sobre o valor ou mérito dos programas avaliados com a devida validade
Especificidade: adequada ao tratamento da “especificidade das intervenções”
(CDC, 1999; 2004; STUFFLEBEAM, 2001; HARTZ, 2006; HARTZ; GOLDBERG; FIGUEIRÓ; POTVIN, 2008; FIGUEIRÓ; HARTZ; THULER; DIAS, 2008)
Conceitos: usos e influência da avaliação
6
Modelos de uso (LEVITON; HUGHES, 1981; WEISS, 2005) : uso instrumental, para orientar a política e a práticaconceitual, para gerar novas idéias ou conceitos que
sejam úteis para prover de sentido o cenário políticosimbólico ou político, para justificar preferências e
ações preexistentes
Níveis de influência (KIRKHART, 2000; HENRY E JUNE, 2003): Três dimensões relacionadas a: fonte,
intencionalidade e tempoTrês níveis de influência: individual, interpessoal e
coletivas
Expectativa do avaliador
7
Uso instrumental: uso dos resultados da avaliação para informar a tomada de decisão, preferencialmente no curto prazo (AMARA ET AL, 2004)
Isso acontece??
“O avaliador tem que aceitar que mesmo quando existe comprometimento dos gestores e administradores, conduz o estudo dentro dos propósitos da instituição e de forma metodologicamente competente, finaliza e entrega os resultados dentro do prazo previsto para as decisões e dissemina os achados; ainda assim seus resultados são [podem ser] ignorados” (WEISS, 1998)
Tensões para o uso da avaliação
8
Os diferentes mundos em que parecem viver: (INNVÆR, 2002)
gestores, coordenadores de políticas e programas desconfiam dos pesquisadores e vêm a si mesmo como responsáveis, orientados para ação e pragmáticos
pesquisadores sociais (inclui os
avaliadores) desconfiam dos gestores e vêm a si mesmo como racionais, objetivos e abertos à novas idéias
Tensões para o uso da avaliação
9
Responsáveis pelos programas podem ver a avaliação como:
meio para mudança no status quo;
acarretar perda de poder e controle;
afetar a auto-imagem pela identificação do julgamento da intervenção com um julgamento pessoal (TAUT AND
BRAUNS, 2003)
Podem referir-se a: (WEISS, 1993; POUVOURVILLE,1999; TROSTLE, 1999)
Questões de qualidade da pesquisa ou da apresentação do conteúdo, com ênfase nos problemas de linguagem
Dificuldade na interação entre os atores: diferentes formações técnicas e culturas políticas geram confronto de experiência e informação científica
Canal de comunicação nos contextos políticos e organizacionais, reforçando o necessário desenvolvimento de capacidade para criar interesses e a competência em estabelecer elos
Dificuldade na condução e tradução das avaliações que tragam respostas para as necessidades dos tomadores
de decisão e contribuam efetivamente para as melhorias sociais
Tensões para o uso da avaliação
Redefinindo Uso (Patton, 2007)
11
Uso é um processo e não um eventoUso envolve preparação e
capacitação, não apenas apresentação dos resultados
Uso envolve acompanhamento e facilitação, não apenas elaboração de relatórios
Para utilizar as avaliações(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009; PATTON, 1997, 2005; WEISS, 1999; MARK; HENRY, 2004)
12
Envolvimento efetivo dos interessados (stakeholders) na avaliação
Ampliar os usos da avaliação requer o envolvimento dos interessados na definição das perguntas, nas estratégias de pesquisa e na contínua comunicação dos resultados
A participação favorece o uso processual, indicado pelas mudanças individuais, de pensamento, comportamento, programáticas ou organizacionais nas práticas e cultura como resultado da aprendizagem que se realiza no processo avaliativo
Para utilizar as avaliações(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009; PATTON, 1997, 2005; WEISS, 1999; MARK; HENRY, 2004):
13
O uso das avaliações não só não acontece naturalmente como precisa ser facilitado, e facilitar o uso é parte fundamental do trabalho do avaliador
(PATTON, 1997; WEISS, 1999; MARK; HENRY, 2004)
Para utilizar as avaliações(TRIPODI; EPSTEIN; MacMURRAY, 1970; THOENIG, 2000; TROSTLE 1999; GARCIA, 2001; HANNEY; GONZALEZ-BLOCK; BUXTON; KOGAN, 2003; TORRES; PRESKILL, 2001; TAUT, 2007; FELISBERTO et al, 2009)
14
Condições requeridas para utilização das avaliações no contexto organizacional:
capacidade de produzir as informações demandadas pela gestão
legitimação institucional da avaliação pelo avaliado: acesso dos avaliadores às lideranças influentes na organização
credibilidade dos avaliadores e qualidade dos estudos
comprometimento dos avaliadores com a continuidade do aprendizado organizacional
tempo para reflexão, exames do temas retratados e diálogo entre avaliadores, staff dos programas e lideranças organizacionais
Condições para utilização das avaliações
15
Capacidade de produzir as informações demandadas pela gestão
Qual o estágio em que se encontra o programa? para cada estágio, a necessidade de informação e questão de pesquisa serão diferentes, mas em todos os eles a mesma pergunta é pertinente: o programa deveria ser modificado, substituído ou abolido? (TRIPODI; EPSTEIN; MacMURRAY, 1970)
Estágio inicial tem foco no planejamento do programa: identificação clara do problema, desenho do programa, seleção de recursos materiais, profissionais, tecnologia, clientela…
Estágio de desenvolvimento e oferta dos serviços pelos profissionais à clientela: obstáculos à realização e oferta dos serviços; relevância dos serviços para os clientes; que outros recursos ou serviços locais poderiam ajudar, impedir ou substituir os serviços ofertados
Programa estruturado: reconhecer se está alcançando os resultados esperados
Condições para utilização das avaliações
16
Legitimação institucional da avaliação pelo avaliado acesso dos avaliadores as lideranças influentes na organizaçãoA quem se destina a avaliação? Diferentes grupos envolvidos com o programa e a avaliação terão diferentes interesses e discrepantes valores quanto aos objetivos do programa e da avaliação
aos financiadores interessam a gestão eficiente; aos usuários, o acesso e a qualidade dos serviços; aos gestores, o alcance dos resultados e os ganhos políticos
necessita-se reconhecer o contexto socio-político em que a avaliação tem lugar para que os interesses e valores sejam negociados: quem são os potenciais usuários da avaliação; quais os maiores interessados e potenciais ‘inimigos’ do programa; que representantes dos interessados no programa será envolvido para entendimento sobre os objetivos e critérios da avaliação
Avaliação tem um custo: Primário (monetário); Secundário (tempo e esforço do staff do programa despendido na avaliação)
17
Diferentes interesses e valores entre os envolvidos…
“Algum dia esperamos ter um banco de dados nacional contendo registros médicos de todos as pessoas e que possa ser tão prontamente acessível quanto um hospital, Johnny”“Eu espero apenas um pouco mais de privacidade”
Condições para utilização das avaliações
18
Credibilidade dos avaliadores e qualidade dos estudos
Quem deveria conduzir a avaliação? qual a competência requerida para realizar avaliações rigorosas? os avaliadores estão disponíveis e interessados em realizar a avaliação?Requer identificar os interesses e motivações dos avaliadores:
quais os valores (ou preferências ) dos avaliadores em relação ao programa? eles estão comprometidos com os gestores?
qual a expertise (metodológica) do avaliador?
“Diferentes desenhos de avaliação são, em parte, função dos valores dos avaliadores” (TRIPODI; EPSTEIN; MacMURRAY, 1970 p.854)
Condições para utilização das avaliações
19
Comprometimento dos avaliadores com a continuidade do aprendizado organizacional
Tempo para reflexão, exames do temas retratados e diálogo entre avaliadores, staff dos programas e lideranças organizacionais
EnvolveEnvolve
Preparação Feedback Acompanhamento Disseminação
estar pronto para usar os achados da avaliação
comunicação que ocorre entre todos os envolvidos na avaliação
suporte necessário aos usuários quando receberem os resultados da avaliação e começarem a checar e a justificar suas conclusões
comunicação dos processos de avaliação ou lições aprendidas ao público relevante de modo imparcial e consistente
1. Preparação
fortalecer a capacidade de traduzir conhecimento novo em ação discutir como os achados podem afetar a tomada de decisão explorar implicações positivas e negativas dos resultados potenciais identificar diferentes opções de melhoria do programa
2. FeedbackPode ser obtido das partes interessadas por meio de discussões durante cada etapa da avaliação, dividindo de forma rotineira achados intermediários, interpretações provisórias e minutas de relatórios
3. Acompanhamento
lembrar os usuários dos usos propostos e das lições aprendidas ajudar a prevenir o mau uso dos resultados assegurando que a evidência seja aplicada às questões que eram o foco central da avaliação prevenir que as lições aprendidas se tornem perdidas e ignoradas no processo de tomada de decisões complexas ou políticas
4. Disseminação
O planejamento de comunicações eficazes exige: discussão da estratégia de relato com potenciais usuários e outras partes interessadas consideração do timing, estilo, tom, fonte de mensagem, veículo e formato dos produtos de informação
EnvolveEnvolve:
Oportunidade
Os achados podem e devem ser apresentados a medida que as evidências se apresentam – relatórios preliminares: ajuda a construir confiança entre os envolvidos e favorece a construção de capacidade avaliativa
Utilizar diferentes formas de apresentação dos resultados: ilustrações e exemplos; primar pela qualidade gráfica, com uso de imagens, gráficos e cores
Apresentar o conjunto das respostas às perguntas inicialmente formuladas no relatório final
Atender os prazos acordados no TDR do estudo
Comunicações efetivasComunicações efetivasProduza mensagem voltadas para
audiênciaEvite jargões e termos técnicosSeja claro, concisoUse voz ativaSeja preciso, equilibrado, imparcialSeja oportunoUse gráficos, citações, fotografias,
histórias reais(Consulte um especialista de
comunicação)Verifique a redação, gramáticaEscreva – reescreva – reescrevaBuilding Capacity in Evaluating Outcomes
Unit 7: Using your evaluation − Communicating, reporting, improving
MitosMitos
Um relatório é suficientePessoas lêm relatórios escritosAnálises complexas e belas palavras
impressionam as pessoasRelatórios orais têm o mesmo efeito que
relatórios escritosDescrever as limitações do estudo enfraquece
o relatórioTudo deveria ser relatadoA audiência saber o porquê ela está recebendo
o relatórioBuilding Capacity in Evaluating OutcomesUnit 7: Using your evaluation − Communicating, reporting, improving
Obrigada!
26
Configurando o debate sobre a utilização da avaliação
Desafios para o uso da avaliação
27
Embora os problemas de tradução ou aplicação da pesquisa na formulação das políticas sejam inúmeros as soluções são raras… pontes deveriam ser construidas… mas está sempre faltando conhecimento sobre onde…como, ou por quem (TROSTLE, 1999 p.103;112).
“Os cientistas estão sempre a arengar sobre a necessidade de ‘lançar uma ponte entre as duas culturas’ mas quando os leigos começam de fato a construir esta ponte eles recuam horrorizados e tentam impor a maior das censuras à livre expressão, desde Sócrates: só cientistas podem falar de ciência” (LATOUR 2001, p.31)
A circulação dos eventos da avaliação configurando seus usos
28
Num processo de aprendizado social pesquisadores, implementadores e usuários aprendem a partir de experiências e interações
Princípios da teoria da tradução poderão facilitar uma melhor compreensão dos elementos, elos e pontes entre esses vários mundos, em sua dinâmica mútua e contínua (HARTZ, 2008)
O elemento central é a rede sociotécnica: teia de atuantes (humanos e não humanos) ligados entre si numa cadeia onde interagem conhecimento, aparatos e capacidade técnica, mediações, ações (CALLON; LATOUR, 1991 apud POTVIN, 2007; LATTOUR, 2006)
A circulação dos eventos da avaliação configurando seus usos
29
No interior das redes sociotécnicas processam-se as traduções entre fatos científicos e ações
As traduções ocorrem por meio de negociações entre os atuantes
Produz-se um novo conhecimento a partir do entendimento entre diferentes perspectivas e argumentos
Emergem novas proposições para ação, fruto do alinhamento de interesses e objetivos que integram e dialogam com as divergências
(CALLON; LATOUR, 1991 apud POTVIN, 2007)
Circulação dos fatos da avaliação
30
Na perspectiva de circulação dos fatos científicos, os usos da avaliação se inserem num processo de tradução:
As cadeias de tradução se referem ao trabalho pelo qual os atores modificam, deslocam e traduzem os seus interesses diversos e contraditórios
A referência circulante, produzida com os deslocamentos de atuantes, qualifica a cadeia de transformações: problematizam, interessam, envolvem e mobilizam
Quando as controvérsias entram em cena, o resultado é um entendimento maior e mais amplo para os programas de ação e minimização de reações
TIPOS DE INFLUÊNCIA
FontesProcessosResultados
IntençãoPrevistaInesperada
MomentoImediatoCiclosLongo prazo
IndividualAtitudes
Habilidades
Condutas
InterpessoalPersuasãoLideranças
OpiniõesNormas sociais
ColetivoAgenda Política Aprendizagem Organizacional
Melhorias sociais
NÍVEIS DE INFLUÊNCIA
MODELOS DE USO
InstrumentalPolítica ou SimbólicaConhecimentos Novos
MODOS DE PRODUÇÃO DO CONHECIMENTO
DisciplinarContextual
31
COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO
Historicidade (Contexto-Tempo): múltiplas linhas de evidênciasKirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999
AV
ALIA
ÇÃ
O C
OM
FO
CO
NA
UTIL
IDA
DE
1.Mobilização(instrumentos)
2.Autonomização(colegas)
3.Alianças(aliados)
4.Representação pública
5.Nós e vínculos
Circulação dos fatos da avaliação
A metáfora de um sistema circulatório dos fatos científicos, progressivamente articulados e mobilizados (referência circulante) em processos de aprendizagem social de institucionalização e politização (alianças e representações públicas), alimenta os circuitos vitais do sistema com o conhecimento e inovações desejáveis (HARTZ, 2008)
32
33
Na prática...
Sistematização dos achados
Revisão e Síntese da literatura
Apresentação e discussão dos achados com os envolvidos no PNCD
Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão
Ficha síntese de produção técnica e científica
Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa
Revisão das iniciativas de capacitação de médicos SES (Estado 1)
Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS
Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS
Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional
Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional
Discussão e recomendações para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avaliação do Projeto Unidade Sentinela
Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço
Momento Imediato Múltiplas fontes de evidências Momento de médio prazo
Realização do 1º Seminário Internacional de Avaliação do PNCD
Painel de experts: apreciação de lacunas e avanços no programa e avaliação
5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade
Análise Lógica do PNCD
Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS
Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto
Elaboração do Projeto de Avaliação
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos, influências e conseqüências da avaliação do PNCD
34
Sistematização dos achados
Revisão e Síntese da literatura
Apresentação e discussão dos achados com os envolvidos no PNCD
Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão (MEDIADOR)
Ficha síntese de produção técnica e científica
Realização do 1º Seminário Internacional de Avaliação do PNCD
Painel de experts: lacunas e avanços no programa e avaliação
5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade
Análise Lógica do PNCD
Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS
Elaboração do Projeto de Avaliação
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD
2007 2007 2008 2008
35
Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa
Revisão das iniciativas de capacitação de médicos SES (Estado 1)
Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS
Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS
Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional
Teste do instrumento de investigação de óbito pelo NEPI de
Hospital Geral: validação operacional
Discussão e recomendações para os diversos envolvidos:
profissionais, gerentes, coordenadores da SES –
avaliação do Projeto Unidade Sentinela
Apresentação e discussão com chefias e profissionais dos
setores relacionados aos óbitos investigados, com
encaminhamentos de mudança de condutas no serviço
Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto
HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD
2008
36
Resultados
37
EVENTOS E INSCRIÇÕES SEGUNDO OS EIXOS DE USOS E INFLUÊNCIA DAS AVALIAÇÕES
Modos de produção do conhecimento
Modelos de uso da avaliação
Avaliação com foco na utilidade
Tipos e níveis de influência da avaliação
Os estudos realizados no processo de avaliação do PNCD considerados para o presente artigo adotaram o Modo 2 de produção do conhecimento (contextual) Eventos: (a) e (b)
InstrumentalEventos: (d), (e) e (f)Inscrições: (1),(7), (8),(10), (13)
Eventos: (b); (d) Inscrições: (2), (3), (4), (5), (6),(7), (8),(9), (11), (12)
Momento- Imediato: (b), (c), (4), (8), (10)- Ciclos: (6), (14)- Longo:
IndividualInscrições: (5)
Fonte- Processo: (b), (5), (6), (7), (10)- Resultado: (f), (4), (13)
InterpessoalEventos e inscrições: (d), (2), (10), (14)
ConceitualEventos: (b)Inscrições: (6), (10)
Simbólico
Intenção- Prevista: (d), (f), (7)- Inesperada: (8)
Coletivo
INSCRIÇÕES COMO REPRESENTAÇÃO DOS PROCESSOS DE CIRCULAÇÃO DOS FATOS PRODUZIDOS NAS AVALIAÇÕES Mobilização (1), (9), (12)
Interesse(3), (5), (10), (11)
Alianças(2), (7)
Representação Pública(8), (13)
Nós e Vínculos(4), (6), (14)38
Obrigada!