Embed Size (px)
Citation preview
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Ligia Gomes Elliot (Fundação Cesgranrio); Raquel Martins Rêgo (Inmetro); Taiana Fortunato
Araújo (Inmetro); Rita de Cássia Pires Reis Silva (Inmetro); Marcelo Castilho de Freitas
(Inmetro); Letícia Bispo Joaquim Atanásio (Inmetro).
O processo de análise de demandas por
regulamentação técnica metrológica e a
evolução das práticas de avaliação no
Inmetro
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Demonstrar:
• Evolução das práticas de avaliação no Inmetro;
• Avaliação como indutora de mudanças na gestão e no processo de
regulamentação técnica metrológica.
Objetivo
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
O Inmetro
• Instituto Nacional de Metrologia, Qualidade e Tecnologia
• Vinculado ao Ministério do Desenvolvimento, Indústria e
Comércio Exterior (MDIC)
• Missão:
“Prover confiança à sociedade brasileira nas medições e nos
produtos, através da metrologia e da avaliação da conformidade,
promovendo a harmonização das relações de consumo, a inovação
e a competitividade do país” (INMETRO, [s.d]).
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Metrologia legal
Campos de aplicação
Saúde Segurança Meio ambiente
Exigências de cumprimento obrigatório para:
• Instrumentos de medição
• Medidas materializadas
• Métodos de medição
• Produtos pré-medidos
Transações
comerciais
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Regulamentação Técnica Metrológica
Análise de demandas
Desenvolvimento de
regulamentação
Implementação
Regulamento implementado
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Identificação do problema e
coleta de dados
Análise de dados e
avaliação da demanda
Elaboração de recomendação
(relatório técnico)
Análise de demandas
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Metodologia
Análise de processos administrativos, relatórios técnicos e norma
interna de análise de demandas
Aspectos analisados:
• Objetivos da avaliação
• Procedimentos metodológicos utilizados
• Nível de formalização da avaliação
• Grau de participação dos stakeholders
• Resultados das pesquisas avaliativas
• Recomendações dos avaliadores
• Decisões tomadas pela administração
• Influência das recomendações nas decisões.
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
2011: duas demandas avaliadas
• Metodologia: questionários online
• Uso: priorização dos projetos de regulamentação;
• Objetivos: estimar danos esperados pela ausência de controle
do instrumento; impactos dos regulamentos propostos;
interesse e receptividade pela regulamentação; infraestrutura
(recursos) para implantação;
• 53 consultados (setor produtivo, usuários, consumidores,
entidades de classe);
• Taxa média de resposta: 51%;
• Recomendações acatadas pela direção.
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
2012: quatro demandas avaliadas
• Metodologia: painel setorial + questionários online
• Uso: apoiar decisão sobre projetos de regulamentação;
• Objetivos: definição do problema; análise de risco do cenário
atual; interesse e receptividade pela regulamentação;
infraestrutura (recursos) para implantação;
• 80 consultados;
• Taxa média de resposta: 24%;
• Questionários online (3).
• Recomendações acatadas pela direção (exceto uma: solicitação
de mais informações).
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
2012: inovações
• Grau de severidade de risco: consequências x probabilidade de
ocorrência do problema
• Formalização das avaliações em processos administrativos
• Definição de critérios de julgamento:
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
Categoria 1 Indicadores Padrões de avaliação
Representatividade
das partes
interessadas na
avaliação
Taxa de resposta ao
questionário
Quantidade de
participantes de cada
um dos segmentos das
partes interessadas
< 25%: baixa
> 25%: adequada
Pelo menos um representante de
cada segmento identificado:
quantidade adequada
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
Categoria 2 Indicadores Padrões de avaliação
Percepção
das partes
interessadas
Grau de severidade
de risco
Interesse pela
regulamentação
AR ≤ 6: risco baixo/ não justifica intervenção
8 ≤AR ≤ 12: risco moderado/ justifica
intervenção não imediata
AR ≥ 15: risco crítico/ justifica intervenção
imediata
Opinião em consenso favorável à
regulamentação: justifica intervenção
Opinião em consenso desfavorável à
regulamentação: não justifica intervenção
Fonte: Os autores (2014)
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
2013: três demandas avaliadas
• Metodologia: painel setorial + questionários online
• Uso: apoiar decisão sobre projetos de regulamentação;
• Objetivos: definição do problema; análise de risco do cenário
atual; interesse e receptividade pela regulamentação;
infraestrutura (recursos) para implantação;
• Mais de 1000 respondentes;
• Questionários customizados por segmento;
• Recomendações acatadas pela direção.
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
2013: inovações
• Análise quantitativa + análise qualitativa para a mesma demanda
(3 questionários diferentes);
• Questionário hospedado no site do Inmetro
• Divulgação na mídia
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
2014: uma demanda avaliada
• Metodologia: questionário online
• Uso: apoiar decisão sobre projetos de regulamentação;
• Objetivos: definição do problema; análise de risco do cenário
atual; interesse e receptividade pela regulamentação;
infraestrutura (recursos) para implantação;
• Taxa de resposta: aprox. 24% (base cadastral Inmetro);
• Recomendações acatadas pela direção.
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
2014: inovações
• Ampliação do cadastro de respondentes: Relação Anual de
Informações Sociais (RAIS) do Ministério do Trabalho e
Emprego;
• 45 mil consultados (baixa taxa de resposta: 0,08%);
• Elaboração de norma interna;
• Elaboração de check list para todas as avaliações.
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Resultados
• Princípios: utilidade, viabilidade, ética e precisão (Penna Firme;
Letichevsky, 2010);
• Abordagem: centrada na administração (Worthen; Sanders;
Fitzpatrick, 2004);
• Avaliações ex-ante (Anguera; Chacón, 2008);
• Avaliações proativas (Owen, 2007)
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Conclusões
• Maioria das recomendações acatadas pela direção;
• Importância de pesquisas de opinião/ surveys no processo
decisório;
• Ampliação da base de consultados;
• Necessidade de aumentar a representatividade e participação
nas pesquisas avaliativas;
• Importância da Avaliação de Programas na gestão pública:
tomada de decisão cada vez mais fundamentada.
VI Seminário da Rede Brasileira de
Monitoramento e Avaliação
Porto Alegre
20 nov 2014
Obrigada!
Raquel Martins Rêgo
(21) 2679-9120
