Embed Size (px)
Citation preview
UNIVERSIDADE CANDIDO MENDES INSTITUTO A VEZ DO MESTRE
MONOGRAFIA DE PÓS - GRADUAÇÃO
Análise Econômica de Projetos Sociais: Um olhar sobre as melhores práticas.
Gustavo Crespo Ribeiro Portela Matrícula nº: K215880
ORIENTADOR (A): Prof. Marcelo Saldanha
Setembro 2010
UNIVERSIDADE CANDIDO MENDES INSTITUTO A VEZ DO MESTRE
MONOGRAFIA DE PÓS - GRADUAÇÃO
Analise Econômica de Projetos Sociais: Um olhar sobre as melhores práticas.
Gustavo Crespo Ribeiro Portela Matrícula nº: K215880
MONOGRAFIA apresentada como
requisito final para obtenção de grau na
disciplina Metodologia da Pesquisa II do
Curso de Pós-Graduação Lato Senso em
Gerenciamento de Projetos
ORIENTADOR (A): Prof. Marcelo Saldanha
Setembro 2010
As opiniões expressas neste trabalho são de exclusiva responsabilidade do autor.
Dedico este trabalho a meus pais que sempre me apoiaram em todos os momentos da vida.
AGRADECIMENTOS
Agradeço a Fernanda Montanholi pela paciência e dedicação ao longo dos últimos anos e a toda minha família
pelo apoio e incentivo ao longo desses anos.
RESUMO Com a retomada da economia brasileira nos últimos anos, a demanda por projetos sociais que
venham de alguma forma amenizar as grandes desigualdades existentes no nosso país cresce
fortemente. Contudo, poucos são aqueles que conseguem imprimir a suas idéias, conceitos
econômicos, que permitam analisar o custo-benefício desses projetos de forma que possam ser
analisados e comparados pelos seus stakeholders. Portanto, a maioria das ferramentas disponíveis
de analise econômica de projetos não se aplica diretamente aos projetos sociais. É necessária uma
adaptação e reformulação de alguns conceitos para que trabalhemos com esta temática o objetivo
deste trabalho é consolidar e descrever de forma critica as principais ferramentas de analise
econômica de projetos sociais de acordo com a bibliografia existente.
ÍNDICE
INTRODUÇÃO ......................................................................................................................................... 8
CAPITULO I - CARACTERISTICAS DE UM PROJETO SOCIAL. ....................................................... 11 I.1 CRITÉRIOS DA AVALIAÇÃO. ........................................................................................................... 12 I.2 GESTÃO DE PROJETOS SOCIAIS. .................................................................................................. 13
CAPITULO II - INFORMAÇÔES NECESSÀRIAS PARA UMA ANALISE ECONOMICA .................... 15 II.1 PÚBLICO-ALVO. ........................................................................................................................... 15 II.2 OBJETIVOS. ............................................................................................................................... 116 II.3 INDICADORES. ........................................................................................................................... 117 II.4 INDICADORES QUALITATIVOS E QUANTITATIVOS. ......................................................................... 117 II.5 FONTES DE INFORMAÇÃO. ............................................................................................................ 18 II.6 CUSTOS. ................................................................................................................................... 119
CAPITULO III – AS MELHORES PRATICAS EM ANALISE ECONOMICA DE PROJETOS SOCIAIS..21 III. 1. AVALIAÇÃO DE IMPACTO. .................................................................................................................. 21 III.1.1 - AVALIAÇÃO EX-ANTE. ............................................................................................................. 22 III.1.2 - AVALIAÇÃO EX-POST. ................................................................................................................. 23 III. 2- MÉTODO EXPERIMENTAL OU DE SELEÇÃO ALEATÓRIA. ........................................................................ 23 III. 3 - MÉTODO NÃO EXPERIMENTAL OU DE SELEÇÃO NÃO ALEATÓRIA. ......................................................... 24 III. 4 - MÉTODO DE DIFERENÇAS EM DIFERENÇAS. ....................................................................................... 26 III.5 - LIMITES DA ANÁLISE ESTATÍSTICA. .................................................................................................... 26 III. 6 - AVALIAÇÃO DE RETORNO ECONÔMICO. ............................................................................................. 27 III.6.1 - VALOR PRESENTE LÍQUIDO. ............................................................................................. 28 III. 6.2 - TAXA INTERNA DE RETORNO. ........................................................................................... 30
COMENTÁRIOS FINAIS ........................................................................................................................ 32
REFERÊNCIAS BIBLIOGRÁFICAS...................................................................................................... 33
8
Introdução
Ter uma vida digna, ou seja, uma vida onde é direito do cidadão viver de
forma razoável e dentro dos limites humanos passa por lutar pela satisfação das
necessidades básicas. No Brasil, poucos têm estas necessidades plenamente
satisfeitas, se movendo para níveis crescentes de consumismo e individualismo.
Contudo, há aqueles que lutam pela conquista de uma vida digna para todos, o que
requer persistência, partilha, solidariedade, e se empenham para isso (CANDAU,
1995).
Nos últimos anos o terceiro setor vem cada vez mais ganhando forças no
Brasil, sendo um ente de suma importância no alcance do desenvolvimento e
inclusão social para os inúmeros cidadãos que vivem a margem da sociedade.
Através da elaboração projeto social, organizações não governamentais e
instituições públicas desenvolvem meios capazes de combater os graves problemas
sociais instalados em determinada comunidade.
Conforme Lemos (1995, p.16):
“Um projeto comunitário precisa ser visto como uma ação
cuja validade dependerá do processo ou maneira como o
projeto foi elaborado, antes de ser entendido como um
instrumento que a comunidade pode usar para apresentar
as suas reivindicações ou intenções no futuro, isto é,
planejar o atendimento das necessidades”.
Desta maneira, um projeto social bem sucedido desenvolve-se através do
diagnóstico (identificação do problema e estudo da viabilidade de sua solução);
prognóstico (elaboração do projeto, através da redação estruturada de uma proposta
de trabalho); análise (avaliação prévia do projeto, atividade geralmente executada
9
por quem vai financiá-lo); execução (implementação do projeto); avaliação (análise
finais dos resultados ou impostos produzidos pelo projeto, geralmente feita por quem
financiou o projeto) (LEMOS, 1995).
Por meio destas medidas é possível formular uma solução adequada a cada
realidade comunitária através da elaboração de um projeto social, considerado um
eficiente instrumento para a captação e planejamento de recursos.
Avaliar economicamente um projeto social significa medir cientificamente o
retorno econômico e o impacto desse projeto, comparando seus custos e benefícios.
A avaliação econômica pode ser uma ferramenta importante na administração
eficiente dos recursos escassos e na tomada de decisões com relação à
operacionalização de projetos.
A avaliação econômica auxilia na prestação de contas do projeto social para o
doador, para a sociedade e para os grupos assistidos. Ela adiciona conteúdo para a
divulgação dos resultados obtidos e assim pode garantir a continuidade dos projetos
e a manutenção da organização social. A avaliação também tem um papel
importante para os próprios gestores de projetos, pois serve também para orientá-los
quanto à eficiência de seus programas e, principalmente, fornece informações e
subsídios que os ajudem a atingir seus objetivos. Desta forma, o foco de uma
avaliação econômica está menos relacionado ao entendimento de como o programa
funciona em profundidade e mais interessado em medir seu impacto e seu retorno
econômico.
O processo de avaliação implica a coleta sistemática das informações
relevantes e o estabelecimento de parâmetros de comparação dos resultados do
projeto. Como condição necessária para o uso adequado dessas informações deve
estar á definição precisa do objetivo do projeto. Cabe aos gestores e tomadores de
10
decisão usar as informações geradas e as comparações, para fazer julgamentos e
formular possíveis aperfeiçoamentos no projeto.
A avaliação econômica serve para que saibamos se o projeto social está
funcionando da maneira esperada pelos seus gestores. Se a avaliação econômica
indicar que um projeto está em desacordo com os parâmetros previamente
estabelecidos, ele pode ser aperfeiçoado, corrigido ou mesmo vir a ter seus recursos
redirecionados para outro projeto. Além disso, a avaliação adequada do retorno
desse projeto (análise de custos e benefícios) pode ser mais uma ferramenta na
busca de novos recursos.
A avaliação econômica não pode ser vista como a salvação ou a derrota de
um projeto. Seu intuito é fornecer informações aos gestores, formuladores e
financiadores. Cabe a esses atores fazer o uso mais adequado desses dados, tendo
em vista os objetivos e parâmetros do programa. A modificação ou continuação dos
projetos pode depender dos resultados da avaliação. Daí a necessidade de que ela
seja feita de forma bastante criteriosa.
Este trabalho tem como foco principal, apresentar algumas das técnicas mais
comumente usadas neste processo e para tal discorre também sobre a
caracterização de um projeto social e as principais informações que auxiliam na
construção de uma avaliação econômica e impacto social.
11
Capitulo I – CARACTERISTICAS DE UM PROJETO SOCIAL.
O objetivo primordial de um projeto social é buscar por meio de um conjunto
articulado de atividades, mudar e transformar uma determinada realidade, reduzindo
ou eliminando um déficit, ou solucionando um problema, para satisfazer
necessidades de grupos que não possuem meios para solucioná-las por intermédio
do mercado (CEPAL, 1995; NOGUEIRA, 1998).
Muitas vezes, os termos projetos, programas e políticas sociais são
confundidos ou mal interpretados. Um programa social é um conjunto de projetos; e
uma política social, por sua vez, um conjunto de programas. Projetos e programas
são a visão pratica das políticas sociais. Um projeto envolve ações reais,
desenvolvidas em tempo e espaço determinado, de acordo com as restrições
orçamentárias estipuladas. Os programas, em geral, envolvem um aspecto temporal
mais longo do que nos projetos. Pode-se, portanto, analisar um programa por meio
do estudo dos projetos que o compõem (CEPAL, 1995, 1998).
Se faz necessário também, evidenciar a distinção entre as áreas de atuação
dos projetos, pois apresentam-se na maioria das vezes em um campo muito
diverso. Não havendo consenso sobre a questão na literatura pertinente, a maioria
das fontes que tratam sobre o tema, falam de projetos sociais relacionados à
iniciativa privada. Portanto, as duas maneiras mais usuais de se classificar os
projetos são: com relação ao seu objeto de atuação (saúde, educação, meio
ambiente, cultura) ou com relação às características peculiares da população-alvo
(crianças, adolescentes, portadores de deficiência, idosos).
Em relação às etapas do ciclo de um projeto, muitas são as divisões
apresentadas pelos autores investigados. Este trabalho adota a seguinte divisão,
sugerida pelo Banco Interamericano de Desenvolvimento (BID): identificação de
12
idéias do projeto, definição de objetivos, desenho, análise e aprovação, execução e
avaliação ex post (BID/ILPES, 2000).
I. 1 - Critérios de avaliação
Todo projeto social, em sua concepção apresenta um processo de avaliação,
que na maioria das vezes, fará com que se permita de forma mais adequada a
mensuração de seus resultados e uma melhor utilização dos recursos. Além disso,
o processo de avaliação, permite também que se municie de forma adequada os
formuladores e gestores do projeto, com informações importantes para o desenho
de futuras iniciativas ou para correção de cursos de atuação, como um mecanismo
de retroalimentação (COHEN E FRANCO, 1998).
Existem diversas metodologias e opiniões a respeito dos critérios para a
avaliação de projetos sociais. Alguns, no entanto, permanecem definidos de forma
nebulosa e de complicada atuação operacional, além de existirem muitas
divergências em torno de suas definições.
O critério mais comumente utilizado é a eficácia (MOKATE, 2002). É também
um dos únicos sobre o qual há consenso. A eficácia relaciona-se ao grau em que se
atingem os objetivos de um projeto em um determinado período de tempo, com a
qualidade esperada, independentemente de seus custos.
Já o conceito de eficiência, leva em conta duas dimensões básicas:
resultados do projeto (bens e serviços produzidos) e recursos utilizados (insumos e
atividades). Portanto, está relacionado à maneira como os objetivos são alcançados
e remete à capacidade de selecionar e usar os melhores meios, com os menores
custos possíveis, para se realizar uma tarefa ou propósito.
Vale ressaltar que, no caso de projetos sociais, um custo é uma variável que
pode ser contabilizada tanto pelo desgaste quanto pelo sacrifício de um recurso,
seja ele tangível ou intangível: tempo, recurso ambiental, recurso financeiro, capital
13
social, confiança. Sendo assim , custos e benefícios não deveriam ser medidos
apenas em termos financeiros, devendo também ser considerados segundo
dimensões sociais e psicológicas.
No que se refere à efetividade, para MOKATE (2002), é apenas um sinônimo
para eficácia. Na visão da Unicef, efetividade e impacto podem ser considerados
sinônimos, e expressam quanto o projeto tem efeitos (positivos) no ambiente
externo. COHEN E FRANCO (1998) determinam que a efetividade é a relação entre
os resultados e o objetivo. No conceito adotado pela CEPAL (1998:18) a efetividade
supõe a eficiência e a eficácia e a define como "a capacidade organizacional para
ser eficiente e eficaz ao longo do tempo, alcançando níveis de impacto elevados e
sustentados".
I. 2 - Gestão de projetos sociais
A gestão de um projeto social tem como principal efeito dotá-lo de unidade e
coerência em determinado ciclo de ação. Um projeto usualmente tem como objeto
um conjunto de produtos, resultados (previstos nos objetivos e metas) e impactos
(mudanças na realidade efetivamente alcançadas). A gestão deve assegurar que
estes produtos, resultados e impactos estejam de acordo com a concepção e os fins
do projeto, garantindo sua eficácia e efetividade, por meio de uma adequada
combinação de recursos
É importante ressaltar que os processos mudança são implementados em
uma estrutura social e material já existente e que possui suas especificidades. A
relação dos integrantes da estrutura social focada gera uma determinada cultura e
um clima organizacional específico que em conjunto com os processos, fazem com
que os atores da estrutura cumpram uma série de funções que permitem a
integração das ações visando a maximização do atingimento dos objetivos.
Geralmente se tem uma tipologia de projetos baseada em duas dimensões:
14
• A capacidade de programação das tarefas — dada pelas exigências de
variação em sua execução, diferindo com relação ao grau em que são
suscetíveis à rotinização ou formalização;
• A interação com os destinatários da ação — determina a relação entre
operador e destinatário, assim como o nível de mudança que se
pretende provocar nas condições ou capacidades dos destinatários.
È intuitivo que quanto maior for o espectro de comportamentos que se deseja
impactar, das atitudes a serem alteradas e dos valores a serem disseminados, maior
será a necessidade de articulação entre o público-alvo e os gestores do projeto, que
se devem assim necessitar de maior liberdade de atuação no plano da gestão,
gerando uma maior necessidade da criação de mecanismos para participação da
população.
A CEPAL (1998) propõe uma tipologia de modelos de organização e gestão
de projetos sociais que considera duas dimensões:
• O grau de padronização dos produtos (bens ou serviços resultantes do
projeto);
• A homogeneidade/heterogeneidade da população-objetivo — nível de
semelhança nas "variáveis pertinentes" que afetam os objetivos de
impacto do programa.
É possível, portanto, fazer uma associação entre as duas tipologias citadas —
de projetos e de modelos de organização e gestão.
15
CAPITULO II – INFORMAÇÕES NECESSÁRIAS PARA AVALIAÇÃO ECONÔMICA DE PROJETOS
A avaliação econômica é um componente primordial em qualquer projeto
social. Sendo assim, o ideal é que sua aplicação esteja de acordo com seus
princípios básicos desde o início. Isso quer dizer que na fase de elaboração do
projeto, já se deve estruturar a futura avaliação econômica do mesmo. Neste
capítulo iremos apresentar alguns dos itens fundamentais que devem ser
observados em um projeto social para que sua avaliação econômica possa ser
realizada.
II. 1 - Público-alvo
Na maioria dos casos, projetos sociais são dirigidos a um determinado grupo
social, o qual denominamos público-alvo. Assim, para que se possa fazer a
avaliação econômica de um projeto social é importante que esteja claramente
definido o grupo aos quais os prováveis benefícios do projeto se destinam.
Na maioria das vezes, para a identificação do público-alvo são utilizados os
chamados “critérios de elegibilidade”, ou seja, para que um indivíduo ou família faça
parte do público-alvo de um programa social, ele ou ela deve atender determinados
requisitos estabelecidos pelos gestores do programa.
Tendo conhecimento acerca do público-alvo, é possível certificar-se
posteriormente se o projeto está realmente atendendo às pessoas pertencentes ao
grupo. É comum, que determinados projetos sociais, utilizem a renda das famílias
para a definição do público-alvo. Sendo esta uma variável de difícil observação, já
que grande parte da população mais pobre atua no mercado de trabalho informal,
estes programas sociais podem vir a beneficiar pessoas que a principio não
deveriam ser contempladas, deixando de fora pessoas que pertencem ao público-
alvo. Nestes casos, o projeto pode incorrer no chamado “erro de focalização” o que
16
significa excluir do programa pessoas pertencentes ao público-alvo (ineficiência no
alcance ou na cobertura do programa) ou incluir no programa pessoas não
pertencentes ao público-alvo (vazamento do programa).
A atenção requerida no processo de focalização deve ser centrada no sentido
de minimizar os dois tipos de erros. Contudo, tais erros usualmente caminham em
sentidos opostos, ou seja, com a expansão do programa, sua cobertura deve
aumentar, mas o vazamento também.
Após a definição de quais são as características que definem o público-alvo, é
recomendado que se conheça melhor este grupo, isto é, conhecer as condições de
vida e as reais necessidades do mesmo. Como exemplo, se um programa tiver como
público-alvo os jovens em idade escolar, é interessante saber onde moram estes
jovens, saber se freqüentam a escola, se trabalham, se moram com os pais e assim
por diante.
II.2. Objetivo
Na avaliação econômica do projeto social, tão importante quanto a definição
do público-alvo é a correta descrição dos objetivos de impacto do projeto. O objetivo
deve dizer para que servirá o projeto, ou seja, o que se pretende alcançar ao final do
programa.
Ainda que seja possível ter objetivos amplos, que mostram um campo de
atuação maior do projeto são os objetivos definidos de forma clara e mensuráveis
que permitem sua avaliação econômica. O objetivo é a base para a correta escolha
dos indicadores que irão basear a analise econômica do projeto.
17
II.3. Indicadores
Entende-se por indicador uma medida numérica de algum fenômeno
importante para o projeto que se quer analisar (MOKATE,2002),. Os indicadores de
impacto, como o próprio nome sugere, são referentes aos resultados do projeto. É
por meio dos da variação verificada em alguns dos indicadores, que se pode
quantificar de forma correta os impactos de um projeto. Estes indicadores estão
intimamente relacionados ao objetivo a ser alcançado e, portanto, são definidos
pelas especificidades presentes em cada projeto.
Dada a capacidade dos indicadores para o conhecimento da situação antes e
depois do projeto, é primordial que estes tenham contidos em si algumas
características. Entre elas, podemos citar:
• Fácil entendimento;
• Simples elaboração e baixo custo;
• Confiabilidade;
• Consistência com os dados disponíveis;
• Relação direta com as ações efetuadas.
Para alguns tipos de projetos, se faz também necessária a incorporaração de
indicadores qualitativos em sua análise.
II. 4 - Indicadores qualitativos e quantitativos
Entende-se por indicadores quantitativos aqueles que fornecem respostas
numéricas objetivas. Geralmente são obtidas por meio de um padrão previamente
definido pelos avaliadores do projeto. Já os indicadores qualitativos, são baseados
em respostas abertas, subjetivas, que expressam referências e valores. Devido à
sua própria natureza, é consenso que exista maior dificuldade para classificar e
tabular as respostas qualitativas. Essa característica faz com que se exija dos
18
avaliadores maiores habilidades para a interpretação destas respostas, visto sua
diversidade.
A transformação de uma resposta qualitativa aberta e que expresse valores
em uma resposta quantitativa pode ocasionar perda informações que são relevantes
para a avaliação do projeto. Contudo, permite também que seja usada para
examinar, por exemplo, se existem relações sistemáticas entre indicadores objetivos
e subjetivos.
Mesmo quando as respostas qualitativas não são transformadas em dados
quantitativos, isso não quer dizer que não possam ser consideradas como valiosas
para a avaliação. A combinação de ambas as respostas permite enriquecer a análise
dos projetos. Dados quantitativos podem demonstrar o impacto do programa,
enquanto os dados qualitativos fornecem indicações das razões pelas quais o
programa está tendo aqueles resultados.
II. 5- Fontes de Informação
Para que a avaliação econômica possa ser considerada efetiva é necessário
que os dados e informações existentes estejam organizados e acessíveis. Esse
trabalho poderá ser facilitado se os gestores do projeto tiverem acesso a um
cadastro dos participantes do projeto (MOKATE,2002),.
O cadastramento dos participantes deve conter todas as informações
consideradas importantes para uma avaliação. Sem a identificação adequada dos
participantes, muito do trabalho posterior de avaliação pode ser impossibilitado.
Contudo, quais informações devem se considerar na construção de cadastro? A
resposta a essa pergunta depende em grande parte dos objetivos do programa.
Não há um modelo único de cadastro que seja válido para todas as iniciativas
na área social. O conjunto de informações que devem fazer parte de um cadastro de
serão definidas de acordo com as particularidades de cada projeto.
19
Algumas vezes se faz necessário recorrer a “fontes externas de dados”.
Esses dados são encontrados em pesquisas e avaliações feitas usualmente por
órgãos governamentais. Por meio dessas fontes, é possível conhecer de forma
detalhada algumas características relevantes, como por exemplo, educação,
rendimentos, hábitos de consumo e outras características socioeconômicas, de
alguma população que se tenha interesse. Essas informações podem ser úteis na
avaliação ex-ante (esse conceito será tratado na próxima seção). Além disso, tais
dados podem ser usados para se realizar comparações entre o público-alvo de um
projeto e um conjunto de indivíduos de alguma fonte externa de dados.
II.6 - Custos
Os custos são elementos essenciais para a avaliação econômica,
especificamente para o cálculo do retorno econômico do projeto (CEPAL,1998).
Quando estamos tratando de custos econômicos, e não apenas de custos
contábeis, devemos acrescentar ao total de custos do projeto o custo de
oportunidade daqueles que participam do programa. Entendemos o custo de
oportunidade como sendo o rendimento que se deixa de obter quando se realiza
uma determinada escolha.
Há diversos projetos desenvolvidos dentro de uma instituição aonde estão
sendo empregados recursos próprios gestores do programa. Neste caso, não
haveria custos contábeis associados ao aluguel do imóvel, visto que o imóvel
pertence à instituição. No entanto, existem os custos de oportunidade associados à
propriedade do imóvel. Identificamos essa ‘renda de aluguel perdida’ também como
um custo de oportunidade importante, associado ao projeto que deve ser
considerado.
Quando são investidos recursos em um projeto social, abre-se mão de aplicar
esses recursos em outro tipo de projeto social ou mesmo numa aplicação financeira.
20
É por essa razão que mais à frente, nos referimos à taxa de juros de mercado como
sendo o custo de oportunidade do projeto social.
Em suma, se estamos tratando de custos econômicos, temos que levar em
consideração os custos de oportunidade, como veremos mais adiante.
21
CAPITULO III – AS MELHORES PRÁTICAS NA AVALIAÇÂO DE PROJETOS SOCIAIS
A avaliação econômica de um projeto pode se dar de diversas formas, que
variam primordialmente de acordo com a complexidade do projeto, nível de
informação disponível e indicadores chaves de sucesso. Abaixo veremos algumas
das principais técnicas atualmente em uso no Brasil
III. 1. Avaliação de impacto
A avaliação de impacto está relacionada, de maneira intuitiva, ao impacto que
o programa tem sobre um público-alvo previamente escolhido. De forma um tanto
quanto simplificada, pode-se dizer que a avaliação de impacto tem por objetivo
primordial responder à seguinte questão: o programa atinge seus objetivos?
A pergunta formulada acima traz implícitos alguns pontos a serem
investigados: as mudanças verificadas são realmente resultado do programa ou são
causadas por algum outro fator exógeno? Há diferença de impacto entre diferentes
grupos ou regiões? O impacto é modificado ao longo de um período de tempo? O
projeto está causando algum outro impacto que não tenha sido planejado
inicialmente?
A avaliação de impacto permite conhecer e quantificar as relações causais
entre as ações efetuadas no projeto e as alterações verificadas nos indicadores
escolhidos.
As relações causais são definidas como as relações de causa e efeito, ou
seja, a avaliação de impacto irá permitir apurar se foi de fato o projeto aplicado o
responsável pelas alterações observadas no indicador pesquisado (BID/ILPES,
2000).
Os resultados obtidos pela avaliação de impacto podem ser utilizados para ou
auxilio na decisão quanto à continuidade ou não do projeto e ainda para a
22
implementação de projetos futuros ou mesmo ainda servir de base para a
formulação de uma política social mais ampla.
Na avaliação de impacto estão implícitos ainda dois pontos que devem ser
observados: mensuração e causalidade.
A análise de impacto pretende não somente determinar se houve ou não
mudança no bem-estar dos participantes dos programas, mas também tentar
mensurar essa mudança. Para tanto, como já discutimos anteriormente, é
necessário escolher certos indicadores que estejam associados aos objetivos do
projeto e que, portanto, devem ter sido afetados pelo programa.
O segundo ponto a ser ressaltado é o da determinação da causalidade. Uma
vez identificada a existência de melhora nos indicadores escolhidos, para a
avaliação do programa é imprescindível estabelecer o sentido de causalidade, isto é,
saber se foi de fato a participação no programa que fez com que os indicadores de
resultado melhorassem.
III.1.1 - Avaliação ex-ante
Geralmente, mesmo antes do inicio de um projeto, é possível estimar parte de
seus efeitos, por meio de uma simulação das ações efetuadas sobre o público alvo.
Essas técnicas recebem a designação de avaliação “ex-ante”.
Este tipo de avaliação é bastante útil, pois permite que se tenha uma
estimativa dos efeitos do projeto, sem que haja custos físicos e humanos
necessários, que em alguns casos pode ser bastante elevado. Da mesma forma,
elas permitem que se conheçam os resultados sem que seja preciso esperar todo o
horizonte de tempo do projeto, o que, considerando as carências e necessidades de
determinados públicos-alvo, pode representar um ganho significativo.
Dessa forma, a avaliação ex-ante pode ser um importante instrumento para
que, antes mesmo da implementação do projeto, os gestores tenham uma medida o
23
mais próxima possível das alterações que o projeto causará. Com isso, eventuais
correções ou melhorias podem ser implementadas a um custo mais baixo, em
relação ao que seria investido após o fim do projeto, ou um projeto pode nem
mesmo ser levado a cabo se a avaliação ex-ante indicar que seus resultados
esperados são diferentes daqueles inicialmente imaginados.
Além disso, a avaliação ex-ante permite que sejam testadas diferentes
alternativas de atuação. Pode-se testar a eficiência de uma mesma ação em
diferentes públicos-alvo ou de ações diferente em um mesmo grupo de participantes.
Outro aspecto importante referente à avaliação ex-ante é que ela considera
diferentes desenhos nos projetos que venham a ser testados. Em alguns casos, no
entanto, a avaliação ex-ante pode ser mais complicada do que a avaliação ex-post
pois necessita de modelos que prevejam respostas de comportamento das famílias.
Na maioria dos casos, as avaliações ex-ante empregam informações oriundas
de pesquisas ou conjuntos de dados externos ao programa.
III.1.2 - Avaliação ex-post
Um dos pontos mais importantes de um projeto é conhecer o efeito que ele
comprovadamente teve sobre seu público-alvo. Esse é o objeto da chamada
avaliação ex-post. Seu objetivo principal é estabelecer relações causais entre as
ações efetuadas e as alterações verificadas na vida dos indivíduos, quantificando
assim os efeitos dos projetos.
A avaliação ex-post se dedica a avaliar os efeitos em um determinado
público-alvo afetado por um projeto, em comparação com algum grupo de controle
(ver explicação posterior desse conceito).
Para a efetivação destas duas formas de avaliação, veremos adiante as
possibilidades de análise estatística.
III. 2- Método experimental ou de seleção aleatória
24
O principal problema na avaliação de qualquer projeto é a dificuldade de se
observar os indivíduos simultaneamente na situação de terem sido atingidos pelo
projeto e em uma situação contrária. Sendo assim, a avaliação econômica de
qualquer projeto envolve a definição dos chamados grupos de controle.
No método experimental ou aleatório, a avaliação de impacto é desenhada
anteriormente a implementação do programa. O método consiste em dividir em dois
grupos o conjunto de pessoas que desejam participar e têm as características
esperadas para o público-alvo (BID/ILPES, 2000).. O primeiro grupo envolve aqueles
que efetivamente vão participar do projeto, de forma aleatória (grupo de tratamento)
e o outro, aqueles que não participarão (grupo de controle). Dado um grupo de
pessoas similares, são selecionados dois grupos, de forma que a única diferença
entre os grupos, seja na média, o tratamento, isto é, a participação no programa.
Quando a escolha dos participantes é aleatória, o impacto do programa é
diretamente calculado a partir da comparação entre a média do indicador que
escolhemos como medida de avaliação da mudança propiciada pelo programa para
ambos os grupos, o de tratamento e o de controle.
Contudo, as médias que calculamos para os dois grupos são médias
amostrais e, portanto, são também variáveis aleatórias. Portanto, não basta
comparar o valor das duas médias. É necessário saber se elas são estatisticamente
diferentes o que vem a ser descoberto ao se utilizar a abordagem do intervalo de
confiança.
Há também os chamados ‘experimentos naturais’. Neste caso, temos um
acontecimento ‘não-esperado’ que leva a formação também aleatória de grupos de
tratamento e controle. Portanto, a aleatorização deve ser feita na etapa de desenho
do programa com vistas à sua futura avaliação
III. 3 - Método não experimental ou de seleção não aleatória
25
Na maioria dos projetos sociais, a seleção dos participantes do programa não
é feita de maneira aleatória. Isso acontece porque em alguns casos todas as
pessoas ou instituições que são elegíveis para participar do programa são a princípio
participantes do programa. Ou porque dentre os elegíveis outros critérios são
utilizados para definir os participantes – por exemplo, os mais necessitados são
atendidos primeiramente – tornando o grupo de participantes diferente dos demais
indivíduos.
Como discutido anteriormente, a base para a avaliação de impacto de um
programa social é o contra factual. Ou seja, o objetivo é responder o que aconteceria
com os participantes do programa caso não tivessem participado. Como essa
resposta é de difícil definição, há de se construir um grupo de controle. No caso da
seleção aleatória, automaticamente é construído um grupo de controle: aqueles que
não foram sorteados e que gostariam e poderiam participar do programa, mas que
não participam. Quando a seleção não é aleatória, não há um grupo de controle
automático.
Como então obter um grupo de controle e com que grupo pode-se comparar a
evolução do indicador relevante para a determinação do impacto do programa?
Para esse tratamento, deve-se recorrer a analises envolvendo grupos de
controle baseados em indicadores externos, que no entanto podem não servir por
serem diretamente correlacionados ao grupo que esta sendo estudado. Para estes
casos existe um instrumento estatístico que permite que se use os dados de grupos
diferentes para realizar a análise de impacto – é a chamada ‘regressão linear –
método econometrico de mensuração de tendências, cuja principal idéia é isolar as
características que acreditamos tornar os grupos diferentes e que afetam o indicador
de interesse, tornando os grupos comparáveis.
26
III. 4 - Método de diferenças em diferenças
Quando a separação entre os grupos de tratamento e controle não foi
aleatória e quando temos grupos de tratamento e controle muito diferentes,
principalmente com relação a características que não são observáveis, o ideal para a
análise de impacto seria que o avaliador tivesse informações sobre os grupos de
tratamento e de controle em dois períodos de tempo, ou seja, no período anterior ao
programa social e no período posterior ao programa social.
Quando temos as informações de antes e depois do programa, podemos
empregar o método de diferenças em diferenças. Este método consiste em
comparar a variação observada no indicador de interesse antes e depois do
programa para o grupo de tratamento com a que foi experimentada pelo grupo de
controle. Caso a variação observada para o grupo de tratamento seja maior do que a
observada para o grupo de controle, pode se dizer que programa teve impacto.
III.5 - Limites da análise estatística
Um ponto importante a ser ressaltado sobre a análise de regressão é que,
assim como no caso das comparações de médias, estamos tratando de uma análise
estatística. Para isso precisamos de dados confiáveis e de uma amostra de tamanho
razoável. O tamanho adequado da amostra depende do tamanho da população e
essa relação não é linear. Quando aumenta o número de pessoas da população, o
tamanho da amostra ideal sobe, contudo menos que proporcionalmente. Quanto
maior for à amostra em relação ao tamanho da população, mais precisas serão as
estimativas. Além disso, quanto menor a amostra, maior é a probabilidade de se
calcular um resultado estatisticamente não significativo, quando na verdade houve
impacto do programa. Coletar informações é atividade que incorre em custos, ou
seja, isto pode representar uma das limitações para o tamanho da amostra. Um
outro é ‘o problema de variáveis não observadas’, que diz respeito a variáveis que
27
de alguma forma interferem no resultado a ser medido, mas que a principio não são
observadas ou não despertam o interesse do avaliador. Neste caso, o coeficiente
associado à variável ‘programa’ está, em parte, captando o efeito dessas
características não-observadas. Existem métodos estatísticos que buscam resolver
este tipo de problema.
Por fim, um outro problema da análise estatística relacionado especificamente
ao método de estimação aqui utilizado – ‘Análise de Regressão Linear’ – é o
problema do “suporte comum”. Em uma análise de regressão, pode acontecer de
termos um grupo de controle muito diferente do nosso grupo de tratamento. O que
seria correto de se fazer nesta situação seria selecionar (ou dar maior peso) do
grupo de controle aqueles indivíduos que são mais parecidos, em termos de
características observáveis, com os indivíduos do grupo de tratamento. O método de
‘matching’ ou ‘pareamento’ faz este tipo de procedimento.
Em suma, se uma avaliação parece ter variáveis não observadas importantes
e/ou há poucas pessoas com as mesmas características nos dois grupos, deve-se
olhar os resultados de regressão linear simples com cautela
III. 6 - Avaliação de retorno econômico
A avaliação de retorno econômico tenta responder a outro tipo de pergunta:
Os resultados do programa, diante de seus custos, são razoáveis? Qual a
efetividade do programa, comparativamente a outras alternativas? Estas perguntas
são importantes porque muitas vezes embora o projeto tenha impacto positivo, ele
não é grande o suficiente diante dos custos incorridos em sua implementação. De
outra forma, pode ser que outros programas alcançassem resultados semelhantes
com um custo menor.
Nestes casos também é possível que os cálculos sejam feitos ex-ante e ex-
post. No caso do cálculo ex-ante, iremos comparar os benefícios esperados com os
28
custos esperados do programa. Na análise ex-post, por sua vez, iremos comparar
os benefícios efetivamente obtidos com os custos incorridos na sua implementação.
Para análise do retorno econômico de um projeto social é fundamental a
construção de um fluxo de caixa adequado ao projeto. Isto é, precisamos identificar
ao longo do tempo os desembolsos referentes ao custo de implementação e
operação do projeto bem como as “receitas” que, no caso do projeto social, são os
benefícios monetários gerados pelo projeto.
No caso dos custos contábeis, a tarefa é razoavelmente simples. Basta fazer
um cronograma das despesas realizadas durante o período que durou o projeto.
Para chegarmos ao custo econômico do projeto, que é o nosso objetivo, teremos
que obter o custo de oportunidade do projeto, visto que o custo econômico
corresponde à soma entre os custos contábeis e o de oportunidade.
No caso das “receitas”, o fluxo de benefícios monetários pode ser bastante
longo no tempo. Por um lado, o resultado do projeto pode não ser imediato e, por
outro, pode durar pela vida inteira do participante. Isso sem considerar outros efeitos
sobre as famílias ou a comunidade. Portanto, é necessário neste item que se
avaliem as hipóteses sobre a trajetória e extensão dos benefícios gerados pelo
programa na vida dos beneficiários.
III.6.1 - Valor presente líquido
O valor presente líquido (VPL) de um projeto corresponde à soma dos valores
do seu fluxo de caixa trazidos a valor presente. Para que se efetue seu calculo
precisamos definir uma determinada taxa de desconto. Não há um critério único para
determinar qual a taxa de desconto adequada para um projeto social. Por um lado,
se o custo de oportunidade do investimento é a taxa de juros de mercado (sempre
há a alternativa de aplicar os recursos na caderneta de poupança e utilizar mais
tarde), então essa deve ser a taxa de desconto. Por outro lado, um projeto social
29
gera mais benefícios para a sociedade que os benefícios que podemos calcular (as
chamadas externalidades). Com isso, pode-se argumentar que a taxa de desconto
deve ser inferior à taxa de juros de mercado para compensar por estes benefícios
não captados.
Uma vez determinado o fluxo de caixa e a taxa de desconto a ser utilizada,
calcula-se o valor presente líquido do projeto social em questão.
Em primeiro lugar, espera-se que um projeto, tanto social quanto de qualquer
outro tipo, tenha um VPL positivo. Isto é, espera-se que os benefícios sejam maiores
que os custos, mesmo que os custos sejam conhecidos e os benefícios previstos
para o futuro a partir de hipóteses. Caso o VPL de um projeto seja negativo, isso não
necessariamente significa que ele deva ser extinto. Significa, entretanto, caso todos
os benefícios tenham sido incorporados de maneira adequada, que ele deva ser
repensado e eventualmente reformulado. Uma das razões para um VPL negativo
pode ser o nível elevado dos custos. Uma redução de custos pode ser suficiente
para tornar o VPL positivo. Outra explicação para o VPL ser negativo é um fluxo de
benefícios baixo ou muito distante no tempo. Se a taxa de desconto considerada é
vista como adequada, então uma forma de elevar os benefícios é aumentar o
impacto gerado pelo programa. A pergunta a fazer é: há alguma maneira alternativa
de implementar o projeto de forma que os benefícios a serem apropriados pelos
participantes sejam maiores? É nesse contexto que o cálculo do VPL pode ajudar os
gestores do projeto a tomar decisões quanto à forma de conduzir esse ou outro
projeto semelhante.
Uma segunda forma de analisar o resultado do VPL é comparando os valores
de diversos projetos alternativos. Um gestor que vai iniciar um projeto cujo objetivo
é, digamos, melhorar o desempenho dos alunos em aula para que haja redução da
repetência, pode ter várias alternativas de ação. A melhora do desempenho dos
30
alunos pode ser alcançada por aulas de reforço, pela melhor qualificação dos
professores, por atividades extraclasse que aumentem a capacidade de
concentração e muitas outras ações alternativas. A decisão de qual delas escolher
pode ser baseada, entre outros critérios, na comparação entre os VPLs das diversas
alternativas. Precisamos ter em mente, entretanto, que a comparação dos VPLs
deve se restringir a projetos com o mesmo horizonte de tempo.
III. 6.2 - Taxa interna de retorno
Outra forma comumente usada para analisar o retorno econômico de um
projeto é por meio da chamada taxa interna de retorno (TIR).
Podemos comparar a TIR do projeto à taxa de juros de mercado, visto que
essa, como colocado anteriormente, pode ser entendida como sendo o custo de
oportunidade dos recursos investidos no projeto social. A alternativa de aplicação
dos recursos em um investimento financeiro, como a caderneta de poupança,
sempre deve ser considerada. Se a TIR é superior à taxa de juros de mercado, o
retorno econômico do projeto social (mesmo que seja o retorno esperado, pois
estamos fazendo suposições a respeito do ganho futuro) é superior à alternativa de
investimento no mercado financeiro. Se, por outro lado, a TIR for inferior à taxa de
juros de mercado, o retorno econômico esperado do projeto é inferior à alternativa
de investimento.
Podemos também utilizar a TIR para compararmos projetos distintos. Neste
caso, é importante que se considere na análise o tempo de duração do projeto. Um
projeto pode ter um retorno muito elevado, mas o período de recebimento dos
benefícios pode ser bastante curto. Outro projeto pode ter um retorno menor, mas
pode gerar benefícios por um período bastante longo no tempo, como no caso do
programa de treinamento. Mesmo que o ganho salarial seja considerado baixo, ele
31
será recebido por todo o período em que o participante estiver no mercado de
trabalho.
A ressalva a ser feita é que, enquanto em um investimento privado os custos
e os benefícios se referem à mesma pessoa, a análise aqui feita pressupõe que os
custos e benefícios se referem a pessoas distintas. Em geral, o custo é arcado pela
instituição que financia o projeto (seja ela pública ou privada) e os benefícios são
recebidos pelos participantes dos programas.
32
COMENTÁRIOS FINAIS
Ao longo deste trabalho, pode-se observar algumas das técnicas mais
comumente utilizadas no sentido de fornecer informações, dados e respostas sobre
os mais diversos tipos de projetos sociais, tendo como objetivo principal servir de
embasamento para a tomada de decisões por parte de gestores e financiadores
deste tipo de projeto.
As questões envolvendo projetos sociais e a eventual análise de seu impacto
econômico e social envolve, na maioria das vezes, critérios subjetivos. Portanto, é
extremamente importante que os interessados em projetos desta natureza tenham
em mente as limitações inerentes a este tipo de análise, por mais cientificas e
metodológicas que pareçam.
No Brasil dos dias de hoje, infelizmente, ainda não há uma tradição
consolidada neste tipo de análise e muito menos material de pesquisa abundante
sobre o tema, que permita a identificação de padrões consistentes. Contudo, há de
se ressaltar o esforço dos empreendedores sociais brasileiros, em tornar o processo
de gestão dos projetos sociais, cada vez mais profissionalizado e rigoroso quanto a
sua viabilidade e sustentabilidade econômica. Torna-se cada vez mais diminuto o
espaço para “aventureiros”, que enxergam na gestão de projetos sociais, um
“trampolim” para interesses escusos e que acabam por muitas vezes lançando a
desconfiança sobre iniciativas sérias, inviabilizando as mesmas.
Portanto, difundir e tornar comum técnicas que possam auxiliar projetos
sociais a demonstrarem de forma clara e compreensível seus resultados e impactos
é uma questão que permeia não somente a sobrevivência deste tipo de iniciativa,
mas que também pode ser vista como fundamental para que vidas sejam mudadas e
salvas.
33
REFERÊNCIAS BIBLIOGRÁFICAS
BAKER, JUDY (2000) Evaluating the impact of development projects on poverty: a
handbook for practitioners. directions in development. World Bank: Washington, D.C.
Versão eletrônica disponível no site www.worldbank.org.
BID/ILPES. Gestión y control de proyectos — Programa de Capacitación BID/Ilpes.
agosto 2000. Disponível em: <www.eclac.org/publicaciones>.
CANDAU, U.M. et al. Tecendo a Cidadania. Rio de Janeiro: Vozes, 1995.
CEPAL (1995). Manual de formulação e avaliação de projetos sociais. Division de
desarrollo social.
COHEN, ERNESTO E ROLANDO FRANCO (1998) Avaliação de projetos sociais.
Petrópolis: Vozes. 5ª edição.
CONTADOR, CLAUDIO ROBERTO (1988) Avaliação social de projetos. São Paulo:
Atlas.
KOTLER, P.; ROBERTO, E. L. Marketing Social: Estratégias para Alterar o
Comportamento Público. Rio de Janeiro: Campus, 1992.
LEMOS A. H. C.; et al. Administração de Projetos Comunitários: Abordagem
prática.São Paulo: Edições Loyola, 1995.
MARINO, EDUARDO (2003) Manual de avaliação de projetos sociais. São Paulo:
Saraiva/Instituto Ayrton Senna. 2ª edição.
MOKATE, K. M. (2002). “Convirtiendo el ‘monstruo’ en aliado: a avaliação como
herramienta de la gerencia social”. Revista do Serviço Público, 8(1), 91-136.
