12
Este texto introduz algumas questões atuais sobre a avaliação e o monito- ramento de programas e projetos sociais, buscando superar a idéia do controle em uma perspectiva unicamente financeira, mas relacionando-os aos objetivos e metas. A avaliação é retomada a partir dos eixos básicos e clássicos, ou seja, da eficiência, eficácia e efetividade sendo discutida como uma exigência atual da sociedade, tanto em organizações públicas como em não-governamentais. Palavras-chave: planejamento social, políticas sociais, programas sociais, avaliação, monitoramento. Professora do Departamento de Serviço Social – UFSC. Mestre em Serviço Social. Doutora em Enfermagem – UFSC. * O objetivo de se introduzir questões básicas de avaliação, bem como um glossário de termos correlatos, decorre de uma indicação freqüente entre alunos e profissionais quanto à dificuldade de se obter referências sobre conceitos introdutórios em avaliação e monito- ramento, sendo que os textos usualmente publicados contêm discussões mais densas e que exigem um amplo domínio do tema para sua apreensão. This text introduces some modern issues concerning the evaluation and monitoring of social policies and programs in an attempt to broaden the perspective over the idea of control from a solely financial regard to an approach that considers the other aims and objectives of such programs. The evaluation is retrieved through classical pivots such as efficiency, efficacy and effectivity and discussed, as society modernly demands, both in public organizations and NGOs. Key words: social planning, social policies, social programs, evaluation, monitoring.

Avaliação e monitoramento de política e programas sociais

  • Upload
    vanphuc

  • View
    217

  • Download
    3

Embed Size (px)

Citation preview

�������� � � ������ ��������� � � ������ ��������� � � ������ ��������� � � ������ ��������� � � ������ ��� �������� � ���������� �������� � ���������� �������� � ���������� �������� � ���������� �������� � �������������� � ���� � � ����������� � ���� � � ����������� � ���� � � ����������� � ���� � � ����������� � ���� � � ����������������������������������� � � � � �

�������� � � � ���� � � ����� ��������������� � � � ���� � � ����� ��������������� � � � ���� � � ����� ��������������� � � � ���� � � ����� ��������������� � � � ���� � � ����� �������� � ������� � ������� � ����� � ������ � ������� � ������� � ����� � ������ � ������� � ������� � ����� � ������ � ������� � ������� � ����� � ������ � ������� � ������� � ����� � �����

���������� ��������������������Este texto introduz algumas questões

atuais sobre a avaliação e o monito-ramento de programas e projetos sociais,buscando superar a idéia do controle emuma perspectiva unicamente financeira,mas relacionando-os aos objetivos emetas. A avaliação é retomada a partir doseixos básicos e clássicos, ou seja, daeficiência, eficácia e efetividade sendodiscutida como uma exigência atual dasociedade, tanto em organizaçõespúblicas como em não-governamentais.

Palavras-chave: planejamento social,políticas sociais, programas sociais,avaliação, monitoramento.

��� !�� �� "��� � � ��� !�� �� "��� � � ��� !�� �� "��� � � ��� !�� �� "��� � � ��� !�� �� "��� � �#��� � � �#��� � � �#��� � � �#��� � � �#��� � � �

Professora do Departamento de ServiçoSocial – UFSC.

Mestre em Serviço Social.

Doutora em Enfermagem – UFSC.

* O objetivo de se introduzir questõesbásicas de avaliação, bem como umglossário de termos correlatos, decorre deuma indicação freqüente entre alunos eprofissionais quanto à dificuldade de seobter referências sobre conceitosintrodutórios em avaliação e monito-ramento, sendo que os textos usualmentepublicados contêm discussões maisdensas e que exigem um amplo domíniodo tema para sua apreensão.

���������� �����������������������������������This text introduces some modern

issues concerning the evaluation andmonitoring of social policies andprograms in an attempt to broaden theperspective over the idea of control froma solely financial regard to an approachthat considers the other aims andobjectives of such programs. Theevaluation is retrieved through classicalpivots such as efficiency, efficacy andeffectivity and discussed, as societymodernly demands, both in publicorganizations and NGOs.

Key words: social planning, socialpolicies, social programs, evaluation,monitoring.

���������������

���� �� � �������� ����� �� � �������� ����� �� � �������� ����� �� � �������� ����� �� � �������� ���$��� ��������$��� ��������$��� ��������$��� ��������$��� ������

� discussão sobre a avaliação de progra- mas e projetos soci-

ais vem obtendo relevância em pas-sado recente, contrariamente às ava-liações de política econômica, as quaisestão há longo tempo em cena, comproduções teórico-metodológicas sig-nificativas, tendo alcançado o status,inclusive, de disciplina acadêmica. Naárea social a preocupação com a ava-liação vem se ampliando, fato cons-tatado pelo número crescente de pu-blicações relacionadas ao tema.

No plano nacional, com a reorga-nização do processo de planejamentodo governo federal, formalizado coma publicação do Decreto no 2.829, de29 de outubro de 1998, a avaliaçãopassa a ser fundamental, tendo emvista que o mesmo estabelece quepara a elaboração e execução do PPA2000-2003, e dos Orçamentos daUnião (OGU), a partir do exercíciodo ano 20001 , toda ação finalísticaserá estruturada em programas ori-entados para a consecução dos obje-tivos estratégicos estabelecidos parao período do plano (BRASIL, Projetode Lei do PPA 2000, Anexo I, Orien-tação Estratégica, 1999, p. 3).

As demandas por avaliação,portanto, – estarão presen-tes em praticamente todos osatos normativos que regulama reorganização do proces-so de planejamento federal,nas orientações metodoló-gicas e técnicas, nos manu-ais de instrução. No Decreto2 829, de 29 de outubro de1998, encontramos: Art. 5.:Será realizada avaliaçãoanual de consecução dosobjetivos estratégicos doGoverno Federal e dos re-sultados dos Programas,para subsidiar a elaboração

de lei de diretrizes orçamen-tárias de cada exercício.(GARCIA, 2001, p.49).

Um esclarecimento prévio ao lei-tor quanto ao sentido conferido à ava-liação neste texto se faz necessário.Assim, importa ressaltar que a avali-ação é abordada como um processoflexível e dinâmico, pautado na sele-ção de procedimentos e indicaçõescompatíveis com as necessidades decada situação. (OLIVEIRA, 1988).

A avaliação é um elemento bási-co do planejamento e traduz a possi-bilidade de se tomar decisões que su-perem soluções erráticas e não fun-damentadas, elevando-se o grau deracionalidade de tais decisões. Os pro-cessos avaliativos , entretanto, aindahoje são encarados, no mais das ve-zes, como procedimentos burocráticos,custosos, ameaçadores e de caráteradministrativo e financeiro (a famosae conhecida “prestação de contas”).Tal leva a que técnicos e administra-dores encontrem muitas dificuldadespara implementar ou alterar qualquerprojeto em andamento, dada ainexistência de análises e pondera-ções sobre as ações executadas. Têm,também, dificuldade de justificar suasações e muitas vezes até seu traba-lho, tornando-se presa fácil deinjunções político-partidárias face àsquais não têm argumentos. As diver-sas decisões que envolvem um pro-grama ou projeto são, assim, tomadasno “vazio” ou a mercê de oportunis-mos de toda ordem.

O que é avaliar?

Avaliar deriva de valia quesignifica valor. Portanto,avaliação corresponde aoato de determinar o valor dealguma coisa. A todo o mo-mento o ser humano avaliaos elementos da realidadeque o cerca. A avaliação éuma operação mental que in-tegra o seu próprio pensa-mento – as avaliações que

faz orientam ou reorientamsua conduta. (SILVA, apudGARCIA, 2001, p. 28).

Avaliar compreende o julgamen-to sobre ações, fatos, comportamen-tos, atitudes ou realizações humanas,tanto no plano individual, como institu-cional. Sendo assim, há que se asso-ciar ao valor uma capacidade de sa-tisfazer alguma necessidade huma-na. Compete à avaliação analisar ovalor de algo em relação a algum an-seio ou a um objetivo, não sendo pos-sível avaliar, conseqüentemente, semse dispor de uma referência precisa(GARCIA, 2001). Tal referenciapode e deve ter vários enfoques,como as normas e valores, as neces-sidades satisfeitas, as situações de-sejadas; as quais orientarão a sele-ção de métodos e técnicas.

Pode-se concluir que avaliar nãosignifica apenas medir, mas, antes demais nada, julgar. O julgamento ocor-re a partir de um referencial de valo-res que confere ao processo avaliativoum aspecto ideológico e político. Ava-liar é estabelecer, a partir de uma per-cepção intersubjetiva e valorativa ecom base nas melhores medições ob-jetivas, o confronto entre a situaçãoexistente previamente ao planejado eos objetivos e as metas alcançadas.

Evidencia-se, então, ser defundamental importância dis-por de clara e precisa visãoda finalidade do valor que sebusca alcançar com uma de-terminada ação ou realiza-ção, para que se possa insti-tuir critérios aceitáveis comos quais estas serão avalia-das. Mais ainda, é igualmen-te fundamental ter clareza doobjetivo mesmo da avalia-ção, que aspectos do valor,da ação, da realização esta-rão sendo aferidos, pois asdecisões que as validam ouas corrigem podem se dar emespaços distintos (legal, téc-

�������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ��������

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

��*��*��*��*��*

nico, administrativo, político,etc.), e requerer informaçõese abordagens também distin-tas. (GARCIA, 2001, p.13).

Dentro do aspecto valorativo dosprocessos de avaliação e controle éconveniente recordar os princípios co-locados por Pestana (apud OLIVEI-RA,1998, p. 36), ao referir-se ao Sis-tema Nacional de Avaliação da Edu-cação Básica – SAEB, quais sejam:

1. Visibilidade Social, aqui en-tendida como princípio éticoque implica a prestação de con-tas a todos os envolvidos nosprogramas sociais de forma aidentificar e apresentar os re-sultados e os produtos obtidos,sinalizando os caminhos queainda devem ser percorridos;

2. Responsabilidade comparti-lhada, no sentido de identifi-car a parcela de contribuiçãode cada segmento envolvidona obtenção de resultados, oque induz ao compromisso coma busca e a implementação deações corretivas e de constan-te aperfeiçoamento;

3. Legitimidade, de forma a quea sistemática de avaliação es-teja sustentada em uma apre-sentação clara das regrasestabelecidas, no rigor metodo-lógico, na análise crítica e cons-ciente que leva a diagnósticosválidos e confiáveis, evitandoconclusões superficiais. Deve-se, também, estabelecer umcompromisso com a utilizaçãodos resultados para a (re) for-mulação de políticas, progra-mas e projetos sociais;

4. Continuidade, o que indicaque o sistema de avaliação deverepetir-se em novos ciclos deaplicação, com instrumentalsempre aperfeiçoado, de modoa possibilitar o acompanhamen-to da evolução dos vários seg-mentos que compõem os pro-

gramas sociais, e os virtuaisimpactos de medidas correti-vas, inovadoras e de melhoriaque venham a ser adotadaspelos diversos níveis de gover-no e pelos responsáveis pelagestão desses programas. Issopermitirá que se planejem commaior acuidade, por exemplo,políticas de expansão de deter-minadas atividades, melhoriade condições de gestão ou usode novas tecnologias.

Por que avaliar? Primeiramente poruma questão de economia, seja de tem-po, recursos ou trabalho. Em se tra-tando de organizações, sejam ONGsou OG, a “avaliação é um dever ético.As organizações que atuam na esferapública precisam apresentar à socie-dade os resultados/produtos de suaação” (CARVALHO, 1997, p.115).Asorganizações públicas têm o dever demanter uma relação de transparênciacom a sociedade, seja com os usuári-os, financiadora ou atores sociais, dan-do conta de seus resultados, da eficá-cia de seus projetos, dos custos reali-zados e ações praticadas.

Em segundo, por que ampliam-seas exigências, por parte das agênciasfinanciadoras, de instrumentos de con-trole sobre a qualidade das ações acor-dadas e o impacto sobre os proces-sos sociais. Do lado da instituição exe-cutora do projeto, a avaliação é fun-damental para sua segurança e é oprocedimento que garante a confia-bilidade do público-alvo e da socieda-de onde se inscreve.

Segundo Carvalho (1997), a avali-ação contém três características pro-cessuais: é contínua e permanente, indoda concepção inicial aos resultados doprojeto; envolve os atores envolvidosna apreciação dos resultados e implicaem favorecer aos integrantes, sejamusuários ou equipe gestora, o exercí-cio da ação reflexiva.

Os princípios, características e re-quisitos da avaliação viabilizam à ins-tituição marcos de entendimento ecooperação, a mobilização de parce-

rias, a politização e a capacitação dosatores envolvidos, de forma a qualifi-car o processo de identificação dedemandas e necessidades, priorizandoas efetivamente coletivas, em oposi-ção a interesses particularistas.

Quando se reflete a avaliação, al-gumas pontuações iniciais, relativasaos conceitos utilizados, são necessá-rias. A distinção entre avaliação po-lítica e avaliação de políticas é de-cisiva uma vez que implica em pro-cessos e resultados distintos. A avali-ação política diz respeito aos princípi-os, critérios e diretrizes que fundamen-tam a decisão sobre realização de de-terminado programa, têm um cunhomais valorativo e abrigam uma con-cepção de justiça que pode ser ounão explicitada .(FIGUEIREDO &FIGUEIREDO, 1986).

A avaliação de políticas, entreelas as sociais, enfoca o seu formato,ou seja,

[...] o desenho institucional eos traços constitutivos dosprogramas. Qualquer políticapública pode ser formulada eimplementada de diversosmodos. [...]A análise de polí-ticas públicas busca recons-tituir estas diversas caracte-rísticas, de forma a apreendê-las em um todo coerente e com-preensível. Ou, melhor dizen-do, para dar sentido e enten-dimento ao caráter erráticoda ação pública. (ARRE-TCHE, 1998, p. 30).

Conforme indica Cohen (1993), osabstratos enunciados das PolíticasSociais só podem ser concretizadosvia sua operacionalização em progra-ma e projetos, que são modelados emações concretas, sendo relevante ava-liar se alcançaram os objetivos pro-postos e se as decisões tomadas fo-ram as mais acertadas.

Os procedimentos de avaliação emonitoramento/acompanhamento de-

��������������+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

���������������

vem ser planejados com o plano ouprojeto, constituindo-se em um proces-so contínuo e sistemático. As interrup-ções podem interferir nos resultadosou mesmo inviabilizar uma análise pos-terior, além de desqualificar o proces-so tanto o processo em si como a cons-trução da confiabilidade necessáriaentre os parceiros envolvidos na ação.

Deve-se recordar que as políticassociais têm um duplo aspecto. De umlado gerar um produto físico, concretoe mensurável e, de outro, causar umimpacto que pode ser objetivo, concre-to, mensurável ou subjetivo, no planodas atitudes, comportamento e opini-ões. Assim, tão significativa quanto amedida do produto ou serviço atenden-do a demanda, é a medida de quantoos possíveis impactos têm nas condi-ções de vida dos segmentos popula-cionais aos quais se destina. (FIGUEI-REDO & FIGUEIREDO, 1986).

Atualmente começa a se fortale-cer a idéia da necessidade de avalia-ções realizadas por agências externasà instituição executora do planejamen-to. Acredita-se que este procedimen-to contribuirá para que agentesgestores aprimorem suas gestões, fa-vorecendo um controle mais demo-crático das propostas desenvolvidas.Segundo Ronaldo Coutinho Garcia(2001), as razões para a contrataçãode consultorias externas são, basica-mente, de três ordens: as decorrentesdas exigências contratuais de finan-ciamentos externos (BID, BancoMundial) ou internos (FAT, BNDES,CEF, entre outros); as pressões oucríticas de atores sociais interessados(a favor ou contra) no programa quenão conseguem ser respondidas coma produção interna de avaliações; asarticulações de interesses pessoais/grupais/institucionais.

Há que se ter o cuidado, entretan-to, para que as avaliações não se trans-formem em espasmos avaliativos(GARCIA, 2001), pontuais, assiste-máticos, com nulos ou escassos re-sultados para o reordenamento ouredimensionamento dos programas.

A possibilidade da ineficiência dosprocessos avaliativos vem sendo re-conhecida internacionalmente. O pró-prio diretor de administração do setorpúblico do Banco Mundial, apresen-tou uma lista dos sinais clínicos dascausas de fracasso dos processos deavaliação

i) ela é evitável quando pos-sível; (ii) mais provoca ansi-edade e defensiva do quereceptividade; (iii) os órgãosresponsáveis pela conduçãoda avaliação não são capa-zes de especificar critériosjustos e objetivos para fazê-la; (iv) a avaliação não con-segue proporcionar informa-ções úteis; (v) os resultadosda avaliação extrapolamcom demasiada freqüência ocontexto em que são aplicá-veis; (vi) é comum a falta deuma definição compartilha-da dos objetivos da avalia-ção; (vii) falta uma teoria deavaliação adequada; (viii)faltam conhecimentos sobreos processos reais de deci-são; (ix) há insuficiente cla-reza sobre os critérios a se-rem utilizados na avaliação;(x) não há suficiente distin-ção entre as abordagens deavaliação para refletir as di-ferenças na complexidadedos objetos; (xi) faltam me-canismos adequados paraorganizar, processar e rela-tar as informações avalia-tivas; e, a não menos impor-tante, (xii) falta de pessoaldevidamente treinado. (CA-PITANI, apud GARCIA,2001, p. 6).

Parece haver um consenso que oimportante, na análise dos insucessosdas avaliações é o fato de que, virtu-almente, em todos os casos de fra-casso da avaliação há uma desco-

nexão entre a avaliação e a tomadade decisão.

Contribui, igualmente para o des-crédito no processo avaliativo e umarestrição à sua utilização no processodecisório a própria forma como sãotransmitidos, ou seja, a linguagem dosrelatórios de avaliação. O jargão

técnico-científico dos relató-rios acadêmicos e a formade consolidação dos resul-tados constituem-se em obs-táculos adicionais ao seuaproveitamento imediato naprática. A pesquisa não podeser imediatamente apropria-da como insumo-estratégicona formulação e acompa-nhamento de programas pú-blicos. (ABRANCHES,apud GARCIA, 2001, p. 18).

Garcia alerta para o que vem sen-do denominado de mitos da avalia-ção, qualificando-os como o mito dafacilidade e o da impossibilidade: Omito da facilidade é resultante dodesconhecimento da complexidadeenvolvida no processo, fazendo comque este seja, muitas vezes, entreguea equipes ou pessoas de boa vontade,mas sem o devido preparo. O segun-do é o mito da impossibilidade dejulgar ações complexas, cheias deintencionalidades, por não existireminstrumentos capazes de fazê-lo. Esseúltimo argumento se situa mais comoum mecanismo de defesa daquelesque temem a avaliação por qualquermotivo. (GARCIA, 2001).

%��� � ����&��� �� ��������%��� � ����&��� �� ��������%��� � ����&��� �� ��������%��� � ����&��� �� ��������%��� � ����&��� �� ��������

Algumas distinções quando aos ti-pos e critérios de avaliação são con-siderados clássicos. Entre estes sesituam os critérios de eficácia, efici-ência e efetividade, os quais, segun-do Oliveira (1988), podem ser enten-didos como recursos analíticos des-

�������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ��������

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

���������������

tinados a separar aspectos distintosdos objetivos e, por conseqüência, daabordagem e dos métodos e técni-cas de avaliação.

'�'�'�'�'� ����&��� �� ������������&��� �� ������������&��� �� ������������&��� �� ������������&��� �� ��������

��(�� ������� ) ����������(�� ������� ) ����������(�� ������� ) ����������(�� ������� ) ����������(�� ������� ) ��������

�� �������* ��� &*�� �������* ��� &*�� �������* ��� &*�� �������* ��� &*�� �������* ��� &*

�� ������� � ��$���� ������� � ��$���� ������� � ��$���� ������� � ��$���� ������� � ��$��

���� �� � ����� �� � ����� �� � ����� �� � ����� �� � �

������� ��� �� ����������� ��� �� ����������� ��� �� ����������� ��� �� ����������� ��� �� ����

���+���� ���� ��� ������+���� ���� ��� ������+���� ���� ��� ������+���� ���� ��� ������+���� ���� ��� ���

� �$����� ������� �$����� ������� �$����� ������� �$����� ������� �$����� ������

� ���� �� ���� ��� ���� �� ���� ��� ���� �� ���� ��� ���� �� ���� ��� ���� �� ���� ��

�� �����,�� �����,�� �����,�� �����,�� �����,

Visam apreciar em que medida asações e instrumentos utilizados sãocoerentes com as propostas e o quevem sendo alcançado em relação aosobjetivos previstos, isto é, se é sufici-ente ou adequado à relação entre finse meios no desenvolvimento do pro-jeto, quanto do programado foi exe-cutado, quanto foi descartado pormotivos diversos.

Por ser a menos custosa e amais factível, a avaliação deeficácia é a mais adotadapelos avaliadores. Pode-seestabelecer, nesse caso, umaequação entre metas anunci-adas por um programa e, combase nas informações dispo-níveis, relacioná-las às metasalcançadas. Da mesma for-ma, é possível avaliar a re-lação entre os instrumentosprevistos para a implemen-tação de uma política e aque-les efetivamente empregados.(OLIVEIRA, 1998, p. 7).

Eficaz, assim, é o que produz oefeito desejado e, na visão de Cohene Franco (1993, p.102),

operacionalmente, eficácia éo grau em que se alcançamos objetivos e as metas de umprojeto na populaçãobeneficiária, em um determi-nado período de tempo, in-dependente dos custos impli-cados.

Garcia (2001) propõe, visando sis-tematizar a avaliação das ações go-vernamentais, a adoção do seguinteconceito: “eficácia é o grau em quese atingem os objetivos e as metas deuma ação orientada para um alvo par-ticular, em um determinado período detempo, independentemente dos cus-tos nos quais se incorra.” Nessa defi-nição sobressaem duas variáveis bá-sicas: metas e tempo.

As dificuldades existentes em re-lação à esse critério de avaliação resi-dem na obtenção e veracidade das in-formações acerca do funcionamentodos programas sob análise. Indica quepesquisas de campo são indicadas paraque se possa aferir o processo de im-plantação e/ou implementação de taisprogramas. (OLIVEIRA, 1998).

Também a forma genérica comque são formulados programas soci-ais de governo e a diversidade emultiplicidade de objetivos envolvidoscriam obstáculos críticos para avalia-ções de eficácia, quer estas contem-plem dimensões diretamente pertinen-tes aos programas ou sejam formula-das a partir de critérios e funções debem-estar social de maior amplitude.“No que diz respeito a interesses deavaliação específica de programas, háproblemas envolvidos de explicitaçãoe de verificação a priori de resulta-dos pretendidos, de hierarquização deobjetivos e, afinal, de se tornar os ob-jetivos dos programas” (MARINHOe FAÇANHA, 2001, p.8).

Os critérios de eficiência estãorelacionados à otimização dos recur-

sos disponíveis, à avaliação da “rela-ção entre o esforço empregado naimplementação de uma dada políticae os resultados alcançados [...] customínimo possível para o máximo debenefício possível.” (FIGUEIREDO& FIGUEIREDO, 1986, p.13).

Eficiência é a virtude de produzirum efeito ao menor custo. Para Cohene Franco (1993, p. 103 e 104), “a efici-ência pode ser definida como a rela-ção existente entre os produtos e oscustos dos insumos”, sendo que o

conceito de eficiência podeser considerado a partir deduas perspectivas comple-mentares: se a quantidade deproduto está predetermina-da, procura-se minimizar ocusto total ou o meio que sesegue para a sua geração;se o gasto total está previa-mente fixado, procura-seotimizar a combinação deinsumos para maximizar oproduto.

De largo uso e inicialmente em-pregado para analisar políticas eco-nômicas e empresas da área privada,quando transferido para empresaspúblicas, a medida da eficiência ga-nha nova interpretação, adensada comuma outra dimensão; ao lado da no-ção econômica de custo-benefícioagrega-se a noção de custos e bene-fícios políticos. Estes são difíceis ecomplexos de serem analisados umavez que custos e benefícios políticossão inversamente proporcionais à efi-ciência instrumental. Ou seja, confor-me aponta Oliveira (1998, p.8),

os critérios e o conceito deeficiência são distintos,quando se trata de setor pú-blico ou privado. Tomando-secomo exemplo o objetivo deredução de desigualdades,pode-se justificar uma políti-ca de subsídios, o que nãoestá de acordo com uma con-

��������������+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

��4��4��4��4��4

cepção de eficiência que bus-ca apenas minimizar custos.

A dimensão da eficiência, portan-to, remete a avaliação para conside-rações de benefício e custo dos pro-gramas sociais, e há notórias comple-xidades a respeito que devem e serãolevadas em conta. De imediato, deve-se reconhecer, que organizações sóestariam sendo eficientes se demons-trassem antes ser efetivas, no sentidojá mencionado. De outra forma, re-cursos escassos poderiam estar as-sociados a resultados passíveis deserem aprimorados (MARINHO eFAÇANHA, 2001). Avalia-se nessecaso, a relação entre o esforço em-pregado na implementação de umadada política e os resultados alcança-dos. Autores, como Arretche (1998)alertam que essa modalidade de ava-liação é a mais necessária e urgentede ser desenvolvida pois está direta-mente ligada a procedimentos inova-dores na racionalização da gestão edo gasto público.

Oliveira (1998, p.8) ressalta que,em se tratando de políticas públicas,

a avaliação de eficiência éobjetivo democrático, já quedesperdício de recursos,corrupção ou incapacidadegovernamental constituem-seem sérios entraves à utiliza-ção de tais recursos parafins públicos condizentes como princípio de eqüidade.

Os critérios de efetividade con-tém um juízo de valor, estabelecido apartir da relação entre a execução deum programa e o impacto provocadoentre ou sobre o segmento a que sedestina. Não se referem apenas a con-secução das metas, mas o plus, o di-ferencial, que se alcançou com a im-plantação do programa ou projeto, comsua capacidade de construir alteraçõessignificativas em uma dada situação.

Nesse tipo de avaliação, segundoOliveira, (1998, p.9),

a maior dificuldade não con-siste em distinguir produtosde resultados, mas em de-monstrar que os resultadosencontrados estão causal-mente relacionados aos pro-dutos oferecidos pela políti-ca em análise.

Aponta ainda Oliveira (1998), queos obstáculos para se avaliar aefetividade de um programa ou pro-jeto vão desde a dificuldade de ob-tenção de informações sobre os pro-gramas até as dificuldades para o tra-tamento de variáveis. A simples cor-relação, por exemplo, entre índicesde pobreza e oferta de serviços so-ciais, não garante resultados qualifi-cados em termos de políticas / pro-gramas sociais.

Por outro lado, ser efetivo, antesde ser eficiente e eficaz, também sig-nifica possuir competência para dese-nhar e implementar boas estratégias:

a efetividade do programa so-cial diria respeito, portanto, àimplementação e ao aprimora-mento de objetivos, indepen-dentemente das insuficiênciasde orientação e das falhas deespecificação rigorosa dosobjetivos iniciais declaradosdo programa. Organizaçõessão efetivas quando seus cri-térios decisórios e suas reali-zações apontam para a perma-nência, estruturam objetivosverdadeiros e constroem re-gras de conduta confiáveis edotadas de credibilidade paraquem integra a organização epara seu ambiente de atuação.(MARINHO e FAÇANHA,2001, p.8).

É a avaliação mais difícil de serrealizada e uma das mais necessáriasdada sua amplitude e possibilidade dese aquilatar realmente o papel e a fun-ção de um programa ou projeto social.

Outra classificação quanto aos ti-pos de avaliação mais usados pode serem função do momento de sua reali-zação e dos objetivos que se esperamda mesma. Temos assim as avalia-ções ex-ante e ex-post. A avaliaçãoex-ante precede a implantação,

é a realizada ao começar o pro-jeto, antecipando fatores con-siderados no processo de-cisório [...]. A segunda ocor-re quando projeto já está emexecução ou já está concluí-do e as decisões são adota-das tendo como base os resul-tados efetivamente alcança-dos. (COHEN, 1993 p. 108).

A finalidade da primeira é dar umacerta racionalidade ao processo dedecisão quanto à execução ou não doprojeto, sendo usada tanto a análisecusto-benefício como a análise cus-to-efetividade. A avaliação ex-postimplica em um juízo de valor em rela-ção aos resultados finais da ação de-senvolvida e sua capacidade de pro-vocar uma alteração na situaçãoidentificada inicialmente. Serve tantopara indicar a pertinência da continui-dade ou não de um projeto, no decor-rer de seu desenvolvimento, como asua reedição quando concluído.

A avaliação ex-post, conforme in-dica Oliveira (1998, p.9), vem a sero olhar retrospectivo, que freqüente-mente pode gerar três tipos de açõesimportantes:

– determinar a continuida-de do projeto executadoe a validade de sua apli-cação em outros camposde trabalho;

– colocar luzes sobre os fa-tores que contribuírampara o êxito ou limitaçãodo projeto;

– elaborar um juízo acercado custo do projeto.

�������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ��������

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

��5��5��5��5��5

Utiliza-se, também, a avaliação deprocessos, que diz respeito e deter-mina se os instrumentos, técnicas,procedimentos são adequados aosfins a serem atingidos e verifica asdificuldades decorrentes das ativida-des desenvolvidas para corrigir seurumo. Em outros termos, ocupa-sedo projeto em si, isto é, de sua formade implementação, aferindo as mu-danças e correções de rumo. Os seusresultados são utilizados pelos pró-prios profissionais. É periódica e di-ferencia-se do monitoramento, casoem que não há uma perspectivaavaliativa. “Sua função é medir aeficiência de operações do projeto.”(COHEN, 1993, p.109).

A avaliação de impacto apontapara os resultados do projeto e, ainda,se aparecem, e em que medida, efei-tos secundários que ultrapassam osprevistos e não previstos. Olha paraalém do projeto e os seus resultadossão utilizados para argumentaçõespolíticas ou técnicas para encerrar oucontinuar um projeto. Os dois tipos deavaliação diferem-se, um olha paratrás (de impacto) e o outro olha parafrente (de processo).

- ������ �� �������� ��- ������ �� �������� ��- ������ �� �������� ��- ������ �� �������� ��- ������ �� �������� ������ ���� � � ����.� �/���� ���� � � ����.� �/���� ���� � � ����.� �/���� ���� � � ����.� �/���� ���� � � ����.� �/����� ������ ������ ������ ������ �

Entende-se monitoramento comoum processo sistemático e contínuopara produzir informações sintéticasque permitam ou viabilizem a rápidaavaliação situacional e a intervençãoque confirma ou corrige as açõesmonitoradas.

O monitoramento da gestãopública responde ao seguin-te princípio elementar: não sepode conduzir com eficácia seo dirigente não conhece demaneira contínua e a maisobjetiva possível os sinais vi-tais do processo que lidera e

da situação na qual intervém.Um sistema de informaçõescasuístico, parcial, assiste-mático, atrasado, inseguro,disperso e sobrecarregado dedados primários irrelevantes,é um aparato sensorial defei-tuoso que limita severamentea capacidade de uma organi-zação para sintonizar-se comos processos concretos, iden-tificar os problemas atuais epotenciais, avaliar os resulta-dos da ação e corrigir opor-tunamente os desvios com res-peito aos objetivos traçados.(MATUS, 1996, p. 2).

Na ação cotidiana do assistentesocial os sistemas de avaliação e con-trole devem ser coerentes com os ob-jetivos que se quer atingir. Nessaperspectiva, três focos podem seridentificados em um primeiro momen-to: a avaliação da instituição em si,abarcando os seguintes aspectos,para os quais se pode construir al-guns indicadores: coerência epertinência social da sua missão;integração com o seu entorno, co-munidade ou região; competência nodesempenho de tarefas; atualidade deseus processos de trabalho; flexibili-dade para incorporação de novasdemandas; visibilidade e reconheci-mento social e sua forma de inser-ção na esfera pública. Tem como ob-jetivo apreciar a capacidade de res-posta e influência da organização.

Outro foco de avaliação incidesobre os serviços prestados aos seususuários, a partir da implementaçãode um sistema de planejamento.

Um terceiro foco é a avaliação dopróprio desempenho profissional, ajui-zando, a partir dos resultados obtidos,as necessidades de aprimoramento,atualização e reciclagem. Significapensar sobre o processo de trabalhodesenvolvido, a partir de suaconcretude operativa e não de discur-sos sem relação com a realidade. Aavaliação possibilitará, ao profissional,

apreciar os fatores que são decorren-tes de fragilidades de sua ação ou defatores alheios à mesma. Este pro-cedimento tem duas dimensões signi-ficativas: de um lado contribui para oaperfeiçoamento profissional individu-al e de outro com a categoria dos as-sistentes sociais, na medida que o re-lato da experiência pode ser partilhadoe apreciado pelos demais profissionais.

Um pormenor significtivo que deveser levado em conta em processos demonitoramento e avaliação é a impos-sibilidade de um desenho experimen-tal, ou seja, construir um sistema dereferência rígido e não sujeito à sub-jetividade dos envolvidos nas políticassociais. O recurso metodológico uti-lizado para superar esse impasse foio uso estratégico do que a “literaturachama de desenhos quase – experi-mentais, dado que não nos é possívelcontrolar todas as variáveis ambientaisque atuam no experimento – um ciclocompleto de implementação da políti-ca.” (OLIVEIRA, 1998, p. 10).

Torna-se necessário a “[...] a cons-trução de indicadores de desempe-nho e indicadores de qualidade quelevem a uma avaliação correta da efi-ciência, eficácia e efetividade dasações” (IEE, 1998, p. 58).

Garcia (2001, p. 37) relaciona al-guns tipos de Indicadores utilizadosatualmente na gestão dos programase projetos:

1. Sobre os Problemas: –Indicador(es) do Problema, –Indicadores das Causas Críti-cas, – Indicadores das Conse-qüências do Problema;

2. Sobre os Atores Pertinentes aoProblema: – Indicador de Inte-resse, – Indicador de Motiva-ção, – Indicador dos RecursosControlados;

3. De Execução: – Indicadoresde Recursos (financeiros, hu-manos, materiais, etc.), – Indi-cador de Eficiência (interme-diária e terminal), – Indicadorde Eficácia (intermediária e

��������������+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

��6��6��6��6��6

terminal), – Indicador de Opor-tunidade (cronograma de exe-cução), – Indicador da Execu-ção Orçamentária;

4. De Contexto: Indicadores re-ferentes às variáveis relevan-tes para o sucesso do progra-ma e que estão fora da capaci-dade de predição e controle dogerente/ator;

5. De Resultados: Indicadoressintéticos que evidenciam astransformações produzidas narealidade.

Pode-se construir, ainda, indicado-res de processo e eficácia e deefetividade ou impacto. Os indicado-res designam ou selecionam certaspropriedades, certas característicasque têm a ver com o conceito ou como objeto de estudo, seja no plano dapesquisa ou da avaliação. São formasde concretizar um conceito ou objetode estudo, isto é, os elementosobserváveis, quantificáveis eescalonáveis de um fenômeno Porisso, ao se estabelecer os indicado-res, apenas está se considerando umaparte de um fenômeno ou conceito,ao mesmo tempo que se tenta esta-belecer relações entre essas partes.

Os indicadores são obtidos peloprocessamento de informações sobreos aspectos importantes dos proces-sos que integram a realidade e àsações com que se busca mudá-la.(GARCIA, 2001).

A tarefa do avaliador reside nasua capacidade de estabelecer indi-cadores para cada um dos setores edimensões do fenômeno a sermonitorado e avaliado. Os indicado-res, para terem alto impactooperacional devem preencher doisrequisitos: têm que ser facilmentedetermináveis; devem corresponderrazoavelmente ao universo de carac-terísticas mais amplas.

Deve-se ressaltar que cada indi-cador não tem relação absoluta coma matéria/fenômeno estudado, masapenas um alto grau de probabilidade

de caracterizá-lo, mensurá-lo oudimensioná-lo.

Para se elaborar indicadores deve-se decidir quais os limites ou o núme-ro necessário para captar as dimen-sões da matéria/objeto no sentido degarantir sua apreensão e a maior fi-dedignidade possível para a respeita-bilidade do processo avaliativo.

A partir dos indicadores podem serestabelecidos índices – medida do in-dicador na realidade observada. As-sim, o índice é o elemento que infor-ma em que proporção ocorre deter-minado fenômeno. Por sua vez, a aná-lise e a avaliação dos índices possibi-litam estabelecer os parâmetros, ouseja, as expressões numéricas de umconceito ou variáveis do conceito, queservem como instrumentos de medi-da do fato ou das variáveis conside-radas características de determinadofato/fenômeno. Pode-se por exemplo,medir o grau de aumento de autono-mia de um grupo, computando-se onúmero de suas iniciativas, tais comoaudiência com autoridades, abaixo-assinados, providências realizadas.(OLIVEIRA, 1998, p. 11).

Os indicadores sociais aparecemnas décadas de 1920 e 30, ainda quenão com essa denominação. A idéiade medir aspectos sociais pode tersurgido de várias fontes:

– preocupação com a medida dasmudanças sociais;

– a emergência de uma nova ide-ologia, com ênfase em aspec-tos sociais, além dos econômi-cos para avaliar o real bem es-tar das sociedades;

– grande desenvolvimento das ci-ências sociais nos anos 30 a 50e a adoção de métodos quanti-tativos pelos pesquisadores;

– incluir alguma informação dequalidade de vida –com respei-to a índices.

A intenção inicial da construção dosindicadores sociais está associada ànecessidade de se medir o grau de

desenvolvimento social, superando asmedidas unicamente econômicas.

Uma definição clássica de indica-dores, datada de 1966 é a seguinte:

estatísticas, séries estatísticase todas as outras formas deevidência que nos permitemavaliar onde estamos e paraonde vamos com respeito aosnossos valores, objetivos eavaliar programas específi-cos e seu impacto. (BAUER,apud SEIBEL, 1996).

O autor chama a atenção para o fatoque inovações, particularmente inova-ções técnicas, têm conseqüências quevão além do que se pretendia ou ante-cipava. Portanto, se o planejamento e aorientação de programas, especialmenteos de larga escala, requerem que estesimpactos sejam avaliados, isso pressu-põe que tais impactos possam ser iden-tificados e medidos. Segundo ainda omesmo autor, a utilidade principal de in-dicadores sociais é prover a base parao planejamento.

Outra definição de indicadoressociais é que são medidas de produ-tos sociais, ou seja, medem a aquisi-ção de um objetivos. (STANFORD,apud SEIBEL, 1996).

Os indicadores sociais têm sidousados para avaliar as ações e o de-sempenho do governo, das políticaspúblicas nos planos internacional enacional e de forma menos recorren-te de governos estaduais, municipaise no plano das micro-políticas. Podemter duas grandes funções no planopolítico-administrativo:

– ressaltar as demandas sociaisreprimidas, isto é, identificarque aspectos ainda não foramincorporados à agenda de pre-ocupações de ONGs e OG;

– aferir os efeitos de fenômenoseconômicos de políticas de or-dem macro ou estruturais so-bre as condições sociais regio-nais ou locais, bem como os

�������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ��������

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

��7��7��7��7��7

resultados de políticas sociaisimplementadas, entre outras.

Os indicadores sociais foramtradicionalmente utilizadospara aferir macro fenôme-nos, e como tal foramconstruídos para instrumen-talizar projetos tecnocrá-ticos, tornando-se ferramen-ta fundamental de seu dis-curso, que tem na raciona-lidade econômica o denomi-nador exclusivo da utiliza-ção e leitura da realidadeonde intervém. O processo dedemocratização social pro-põe, no entanto uma gestãoda coisa pública que privile-gie a racionalidade social.Os setores democráticos daesfera de gestão pública,governamentais ou não go-vernamentais, necessitam re-alizar a revisão dos conteú-dos dos indicadores sociais,para que possam torná-lo uminstrumento eficaz de gestãode projetos políticos admi-nistrativos que tenham seusobjetivos justamente direcio-nados a uma racionalidadesocial. (SEIBEL, 1996, p.5).

O mesmo autor comenta que osindicadores sociais, no plano local,podem ser usados para

a) estudos comparativos entremunicípios, bairros ou segmen-tos de população;

b) estudos comparativos de umbairro, região, município comdados estaduais, nacionais einternacionais;

c) estudo do comportamento his-tórico de problemas sociais, noâmbito de um município ou umaregião, percebendo metodologi-camente suas reações a fato-res políticos, econômicos, soci-ais e administrativos, (partidos

políticos no governo, processosmigratórios, acidentes climáti-cos, alteração na estrutura eco-nômica do município);

d) estudo da capacidade de ges-tão do município para implemen-tação de políticas públicas;

e) estudo da oferta de serviços.

Tradicionalmente algumas ONGs eOG, no plano nacional e internacional,vêm trabalhando com indicadores soci-ais, sendo os mais conhecidos os daONU – Programa das Nações Unidaspara o Desenvolvimento, que construiuem 1990, um índice de desenvolvimen-to humano, IDH ou HDI, que permiteuma comparação entre 174 países.Compõe-se de três indicadores:

– longevidade, medido pela es-perança de vida ao nascer;

– conhecimento, medido pelataxa de alfabetização (% depopulação de 15 anos ou maisque sabe ler e escrever);

– padrão de vida, medido peloPIB em dólares internacio-nais (dólares corrigidos de for-ma a preservar a paridade dopoder de compra – PPC).

Os resultados são publicados sobo título de Relatório de Desenvolvi-mento Humano – RDH – e, confor-me aponta Carlos dos Santos, ao re-fazer a história do RDH,

Neste retorno ao passado ébom recordar que o RDH foimuito alvejado em todo omundo por políticos dos doislados da barricada. Todospensavam que poderiam usaro relatório como arma. De-pois do terceiro relatório, to-dos compreenderam que osíndices enunciados eram de-masiados sérios para servi-rem para qualquer outra coi-sa que não um guia para cor-reções de erros que possamdificultar o desenvolvimento

humano na sua totalidade.(SANTOS, 2000, p.3).

Cada vez mais os resultados doRDH vem sendo utilizado no desenhodas políticas públicas e no Brasil, e,permitiu ao governo federal, em 2000,a formulação do plano nacional anti-pobreza, chamado originariamente deIDH-14 e, atualmente, de Projeto Al-vorada.

A ONU também produziu, em1992, o ILP – Índice de LiberdadePolítica, aplicado em 104 países, paraaferir os indicadores de cidadaniacomo segurança pessoal, imperativoslegais, liberdade de expressão e par-ticipação política.

A UNICAMP apresentou por doisanos consecutivos, em 1986 e 1987,uma publicação denominada “RetratoSocial da Nação”, que continha os prin-cipais índices sociais por área especí-fica, com o objetivo de divulgar umaavaliação das políticas sociais no país.

Os apontamentos acima sinalizamque cada instituição, cada planejador,formula seus indicadores e índices daforma que mais lhe convém em rela-ção a seus objetivos e resultados es-perados com sua utilização.

Na avaliação o indicador é a uni-dade que permite medir o alcance deum objetivo ou de uma meta. Ele tra-duz, de maneira objetiva, os resulta-dos da ação executada e está vincu-lado ao objetivo e a meta. Cada umdos objetivos deve conter alguns (pou-cos e significativos) indicadores.

Uma tarefa que antecede à avali-ação e sem a qual a mesma é inviávelé a exigência de um sistema demonitoramento/acompanhamento.Deve-se montar um sistema demonitoramento/acompanhamento doprojeto, indicando com clareza quaissão os instrumentos que serão utiliza-dos para o registro das ações desen-volvidas, gerando um sistema de in-formações sobre as mesmas.

Tais informações têm fontes vari-adas: parte virá de sistemas de in-

��������������+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

��#��#��#��#��#

formações gerenciais, base para a or-ganização do monitoramento e partede documentos administrativos regu-lares – atas regulares de inspeção –andamento de obras, cumprimento denormas, etc., amostragens estatísticasperiódicas ou especiais; pareceres deperitos; mídia; opiniões de usuáriossistematicamente aferidas, entre ou-tras (GARCIA, 2001).

Este sistema deve ser simples paraque possa ser implementado e sufici-ente para fornecer as informações.Ressalta-se que os instrumentos sãoos que a instituição mantém para seusregistros, devendo estes apenas seremreadequados para a futura utilização.Um sistema de avaliação de processo,com ênfase na eficácia, não é difícilde ser montado, articulando os itens doplanejado com a construção dos regis-tros necessários para sua aferição.

Este é o momento de se definiralguns indicadores “chaves”. Os in-dicadores, enquanto medidas indire-tas para colher informações, têm, nasua construção, um trabalho bastantedelicado, pois não existem maneirascodificadas de estabelecê-los e, tantoa sua construção como qualquer de-cisão a respeito tem um caráter arbi-trário, pois é preciso utilizar pressu-postos que não podem ser confirma-dos. (SULBRANDT apud CARVA-LHO, 1997, p.129). A sugestão é quepara cada objetivo se estabeleça al-guns indicadores para posterior avali-ação. Os indicadores

[...] devem ser definidos deforma a descrever acura-damente como o atual desem-penho se relaciona com a mis-são, com os objetivos estra-tégicos e as metas. Todo indi-cador tem uma medida de re-sultado, que é expresso emtermos idênticos aos do obje-tivo ou meta que deverá me-dir. (PEREIRA, 1998, p. 28).

Um indicador para ser adequadodeve apresentar os seguintes requisitos:

ser compreensível, abrangente, de fácilaplicação, permitir uma única interpre-tação, adequar-se ao processo de cole-ta de dados existentes ou passível deser implementado, ser preciso e ofere-cer subsídios para futuras decisões.

Outro ponto importante é marcar aperiodicidade com que se vai proce-der a avaliação, estabelecendo rotinase procedimentos técnico-administrati-vos para tanto. Normalmente a defini-ção dos prazos é estabelecida pelaagência financiadora, e em administra-ções públicas tal definição é flexível,ainda que devesse ser anual, com umbom procedimento democrático.

A divulgação dos resultados obti-dos é imprescindível, pois é o que ga-rante a confiabilidade na instituição eo apoio popular ao que vem sendo de-senvolvido. Diversos instrumentos vêmsendo usados nesta divulgação, desdereuniões com participação de segmen-tos organizados da sociedade civil atéboletins e informativos periódicos.

Em relação ao item divulgação, suaperiodicidade é fato relevante, pois vaifavorecendo uma cultura de controle eavaliação, tanto do lado dos executoresdo planejamento como dos usuários.

- ���� �* ��������/��- ���� �* ��������/��- ���� �* ��������/��- ���� �* ��������/��- ���� �* ��������/��

� �����0 ��� �� ��� �����0 ��� �� ��� �����0 ��� �� ��� �����0 ��� �� ��� �����0 ��� �� ��

����� ��� � �������� � ����� ��� � �������� � ����� ��� � �������� � ����� ��� � �������� � ����� ��� � �������� �

� ������ � ��� ������ � ��� ������ � ��� ������ � ��� ������ � ��

������� ��� ��������* ���������� ��� ��������* ���������� ��� ��������* ���������� ��� ��������* ���������� ��� ��������* ���

+���� ����/�� ����� ������+���� ����/�� ����� ������+���� ����/�� ����� ������+���� ����/�� ����� ������+���� ����/�� ����� ������

������ +�� ������� �������� +�� ������� �������� +�� ������� �������� +�� ������� �������� +�� ������� ��

$� ��� ��� ���� ��� �$� ��� ��� ���� ��� �$� ��� ��� ���� ��� �$� ��� ��� ���� ��� �$� ��� ��� ���� ��� �

������� ������� �������� ������� �������� ������� �������� ������� �������� ������� �

� ��* � ������� �� ���� ��* � ������� �� ���� ��* � ������� �� ���� ��* � ������� �� ���� ��* � ������� �� ���

������������ ) ��������������� ) ��������������� ) ��������������� ) ��������������� ) ���

�1�����, �1�����, �1�����, �1�����, �1�����,

Conseqüentemente, a avali-ação se apresenta como aatividade que busca desco-brir as surpresas, conhecero porquê dos erros e dosacertos, reforçar ou criticara teoria do problema e doprograma, para melhorar aqualidade e a direciona-lidade da ação governamen-tal. (GARCIA, 2001).

A avaliação é, quando eticamen-te utilizada, um aliado das ONGs eOG que têm um compromisso com ajustiça social, sendo o procedimentoque permite superar a argumentaçãovazia, ideologizada, retórica e unica-mente discursiva, para alçar um pa-tamar de concretude que viabiliza oprocesso decisório e a formação eampliação da consciência social eético-política.

2������ �� ����� �� � � � /2������ �� ����� �� � � � /2������ �� ����� �� � � � /2������ �� ����� �� � � � /2������ �� ����� �� � � � /(��� �� ��� �$��� �(��� �� ��� �$��� �(��� �� ��� �$��� �(��� �� ��� �$��� �(��� �� ��� �$��� ��������������������������

Avaliação – é a comparação dosresultados alcançados (descritos pe-los indicadores de desempenho) como desempenho pretendido (descritospelos objetivos estratégicos e metasdefinidos). (PEREIRA, 1998a, p.30).

Avaliação – é uma atividade quetem por objetivo maximizar a eficáciados programas na obtenção de seusfins e a eficiência na alocação de re-cursos para a consecução dos mes-mos. (COHEN, 1993, p. 77).

Benefícios – são insumosdirecionados a grupos específicos.(IEE, 1998, p. 47).

Cobertura – é a proporção queexiste entre a população que formaparte do grupo que tem a necessida-de social e recebe os serviços, dividi-da pela população que tem a necessi-dade que o projeto procura atender.(COHEN, 1993, p. 95).

�������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ��������

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

�� ��� ��� ��� ��� �

Demanda – conjunto de solici-tações por um bem, benefício ou ser-viço.

Efeitos – situações e resultados(intermediários) atingidos com a exe-cução do projeto.

Efetividade – juízo de valor esta-belecido a partir da relação entre aexecução de um programa e o im-pacto provocado na realidade onde foiexecutado.

Eficácia – avaliação da relaçãoentre objetivos e instrumentos de umprograma ou projeto e os resultadosobtidos. Pode ser considerada uma ava-liação de processos implementados.

Eficiência – análise do custo be-nefício de um programa, em termoseconômicos ou políticos.

Estratégia – a estratégia se con-figura como o pensamento e decisãocriativa para realizar uma atividade,levando em conta condições realistas,adversas ou não.

Gestão de Processos – forma comoos processos da organização, ou seja,as seqüências de trabalhos que são fei-tos com a finalidade de se realizaremdeterminados serviços ou produtos, sãoelaborados, implementados e aperfeiço-ados. (PEREIRA, 1998, p.39).

Impacto – resultados dos efeitosde um projeto (resultado final) sobreuma situação ou realidade.

Indicadores – são os aspectosobserváveis de determinados fenôme-nos. São estabelecidos a partir da se-leção de aspectos observáveis/dimen-sões que expressem o objetivo. Umindicador não representa o objetivo ouobjeto ao qual se refere, mas contémalgumas de suas propriedades ou ca-racterísticas. Podem indicar expres-sões objetivas ou subjetivas.

Índice – é a medida do indicadorna realidade observada. É o elemen-to que informa em que proporçãoocorre determinado fenômeno.

Objetivos – situação (estado dese-jado) que se pretende atingir com a rea-

lização do projeto. (COHEN, 1993, p.91).

Parâmetros – são expressões nu-méricas de um conceito. Servem paramedir fatos ou varáveis consideradascaracterísticas de determinados fenô-menos. São medidas – padrão paraanálise dos índices levantados.

Plano – é a soma dos programasque têm objetivos comuns. O Plano éconsiderando um instrumentonormativo e político, delineando deci-sões de caráter mais geral, amplo.

Programa – o programa pode sercompreendido de duas maneiras, umacomo o desdobramento do plano emunidades menores, contemplando se-tores diferenciados, ou outra, quandoreúne ações com os mesmos objetivos.É um conjunto de projetos que perse-guem os mesmos objetivos, guardan-do estreita relação entre os mesmos.

Projeto – é um empreendimentoplanejado, que consiste num conjunto deatividades inter-relacionadas e coorde-nadas para alcançar objetivos específi-cos dentre dos limites de um orçamen-to e de um período de tempo dados.(ONU apud COHEN, 1993, p.85).

Serviços – são estruturasoperacionais organizadas para desen-volver atenções específicas a seg-mentos de população ou grupos es-peciais. (IEE. 1998, p.47). Têm umcaráter de concretude que pode seridentificado em ações que realiza.

Recebido em 12/12/01. Aceito em04/02/2002.

"����3 ����"����3 ����"����3 ����"����3 ����"����3 ����

ARRETCHE, M. T. Tendências noestudo sobre avaliação. MELO RICO,E. (Org.) Avaliação de PolíticasSociais: uma questão em debate. SãoPaulo: Cortez, 1998.

BRASIL. Ministério do Planeja-mento, Orçamento e Gestão. Projetode Lei do Plano Plurianual, 2000-2003. Projeto de Lei do PPA 2000.

Brasília, 1999.

_____. Ministério do Planejamento,Orçamento e Gestão. Projeto PlanoPlurianual 2000-2003, Projeto deLei do PPA, v. I, p. 25, 1999.

_____. MP/SPI. PPA 2000: Manualde Elaboração e Gestão. Brasília, abr.1999.

_____. Ministério da AdministraçãoFederal e Reforma do Estado.Cadernos MARE, vol. 1-13. Brasília:MARE,1998.

CARVALHO, M.C.B. – Avaliação deProjetos Sociais, Treinamento deGestores Sociais. CapacitaçãoSolidária. Brasilla. 1998.

_____. Avaliação Participativa:uma escolha metodológica. MELORICO E. (Org). Avaliação dePolíticas Sociais: uma questão emdebate. São Paulo: Cortez, 1998.

COHEN, E. & FRANCO, R.Avaliação de Projetos Sociais,Petrópolis: Vozes,1993.

FIGUEIREDO, M.F.; FIGUEI-REDO, A.M.C. Avaliação Políticae Avaliação de Políticas: um quadrode referência teórica. São Paulo:Instituto de Estudos Econômicos,Sociais e Políticos de São Paulo:IDESP, n. 15, 1986.

FRITSCH, R. PlanejamentoEstratégico: Um instrumental para aintervenção do Serviço Social?.Serviço Social e Sociedade. N. 52.,p. 127-144. São Paulo: Cortez, 1996.

FRITSCH, R. Planejamento Estra-tégico: Um instrumento de intervenção.Porto Alegre: Dacasa, 1996.

GARCIA, R.C. Subsídios paraorganizar Avaliações da AçãoGovernamental. Texto para discussãoN. 776. Brasília: Instituto de PesquisasEconômicas Aplicadas, 2001.

INSTITUTO DE ESTUDOSESPECIAIS. Diretrizes paraelaboração de Planos Municipaisde Assistência Social. IEE/PUC:São Paulo, 1998.

��������������+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'����+,� � -���.���-��.� !� /��0.�1�' � /�����-�' ��1���' 2 �����!� 1��1��.�' 3'�1�'

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���

MATUS, C. Política, Planejamento& Governo. 2.ed. Brasília : Institutode Pesquisa Econômica Aplicada /IPEA, n. 143, 1996.

MARINHO, A. e FAÇANHA, L.O.Programas sociais: efetividade,eficiência e eficácia como dimensõesoperacionais da avaliação. Texto paradiscussão n. 787. Brasília: IPEA,2001.

NOGUEIRA, Vera M. R. N. Plane-jamento na prática profissional doAssistente Social. Material Didático,DSS/CRESS – 10° região/Universi-dade Estadual de Londrina, 1990.

_____. O Planejamento no cotidianoda ação profissional – revendoconceitos e atualizando práticas.Semana do Assistente Social.Departamento de Serviço Social/Universidade Estadual do Oeste,Toledo,1996.

_____. O planejamento e avaliaçãode Programas e Projetos Sociais.Cadernos CRESS, n.4. Florianópolis:CRESS 12o Região, 1998.

OLIVEIRA, H.M.J. O planejamentoe avaliação de Programas e ProjetosSociais. Cadernos CRESS, n.4.Florianópolis: CRESS 12o Região,1998.

OLIVEIRA, D. P. R.. PlanejamentoEstratégico: Conceitos, Metodologiae Práticas. São Paulo: Atlas, 1988.

PEREIRA, L. C. B. Cadernos doMARE, v.1. A Reforma do Estadodos Anos 90: Lógica e mecanismosde controle. Brasília: Ministério daAdministração Federal e Reforma doEstado, 1997 .

_____. Cadernos do MARE, v.2.Organizações Sociais. Brasília:Ministério da Administração Federale Reforma do Estado, 1997 a.

PESTANA, Maria I. G.S. – Avalia-ção Educacional – o sistema nacionalde avaliação da educação básica. In:MELO RICO, E. (Org). Avaliaçãode Políticas Sociais: uma questão emdebate. São Paulo: Cortez, 1998.

SANTOS, C. Quem tem medo doRDH? Unews Brasil. Sistema dasNações Unidas no Brasil. Ano 1., n.2, nov./dez. 2000.

SEIBEL, E. Indicadores sociais.Florianópolis: Universidade Federal deSanta Catarina, 1998. Mimeografado.

SULBRANDT, J. La evolución de losprogramas sociales: una perspectivacrítica de los modelos usuales.KLIKSBERG, B. (Compilador).Pobreza: un tema impostergable.México: Fundo de Cultura Econômica;Programa de Las Naciones Unidaspara el desarrollo; CLAD – CentroLatinoamericano de Administracionpara el desarrollo, 1994.

#��4#��4#��4#��4#��4

1 O Plano Plurianual 2000-2003(PPA 2000) já foi elaborado sobessa orientação que pôs forteacento nos aspectos relacionadosà gestão e, por conseguinte, em umde seus principais instrumentos: aavaliação. Para a elaboração doplano, o presidente da Repúblicaemitiu orientação estratégica quecontém seis diretrizes (de fatoeram as quatro primeiras,apresentadas a seguir, que foramacrescidas em mais duas, pordeterminação do CongressoNacional quando da votação da Leide Diretrizes Orçamentárias parao ano de 2000): a) consolidar aestabilidade econômica comcrescimento sustentado; b)promover o desenvolvimentosustentável voltado para a geraçãode emprego e oportunidade derenda; c) combater a pobreza epromover a cidadania e a inclusãosocial; d) consolidar a democraciae a defesa dos direitos humanos;e) reduzir as desigualdades inter-regionais; f) promover os direitosdas minorias vítimas de precon-ceitos e discriminação (GARCIA,2001).

Vera Maria Ribeiro Nogueira

Departamento de Serviço Social

Centro Sócio-Econômico – UFSC

Florianópolis – SC

Telefone: (48) 331 6526

e-mail: [email protected]

��������������� �������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ����������� ���� �� ���� ��������

����������������������������� ����� ����� ����� ����� �� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���� � �� � ���� !�"� �##� $������%&���' �( ���)���