« L‘évaluation dans le secteur public: un bilan » - Compte rendu des discussions

MichaelHicks

L‘evaluation dans la pratique - la situation actuelle

Dans 1’exposC qu’il a present4 au colloque, le contrbleur gCnCral du Canada, Harry Rogers, a brosse un tableau de la situation gCnerale de 1’Cvaluation dans les administrations canadiennes, puis il a proposC un dictionnaire de termes. Le fait que ses vues personnelles aient corres- pondu de trks pr&s B la conception officielle du gouvernement f6dCral a

L’duteur est sous-secrhtaire au Service de 1’Bvaluation et de l’dppr&ciation, Mitii\t&re d’Etat au dbveloppement Bconomique & Ottawa.

(( L‘evaluation dans le secteur public : un bilan )) - Compte rendu des discussions

CANADIAN PUBLIC ADMINISTRATION/ADMINISTRATION PUBLIQUE DU CANADA. VOLUME 24, NO. 3 (FALL/AUTOMNE 1981), PP. 359-370.

MICHAEL HICKS

donnk A son expos6 un aspect de plaidoyer qui a 6th extrkmement utile dans le cadre de ce colloque, colloque qui avait kgalement grand besoin des dkfinitions donnkes quant aux nombreux aspects de l’kvaluation. En fait, comme cela est souvent le cas lorsque l’on parle dkvaluation, les participants ont eu tendance i utiliser les diffkrentes expressions d u n e faqon assez floue et ont paru englober dans l’dvaluation A la fois une apprkciation analytique des programmes proposks par le gouvernement et une analyse de ce clue ces programmes avaient effectivement permis de rkaliser.

Les ddfinitions proposees par Harry Rogers dans son exposk, qui se retrouvitrent dans les deux autres documents prksentks au colloque, ont finalement paru htre acceptkes par les participants. L’exposk ktablissait la distinction majeure suivante : l’kvaluation se rkfkre a l’examen d u n processus en place et en cours (a posteriori) plutcit qu’A une analyse d’options politiques qui doit avoir lieu avant la mise en route d u n programme gouvernemental (a priori). Une analyse a priori comprend souvent une apprkciation des activitks en cours ou des activitks rkaliskes, mais ce n’est pas ce que l’on entend par kvaluation des programmes. Ce que l’on veut plutcit dire, c’est que (( l’dvaluation des programmes consiste B prockder A une kvaluation indkpendante et objective d u n programme pour dkterminer, A la lumikre des circonstances actuelles, si ses objectifs, sa conception et ses rksultats, tant voulus qu’imprkvus, sont satisfaisants n. Cette dkfinition, acceptke au moins tacitement par le colloque, a consti- tuk une base convenue de discussion.

Pour Harry Rogers, le fait que chaque sous-ministre ait 6th dksignk comme ktant le client ou destinataire de toutes les etudes dkvaluation rkaliskes dans son ministitre est l’aspect le plus significatif de la mkthode fkdkrale. Les organismes centraux, en leur qualitk de secrktariat des comitks chargks de formuler les politiques du Cabinet, sont consultks pour dkterminer quelles sont lems prioritks et, partant, les programmes qui doivent &tre 6valuks; les sous-ministres doivent, lorsque cela s’avkre nkcessaire, publier les rksultats de ces kvaluations. Le colloque a saisi l’importance du rcile de client jouk par le sous-ministre, car ce rBle tend A kloigner 1’Cvaluation des programmes des rapports assez antagonistes qui existaient prkckdemment entre les ministkres et le Conseil du Trksor. I1 existe cependant, comme le colloque l’a notk, des possibilitks de conflit entre les intkrhts du sous-ministre, en sa qualite de client de l’i.valuation, et ceux inhkrents au nouveau systkme de gestion de dkpenses, dans le cadre duquel tous les programmes prkvus dans une m&me (( enveloppe )) et concernant tous les ministkres sont soumis A l’examen des ministres compktents, rkunis en comitk du Cabinet. Les intkr&ts collectifs plus larges des ministres sikgeant dans les comitks chargks d’examiner les politiques envisagkes dans chaque (( enveloppe )) pourraient les conduire B

360 CANADIAN PUBLIC ADMINISTRATION

UN BILAN DE DISCUSSIONS

convoiter d’un oeil gourmand les ressources des autres ministres et h con- sidkrer avec scepticisme quelques-uns des programmes prkvus par leur propre ministhe. Dans le contexte d’un comitk du Cabinet, l’kvaluation est done un outil que les ministres pourraient utiliser efficace- ment pour rkorienter les politiques et rkaffecter les ressources.

Comme il n’avait, dans son exposk, abordk que brikvement l’kvaluation h 1’6chelon des provinces et des municipalitks, Harry Rogers a ktk le premier B relever 1’interCt que prksenterait une ktude gknkrale de ces niveaux de l’administration. Le contrbleur gknkral a, par ailleurs, ex- presskment dkclark qu’il renonpit h prockder h toute kvaluation den- semble de l’efficaciti. de la conception fkdkrale de 1’Cvaluation. A son avis, une telle tentative serait prkmaturke. Ses remarques Ctaient cependant empreintes d’un optimisme prudent pour l’avenir, optimisme bask sur le fait que le regain d’intkrkt manifeste pour la gestion efficace devrait conduire les administrations B se soucier clavantage de l’kvaluation en particulier.

L‘environnement de I’evaluation La question que Bernard Bonin et Patrick Moran ont poske dans leur exposk consistait A savoir pourquoi certaines initiatives qui ont vu le jour ces dix dernihes annkes dans le but de renforcer l’kvaluation tant B Ottawa qu’au Qukbec, initiatives apparemment si peu kquivoques, se sont rkvklkes si difficiles A mettre en pratique. Se pourrait-il qu’il existe dam le contexte gknkral certains facteurs qui compliquent l’kvaluation des programmes gouvernementaux?

Abstraction faite des problkmes Cventuels que peuvent susciter les techniques d’kvaluation (problhmes qu’ils ont cependant reconnus comme &ant importants), les deux auteurs sont parvenus h la conclusion qu’un important facteur gknkral - l’absence de prix marchand pour un grand nombre de services gouvernementaux - fait qu’il est difficile dattacher une valeur prkcise aux bknkfices retirks d’une quelconque activitk gouvernementale. L’LW~E ne refl&te pas non plus le degrk de force avec laquelle l’usager (l’klecteur) prkfkre telle ou telle activitC du gouvernement, meme si la prkfkreiice qu’il peut kprouver en gknkral pour une administration plutbt qu’une autre est clairement indiquke.

Cependant, en dkpit des importantes difficultks que suscite le contexte d’ensemble, il est souhaitable, et possible, de prockder A une kvaluation gknkrale des programmes, ktant entendu toutefois que les objectifs des programmes doivent &re clairement formulks et exprimCs en termes quantifiables. Selon les auteurs du rapport, c’est lh une thche qui n’a pas 6th aiske pour les ministkres du gouvernement du Qukbec. En fait, l’expkrience recueillie dans cette province en matikre dkvaluation depuis prks de dix ans a fourni au colloque une intkressante Ctude de cas. Ainsi,

361 ADMINISTRATION PUBLIQUE DU CANADA

MICHAEL HICKS

l'analyse des programmes a ktk instituke en 1972 sur une base systkma- tique. I1 avait ktk suggkrk que la plupart des propositions gouverne- mentales soient passkes en revue selon un rythme de cycles pkriodiques de cinq ou six ans. En fait, les analyses des programmes ont pris fin lorsque force a 6th de constater qu'il s'ktait continuellement r6velk impossible d'ktablir une (( kvaluation critique des orientations fondamen- tales )) des programmes. Depuis 1979 cependant, l'kvaluation des programmes a 6t6 reprise avec plus de succks; elle a dailleurs coi'ncidk avec la rkapparition dimportants dPficits budgktaires.

MM. Bonin et Moran ont analysk de faqon assez dktaillke les facteurs ghnkraux affectant l'kvaluation. Les contraintes sont de deux types : celles qui ont trait Q la discipline kconomique, comme la priorit6 &information, un trop grand nombre de variables, l'absence de neutralitk dans l'analyse, etc.; le deuxikme groupe de contraintes affecte la motivation des acteurs dans le processus d'kvaluation - les dirigeants politiques ayant grand- peine B proposer la solution la plus rationnelle et la plus logique plutbt que celle qui est la plus facile 21 appliquer et la plus populaire. De mQme, les fonctionnaires ne peuvent pas toujours appliquer leur intelligence et leur discemement B la solution des problkmes; ils se laissent parfois influencer par le systkme de rkcompenses et de sanctions de la vie bu- reaucratique pour protkger ou m&me klargir leur champ d'action et leur budget plutb que de saisir avec reconnaissance les possibilitks qui leur sont offertes de profiter d'une kvaluation indkpendante.

Les deux auteurs ont termink leur exposk sur la question suivante : peut-on espkrer que les &valuations des programmes seront, B l'avenir, A la fois plus' nombreuses et plus utiles ? A cette question, ils ont rkpondu par un oui prudent. La pknurie de crkdits dans la plupart des budgets gouvernementaux devrait conduire tant les gouvernements que les bureaucraties A recourir plus largement Q l'kvaluation en tant que moyen de r6affecter les resources entre diffkrents programmes qu'il est impossible de soutenir avec la m&me efficacitk. Leur conclusion - bien que prudente - ktait qu'en d6pit des problkmes posks par les techniques

1 d'hvaluation et des progrbs dkcevants enregistrks ces dernikres annkes, l'kvaluation des programmes, envisagke comme un art plutbt que comme une science, devrait connaitre un avenir plus brillant.

L'evaluation : un art plut6t qu'une science

Les professeurs Rod Dobell et David Zussman ont conqu leur exposk dans la perspective des universitaires qu'ils sont prksentement, mais avec derrikre eux un long pass6 de praticiens B la Direction de la planification du Conseil du Trksor du gouvemement fkdkral - un terrain oh les traces



de Doug Hartle se discernaient encore. Le titre de leur exposk : (( Un systkme d’kvaluation pour le gouvernement : si la politique est un thkB- tre, l’kvaluation est (surtout) un art )) annonqait une communication qui, frisant l’iconoclasme, ne perdit jamais cle vue l’importance de l’kvaluation des politiques et des programmes; les deux auteurs considhent en fait cette kvaluation comme tellement importante qu’ils jugent que le moment est venu de cesser d e n parler, pour passer au stade de la mise en pratique.

Leur thkse est que l’evaluation, comme les autres kl6ments de I’analyse des politiques, est subordonnke 8 de graves contraintes de procedure tenant B son contexte institutionnel et politique; cette evaluation connaPt kgalement, du point de vue de l’analyse, des limites qui proviennent de I’absence de critkres ou d’informations. Les auteurs notent que depuis dix ou vingt ans que l’on parle d’kvaluation, on n’a gukre fait plus que changer les mots et les formules. Selon eux, rien ne permet de penser que les efforts dkvaluation qui ont Ctk dkployks jusqu’8 prksent aient conduit B des rksultats concrets et significatifs du point de vue de I’action gouvernementale. C’est donc sans surprise qu’ils notent que les sentiments de dkception et de frustration sont extr&mement r6pandus parmi tous ceux qui attendaient des rksultats plus tangibles des tentatives succes- sives entreprises dans le but de s’attaquer aux problkmes dkvaluation.

Le lecteur tienclra certainement 8 suivre hi-m&me l’argumentation dkveloppke par MM. Dobell et Zussman dans le but de dkmontrer pourquoi les rksultats de l’kvaluation ont ktk inf6rieurs B ce que l’on es- comptait. Parmi ces arguments, l’un a ktk particulikrement utile au colloque : il s’agit de l’hypothkse selon laquelle le modkle de gestion du secteur privk a ktk appliquk au secteur public avec trop denthousiasme et s’est trouvk en conflit direct avec les priorit& d u n gouvernement parlementaire et de la responsabilitk ministkrielle. Les auteurs ont conclu l’argumentation dkveloppke dans la premibre moitik de leur exposk sur une mention des (( graves incertitudes qui ont entour6 toutes les dCcisions importantes en matikre de politiques ou de programmes, et l’absence inkvitable de critkres permettant de rkgler dkfinitivement les problkmes pos6s par les options publiques. ))

Dans la deuxikme partie de leur exposk, MM. Dobell et Zussman ont knumkr6 certaines des mesures positives que les gouvernements pourraient prendre. Afin de progresser dans l’kvaluation, B leur avis, on ne devrait pas attendre des systkmes de gestion de l’kvaluation prescrits par le vkrificateur gknkral et mis en place par le contrbleur gknkral (f6dkral) qu’ils produisent des &valuations dkpassant les besoins de la gestion des programmes au sein m6me d u n ministbre. Si l’on veut qu’en matikre dkvaluation des programmes les ministres soient pleinement responsables devant le gouvernement, et le gouvernement devant le Parlement et le


MICHAEL HICKS

public, il faut aller plus loin. La seule garantie de progrbs, lorsqu’il s’agit de renforcer la responsabilitk du gouvernement A l’kgard du public, consiste B accorder un plein accbs Q toutes les informations pertinentes. (( L‘important est de faire passer l’analyse interne dans le domaine public pour qu’elle puisse y Gtre examinke et de mettre les analystes indk- pendants de l’extkrieur en mesure de faire Ieur propre analyse des donnCes concernant les programmes gouvernementaux. )) Or, pour la plupart des choix de caractilre gknkral qui doivent se faire B l’kchelle du pays, une telle ouverture ne suffirait pas en soi. Les processus de prise de dkcision du gouvernement fkdkral sont bouchks, il faut les dkcentra- liser davantage. Les auteurs de l’exposb ont favorablement accueilli le nouveau systilme fkdkral de gestion des politiques et des dkpenses, qui dkcentralise les processus daffectation de fonds et de formulation des politiques en confiant la responsabilitk de leur mise en oeuvre au comitk du Cabinet qui contrdle les enveloppes financikres. 11s ont conch sur cet appel : cessons de parler de l’kvaluation pour la mettre en pratique et en faire I’essai devant Ie public.

L‘evaluation et la clarte des objectifs Comme le colloque l’a dkcouvert aux premiers stades de ses dkbats, 1’Cvaluation est un terme qui dkcrit une gamme considkrable d’activitks du gouvernement. Tout en reconnaissant que ce terme est communkment utilisk comme ktant applicable au processus de prise de dkcision tant avant qu’aprbs la mise en Oeuvre des programmes, le colloque a tacitement considkrk que la question B laquelle il s’intkressait ktait Z’dunluation n posteriori des programmes, ce qui incluait A la fois l’efficience et l’efficacitk. Cette definition, exprimke le plus clairement dans l’ktude de Harry Rogers, a dominC. la discussion des trois exposks snumis au colloque.

La description classique de l’kvaluation des programmes comme &ant une activitk fondke sur une ktude indkpendante d’une skrie dobjectifs clairement dCfinis en fonction de critilres dkterminks a Ctk acceptke comme un objectif souhaitable de tout systkme dkvaluation. Cependant, la discussion est constamment revenue sur les difficult& qui entravent une Cvaluation (( pure D. Un fonctionnaire provincial a dkcrit comment son gouvernement mettait en application son systbme dkvaluation : plutdt que de dkcrire et kvaluer la faGon dont les services correspondaient aux objectifs fixks, les kvaluateurs renversaient la question. Les rksultats des programmes ktaient dkcrits en dktail, puis les objectifs qui semblaient &re rkalisb par les programmes Ctaient ensuite identifiks sur la base des services effectivement fournis. De l’avis du gouvernement de cette province, cette identification a posteriori des objectifs ktait un Blkment utile du systilme d’kvaluation. D’autres participants, reprksentant diffkrentes



provinces et municipalitks, ont notk que l’kvaluation et l’analyse prkalables h la mise en oeuvre des programmes etaient B leurs yeux beaucoup plus utiles que les kvaluations a posteriori dont ils avaient connaissance. Un interlocuteur a souligne que dans le cadre de l’administration municipale, les politiciens aussi bien que les bureaucrates tiraient boil parti d’une discussion en public des analyses rkaliskes et des rksultats publies.

Un participant a relevk que si l’kvaluation a posteriori suscitait moins d’enthousiasme, c’ktait peut-&tre parce que beaucoup de hauts fonctionnaires craignaient qu’elle ne soit utiliske soit pour juger leur proprc performance, soit pour allouer des ressources insuffisantes sur la base du rapport dkvaluation. Dans l’un ou l’autre cas, il semblait que l’kvaluation ait kti! un ph tnomhe h craindre, particulikment si ses modalitks d‘application n’avaient pas 6tk clairement ktablies par la tradition ou par des rkgles expresses considkrkes comme justes et tquitables. Frkquemment, les participants ont not4 avec regret que les fonctionnaires ne sont pas encore encouragks h accueillir favorablement une evaluation des programmes auxquels ils travaillent. En outre, tout au moins dans le cadre du systitme fkdirral dkvaluation, le fait que c’est le sous-ministre, plutdt qu’un organisme central, qui est B la fois le directeur et le client de l’kvaluation de tous les programmes rkalisb par son ministkre, ne signifie pas qu’il soit suffisamment motivk pour s’intkresser B l’kvaluation. Pour lui aussi, la prkoccupation subsiste qu’une kvaluation (( dkfavorable )) puisse se traduire par une perte de ressources financiitres. Cela, en soi, serait cependant tout B fait tolbrable, et meme souhaitable, si le sous-ministre pouvait &tre certain que le comitk qui contrdle le montant total des ressources mises A sa disposition rkaffectait B son ministkre et h son ministre les fonds (( kconomisks )) sur les programmes.

Un autre interlocuteur a parlk du problkme qui consiste B identifier tous les objectifs, de faqon que l’kvaluation des programmes permette de dirterminer la mesure dans laquelle ceux-ci rkpondent en fait aux objectifs fix& Selon son expkrience, il est souvent impossible, tant d u n point de vue thkorique que sur la base de l’expkrience recueillie dans des cas particuliers, didentifier tous les objectifs. D’une faqon ou dune autre, il apparait toujours qu’un programme peut &re (( justifik )) par quelqu’un, habituellement un politicien, en fonction d u n objectif dont il n’a pas 6tk tenu compte dans le processus d’kvaluation. Son argument n’a pas ktk que 1’6valuation des programmes fondke sur des objectifs pr6cis ktait impossible ou inopportune, mais plut6t qu’il n’est pas toujours possible de dkterminer l’objectif (( rkel )). A son avis, cela conduit & douter skrieuse- ment de I’utilitk des techniques classiques d’kvaluation kconomique et financikre lorsque les conclusions sont soumises aux ministres. D’autres, sans aller si loin, ont reconnu qu’il existait des difficult& skrieuses. Un


MICHAEL HICKS

participant a fait observer qu'il se pouvait, dans certains cas, qu'un objectif (( rkel N d u n programme soit connu mais ne soit pas couch6 par Ccrit en raison de sa nature politique. Evaluer un tel programme sans en knoncer l'objectif &el est un gaspillage d'argent.

Limites de I'evaluation des programmes La conclusion essentielle, et relativement polkmique, de l'Ctude de Dobell et Zussman consistait A rejeter une bonne part des techniques utilisCes dans le cadre du nouveau syst&me fCdCral dkvaluation. Les auteurs sont parvenus A la conclusion que les prockdures et les techniques d'hvaluation knonckes par le contrbleur gCn6ral fedkral et devant &re suivies dksormais ne se pr&tent qu'8 des kvaluations rkaliskes 8 l'kchelle des rninistkres et visant 8 permettre aux gestionnaires d'amkliorer la rkalisa- tion des programmes, en ajustant les opkrations ou en les rkorientant. 11s ont ktabli une distinction entre cette Cvaluation formative des gestionnaires et les kvaluations gCnCrales des rkalisations obtenues dans le cadre des programmes, qu'ils ont appelCes kvaluations rkcapitulatives. Aprbs avoir dCfendu cette thbse au colloque, le professeur Dobell est all6 plus loin. I1 a exprimk la crainte qu'en voulant faire adopter des systbmes d'kvaluation (efficaces sur le plan de la gestion) au niveau du Cabinet ou du Parlement, on ne limite, pour les politiques suivies, l'obligation rkelle de rendre des comptes en sous-entendant qu'une procCdure objective peut &tre appliquke. En de pareilles circonstances, le Parlement ne pas- serait pas vraiment en revue Ies principales dkcisions prises. PlutBt que de surcharger les ministres et le Parlement des analyses et des kvaluations habituelles, oh foisonnent les donnCes Cconomiques et financibres, un type d'analyse moins rigide et moins scientifique permettrait aux ministres, au Parlement et au public de mieux comprendre ce qui est effectivement accompli. Les spkcialistes de l'extkrieur sont le mieux A m&me de faire de telles &valuations; mais si l'on veut qu'elles soient utiles, il importe de les publier et de veiller A ce qu'elles soient discutkes en public.

Le colloque a abordk la question des limites de I'Cvaluation sous plusieurs angles. Quelques participants ont dCclarC que, quelle que puisse Ctre la limite thkorique, I'expCrience pratique recueillie en matikre $&a- luation des programmes Ctait si limitke qu'il Ctait trop tat pour tenter d e n dkterminer l'utilitC. D'autres ont soulignC I'importance de la crise financibre que traversaient actuellement la plupart des administrations du Canada et ont dCclark qu'elle constituait un argument puissant en faveur de l'6valuation. La pCnurie de ressources conduirait les politiciens A avoir plus largement recours A I'Cvaluation. Les ministres souhaitent lais- ser leur empreinte dans leur rkgion ou parmi le public desservi par leur



ministkre. A tout le moins, si aucun crkdit nouveau n’est disponible, l’kvaluation des programmes dkja mis en place semblerait Ctre un moyen utile de dkgager et de rkaffecter des crkdits existants.

La pknurie de ressources n’est cependant pas le seul moteur de l’kvaluation, comme l’a rappel6 un participant reprksentant une province de l‘Ouest. Dans sa province, l’kvaluation est chose courante au niveau du Cabinet, m&me en situation d’kquilibre budgktaire. Les ministitres doivent ainsi proposer, tous les ans, une tranche de crkdits de 58, au bas de l’kchelle de leurs prioritb, qui pourrait &tre supprimke. Si le Conseil du Trksor leur assigne une faible prioritk lors de l’examen du budget, ces programmes ou k16ments de programmes devront alors Ctre rkexamids en m&me temps que tous les programmes nouveaux dont le financement est envisagk. MCme un programme de subventions aux exploitants agri- coles reprksentant quinze millions de dollars a kt6 dimink de cette manikre aprits que le Cabinet, convaincu par les conclusions de I’kvaluation, fut parvenu a la conclusion que ses objectifs n’ktaient pas appro- pri6s. Les ministres faisant partie du Cabinet aiment B kvaluer les programmes car ce processus leur laisse une marge de manoeuvre sur le plan fiscal. Par ailleurs, chaque ministre est souvent convaincu qu’un examen collectif peut lui &tre favorable. Ses propres (( bonnes idkes ))

apparai‘tront encore meilleures aprks que les (( folles idkes )) de ses collit- gues auront Ctk Cvalukes et kcartbes.

Un autre participant ayant l’expkrience de l’administration au niveau tant fCd6ral que provincial a fait valoir que ce sont les fonctionnaires qui devraient pousser a une kvaluation de l’efficacitk de la gestion des programmes. Nous devons cependant veiller A ne pas imposer aux politiciens un systkme qui mette en cause les aspects les plus profonds de la raison d’&tre d’un programme, A moins que ceux-ci ne veuillent vraiment les examiner sous cet angle. Selon ce participant, les politiciens tiendraient certainement, poussks par la pknurie de ressources, B twaluer les programmes en profondeur, mais il faut au prbalable s’assurer qu’ils souhaitent vraiment demander A leurs administrations de le faire. Un systkme di.valuation c o n y par et pour la bureaucratie serait sans signifi- cation pour les politiciens. Non, a rkpondu un autre participant, si nous attendons que les politiciens demandent une kvaluation des programmes, nous allons attendre trks, trBs longtemps. Ceux qui sont au pouvoir n’en voudront pas. Ceux qui ne sont pas au pouvoir ne savent pas quoi demander. A son avis, l’kvaluation de l’efficaciti. des programmes doit &re un processus public, il ne faut pas attendre des politiciens qu’ils en pren- nent l’initiative si les rbsultats de l’kvaluation pouvaient compromettre le programme et causer des difficultks sur le plan politique. Un autre participant a fait observer que la grande majoriti. des programmes n’ont guBre


MICHAEL HICKS

d’incidences sur le plan politique et que les politiciens auraient peu de raisons dhksiter A publier les rksultats de telles &valuations.

Une discussion publique A diffdrents stades de la discussion, comme on l’a dkjA vu, le colloque a abordk le problkme de savoir comment et quand les ktudes d’kvaluation devraient btre utiliskes. Bien que, dans l’ensemble, les participants aient eu tendance h 6tre favorables h une publication et que, comme nous l’avons vu, Dobell et Zussman en aient fait un klkment essentiel de leur conclusion, plusieurs participants ont lancd des mises en garde. L’un dentre eux s’est demandk si les politiciens ne craindraient pas que les mkdias fassent grand fracas autour des rksultats de l’kvaluation et que la presse ne releve que les cas de gabegie sans s’intkresser aux questions ayant trait A la structure, A la conception et aux avantages des programmes. Si tel ktait le cas, la publication des rksultats de l’kvaluation deviendrait, selon lui, une source dembarras pour les administrations, et les hommes politiques en viendraient d. demander moins ddvaluations.

On a relevk qu’au plan fddkral, l’adoption du projet de lai sur la libertb de l’information dkboucherait automatiquement sur la publication de rapports dkvaluation, dont la grande majoritk n’auraient gukre dinci- dences sur le plan politique; mais le petit nombre de rapports qui en auraient pourraient causer aux administrations suffisamment de difficultks pour mitiger l’enthousiasme kprouvk pour l’kvaluation et les conduire A rCaliser un nombre de plus en plus grand d’ktudes dans le secret. En ddpit de ces rkserves, le colloque a sembl6 fermement convaincu que l’on n’arrbterait pas la libertk de l’information et que, dans l’ensemble, la publication des ktudes d’kvaluation serait une mesure positive.

Conclusions Vers la fin du ddbat, une breve intervention a retenu l’attention du colloque. Pourquoi, a demandk un haut fonctionnaire d u n gouvernement provincial, l’bvaluation connait-elle un accouchement si difficile ? Pour- quoi hksitons-nous tellement, en tant que gestionnaires bien intentionnb, A faire ce que nous devrions si kvidemment faire? Les gens de bonne volontk doivent se poser, A propos de l’kvaluation des programmes rkalisks par le secteur public, le genre de questions dont noris avons parlC. I1 faut simplement que nous disposions des mkcanismes qui nous permettent de nous poser rkgulikrement ces questions. Le colloque a convenu que l’kvaluation des programmes, tant du point de vue de l’efficience que de l’efficacitb, devrait devenir en permanence partie intdgrante du secteur public. Tous les participants se sont accordks B reconnaitre qu’une partie du travail connue sous le nom d’bvaluation de



l’efficience - B savoir la mesure des intrants et des extrants quantifiables et la vkrification de la gestion - devient progressivement un klkment des systkmes de gestion du secteur public aux trois ordres de gouvernement. On a estimk que les mkthodologies existantes sont adkquates pour ces systkmes de mesure de rkalisations et que l’on pouvait lkgitimement s’attendre A ce que des rksultats positifs continuent d’6tre enregistrks dam ce domaine.

Le m&me degrk de consensus n’a pas ktk atteint au sujet de la faqon dont se prksentaient les perspectives davenir de l’kvaluation de l’efficacitk des programmes. Bien que nu1 n’ait doutk de ses mkrites ni meme de sa nkcessitk, plusieurs participants ont, de divers points de vue, manifest& leur scepticisme quant A ses chances de rkussite. Rares ont 6th ceux qui se sont dkclarks certains que les rapports et les ktudes produits grlce B un systeme pleinement dkveloppk dkvaluation de l’efficacitk des programmes ne se rkvi-lent importants pour le Parlement ou les 16gislatures. Ce pessimisme ktait cependant fondk, en partie, sur l’impression g6nkrale que des kvaluations formelles et pleinement dkveloppkes conviennent ma1 A des organes lkgislatifs. En fait, le colloque a semblk convaincu qu’il n’est pas possible qu’un seul modele d’kvaluation des programmes soit applicable aux quatre types d’usagers, B savoir les ministres, les fonctionnaires, les lkgislateurs et conseils municipaux, et le public. Comme nous I’avons vu, l’ktude de Dobell et Zussman fondait son optimisme sur une discussion publique plutbt que parlementaire des rkwltats des kvaluations publiCes.

Le colloque a kgalement appris qu’au niveau des administrations muni- cipales, l’kvaluation serait tr&s diffkrente de celle qui serait rkaliske dans

, le cadre de systemes ministkriels ou parlementaires, mais qu’elle pourrait avoir beaucoup B gagner d‘une discussion plus approfond+ et mieux informke des questions locales. Le colloque ne s’est pas ktendu sur les possibilitks offertes par un dkbat public des rapports d’kvaluation au Parlement fkdkral ou sous ses auspices. On a eu dans I’ensemble I’impression’qu’alors m6me qu’un dkbat au Parlement ou en commission ne constitue pas le meilleur moyen de discuter les conclusions d u n e kvaluation, cela ne signifiait pas qu’une instance parlementaire ne pouvait pas servir de point de dkpart. Les rapports d’kvaluation prkparks B l’intention du gouvernement ou du Parlement et publiks par le Cabinet ou par le Parlement pourraient lancer un dkbat public, kventuellement avec la. participation de parlementaires. Le participant ayant la plus vaste expkrience des affaires parlementaires a cependant maintenu sa conviction qu’un institut indkpendant du type de 1’Institut Brookings ktait nkcessaire au Canada pour prockder A une kvaluation des programmes qui servirait les intkr6ts du public comme ceux du Parlement.


MICHAEL HICKS

Le prirsent colloque, comme la plupart des colloques du mCme type, n’est pas parvenu A un consensus sur la direction que prend l’kaluation, mais tel n’ktait pas son but. L’importance du sujet, le souci manifest6 au sujet de la longueur apparemment excessive de la pkriode de gestation et le dbsir de faire parvenir l’irvaluation au moins B l’bge de l’adolescence ont paru &tre la priroccupation principale des participants. On a dgale- ment pu dkceler parmi eux un accord de plus en plus large avec l’affirma- tion du professeur Dobell, selon laquelle l’analyse doit Ctre en partie un plaidoyer, un art plus qu’une science, une tentative de mobiliser les idbes pour aider le public mieux percevoir les probkmes et les solutions et, comme c’est le cas pour tous les plaidoyers, la forme de mobilisation doit varier knormkment en fonction du public.


Documents

« L‘évaluation dans le secteur public: un bilan » - Compte rendu des discussions