Mise en page 1agreste.agriculture.gouv.fr/IMG/pdf/nese120636a6.pdf · 2 0 1 2 Laurent Barbut, Annie Fouquet, Bernard Perret Débat ... D’une périodicité de deux numéros par an,

Not

es e

t ét

udes

soc

io-é

cono

miq

ues

CEN

TRE

D’É

TUD

ES E

T D

E PR

OSP

ECTI

VE

n° 3

6 - J

uin

2012

Laurent Barbut, Annie Fouquet, Bernard Perret

Débat● L’évaluation des politiques publiques :

quelles pratiques pour quels enjeux ?

NESE n° 36, juin 2012, pp. 123-144

CENTRE D’ÉTUDES ET DE PROSPECTIVE

SERVICE DE LA STATISTIQUE ET DE LA PROSPECTIVE

Présentation

Notes et Études Socio-Économiques est une revue du ministère de l’Agriculture, de l’Agroalimentaireet de la Forêt, publiée par son Centre d’Études et de Prospective. Cette revue technique à comitéde rédaction se donne pour double objectif de valoriser des travaux conduits en interne ou des étu-des commanditées par le ministère mais également de participer au débat d’idées en relayant descontributions d’experts extérieurs. Veillant à la rigueur des analyses et du traitement des données,elle s’adresse à un lectorat à la recherche d’éclairages complets et solides sur des sujets bien déli-mités. D’une périodicité de deux numéros par an, la revue existe en version papier et en versionélectronique.

Les articles et propos présentés dans cette revue n’engagent que leurs auteurs.

Directrice de la publication :

Fabienne Rosenwald, MAAF-SG-SSP, Chef du Service de la Statistique et de la Prospective

Rédacteur en chef :

Bruno Hérault, MAAF-SG-SSP, Chef du Centre d’Études et de Prospective

Secrétaire de rédaction :

Pierre Claquin, MAAF-SG-SSP-CEP, Chargé de mission

Comité de rédaction

Jean-Claude Teurlay, MAAF-SG-SSP, Adjoint au chef du SSP

Martin Bortzmeyer, MEDDTL-CGDD, Chef de bureau

Patrick Aigrain, FranceAgriMer, Direction Marché Études et Prospective

Frédéric Courleux, MAAF-SG-SSP-CEP, Chef du BEAE

Bruno Hérault, MAAF-SG-SSP, Chef du Centre d’Études et de Prospective

Aurélie Darpeix, MAAF-DGPAAT, Chargé de mission au BPCEC

Aurélien Daubaire, MEFI-DGT, chef du BEA (POLSEC 4)

Nathanaël Pingault, MAAF-DGPAAT, Chef du BSECC

Jean-Luc Pujol, INRA, Directeur Mission d’anticipation Recherche Société et Développement durable

Sylvain Rousset, IRSTEA, Ingénieur Chercheur

Julien Vert, MAAF-SG-SSP-CEP, Chef du BPSIE, Centre d’Études et de Prospective

Sébastien Treyer, IDDRI, Directeur des programmes

Tancrède Voituriez, CIRAD, IDDRI

Pascale Pollet, MAAF-SG-SSP, Sous-directrice de la SDSSR

Composition : SSP - ANCD

Impression : SSP - BSS

Dépôt légal : à parution

ISSN : 2259-4841

Renseignements et diffusion : voir page 4 de couverture

Notes et études socio-économiques n° 36 - Juin 2012 ■ 123

Débat

L’évaluation des politiques publiques :quelles pratiques pour quels enjeux ?

Les intervenants :

Bernard Perret, référent ministériel évaluation au ministère en charge de l’Écolo-gie, réalise des missions d’audit et d’évaluation en tant qu’Ingénieur Général auCGEDD (Conseil Général de l’Environnement et du Développement Durable). BernardPerret fut rapporteur général du Conseil Scientifique de l’Évaluation et membre duConseil National de l’Évaluation puis secrétaire du Comité ministériel de l’évalua-tion du ministère de l’Équipement. Bernard Perret est membre de la SFE et il ensei-gne à l’Institut Catholique de Paris.

Annie Fouquet, Inspectrice générale des Affaires Sociales (IGAS), ancienne direc-trice de la DARES (Direction de l’animation de la recherche, des études et des sta-tistiques) au ministère du Travail, fut membre du Conseil d’Analyse Économique.Elle préside le comité scientifique de l’évaluation du Fonds social européen, le conseilscientifique de l’ONZUS (Observatoire des zones urbaines sensibles) et celui del’ANESM (Agence nationale d’évaluation des établissements sociaux et medico-sociaux). Elle est chargée de cours à Sciences-Po Paris sur l’évaluation des politi-ques publiques et présidente d’honneur de la SFE.

Laurent Barbut, dirige le cabinet de consultant EPICES, spécialisé dans l’évalua-tion de politiques publiques sur les thématiques agricoles, environnementales etd’aménagement du territoire. Cette activité l’a amené à travailler notamment surplusieurs chantiers d’évaluation du second pilier de la PAC pour le compte duministère en charge de l’Agriculture. Membre de la Société Française d’Évaluation(SFE), au sein de laquelle il anime notamment un groupe de travail sur lespolitiques territoriales.

Introduction

Pour compléter les apports des articles précédents, il nous a semblé intéressant decroiser les points de vue de différents acteurs de l’évaluation des politiques publiques auniveau français et de praticiens œuvrant sur les champs de compétence du ministère del’Agriculture, de l’Agroalimentaire et de la Forêt. Ce débat est l’occasion, entre autres, demettre en perspective les différentes phases du développement de l’évaluation des politi-ques publiques en France, de rappeler quelques principes méthodologiques clés et de reve-nir sur les spécificités de son positionnement institutionnel dans le contexte français.

Ce débat s’est déroulé le 3 mai 2012 et a été animé par Pierre Claquin et Frédéric Courleux,du Centre d’Études et de Prospective.

1. NDLR : le décret n° 98-1048 du 18 novembre 1998 relatif à l’évaluation des politiques publiques spécifie à l’article 1 :« L’évaluation d’une politique publique, au sens du présent décret, a pour objet d’apprécier, dans un cadre interministériel,l’efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre. »

124 ■ Notes et études socio-économiques n° 36 - Juin 2012

Pierre Claquin

Avant d’entamer ce débat, il faut nous enten-dre sur les mots, aussi je souhaiterais, pourcommencer, que vous me disiez ce quereprésente pour vous l’évaluation de politi-ques publiques, que vous nous en proposiezla définition qui vous paraît la plus juste et laplus utile.

Bernard Perret

Donner une seule définition de l’évaluationest bien sûr quelque chose de difficile. Il fau-drait en particulier distinguer selon l’objetévalué. Dans mon ministère, on procède àdes évaluations de projets, à des évaluationsde plans d’équipement, et l’on a d’autre partdes évaluations de politiques et l’on sent bienque ce sont là deux domaines très différents.Il y a aussi une dualité entre évaluation expost et évalua-tion ex ante, sou-vent des étudesd’impacts quimontent d’ailleursen puissance. Etje passe sur lesdivers contextesqui font que l’onparle, en utilisant le mot « évaluation », dechoses qui peuvent être finalement assezdifférentes.

Pour donner une définition, il faut donc êtreassez précis, en spécifiant le registre d’éva-luation que l’onprend encompte. Je parle-rais pour ma partde l’évaluation expost d’une politi-que publique,que je définiraiscomme une acti-vité d’étude etd’analyse portantsur la mise en œuvre d’une action et sur leseffets de cette action, conduite dans un cadre

institutionnel et méthodologique plus oumoins formalisé, dans le but de rendre descomptes sur cette action et d’améliorer et derationaliser la décision. Cette définition s’éloi-gne un peu de la définition canonique dudécret de 19981, qui est un peu trop simpleet qui s’applique plutôt à l’évaluation de pro-grammes qu’à l’évaluation de politiques.

Laurent Barbut

Je rejoins ce qui vient d’être dit sur lacomplexité d’une définition qui devrait tenircompte de multiples facteurs, et qui varieraitselon l’objet ou le moment de l’évaluation,selon que l’on souhaite proposer une défini-tion plus ou moins technique ou politique. Iln’y a bien sûr pas de définition unique. Cesur quoi j’insiste, en ce qui me concerne, c’estque l’évaluation est au carrefour de trois fina-lités. Premièrement la production de

connaissance,c’est-à-dire quel’on doit absolu-ment, avec uneé v a l u a t i o n ,apprendre deschoses sur unepolitique publique.Deuxièmement

une finalité d’aide à la décision, ce quifa i t la di fférence avec l’activité derecherche par exemple. Et enfin une fina-lité démocratique, au sens de « rendrecompte » sur la gestion publique. Ce quifait l’originalité et l’intérêt de la démar-

che évaluative,c’est de combi-ner ces troisaspects, etdonc de fabri-quer de la trans-parence, decontr ibuer àinformer le ci-toyen, etc. C’estmon approche,

tout à fait personnelle, de la notion d’évalua-tion, qui résulte de mon expérience.

« Je parlerais pour ma part de l’évaluation ex postd’une politique publique, que je définirais commeune activité d’étude et d’analyse portant sur la miseen œuvre d’une action et sur les effets de cetteaction, conduite dans un cadre institutionnel etméthodologique plus ou moins formalisé, dans lebut de rendre des comptes sur cette action et d’amé-liorer et de rationaliser la décision. »Bernard Perret

« … l’évaluation est au carrefour de trois fina-lités. Premièrement la production de connais-sance, (…) deuxièmement une finalité d’aide àla décision, ce qui fait la différence avec l’acti-vité de recherche (…) et enfin une finalité démo-cratique … »Laurent Barbut


Pierre Claquin

Cette difficulté à définir de manière unique etsimple l’évaluation n’est-elle pas le témoind’une difficulté plus générale à penser l’éva-luation, à la conduire et à lui donner des fina-lités opérationnelles ?

Bernard Perret

Je ne pense pas que ce soit une difficulté pourla conduite de l’évaluation. En revanche, c’esteffectivement une difficulté en amont pour semettre d’accord sur la notion, sur ce que l’onveut faire, sur les résultats à attendre, et surce qu’un décideurpolitique a entête lorsqu’ildécide d’une éva-luation. C’est à cemoment là quel’ambiguïté existeet peut êtregênante, en ter-mes de partagedes attentes, et de compréhension du proces-sus et, donc, de ses retombées. Autrementensuite, dans la conduite des opérations, cetteambiguïté n’est pas un problème.

Laurent Barbut

L’ambiguïté du terme « évaluation » peutentraîner une certaine confusion avec d’au-tres pratiques « sœurs » du type audit oucontrôle, et venir créer de la confusion parexemple dans les débats sur le risque queprendrait un élu qui déciderait de mener uneévaluation. Il est évident que les nombreuxsens donnés au mot créent des confusionsdans l’esprit des gens, confusions qui sontd’ailleurs levées dans la pratique quand cespersonnes participent concrètement à desévaluations, alors qu’elles persistent quandon en reste à des discussions théoriques. Jecrois beaucoup à la clarification par la prati-que, en tout cas quand on a affaire à desexpériences réussies. La confusion sur lestermes est d’autant plus grande que l’on estéloigné du terrain.

Pierre Claquin

Selon vous, existe-t-il une spécificité fran-çaise de l’évaluation ? Certaines caractéris-tiques vous paraissent-elles attachées à notrepays, et si oui pour quelles raisons ?

Annie Fouquet

Les conceptions et définitions de l’évaluationdépendent bien sûr de la culture politique despays. Ce qui est intéressant, c’est que l’éva-luation s’est développée aux États-Unis, dansles années 1960, sur des politiques socialestrès controversées, et c’est justement parce

qu’il y avaitcontroverse quel’on a investidans l’évaluation.Alors qu’enFrance, on apendant trèslongtemps consi-déré que l’argentpublic était bien

dépensé, les Français croyaient en l’excel-lence de leurs services publics, il y avait unconsensus social sur le bien fondé des déci-sions. Alors que dans les pays anglo-saxons,les premières livres sterling ou les premiersdollars dépensés, surtout en matière sociale,doivent faire la preuve de leur efficacité. Cheznous, l’évaluation a été perçue comme uneremise en cause de la déontologie profes-sionnelle des hauts fonctionnaires, commeune manière de les suspecter de ne pasbien faire leur travail. Alors qu’on a desreprésentations exactement inverses auxÉtats-Unis.

En France, la seule évaluation qui est légi-time, du coup, c’est l’évaluation dite « scien-tifique », c’est-à-dire celle qui se traduira pardes chiffres, des statistiques, parce que là aumoins on est persuadé de faire du sérieux etdu solide, on évite de remettre en cause leseffets de système, on évite de faire une socio-logie de l’administration, ce qui pourrait remet-tre les gens en cause dans leur propre moralepersonnelle. Alors que l’évaluation ce n’estbien sûr pas cela.

« … aux États-Unis, (…) c’est justement parce qu’ily avait controverse que l’on a investi dans l’éva-luation. Alors qu’en France, on a pendant très long-temps considéré que l’argent public était biendépensé, (…) il y avait un consensus social sur lebien fondé des décisions. »Annie Fouquet


Bernard Perret

J’insiste souvent sur la notion d’institutionna-lisation du processus d’évaluation, et je croisqu’en France on est particulièrement attentifà cette question du processus, de la démar-che, du rapport aux institutions, de l’autono-mie des instances d’évaluation, etc. Dans lemême temps, autre particularité, on est plu-tôt moins confiant dans l’autonomie de juge-ment des évaluateurs professionnels, alorsque dans le monde anglo-saxon, on a eu his-toriquement une autonomisation plus impor-tante de l’évaluation à travers la profes-sionnalisation des évaluateurs, à travers laconsolidation d’un corpus autonome deméthodes reconnues et partagées. En Francenous n’avons pas connu cela. Chez nous, lessavoir-faire de l’évaluation sont beaucoupplus dépendants des compétences issuesd’autres champs et d’autres disciplines,comme l’économie, la statistique, les scien-ces sociales, et ceci explique que les débatsaient plus porté sur les dispositifs institution-nels, sur les liens au politique, sur le degréplus ou moins pluraliste des instances, surleurs moyens de fonctionnement. Nous avonspar exemple des débats récurrents sur laplace de la Cour des comptes et des corpsd’inspection dans le champ de l’évaluation,sur leur légitimité à intervenir. Dire que cesont des débats franco-français serait péjo-ratif et réducteur, mais disons que ce sont eneffet des discussions particulièrement vivesdans le contexte français. Ce qui ne signifiepas que ce soient de faux débats.

Pierre Claquin

D’après vous, les différences portent doncplus sur les modalités d’institutionnalisationde l’évaluation que sur les méthodes propre-ment dites ? Ce serait plus une différenced’approches que de pratiques ?

Bernard Perret

Non, il y a aussi des différences marquéesen termes de pratiques et de méthodes. Mais

cela est à mon avis indissociable des objetsévalués. Dans le monde anglo-saxon, globa-lement, même si c’est un peu schématique,on peut dire que l’évaluation porte beaucoupplus souvent sur de véritables programmes,sur des séquences d’actions publiques quisont formatées avec des objectifs quantitatifsprécis, avec des échéances temporelles fixes,avec des moyens définis au départ. De fait,avec ce genre d’objets, on utilise plus facile-ment des outils quantitatifs comme l’expéri-mentation, la modélisation, etc. Alors qu’enFrance, la question d’évaluation se porte plussouvent sur des politiques complexes, prisesdans leur généralité, et on fait appel à l’éva-luation pour « comprendre ce qui se passe »,pour éclairer cette complexité, et cela passepar des approches bien différentes. Mais celan’empêche pas que l’on puisse, en Franceaussi, avoir recours à des expérimentationsou aux modèles. Ce ne sont pas des choixméthodologiques délibérés, ceux-ci sont plu-tôt dictés par les caractéristiques des objetsévalués. L’important, c’est ce sur quoi on cen-tre l’évaluation.

Il y a des différences notables entre pays, etc’est bien pour cela que je suis critique surla définition donnée par le décret de 1998,car elle se réfère plus à des programmes àl’anglo-saxonne qu’à des politiques intégréesà la française. En gros, cette définition ditqu’évaluer, c’est rechercher si les moyensmis en œuvre permettent d’atteindre lesobjectifs fixés et les retombées attendues,avec de plus une référence aux coûts. C’estdonc une définition qui s’applique à une éva-luation de programme plus qu’à une évalua-tion de politique, ce qui présuppose que l’onsoit toujours en présence de programmesbien formatés, avec des séquences objec-tifs-moyens parfaitement claires, avec aussila possibilité de mesurer les objectifs initiauxet de les comparer aux moyens mis enœuvre, etc. En réalité, dès qu’on a affaire àdes objets plus complexes, qu’on ne seretrouve pas devant des situations aussi sim-ples, on ne peut se limiter à cette lecture : ilfaut rapidement traiter aussi d’autres ques-tions, comme celles de la clarification de l’ob-jet, des catégories d’analyse, etc.


Laurent Barbut

Et en même temps, ce qui est intéressant,c’est qu’à la même époque environ, le rap-port de Patrick Viveret, en 1989, insistait surune autre définition de l’évaluation, qui disaitqu’évaluer une politique c’est « forger un juge-ment sur sa valeur ». Il s’agit là d’une défini-tion plus politique que technique, car ellesuppose que l’on précise quelles valeurs sontimportantes, pourquoi, à quel titre, et que l’onsache ensuite comment les évaluer. C’estdonc alors un tout autre référentiel qu’il fautconstruire. La « vision française » de l’éva-luation n’est donc pas unilatérale !

Pierre Claquin

Puisque vous revenez au Rapport Viveret,quelles ont été les différentes phases de l’ins-titutionnalisation de l’évaluation en France ?

Bernard Perret

Je pense qu’il est inutile de remonter au-delàde la Rationalisation des choix budgétaires(RCB), dans les années 1970, qui a marquéle vrai lancement, du point de vue technique,des études à caractère évaluatif, et surtoutde l’évaluation ex ante, même si de vérita-bles évaluations ex post ont également étéconduites, dans un cadre assez formalisé,avec un dispositif piloté par le ministère desFinances. On était alors dans une démarchede type LOLF, avec une structuration desbudgets en programmes. On considèregénéralement que la RCB a été un échec etle dispositif formel de mise en rapport desévaluations et du budget a été abandonnéen 1984. Il n’empêche que des cellules RCBont continué à fonctionner et à faire des étu-des plus ou moins évaluatives dans lesministères. Ensuite, c’est le Commissariatgénéral du Plan qui a repris le flambeau,dans les années 1980, et qui a été chargéde faire un ensemble de rapports sur lesméthodes d’évaluation et sur des politiquessectorielles.

Puis arrive Michel Rocard, qui est le seulhomme politique de haut niveau, à maconnaissance, qui se soit vraiment pénétrédu sujet et qui l’ait porté personnellement. Ila donc demandé à l’un de ses conseillers,Patrick Viveret, grand défenseur de l’évalua-tion, de faire un rapport, le fameux RapportViveret, dans lequel on trouvait cette défini-tion évoquée par Laurent Barbut, qui met l’ac-cent sur le jugement, sur le débat public etdémocratique, et qui critique les définitionsplus technocratiques. Il proposait un dispo-sitif assez complexe avec un Conseil natio-nal de l’évaluation, un Conseil scientifique del’évaluation et un Comité interministériel.Finalement, après passage dans la mouli-nette interministérielle, est sorti le décret de1990 qui ne reprenait qu’une partie de sespropositions, celles concernant l’évaluationau sein de l’exécutif, avec un comité intermi-nistériel et un conseil scientifique (CSE). Cedispositif a fonctionné cahin-caha jusqu’en1998 et une douzaine d’évaluations intermi-nistérielles a été conduite dans ce cadre. Cedispositif a souvent été critiqué pour sa lour-deur. Le fait est que les évaluations, en par-tie à cause de la procédure, des avis quidevaient être rendus par le conseil scientifi-que, duraient fréquemment deux ans et demià trois ans. Cette lourdeur était imputable àla mécanique interministérielle et à la difficultépour les ministères de s’entendre sur la composi-tion des instances. C’est le parti pris de faire desévaluations lourdes, sur des sujets complexes,qui induisait de facto des lourdeurs.

Toujours est-il que ce dispositif a été réforméen 1998, avec la création d’un conseil natio-nal de l’évaluation (CNE), qui reprenait engros les attributions techniques du conseilscientifique et en même temps le rôle d’im-pulsion politique du comité interministériel.Ce nouveau dispositif a fonctionné jusqu’en2002, et au moment du renouvellement desmembres du CNE, les élections législativessont arrivées, ces nominations n’ont pas étéfaites entraînant de facto un arrêt du dispo-sitif. Le nouveau gouvernement a dit qu’il allaitréformer et créer autre chose, mais cela n’ajamais vu le jour.


Annie Fouquet

Pour ma part, je dirais que les huit premiè-res années 1990-98 ont consisté en une sortede processus d’apprentissage. Le fait que lespropositions du Rapport Viveret n’aient étémises en place que sur l’exécutif, et pas surle législatif, était déjà assez bancal à la base.Par ailleurs, mettre l’accent sur l’interminis-térialité alors que l’on sait bien que l’inter-ministériel est un endroit en France quifonctionne mal et où les décisions se pren-nent difficilement, c’était mettre des bouletsau pied de l’évaluation avant même qu’ellene démarre.

Cette période est très critiquée, trop criti-quée même, car ces critiques sont mal fon-dées. Car, au-delà de l’évaluation, ce sontplutôt les blocages de l’interministériel qu’ilfaudrait incriminer. Et d’ailleurs, un desgrands apports de cette période là, c’est queles travaux du CSE ont apporté et induit enFrance une vraie conception de l’évaluation,des débats sur le sujet et des méthodes.J’en veux pour preuve que le CNE, dans sadurée de vie deux fois plus courte que leCSE, a produit autant d’évaluations que leCSE. Cela montre bien que le pli était pris,que l’on commençait à maîtriser les métho-des et dispositifs, et cela on le doit auxannées 1990-98 que l’on critique injuste-ment. Le procès que l’on fait à l’évaluationà la Viveret, en disant que c’était trop lourd,passe à côté de l’essentiel, à savoir quec’était un temps indispensable d’accumula-tion d’expériences, d’apprentissage, d’ac-quisition d’une culture.

Bernard Perret

À propos de cet apprentissage, je suis frappépar le fait que quelques-unes des évaluationsqui ont été réalisées à cette époque, des éva-luations lourdes et conséquentes, ont été per-çues comme des événements fondateurspour les gens qui y ont participé. Ces person-nes font souvent remonter leur prise deconscience de l’importance de certains enjeux

à ces expériences, par exemple dans ledomaine de l’environnement ou du logement.Je pense donc que cette période d’appren-tissage a été fondamentale.

Pierre Claquin

Au-delà des débats français dont vous venezde rendre compte, ces dernières annéesfurent également celles d’une nette montéeen puissance de l’Europe. En quoi cet élé-ment a-t-il eu des effets sur les pratiquesd’évaluation ?

Bernard Perret

L’influence de l’Europe est très importante,bien sûr. Une date est en particulier à rete-nir, 1993, avec la sortie d’une directive surl’évaluation des fonds structurels européenset d’une circulaire sur l’évaluation desContrats de plan État-Région. Ces impulsionsont contribué à renforcer le pôle régional del’évaluation et les initiatives antérieures,comme les comités régionaux d’évaluationen Bretagne ou en Rhône-Alpes, qui ont jouéun rôle d’impulsion et de modélisation del’évaluation régionale, avec des comités par-tenariaux entre les préfets de région et lesprésidents des conseils régionaux.

Laurent Barbut

Toutes les politiques co-financées parl’Europe, dans le domaine agricole, les poli-tiques de cohésion et d’aménagement duterritoire, comportaient une évaluation obli-gatoire et ceci a eu un effet d’entraînementévident sur certaines politiques nationales,comme les CPER, à tel point qu’on a caléde plus en plus précisément le calendrierde ces programmes et le calendrier deleurs évaluations. L’Europe a contribué àdiffuser la culture et la diversité de l’éva-luation auprès des collectivités territoria-les, à travers l’ensemble des politiquescontractuelles.


Bernard Perret

Parmi les réseaux qui ont joué un rôle derelais et de diffusion dans certains milieux, ilfaut mentionner tous les acteurs de la politi-que de la ville, domaine où il y a eu énormé-ment d’évaluations, de toutes natures, auniveau local comme national, avec une vraiediversité de méthodes, beaucoup de débatset controverses. Ce fut un moment riche etune vraie source d’influence.

Frédéric Courleux

Les obligations communautaires en termesd’évaluation du second pilier ont eu un effetconsidérable dans le développement d’uneculture de l’éva-luation au seindu ministère del’Agriculture. Demoins en moinsperçues commeune contrainte,elles peuventêtre considérées dans un passé récentcomme l’élément déclencheur d’une dynami-que qui voit une multiplication des chantiersd’évaluation sur la plupart des programmesdu ministère. Certaines directions ont mêmeaffiché dans leurs objectifs stratégiques ledéveloppement d’une culture de l’évaluation.On voit nettement que les incidences de l’éva-luation des politiques publiques, qu’ellessoient réputationnelles, managériales ou stra-tégiques sont considérées comme positivesau sein de l’administration.

Pierre Claquin

Nous venons de parler de l’effet d’entraîne-ment européen. Que diriez-vous, en revan-che, de l’impact du système institutionnelfrançais sur l’évaluation, et en particulier deson État unitaire centralisé, jacobin disentcertains ?

Bernard Perret

En tout cas, ce n’est pas un hasard si leniveau régional a été dynamique à unmoment donné, parce que l’on n’y retrouvaitpas le même poids des grands corps de fonc-tionnaires, des missions d’inspection et leshabitudes de travail des administrations cen-trales. Les administrations des Régions sontplus nouvelles et elles se prêtaient mieux àl’innovation, au montage de comités interpar-tenariaux, etc.

Annie Fouquet

Au niveau régional, les politiques sont aussiplus circonscrites et il est donc plus facile

d’évaluer undomaine, un pro-gramme oumême un dispo-sitif, que de jugerune politiquegénérale, surtoutsi elle est inter-

ministérielle. On diminue la complexité et l’onpeut donc aller plus vite aux conclusions, les-quelles peuvent être mieux assises. D’autrepart, il existe à l’intérieur de l’administrationde l’État beaucoup de corps d’experts etd’inspection, et dans les ministères des orga-nismes similaires à votre Centre d’Études etde Prospective, des cellules ou directionsd’évaluation, et du coup une partie de l’éva-luation est directement faite par l’adminis-tration, et l’on ne voit pas bien pourquoi onmonterait un dispositif d’évaluation avec despartenaires, voire des prestataires externespuisque les fonctionnaires seraient eux-mêmes capables de discerner le vrai dufaux. Certes, dans la politique de la ville etles politiques sociales, il y a eu plus de dés-accords et de débats, mais comme ce sontdes politiques contractuelles, une évalua-tion avec les partenaires y a mieux fait saplace. Mais dans les domaines plus techni-ques, c’est plus difficile.

« Les obligations communautaires en termes d’éva-luation du second pilier ont eu un effet considéra-ble dans le développement d’une culture del’évaluation au sein du ministère de l’Agriculture. »Frédéric Courleux


Bernard Perret

C’est ce que Jean Leca appelait « la traditionfrançaise de la science étatique », c’est-à-dire la tradition d’une expertise qui est endo-généisée par l’État. Et de fait, on le voit demanière carica-turale dans cer-tains ministères,ce sont lesmêmes person-nes qui élaborentdes politiques,font des études ex ante, réalisent des bilans,etc. On est maintenant en partie sortie decela. Tout le monde a compris que ce n’estpas comme ça qu’il fallait faire, mais il enreste encore des traces !

Annie Fouquet

Dans les pays anglo-saxons, quand une admi-nistration veut faire une analyse, elle passecommande à des chercheurs universitaires,qui sont bien outillés pour cela. Alors qu’enFrance, un certain nombre de laboratoires derecherche se refusaient à travailler pour l’État,ils considéraient que c’était se compromettreque de répondre à une commande publique.Heureusement les choses évoluent, essen-tiellement sous la contrainte de la nécessitéd’ailleurs : les chercheurs ayant de moins enmoins d’argent, ils sont bien obligés de répon-dre à ce type de commandes. Cela a évoluédonc sauf qu’un certain nombre de cher-cheurs avancent le fait qu’il est difficile de sefaire reconnaître par la communauté scienti-fique à traversdes évaluations,parce que celan’est pas assezthéorique, nepermet pas depublier, et quecela nuit à leurcarrière, etc.Alors que dansd’autres pays l’évaluation est une disciplineacadémique, ce qu’elle n’est pas en France.

Frédéric Courleux

Les choses évoluent sur ce point, lesfonctions d’expertise tendent maintenantà être davantage prises en considérationdans l’évaluation des chercheurs, même si

on vient de loin.Paradoxalementnous n’avonsjamais eu de malà mobiliser deschercheurs dansles chantiers

d’évaluation, surtout chez les chercheursseniors qui semblent considérer, même s’ilsne l’avouent pas vraiment, que cette activitéleur apporte beaucoup en termes de compré-hension de leurs objets d’étude notamment.Il est toutefois évident qu’un bon chercheurne fait pas forcément un bon évaluateur, leursboites à outils et leurs approches sont de plusen plus divergentes. Ce qu’on peut appelerla professionnalisation des évaluateurs quiva de pair avec leur spécialisation est un phé-nomène, certes fragile, mais tout à fait posi-tif.

Pierre Claquin

Et que diriez-vous de la Cour des comptes,qui dit procéder aussi à des évaluations ?

Annie Fouquet

La Cour dit qu’elle faisait de l’évaluation bienavant la République, déjà sous l’Ancien

régime, et qu’ellen’a pas attendules dispositionsactuelles. Lecontrôle d’oppor-tunité leur appa-raît comme unefaçon de fairede l’évaluation,ce qui n’est pas

totalement faux. Mais la Cour change beau-coup en ce moment, elle fait des formations

« … un certain nombre de chercheurs avancent lefait qu’il est difficile de se faire reconnaître parla communauté scientifique à travers des évalua-tions, parce que cela n’est pas assez théorique, nepermet pas de publier, et que cela nuit à leur car-rière etc. »Annie Fouquet

« C’est ce que Jean Leca appelait « la traditionfrançaise de la science étatique », c’est-à-dire latradition d’une expertise qui est endogénéisée parl’État. »Bernard Perret


à l’évaluation, elle a un programme d’évalua-tion qui est distingué du programme decontrôle, etc. On sent bien qu’un certain nom-bre de personnalités de la Cour sont porteu-ses. C’est une culture qui s’affirmeprogressivement. Des évolutions similairestouchent l’Assemblée nationale, qui a main-tenant un comité d’évaluation et de contrôle,transversal à toutes les commissions, et quifait des choses intéressantes, et le Sénat esten ce moment même en train de se doterd’une structure équivalente.

Pierre Claquin

Selon vous, y a-t-il une spécificité institution-nelle ou organisationnelle du ministère encharge de l’agriculture en matière d’évalua-tion ?

Laurent Barbut

D’abord sur l’aspect institutionnel ou histori-que, on retrouve dans le cas du ministère del’Agriculture ce qui vient d’être dit sur les habi-tudes de l’État, la tendance à endogénéiserl’expertise, le rôle des corps d’inspection, etc.Mais à côté de ces habitudes, qui existenttoujours, on a puconstater undéveloppementde l’externalisa-tion, au-delà del’appui sur desstructures derecherche spé-cialisées dansles domainesagricoles et agro-alimentaires. Il ya ensuite desspécificités relatives aux politiques mises enœuvre, qui sont assez fortement cofinancéespar l’Europe, et donc lors des évaluations onse retrouve souvent avec plusieurs niveauxde demande : une demande européenne quia ses propres questionnements et unedemande nationale ou régionale, avec ses

propres critères. Ce double système de réfé-rence alourdit le questionnement, il faut croi-ser des registres de préoccupations différents.D’autre part, l’agriculture est un domaine oùil y a un appareillage statistique relativementimportant, qui n’existe pas pour toutes lespolitiques sectorielles, et c’est une base d’in-formation intéressante.

Sur le plan organisationnel, le ministère del’Agriculture met en place dans la mesure dupossible des comités d’évaluation pluralistesprésidés par des personnalités extérieures,ce qui est un point fort. Cela permet de pren-dre une forme d’autonomie pour traiter davan-tage les questions qui intéressent la Franceet non pas seulement l’Europe. De plus, cescomités pluralistes ont une composante« chercheurs » et « acteurs de la mise enœuvre » assez importante, ce qui fait que lapartie production de connaissances est biendéveloppée, alors que la dimension aide à ladécision est en revanche plus faible, et entout cas pas à la hauteur de la qualité de l’in-vestissement en connaissance qui est fait.

Autrement, les sujets des évaluations de ceministère sont similaires à ceux d’autresministères. Ils sont aussi complexes, multi-niveaux, il y a autant d’acteurs concernés. Je

ne vois pas tropde différences dece point de vue.En revanche, ilfaut bien dire queles acteurs dumonde agricolen’ont pas encoreune culture trèsdéveloppée de ladiscussion plura-liste. Ils ont plustendance à trai-

ter les questions en bilatéral, ou à recourir àdu lobbying, selon une ancienne habitudehistorique. L’évaluation a besoin de débatscollectifs et il est parfois difficile de les y ame-ner. C’est peut-être pour cela que les orga-nisations professionnelles agricoles sont peureprésentées dans les comités de pilotage.

« … dans le cas du ministère de l’Agriculture (…)Il y a ensuite des spécificités relatives aux politi-ques mises en œuvre, qui sont assez fortement cofi-nancées par l’Europe, et donc lors des évaluationson se retrouve souvent avec plusieurs niveaux dedemande : une demande européenne qui a ses pro-pres questionnements et une demande nationaleou régionale, avec ses propres critères. » Laurent Barbut


Annie Fouquet

Le ministère de l’Agriculture a certes déve-loppé une culture de l’évaluation, notammenten insistant sur le caractère pluraliste des ins-tances, mais il n’est pas le seul. Le ministèreen charge de la Santé a ainsi presque insti-tutionnalisé ce caractère pluraliste dans desinstances tellesque le HautConseil de laSanté Publiqueavec des comi-tés d’évaluationad hoc surchaque chantierd’évaluation ini-tié.

En ce qui concerne la place des lobbies dansles instances d’évaluation, la questiondépasse le seulcadre agricole. Ily a là un vraisujet ; et un sujetcompliqué. Sil’instance d’éva-luation dure unpeu, le risque est qu’il ne reste plus que leslobbies autour de la table et c’est alors tota-lement biaisé. Un contre-exemple intéressantvient d’une évaluation qui a été faite parl’Agence de l’eau Rhône-Méditerranée-Corsesur la qualité de l’eau potable. Les agri-culteurs sont bien sûr des acteurs importantsde ce sujet, mais les commanditaires ont misvolontairement tout le monde autour de latable sauf les agriculteurs, parce qu’ils se sontdit que cela serait difficile à gérer, par contreles agriculteurs ont été intégrés dans le rendude l’évaluation, lors de la phase de restitu-tion plus politique.

Bernard Perret

Cette question de la participation et de lareprésentation des professionnels agricolesest évidemment très importante. En disantcela, je pense en priorité aux enjeux agri-environnementaux, à tout ce qui est à l’inter-face de l’agriculture et de l’environnement,

et qui vont prendre une importance absolu-ment considérable, c’est une banalité de ledire. Il faut donc que l’on arrive à mettre enplace un cadre adéquat pour faire discuterl’ensemble des parties prenantes. Un groupede travail des ministères de l’Agriculture etde l’Écologie a avancé dans ce sens. Il étaitparti sur de bonnes intentions mais il n’est

pas allé assezloin. L’enjeu estc o n s i d é r a b l eparce que l’inté-rêt d’avoir desévaluations danslesquelles lesprofessionnelsagricoles soientvraiment impli-

qués est évident. On ne peut pas avancersans la profession si on veut faire évoluer lespratiques.

Laurent Barbut

Je suis tout à faitd’accord. Mêmes’il y a des ris-

ques de captation par les lobbies et les pro-fessionnels, ils ont toute leur place dans lesinstances d’évaluation. Leur absence expli-que à mon avis que l’on n’avance toujourspas sur certains sujets, alors même que plu-sieurs évaluations, conduites par des évalua-teurs différents, sont parvenues à desconstats identiques sur la nature des problè-mes et sur les actions à mettre en œuvre. Surcertaines questions, on y voit assez clairdepuis 15 ou 20 ans et pourtant les chosesn’avancent pas. D’après mon expérience,c’est un certain blocage professionnel quiexplique cette difficulté à avancer, et ce blo-cage aurait peut-être été levé si des repré-sentants de la profession avaient participé àces évaluations. J’ai deux exemples en tête.Le premier concerne une certaine déconcen-tration nécessaire de la politique d’installa-tion, sujet sur lequel il y a déjà eu plusieursévaluations solides et pour autant les chosesn’ont pas vraiment avancé. Le second exempleconcerne l’ambiguïté qui réside dans laprime à l’herbe, qui apparaît à la fois comme

« L’enjeu est considérable parce que l’intérêt d’avoirdes évaluations dans lesquelles les professionnelsagricoles soient vraiment impliqués est évident.On ne peut pas avancer sans la profession si onveut faire évoluer les pratiques. »Bernard Perret

« En ce qui concerne la place des lobbies dans lesinstances d’évaluation, la question dépasse le seulcadre agricole. Il y a là un vrai sujet ; et un sujetcompliqué. »Annie Fouquet


une mesure de soutien au revenu mise enplace pour limiter le différentiel avec les sur-faces en culture et en même temps commeune aide environnementale. Il y a eu plusieursévaluations qui sont arrivées à la conclusionque cette aide devait être mieux ciblée et pourautant les choses n’ont pas bougé à ce jour.

Bernard Perret

Je voudrais à ce propos relater une expé-rience intéressante, dans le champ de lasanté publique, certes éloigné de l’agriculturemais c’est parfois dans la confrontation dedomaines très différents que peuvent naîtredes innovations. Dans le cadre du Hautconseil de santé publique, nous avons étéconfrontés à des lobbies puissants, et nousavons pensé que nous ne pouvions pas lesintégrer directement sous la forme classiqued’un comité de pilotage. Nous avons procédédifféremment, avec un comité qui était essen-tiellement composé d’experts, et vers la finde l’évaluation, quand les résultats étaientdéjà bien avancés, nous avons organisé uneconférence de consensus, c’est-à-dire ungrand débat de deux jours, organisé en ate-liers, et nous avons soumis aux gens nos pré-conclusions. Et cela a très bien fonctionné.Je me demande si ce ne serait pas transpo-sable dans le domaine agricole. Dans ce cas,l’évaluation intègre les porteurs d’intérêts trèsen aval, entre la rédaction du pré-rapport etle rapport final, au moment de préciser lesconclusions et recommandations. Ce qui faitqu’ils arrivent trop tard pour empêcher lachose de se faire, et ils sont en même tempsobligés d’entrer dans le jeu pour l’infléchir.

Annie Fouquet

Pour moi, le processus d’évaluation est unprocessus de communication, à tous lesniveaux. Et pour bien communiquer, il fautque les gens se sentent impliqués, d’unemanière où d’une autre. Mais certaines impli-cations sont bloquantes, il faut faire attention.D’autres implications sont factices et de purs

alibis. En revanche, intégrer certains acteursau moment du passage des conclusions auxrecommandations, cela peut être très positif.

Laurent Barbut

Deux réactions sur ce point. Tout d’abord, jesuis tout à fait d’accord pour dire que cetteimplication des acteurs, sur la fin du proces-sus, c’est un progrès, c’est mieux que rien.Mais je pense quand même, quand je voisl’importance, en amont, du partage des choixméthodologiques et des questions évaluati-ves, qu’il y a un risque à ne pas associer lemaximum d’acteurs à l’ensemble du proces-sus. Un risque qu’ils refusent les méthodesutilisées, et surtout qu’ils remettent en causeles résultats, tout à la fin.

Deuxièmement, lors de l’évaluation à mi-par-cours du Programme de développement ruralhexagonal, l’accent a vraiment été mis sur laphase de communication des résultats, avecdes réunions inter-régionales, d’une journéecomplète, avec la présence conjointe del’évaluateur et du commanditaire. Une jour-née, cela permet vraiment de rentrer dansles détails et alors, inévitablement, la ques-tion des débouchés de l’évaluation se trouveposée. Il y a toujours quelqu’un pour posercette question : « Et maintenant, qu’allez-vous faire de ces recommandations ? ». Il ya là une forme de mise en danger, mais posi-tive, une forme d’obligation de progresser surles suites à donner. C’est une vraie nou-veauté, certes récente, mais indéniable.

Pierre Claquin

La valorisation et la diffusion des résultatsdes évaluations est en effet une étape impor-tante, cette revue constitue d’ailleurs un dessupports pour les évaluations au sein duministère et nous avons sorti plusieurs syn-thèses sur la dernière évaluation à mi-par-cours du PDRH2. Jusqu’à maintenant, lesévaluations ont plutôt concerné le secondpilier de la PAC. Il est probable que le premier

2. http://agriculture.gouv.fr/notes-d-analyse


pilier entre également dans cette dynamiqued’évaluation régulière des dispositifs, au-delàdes évaluations ponctuelles déjà existantes.D’après vous, est-ce que la méthodologie miseen œuvre jusqu’ici sur le second pilier devraêtre adaptée aux spécificités du premier pilier,ou bien est-ce que la boîte à outils évaluativepourra rester à peu près la même ?

Laurent Barbut

Pour commencer, je pense qu’il y aurait eneffet un grand avantage à évaluer le premierpilier, il suffit de voir les budgets qu’il repré-sente pour s’en convaincre : certes il y a deuxpiliers mais ils sont tellement inégaux que latable est vraiment bancale ! Deuxièmement,ces deux piliers sont différents dans leursobjectifs mais aussi dans leurs logiques d’in-tervention, ce qui réclamera des approchesdifférentes. Troisièmement, les questions quel’on poserait à ce premier pilier, si on l’éva-luait, seraient différentes de celles adresséesau second. Comme il s’agit d’abord de mesu-res visant à soutenir les revenus, on mobili-sera vraisemblablement des méthodes assezéconomiques. Mais comme ce premier piliera aussi des effets induits très importants surl’environnement, sur les pratiques environ-nementales, sur sa cohérence avec ledeuxième pilier, il faudra développer aussides méthodescapables d’éclai-rer ces aspectslà. Donc, pourrépondre à votrequestion, lesoutils d’évalua-tion qui ont faitleurs preuves sur le second pilier ne pourrontpas être transposés tels quels sur le premier.

Frédéric Courleux

Pour compléter ce que vient d’indiquerLaurent Barbut, une extension de l’évalua-tion à l’ensemble de la PAC permettrait ausside mieux asseoir certains jugements portéssur le second pilier dans les évaluations déjà

conduites en prenant mieux en compte lesimpacts du premier pilier. De même, cela per-mettrait de mieux traiter la question de lacohérence interne de la PAC entre ces deuxpiliers qui évoluent quand même assez lar-gement chacun de leur côté. On peut toute-fois rappeler que des évaluations ponctuellesont déjà été conduites sur certains aspectsdu premier pilier mais jamais sur sa totalité.Ce que propose la Commission européennec’est en fait d’étendre le Cadre Commun deSuivi et d’Évaluation, actuellement déployésur le second pilier, au premier mais laCommission garderait la responsabilité desévaluations autres que celles portant sur lesOCM spécifiques Viti-vinicole et Fruits et légu-mes. On peut attendre de cette harmonisa-tion que les pratiques de l’évaluationdéveloppées sur le 2nd pilier puissent êtredéclinées sur les principaux pans du 1er pilier,qu’il s’agisse de l’explicitation de la logiqued’action et de la discussion de sa pertinenceet de sa cohérence, de la rédaction d’unquestionnement évaluatif partagé, centré surles enjeux pressentis compte tenu des pro-chaines échéances politiques et le recoursaux données et enquêtes auprès de bénéfi-ciaires et non bénéficiaires, etc. Pour l’heureles évaluations conduites pour la Commissionsur le 1er pilier ont sans doute trop reposésur des travaux de modélisation.

Laurent Barbut

J’ai insisté tout àl’heure sur l’effetd’entraînementpositif de laC o m m i s s i o n

européenne dans la dynamique de l’évalua-tion, mais sur le deuxième pilier de la PAC,sur la période 2007-2012, il faut en revanchesouligner qu’il y a eu une véritable inflationdes questions évaluatives. Il y a une trentainede mesures avec cinq questions évaluativespar mesure. Et à cela se sont ajoutées desquestions transversales. Autre dérive à monavis, c’est celle du nombre d’indicateurs et del’importance accordée à ces approches parindicateurs. Il s’agit d’indicateurs donnés à

« … les outils d’évaluation qui ont fait leurspreuves sur le second pilier ne pourront pas êtretransposés tels quels sur le premier. »Laurent Barbut


l’avance et on se rend souvent compteen cours de route qu’il est impossible deles instruire. Ces questions évaluativeset ces indica-teurs représen-tent une tellemasse de travailque l’on n’aensuite plus dutout le temps etles moyens dese poser des questions qui intéresseraientl’État français, et c’est pareil pour les autrespays. On est donc dans un exercice imposéqui ne facilite pas les conditions d’appropria-tion de l’évaluation. Les questions évaluati-ves sont si nombreuses que l’on n’est pas dutout orienté vers une vision globale du pro-gramme, on a une vision segmentée, mesurepar mesure, sans se poser des questions decohérence interne et externe.

Il y a une espèce de fausse idée, derrièretout cela, que l’on va mettre en place desindicateurs communs pour les 27 États mem-bres, indicateurs que l’on pourra renseigner,compiler, pour ensuite faire des moyennes àl’échelle de l’Europe. Je comprends bien que,vu de Bruxelles, on a besoin de comparer laFrance avec l’Italie ou la Belgique, et lesrégions entre elles. Mais dans les faits ça nemarche pas. Penser que l’on pourra sommeret agréger, c’est une illusion. Il faut sortir decette croyance qui est une impasse : l’éva-luation d’une politique européenne globalen’est pas la somme des évaluations de poli-tiques nationales. En revanche, il est possi-ble de compiler des études qualitatives, etsans passer à ce moment là par une appro-che par indicateurs.

FrédéricCourleux

La question durenseignementdes indicateurs est en effet un problèmesérieux pour nos collègues des bureaux ges-tionnaires. Certains indicateurs ne sont paspertinents effectivement mais il y a surtout

un problème d’accès qu’il nous faut continuerà améliorer. Là aussi nous avons besoin depenser les choses suffisamment en amont et

de manière inté-grée. Je n’iraipas jusqu’à direque l’on assisteà une dérive quiconsiste àréduire l’évalua-tion à la compila-

tion d’indicateurs. En revanche, il est certainque la formulation du questionnement éva-luatif doit être du ressort du commanditairede l’évaluation, c’est-à-dire de l’autorité degestion. Pour qu’elle puisse être utile, l’éva-luation doit être adaptable et adaptée auxbesoins de l’autorité de gestion, et un niveaude détail trop grand voire un saucissonnagene semblent en effet pas pertinents. Mais onapprend aussi en avançant, par la force deschoses.

Pierre Claquin

Puisque nous parlons de méthodes, que pen-sez-vous de la diversité des méthodes utili-sées en évaluation ? Vous paraît-ellesuffisante, utilisée à bon escient ou bien aucontraire pensez-vous que l’on mobilise unpeu toujours les mêmes recettes, maintesfois éprouvées, dans un champ politiquedonné ?

Bernard Perret

Moi je trouve qu’il y a un vrai progrès dans lesens d’une compréhension de l’intérêt du

p l u r a l i s m eméthodologique.De plus en plusde personnesc o m p r e n n e n tque l’évaluationne peut pas se

cantonner à un seul type de méthode. Celaétant, il y a toujours des tropismes métho-dologiques, et quand on s’adresse à un consul-tant ou un économiste, on sent bien qu’il a sa

« … je trouve qu’il y a un vrai progrès dans le sensd’une compréhension de l’intérêt du pluralismeméthodologique (…) Cela étant, il y a toujours destropismes méthodologiques … » Bernard Perret

« La question du renseignement des indicateurs esten effet un problème sérieux (…) nous avons besoinde penser les choses suffisamment en amont et demanière intégrée. »Frédéric Courleux


boîte à outils, qu’il la ressort très vite. Il y a doncencore beau-coup à faire pouraboutir à unesorte de méta-méthodologie quiconduise à rap-porter les métho-des disponiblesà des questions et à des contextes précis,et qui assure que telle approche est bienen phase avec tel sujet. Bien sûr, c’est cequ’on fait toujours, de manière très empiri-que, dans les instances d’évaluation, maisil reste encore pas mal de malentendu surce sujet. Par exemple, on voit que certainsservices statistiques dans les ministèrestraitent les sujets avec leurs propresméthodes de mesure d’impacts ou d’effetspropres et ils baptisent cela « évaluation »,alors qu’ils ont seulement apporté un éclai-rage parmi d’au-tres pour faireune véritableévaluation. Ilsn’ont pas comprisque l’évaluation,par nature, impli-que différentstypes de méthode.

Laurent Barbut

Je rejoins l’idée d’un pluralisme des métho-des d’évaluation à l’œuvre dans le domaineagricole, déjà, parce qu’il y a une base sta-tistique importante, qui permet de mixer lesméthodes quantitatives et qualitatives. Deplus, il y a eu des expériences récentes inno-vantes, avec par exemple des comparaisonsd’échantillons de jumeaux statistiques, surles mesures agrienvironnementales, menéespar des chercheurs associés aux évaluations.Après, il y a toujours le risque que certainsveuillent imposer de façon hégémonique leursméthodes, en prétendant qu’elle est la meil-leure.

Il revient aussi à des acteurs comme vous,le Centre d’études et de prospective, d’orga-niser le dialogue entre ces méthodes. J’ai le

souvenir d’une journée organisée ici, surl’évaluation desmesures agroen-vironnementales,où au départchacun défendaitson approche etses conclusions,alors qu’à la fin

tout le monde était conscient des complé-mentarités. Ces échanges ont fabriqué unevraie convergence des points de vue tout àfait rassurante, en montrant qu’on pouvaitexpliquer des choses assez proches en par-tant d’outils différents.

Annie Fouquet

Il y a quand même eu un effet de mode, cesdernières années, autour d’Esther Duflo, avec

l’expérimentationaléatoire contrô-lée, comme sic’était la seule etunique méthoded’évaluation desimpacts. Évidem-ment, beaucoup

de statisticiens s’en sont emparés, et cet effetde mode a eu des effets ravageurs, parceque pour beaucoup évaluation d’impacts estdevenue synonyme d’expérimentation aléa-toire contrôlée. Pendant longtemps, cela ad’ailleurs été interdit en France, pour des rai-sons d’égalité de traitement des citoyens. Onfait comme en médecine, avec un placebo,et on contrôle les effets sur deux échantil-lons. Évidemment, en procédant de la sorte,on ne voit pas du tout les effets de système.On sait pourtant qu’il est extrêmement diffi-cile d’avoir des jumeaux, toutes choses éga-les par ailleurs, surtout sur des trajectoiressociales, avec des personnes ou des grou-pes de personnes qui n’ont pas eu lesmêmes conditions de vie. On voit que si c’esttrès intéressant intellectuellement, c’est enmême temps très limité, avec des effets sou-vent modestes et extrêmement difficiles àexpliquer. Le plus souvent, on mobilise desappareils statistiques extrêmement lourdspour confirmer des évidences.

« Il y a donc encore beaucoup à faire pour abou-tir à une sorte de méta-méthodologie qui conduiseà rapporter les méthodes disponibles à des ques-tions et à des contextes précis… »Bernard Perret

« Il y a quand même eu un effet de mode, ces der-nières années, autour d’Esther Duflo, avec l’expé-rimentation aléatoire contrôlée, comme si c’étaitla seule et unique méthode d’évaluation desimpacts. »Annie Fouquet


Deuxièmement, il va de soi qu’une méthodedoit avant tout être adaptée à la question qu’onse pose. De mon expérience de la DARES, jetire la conclusion que la définition précise desobjectifs d’une mesure est un point essentielavant le démarrage d’une évaluation.

Frédéric Courleux

Il y a indéniablement une tentation de cer-tains bureaux d’étude, et il s’agit le plus sou-vent d’émanations de la recherche, deproposer les méthodes qu’ils maîtrisent ouveulent promouvoir sans qu’elles soientnécessairement les plus adaptées à tel ou telprojet d’évaluation. Je partage ce qui a étédit sur certaines modes et le biais qui consisteà vouloir « faire science » alors que l’évalua-tion n’est pas tant une discipline académiquequ’une démarche à vocation démocratiqueet politique. Le rôle du CEP est justementd’appuyer les bureaux plus opérationnels duministère en matière d’appréciation desméthodes proposées par les évaluateurs.Ceci afin d’éviter de se voir « vendre » desméthodes inadaptées ou d’un coût dispropor-tionné au regard de l’objectif de l’évaluationou des données. On peut citer par exemplele recours parfois systématique à la modéli-sation économique, notamment pour abor-der les questions touchant à l’instabilité desmarchés agricoles alors même que la plupartdes sources d’instabilités ne sont pas repré-sentées dans les modèles standard.

Pierre Claquin

J’aimerais revenir un peu sur les rapportsentre indicateurs et évaluation. D’après ceque vous avez dit tout à l’heure, le choix desindicateurs est tout sauf anodin, il conditionneune bonne partie du travail. Quel est en par-ticulier le lien entre indicateurs et questionsévaluatives ?

Annie Fouquet

Le problème est que souvent il n’y a pas deliens. Les indicateurs sont prédéfinis avant quel’on se pose la question des choses à évaluer.

Bernard Perret

Les indicateurs sont définis en eux-mêmeset pour eux-mêmes. Alors que logiquement,bien sûr, le questionnement doit précéderle choix des indicateurs et des méthodesqui permettront de mesurer. Cela interfèreavec la question des indicateurs de suivides mesures, qui donnent aussi de leur côtédes informations indispensables pour l’éva-luation.

Laurent Barbut

C’est une question que l’on retrouve sou-vent à propos des évaluations demandéespar l’Europe. La Commission impose aupréalable des indicateurs mais il faut bienfaire attention, le plus en amont possible,de disposer également d’indicateurs natio-naux spécifiques si on veut que l’évaluationréponde aux questions que l’on se pose. Ily a certes trop d’indicateurs européens pré-formatés, mais il faut aussi les adapter et seles approprier dans la perspective des éva-luations à venir, ce qui n’a pas été suffisam-ment fait.

Annie Fouquet

Attention, on peut aussi développer desenquêtes spécifiques pour acquérir de nou-velles données. Il faut aussi se méfier de biaispotentiels : dans les évaluations ex post, cesont très souvent les indicateurs de suivi,voire des critères d’éligibilité, qui servent àrenseigner les indicateurs de résultat. En bref,les gens déclarent leurs objectifs commerésultats et il faut qu’ils remplissent la ligne,sinon c’est bloquant !

Pierre Claquin

Pour être légitime, faut-il qu’une évaluationcomporte nécessairement un volet quantitatif ?

Bernard Perret

Bien sûr, oui, bien sûr.


Laurent Barbut

Pour moi non. Cela dépend des questions etdu matériau dont on dispose où que l’on peutmobiliser. Si on a des questions qui ne se prê-tent pas au quantitatif et si on n’a pas de don-nées, on peut très bien faire d’excellenteschoses avec du qualitatif. Par contre c’est vraique le décideur a l’impression que c’est plussérieux quand on présente des résultats chif-frés. J’utilise souvent des démarches qualita-tives, et j’ai rarement des blocages denon-recevabilité des résultats, mais attention,le choix des échantillons et des études de casdoit reposer sur une typologie solidementargumentée. Et je passe souvent un tempsimportant, en comité de pilotage, pour choi-sir ces cas, en discuter, les faire partager. Eten général cela suffit à garantir l’acceptabilitédes résultats. On peut faire du qualitatif rigou-reux et argumenté, sans passer par une repré-sentativité au sens strict de la statistique.

Bernard Perret

Cela pose la question plus générale de la repré-sentativité. Les résultats produits sont-ils géné-ralisables ou pas ? Qu’est-ce que je peuxextrapoler à partir de mes 10 départementstirés au hasard ? Comment passer de ces casconcrets à des conclusions plus globales ? Queconclure à partir d’un faisceau d’indices ?

Cela me rappelle un congrès de la sociétéaméricaine d’évaluation, où il y avait un ate-lier sur les petits échantillons. Toute la ques-tion était de savoir, de façon très méthodique,ce qu’on pouvait faire dire à des échantillonsde 10 personnes. Et c’étaient des statisticiensqui se posaient ce genre de questions, ceque l’on auraitpas vu enFrance, où lesstatisticiens nes ’ i n t é ressen tjamais à cesquestions là. Lerésultat est quel’on n’aborde passérieusement ces questions, on en reste àdu bricolage. C’est considéré comme en

dehors de la « science », comme « pas sérieux ».On est là sur des problématiques hybrides quin’ont pas d’existence en tant que telles.

Pierre Claquin

Selon vous, quels sont les liens entre éva-luation et observation, notamment la montéeen puissance des « observatoires » et entreévaluation et expérimentation ?

Annie Fouquet

J’ai plusieurs expériences en la matière. Avecl’observatoire de la pauvreté, l’idée était demettre autour de la table toutes les informa-tions disponibles, qui pouvaient provenir desdifférentes catégories d’acteurs, et de ne sur-tout pas en rester aux seules sources statis-tiques. Au niveau territorial maintenant, on serend compte qu’une réunion de l’observatoirelocal de la sécurité, c’est en fait une rencontreentre la police municipale et le proviseur dulycée, c’est la construction d’un partenariat,et les chiffres ne sont finalement que l’alibide la rencontre. Mais c’est très utile, ça obligeles acteurs à se mettre d’accord sur la façonde suivre certaines choses. Je pense à lapolitique de la ville où la mise en place del’ONZUS (Observatoire des Zones urbainessensibles) a conduit à reconnaître, par tousles acteurs, la nécessité de géo-localiser lesobservations. Et sur cette base là on peutensuite faire des évaluations. On voit que telchiffre monte ou descend et tout de suite onse pose la question du pourquoi. Donc l’ob-servation appelle et justifie l’évaluation.

Le terme « expérimentation » a lui beaucoupde sens diffé-rents. Et on enfait depuis trèslongtemps, enparticulier dansle champ dusocial ! Il n’a pasfallu attendre lesd e r n i è r e s

années et l’expérimentation aléatoire contrô-lée. L’expérimentation, dans le sens le plus

« L’expérimentation (…) me paraît être une démar-che heuristique utile pour une administration jaco-bine trop sûre d’elle. Elle teste puis généralise siles résultats sont probants. (…) C’est donc uneécole de modestie qui est favorable à l’évaluation. » Annie Fouquet


général, me paraît être une démarche heu-ristique utile pour une administration jacobinetrop sûre d’elle. Elle teste puis généralise siles résultats sont probants. L’administrationreconnaît qu’elle n’a pas la science infuse etne juge pas seulement du haut de sa gran-deur ce qui est bon ou mauvais. Elle teste etrevient éventuellement en arrière. C’est doncune école de modestie qui est favorable àl’évaluation. En disant cela, je parle de tou-tes les formes d’expérimentation, et pas seu-lement de l’expérimentation aléatoirecontrôlée qui a déjà été évoquée précédem-ment.

Laurent Barbut

Pour moi, observation et expérimentationdevraient être complémentaires de l’évalua-tion mais ne sauraient la remplacer.L’observation, on l’a déjà évoqué, est liée àl’évaluation au travers des indicateurs. Quantà l’expérimentation, son champ d’applicationest limité : il y a beaucoup de politiques aux-quelles elle ne peut pas s’appliquer, et denombreuses questions auxquelles elle nerépond pas.

Bernard Perret

Les observatoires renvoient à la notion d’in-dicateur d’état, permettant d’établir le diag-nostic d’une situation donnée. Dans leprolongement de cette réflexion, on peut sou-ligner le cas particulier les indicateurs syn-thétiques, assez médiatisés tels quel’Indicateur de Développement Humain (IDH)ou l’empreinte carbone. Pour l’instant je n’aipas eu connaissance de feed back de cesindicateurs sur l’évaluation alors que, pourun grand nombre de politiques, on s’atten-drait à ce que ces indicateurs nourrissentl’évaluation et servent de critères d’évalua-tion.

Laurent Barbut

Sur ce sujet, je viens justement de faire unemission pour la région Nord-Pas-de-Calais,qui est une des régions qui a travaillé l’IDHà l’échelle communale et qui peut produiredes cartes précises fondées sur la valeur decet indicateur synthétique. Dans l’évaluation enquestion, nous avons choisi nos études de casd’évaluation en fonction de ces valeurs, ce quiest un bon exemple de ce que l’observationpeut apporter à l’évaluation.

Pierre Claquin

D’après vos expériences, l’évaluation a-t-elledes effets positifs, en retour, sur le recueil desdonnées et l’élaboration des données de suivi ?

Laurent Barbut

Oui, il y a des améliorations qui sont tangi-bles. J’ai le souvenir de l’évaluation à mi-parcours du PDRN en 2003, où nous étionsconfrontés à un problème de données desuivi qui n’existaient pas, nous avons mis ledoigt sur le problème et du coup un outil aété installé pour que ces informations soientdisponibles lors des évaluations suivantes.Cet outil, l’ODR, n’est pas complètementfonctionnel et satisfaisant, mais au moins ila été créé et a traité le problème. Deuxièmeexemple, ont été introduites des questions,dans des enquêtes statistiques telles que lerecensement agricole, dont les réponses per-mettent ensuite de faire le lien avec des poli-tiques publiques ; par exemple le fait d’êtrebénéficiaire ou non de telle ou telle politiquece qui permet de distinguer directement béné-ficiaires et non bénéficiaires. Maintenant, onest loin d’être au bout de la route, il y a encorebeaucoup de progrès à faire. L’évaluationpousse petit à petit à améliorer le systèmede suivi, et réciproquement d’ailleurs.


Frédéric Courleux

Nous insistons effectivement sur la sensibi-lisation des bureaux opérationnels du minis-tère à l’importance de penser les données desuivi en amont de l’évaluation. On peut seréjouir que certains services demandent àtout rédacteur de nouvelle circulaire de rem-plir une annexe où il est question de son éva-luation et des données de suivi nécessairespour cela. Bien sûr il y a toujours une cer-taine urgence à agir et une priorité, bien natu-relle du reste, donnée à l’exécution, à la miseen œuvre, au paiement, etc., au détriment dusuivi et de l’évaluation mais, chemin faisant,les choses s’améliorent. Un exemple parmid’autres : on milite pour que dans les formu-laires administratifs soient supprimées tou-tes les informations qui ne sont pasobligatoires car, dans les faits, elles sont inex-ploitables ! Si c’est important, on le demandevraiment pour pouvoir l’exploiter. Il y a desmarges de progrès aussi sur les apparie-ments entre les différentes bases, afin notam-ment de travailler davantage sur les nonbénéficiaires qui sont une source importanted’information pour l’évaluation.

Bernard Perret

De manière un peu rituelle, une bonne partiedes évaluations auxquelles j’ai participé compor-tent toujours desconstats sur lemanque de sour-ces, de données.Mais j’ai le senti-ment que ceux quidisent cela ne sontpas assez sélec-tifs, qu’ils ne se ren-dent pas compteque l’information aun coût, et toutenouvelle mesurene peut pas s’ac-compagner de lamise en place d’untout nouveau sys-tème d’informa-tions.

Un exemple intéressant est celui de la LOLF.Quand on se pose des questions d’évaluationsur les aspects financiers et les coûts desmesures, on se rend vite compte que tout celane correspond que très rarement aux décou-pages de la LOLF, qui n’est donc d’aucunapport pour l’évaluation en matière d’efficience.Je ne sais pas comment traiter cette questioncar les problématiques d’évaluation qui émer-gent n’ont aucune raison d’être complètementstabilisées alors que le suivi des dépensesnécessite un minimum de stabilité.

Pierre Claquin

On dit souvent que les résultats des évalua-tions ne sont pas assez pris en compte parles décideurs. Comment d’après vous pour-rait-on améliorer ce lien entre évaluation etdécision ?

Annie Fouquet

Mon expérience est qu’en général, les politi-ques n’attendent pas la fin d’une évaluationpour prendre des décisions, et ensuite quandles rapports sortent, on dit qu’ils ne serventà rien puisque les décisions sont déjà prises.En fait, ces décisions s’appuient sur lesétudes et l’amélioration des connaissancesacquises au cours de l’évaluation. Il y a donc

du chemin fai-sant.

Laurent Barbut

Je pense qu’il y adeux niveaux deprise en comptedes recomman-dations. Le pre-mier niveauconsiste à voir cequi a changé unan ou deux aprèsl’évaluation, etsouvent dans cecas on trouvequ’il ne s’est pas

« De manière un peu rituelle, une bonne partie desévaluations auxquelles j’ai participé comportenttoujours des constats sur le manque de sources, dedonnées. Mais (…) l’information a un coût, et toutenouvelle mesure ne peut pas s’accompagner de lamise en place d’un tout nouveau système d’infor-mations. »Bernard Perret

« Je pense qu’il y a deux niveaux de prise en comptedes recommandations. Le premier niveau consisteà voir ce qui a changé un an ou deux après l’éva-luation. (…) Le deuxième niveau est plus souter-rain, de l’ordre du temps long, plus diffus, onressort tel argument lors d’une négociation, onreprend une idée, cela ne se voit pas forcément maisc’est utilisé. »Laurent Barbut


passé grand chose. Le deuxième niveau estplus souterrain, de l’ordre du temps long,plus diffus, on ressort tel argument lors d’unenégociation, on reprend une idée, cela nese voit pas forcément mais c’est utilisé. Ceciétant dit, au regard des moyens engagés,je trouve que les évaluations débouchenttrop rarement sur des processus de déci-sion, et cela la dessert. Parmi les voiesd’amélioration, il faudrait impliquer davan-tage les décideurs. Par exemple, je n’aijamais vu un directeur général ou un direc-teur de cabinet assister à une présenta-tion finale approfondie d’une évaluation.Deuxièmement, il faudrait communiquer pluset mieux sur la démarche en amont et sur lesrésultats en aval. Il s’agit de se placer dès ledépart dans un cadre tel que l’on soit dansl’obligation de communiquer en aval sur l’éva-luation et ses résultats. Les agences de l’eausavent bien faire cela avec une forme d’ins-titutionnalisation par un mandat du comité debassin.

Bernard Perret

Je crois qu’il faut effectivement se poser laquestion du mode d’institutionnalisation duprocessus de valorisation des résultats desévaluations. Il ya un cas où celase fait bien, c’estavec les fondsstructurels, parceque cet aspectest complète-ment intégrédans la mécani-que elle-même. Dans d’autres cas de figure,il faut probablement réfléchir à des modesd’obligations. Par exemple, dans le comitéministériel d’évaluation du ministère de l’Éco-logie, entre 2000 et 2007, on avait mis enplace un processus avec deux réunions paran, et les directions concernées devaient faireun point pour dire ce qu’elles avaient tiré desévaluations. Attention il ne s’agit pas de s’obli-ger à mettre en œuvre les recommandations

mais de rendre compte. Cela nourrit d’ailleursle retour d’expérience.

Laurent Barbut

Seul le commanditaire peut décider de fairece qu’il veut d’une évaluation. Mais il estnéanmoins important qu’il y ait toujours unecertaine forme de suivi, qu’on sache ce quele commanditaire reprend ou pas au sein desrecommandations formulées, et pourquoi.Cela oblige à avoir une forme de transpa-rence, pour organiser la suite et la vie del’évaluation une fois que la démarche est ter-minée.

Bernard Perret

Depuis l’émergence de la commande jusqu’auprocessus de suivi final, il faudrait organiserune traçabilité de l’évaluation, des questions,des méthodes, etc. C’est très ambitieux maisc’est la condition d’une capitalisation. Il fau-drait aussi une traçabilité de la commanded’évaluation, et savoir comment et pourquoion en est arrivé à mettre un projet d’évalua-tion sur la table. Et tout ça ne doit pasconduire à limiter en quoi que ce soit la res-

ponsabilité dupolitique et lalégitimité de sadécision, simple-ment cela doit lemettre en situa-tion d’abattre sescartes et derévéler un peu

plus ses stratégies, puisque l’évaluation a étéfinancée sur argent public, ce qu’il faut pou-voir justifier.

Annie Fouquet

Et même si l’on sait bien qu’il y a souvent deschangements de gouvernants, et que ceux-cine veulent pas reprendre les conclusions des

« … il faut effectivement se poser la question dumode d’institutionnalisation du processus de valo-risation des résultats des évaluations (…) réfléchirà des modes d’obligations. »Bernard Perret


évaluations commandées par leurs prédé-cesseurs, au moins qu’ils puissent dire cequ’ils en reprennent ou pas, et pourquoi, enassumant la légitimité d’un éventuel change-ment d’orientation en cas d’alternance.

Frédéric Courleux

Les choses ne sont peut être pas aussi linéai-res, les objectifs et les arbitrages peuventévoluer. Sur ce sujet, il est important de rap-peler la distinction, entre « policy » et « poli-tics ». Ce sontles policies (lespolitiques publi-ques, les instru-ments et leurmise en œuvre)que l’on doit éva-luer et non lesorientations poli-tiques (politics).Cela nousamène à conser-ver toujours unecertaine réserve vis-à-vis des objectifs quel’on aborde sous les critères de cohérenceet pertinence. Nous portons ce positionne-ment auprès des services qui « protège »aussi, en quelque sorte, les évaluateurs etne remet pas en cause la légitimité du déci-deur politique. J’insisterai sur ce point : l’éva-luation est là pour progresser dans lacompréhension des mécaniques économi-ques et sociales à l’œuvre qui vont impac-ter les résultats d’un instrument. Mais on nepeut pas porter de jugement définitif sur l’ef-ficacité ou l’efficience d’un instrument depolitique publi-que dans lamesure où il esttributaire desobjectifs qu’on luiassigne, qui peu-vent être chan-geants, et ducontexte danslequel il seramobilisé.

Pierre Claquin

Pour terminer nos échanges en se projetantplus sur les prochaines années, quels freinsidentifiez-vous au développement de l’éva-luation dans notre pays ?

Annie Fouquet

Je trouve que beaucoup des freins existantssont en train de s’estomper. Les freins cultu-rels notamment. Du côté du Parlement, les

choses sont vrai-ment en train debouger. Enrevanche, l’inter-ministérialité adécliné. Le meil-leur moment enla matière étaitcelui duCommissar iatgénéral du Plan,avec le CSE puisle CNE, et il y a

un vrai creux depuis 2002. Au final, je suisassez optimiste cependant, car la culturejacobine française est en train de se mâtinerd’Europe, d’innovation institutionnelle, etc.Et je compte aussi beaucoup sur les collec-tivités locales, qui sont de plus en plus ouver-tes à l’évaluation. Les élus locaux qui ont unpeu « baigné » dedans en sont ressortiscomplètement convaincus.

Laurent Barbut

Je suis relative-ment optimisteaussi. Je penseque les princi-paux freins sonteffec t ivementculturels et quepour qu’ils évo-luent, dans lesp r o c h a i n e sannées, il faudra

« Sur ce sujet, il est important de rappeler la dis-tinction, entre « policy » et « politics ». Ce sont lespolicies (les politiques publiques, les instrumentset leur mise en œuvre) que l’on doit évaluer et nonles orientations politiques (politics). Cela nousamène à conserver toujours une certaine réservevis-à-vis des objectifs que l’on aborde sous les cri-tères de cohérence et pertinence. »Frédéric Courleux

« Je pense que les principaux freins sont effective-ment culturels et que pour qu’ils évoluent, (…) ilfaudra (…) d’une part de la pratique, des expérien-ces concrètes, et en particulier que des décideursparticipent à des évaluations, (…) d’autre part, ilfaudra garder la diversité des approches et desméthodes et se prémunir de l’hégémonie d’uneméthode sur les autres… »Laurent Barbut


deux choses. D’une part de la pratique, desexpériences concrètes, et en particulier quedes décideurs participent à des évaluations,ce qui retourne leurs craintes en opportuni-tés. D’autre part, il faudra garder la diversitédes approches et des méthodes et se pré-munir de l’hégémonie d’une méthode sur lesautres ou encore de certaines dérives versdes évaluations trop budgétaires, ou tropquantitatives, ou encore trop centrées sur desindicateurs.

Pierre Claquin

En cette année d’élections et d’intensesdébats démocratiques, les candidatss’appuient souvent sur les rapports de laCour des comptes pour donner tort à leursadversaires. En revanche, on entend trèsrarement dire qu’ils s’appuient sur telle outelle évaluationpour défendreune argumenta-tion. Pensez-vous que leschoses vontchanger demain,et que des résul-tats d’évaluationsdeviendront des bases d’argumentations poli-tiques ?

Bernard Perret

Très souvent, on voit que la grande pressese focalise sur quelques chiffres, mais ellene rentre pas dans le détail des évaluations.Elle n’en relate que quelques éléments super-ficiels. Et ça vient en partie de ce que nousdisions au début sur le fait qu’en France, lademande d’évaluation est souvent liée à deschoses un peu compliquées sur lesquelleson n’a pas d’idées très claires et cela débou-che souvent sur des conclusions elles-mêmescomplexes que la grande presse ne reprendpas. Sur le plan « santé mentale », une éva-luation a été conduite par le HCSP (hautconseil de la santé publique), parallèlementà une évaluation de la Cour des comptes.Des échanges ont eu lieu en continu mais

deux rapports ont été remis. Le rapport de laCour des comptes est bien fait mais finale-ment très classique, distribuant des bons etdes mauvais points sur la base d’indicateursquantifiés alors que notre rapport d’évalua-tion va plus loin dans l’analyse, traitant desjeux d’acteurs, des pratiques, d’évolution dessystèmes, etc. Évidemment le premier a euplus d’écho médiatique, même si la pressemédicale spécialisée s’est aussi intéresséeau rapport du HCSP.

Annie Fouquet

Les journalistes ne connaissent pas l’évalua-tion, pour eux c’est quelque chose de sco-laire, c’est une note que l’on donne. On n’estpas du tout dans l’appréciation d’une politi-que. Ils ne supportent pas la complexité. Parailleurs, chez nous, le dysfonctionnement est

toujours consi-déré comme unéchec, ou commeune erreur, doncnégatif, au lieud’être compriscomme uneoccasion decomprendre des

choses et de les faire évoluer. C’est cela quiest difficile en France, on est dans la culturescolaire de la note.

Bernard Perret

Alors que la notion d’accountability qu’utili-sent les anglo-saxons montre que pour eux,le contrôle, le fait de pouvoir demander descomptes, n’est pas synonyme de domina-tion, de pouvoir, de hiérarchie. Alors quedans notre culture, le contrôle c’est uneforme d’exercice du pouvoir de celui qui estau-dessus sur celui qui est en-dessous.Contrôle et hiérarchie sont des notions extrê-mement liées.

Je veux ajouter une note un peu plus inquiètepour finir. Dans les années qui viennent, auvu de la gravité des problèmes budgétaires,je m’interroge sur la place que l’on réservera

« … chez nous, le dysfonctionnement est toujoursconsidéré comme un échec, ou comme une erreur,donc négatif, au lieu d’être compris comme uneoccasion de comprendre des choses et de les faireévoluer. »Annie Fouquet


à l’évaluation. Au Canada dans les années1990, le milieu de l’évaluation avait été large-ment mobilisé dans le cadre d’un processusde réforme budgétaire de grande ampleur. Ledécideur politique avait publiquementdemandé l’appui des évaluateurs avec un cer-tain succès. En France, je doute que le mondedes évaluateurs soit prêt ou même seulementmis en situation de jouer un rôle similaire.

Frédéric Courleux

Cela renvoie à une préoccupation que nousavons sur la notion de « réserve de perfor-mance », déjà expérimentée sur d’autresfonds européens et envisagée sur le secondpilier de la PAC (5 % du budget seraientdébloqués à mi-parcours en fonction d’indi-

cateurs cibles). Cela nous pose question. Ilserait à craindre, si les indicateurs et plusglobalement l’évaluation étaient directementmobilisés pour contrôler la performance, quel’espace de liberté pour améliorer les politi-ques publiques que constitue leur évaluationsoit pris en étau.

Laurent Barbut

Tout à fait, le risque de dérive existe. Ilconvient, sans remettre en cause ce principede réserve de performance, que celle-ci soitévaluée de manière complète et pas unique-ment sur la base de quelques indicateurs tropsimples. Avec le risque aussi d’aider ceux quiréussissent plus que ceux qui ont réellementbesoin des financements.

Recommandations aux auteurs

● Format

Les manuscrits sont présentés sous format Word ou Writer en police de taille 12. Ils ne dépassent pas50 000 signes espaces inclus, y compris tableaux, graphiques, bibliographie et annexes.

Sur la première page du manuscrit doivent figurer :

- le titre de l’article ;- le(s) nom(s) de(s) auteur(s) et leur(s) institution(s) ;- le résumé de l’article (800 signes espaces compris) en français et en anglais ;- trois à six mots-clés en français et en anglais.

Toutes les sources des chiffres cités doivent être précisées. Les sigles doivent être explicités. Lorsquel’article s’appuie sur une enquête, des traitements de données, etc., un encadré présentant la métho-dologie est souhaité. Pour une meilleure lisibilité, les notes de bas de page doivent être limitées en nom-bre et en longueur.

Les références bibliographiques sont présentées ainsi :

a - Dans le texte ou les notes, chaque référence citée est constituée du nom de l’auteur et de l’an-née de publication entre parenthèses, renvoyant à la bibliographie en fin d’article. Par exem-ple : (Griffon, 2004).

b - À la fin de l’article, les références sont classées par ordre alphabétique d’auteurs et présentéesselon les normes suivantes :

- pour un ouvrage : nom de l’auteur, initiale du prénom, année, Titre d’ouvrage, ville, mai-son d’édition ;

- pour un article : nom de l’auteur, initiale du prénom, année, « Titre d’article », Revue,n° de parution, mois, pages.

Seules les références explicitement citées ou mobilisées dans l’article sont reprises en fin d’article.

● Compléments pour mise en ligne de l’article

Dans la perspective de la publication de l’article sur le site internet du CEP et toujours selon leur conve-nance, les auteurs sont par ailleurs invités à :

- adresser le lien vers leur(es) page(s) personnelle(s) à caractère « institutionnelle(s) » s’ils en dis-posent et s’ils souhaitent la(les) communiquer ;

- communiquer une liste de références bibliographiques de leur choix utiles pour, contextualiser,compléter ou approfondir l’article proposé ;

- proposer une liste de lien vers des sites Internet pertinents pour se renseigner sur le sujet traité ;- proposer, le cas échéant, des annexes complémentaires ou des développements utiles mais non

essentiels (précisions méthodologiques, exemples, etc.) rédigés dans la phase de préparation del’article mais qui n’ont pas vocation à intégrer la version livrée, limitée à 50 000 caractères. Cescompléments, s’ils sont publiables, viendront enrichir la version Internet de l’article.

● Procédure

Tout texte soumis est lu par au moins 3 membres du comité de rédaction. Deux fiches de lecture rédi-gées par un des membres du comité de rédaction et par un expert extérieur sont transmis aux auteurs.La décision de publication est prise collectivement par le comité de rédaction. Tout refus est argumenté.

Les manuscrits sont à envoyer, en version électronique uniquement, à :

- Pierre Claquin, secrétaire de rédaction : [email protected] Bruno Hérault, rédacteur en chef : [email protected]

● Droits

En contrepartie de la publication, l’auteur cède à la revue Notes et Études Socio-Économiques, à titreexclusif, les droits de propriété pour le monde entier, en tous formats et sur tous supports, et notam-ment pour une diffusion, en l’état, adaptée ou traduite. À la condition qu’il demande l’accord préalableà la revue Notes et Études Socio-Économiques, l’auteur peut publier son article dans un livre dont il estl’auteur ou auquel il contribue à la condition de citer la source de première publication, c’est-à-dire larevue Notes et Études Socio-Économiques.

Notes et études socio-économiquesMinistère de l’Agriculture,

de l’Agroalimentaire et de la ForêtSecrétariat Général

Service de la Statistique et de la ProspectiveCentre d’études et de prospective

Renseignements :Service de la Statistique et de la ProspectiveCentre d’Études et de Prospective12, rue Henri-Rol-Tanguy –TSA 70007 – 93555 Montreuil sous Bois Cedex

tél. : 01.49.55.85.05

LES PUBLICATIONS DU SERVICE DE LA STATISTIQUE ET DE LA PROSPECTIVE Prix : 12 €

Diffusion :Service de la Statistique et de la ProspectiveBureau des ventes – BP 3268831326 – Castanet Tolosan cedex

Vente au numéro : [email protected] : 05.61.28.93.66

Abonnement : tél. : 05.61.28.93.05

Tous les articles de Notes et Études Socio-Économiques sont téléchargeables gratuitement sur :

http:/www.agreste.agriculture.gouv.fr

- Rubrique Publications > Notes et études socio-économiques

http://agriculture.gouv.fr/centre-d-etudes-et-de-prospective

- Rubrique Publications du CEP > Notes et études socio-économiques

Abonnement à l’alerte électronique en envoyant un message à l’adresse :

[email protected] avec le sujet « abonnement »

Notes et études socio-économiques

Documents

Mise en page 1agreste.agriculture.gouv.fr/IMG/pdf/nese120636a6.pdf · 2 0 1 2 Laurent Barbut, Annie Fouquet, Bernard Perret Débat ... D’une périodicité de deux numéros par an,