24
Mieux décider, mieux piloter L’évaluation au service d’une nouvelle intelligence de l’action publique XIII èmes Journées Françaises de l’Evaluaon (JFE) - Au village des artstes de Saint-Ouen (93) - Programme Ces journées s’adressent à la fois aux décideurs et pilotes de l’acton publique, aux pratciens de l’évaluaton et à tous les professionnels, élus, citoyens et chercheurs intéressés par ces questons. 16 et 17 novembre 2017 Aenon : Nouveau lieu

XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Mieux décider, mieux piloterL’évaluation au service d’une nouvelle

intelligence de l’action publique

XIIIèmes Journées Françaises de l’Evaluation (JFE)

- Au village des artistes de Saint-Ouen (93) -

Programme

Ces journées s’adressent à la fois aux décideurs et pilotes de l’action publique, aux praticiens de l’évaluation et à tous les professionnels, élus, citoyens

et chercheurs intéressés par ces questions.

16 et 17

novembre 2017

Attention : Nouveau lieu

Page 2: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

L’évaluation, au cœur de l’actualité de l’action publique.

Le 16 novembre et le 17 novembre

Venez apprendre, débattre et partager autour de 4 entrées :

2

Page 3: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

L’action publique est confrontée à de nou-veaux défis : évolutions des besoins et des at-tentes, globalisation des enjeux, révolution

numérique, aspirations démocratiques en miroir àla défiance vis-à-vis des institutions, recompositionsinstitutionnelles, contraintes sur les finances pu-bliques… Les solutions traditionnelles sont interro-gées par la complexité des enjeux économiques,sociaux et environnementaux. Si les réformes por-tent des objectifs de simplification et de clarifica-tion, les questions du sens de l’action publique et del’égalité des citoyens et des territoires sont posées.

Dans ce contexte, les politiques publiques sont à lacroisée des chemins : d’un côté, leur légitimité etleur utilité sont reconnues, de l’autre, leur efficacité,leur cohérence et leur efficience sont questionnées.

Ces enjeux imposent de développer une nouvelle in-telligence de l’action publique et, pour cela, de ren-forcer le pilotage des politiques publiques etd'inventer de nouveaux rapports entre les citoyenset les institutions. Il s’agit de mieux comprendre lasociété, de développer des stratégies mieux ancréesdans les réalités, d’anticiper les changements par desapproches prospectives, d’éclairer les décisions pardes évaluations qui aident à réinterroger les objec-tifs et les modes d’intervention de l’action publiquemais aussi d’adapter les politiques aux ressourcesdisponibles, de veiller à l’efficience du service public.Il s’agit aussi d’accompagner les évolutions des mé-tiers et des pratiques professionnelles.

Au fil des ans, les institutions publiques se sont do-tées de ressources humaines et d’outils et ont misen œuvre des démarches dédiées au pilotage : ob-servation, prospective, analyse de gestion, évalua-tion, conseil en organisation, contrôle de gestion,audit… qui posent des enjeux de complémentaritéet d’articulation.

Pour sa part, l’évaluation des politiques publiques avu sa légitimité renforcée par l’implication de l’Etatet par les expériences de nombreuses collectivités.Le baromètre de l’évaluation 2016 réalisé par la SFEa ainsi recensé près de 1 800 évaluations depuis2007, soit 200 évaluations par an en moyenne, dontla moitié réalisée par l’Etat et 38 % par les collecti-vités territoriales. Elle a ses propres apports au pi-lotage de l’action publique en tant qu’activité à partentière (apports de connaissance, éclairage de la dé-cision, approches prospectives…). Cependant, elledoit encore renforcer son utilité, mieux dialogueravec les autres activités, métiers et outils d’aide à ladécision pour apporter sa singularité dans le pilo-tage et la conduite de l’action publique.

Les JFE 2017 : un temps fort de dialogue entre l’évaluation

et les autres outils d’aide à la décision et au pilotage de l’action publique

A cette occasion, ensemble, nous chercherons à ap-porter des réponses à ces deux questions :

- Dans des contextes différents, selon les échelles ter-ritoriales et institutionnelles, comment mieux struc-turer la conduite de l’action publique et le pilotagedes différentes politiques sectorielles ? Quels apportsspécifiques de l’évaluation en tant qu’outil de pilo-tage ?

- Comment développer des complémentarités entrel’évaluation et les autres outils d’aide à la décisionau service de l’efficacité des politiques publiquesdans un contexte évolutif ?

En partenariat avec :

Page 4: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Jeudi 16 novembre9 h 00 Accueil des participants

9 h 30 Une ouverture pour mettre en perspective

Animatrice Aline Blanc-Tailleur, Administratrice de la SFE

pAllocutions d’ouverture, Michel Basset, Président de la SFE et Frédéric Molossi, Vice-président du Conseil départemental de Seine-Saint-Denis

p « Les évolutions de l’évaluation en France », Alix de Saint-Albin, Consultant Pluricité, auteur de la Vigie de l’Evaluation

p « Pourquoi nous nous engageons dans l’évaluation de nos politiques publiques, maispourquoi d’autres ne le font pas ? »,avec : Fabrice Lenglart, Commissaire Général Adjoint de France Stratégie ; Thierry Perreau, Président de la Commission d’Evaluation des Politiques Publiques de la Région Nouvelle Aquitaine ; Jean-François Caron, Maire de Loos-en-Gohelle ; Thierry Ambrosini, Ville de Pauet agglomération de PauAnimateur Claudy Lebreton, ancien Président du Conseil départemental des Côtes d’Armor,ancien Président de l’Assemblée des Département de France, Administrateur de la SFE

p « Le baromètre de l’évaluation en Ile-de-France », Laurent Barbut, Directeur Epices, Administrateur de la SFE

11h30 Regards croisés (en simultané)p « Croisement des points de vue sur les enjeux de la modernisation de l’action publique »,Clément Lacouette-Fougère, Chef de projet, Secrétariat général pour la modernisation de l'ac-tion publique (SGMAP) - Animateur Pierre Savignat, Président d’Honneur de la SFE

p « Les fonctions d’aide au pilotage, leurs articulations et leurs complémentarités »,Françoise Fleurant-Angba, Présidente de l'Association Finances Gestion et Evaluation (AFI-GESE) et Michel Basset, Président de la Société française de l’évaluation - Animateur : GillesAlfonsi, Directeur adjoint de la stratégie, de l’organisation et de l’évaluation au Départementde la Seine-Saint-Denis

12 h 30 Déjeuner (pris sur place)

14 h 00Q u a t r etypes de sessions :

4

Déroulé

19 h 00 Buffet dinatoire, concert « A contre-courant », par la Compagnie Jolie mômeA la salle “La Belle Etoile” - Saint Denis (93)Cette création musicale se situe dans la lignée des précédentes : la guerre, les attentats, les colonies, les riches, la Palestine, les sanspapiers, les Roms, le réformisme, les licenciements, les crises, la grève, les grèves, la crise... Dans ce spectacle qui dépeint une vision de l'actualité, place est toujours laissée à l'actualisation, à l'actualité. À Contrecourant est interprété par 11 comédiens chanteurs

Page 5: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Vendredi 17 novembre

9 h 30 Les sessions en continu

12 h 30 Déjeuner (pris sur place)

14 h 00 Les sessions en continu

16 h 00 Séance de clôture : « Au revoir les Artistes, avant de partir créons ensemble ! »Pour repartir avec les idées forces de ces 2 jours, présentation des résultats de l’enquête avant / après JFEet débat en forum autour des principaux enseignements sur les apports réciproques de l’évaluation et desautres fonctions de pilotage au bénéfice de l’action publique.

Regard sur l’évaluation et le pilotage de l’action publique par Stéphane Troussel, Président du Conseil Dé-partemental de Seine-Saint-Denis

Avec la participation active des étudiants du Master Evaluation et suivi des Politiques Publiques de l’IEP deLyon.

Animatrices : Virginie Besrest, Directrice Quadrant Conseil, Secrétaire de la SFE et Gwendoline Lions, Ins-pectrice Conseil départemental des Côtes d’Armor, Trésorière de la SFE. 

5

Page 6: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Sessions Politiques publiques

Des commanditaires et des évaluateurs dialoguent avec les participants sur la conduite d’évaluations, de la commande au suivi des recommandations.

Format : 2 h

6

Politiques associatives 16 nov. 14 h - 16 h

Apports des études et évaluations à l'action associative et à l'action publique

Pour orienter leurs politiques en direction des associa-tions, les collectivités développent des études et des éva-luations qui contribuent à la connaissance des acteurs dela vie associative, de leurs activités et de leurs enjeux.Ces travaux montrent le rôle des associations sur les ter-ritoires et auprès des habitants, et témoignent de leurcontribution à l'intérêt général et aux politiques pu-bliques.

Comment ces travaux contribuent-ils à nourrir, orienteret définir l'action publique locale ? Quels apports desétudes et évaluations aux relations entre associations etacteurs publics ?

Peuvent-elles contribuer à dépasser un dialogue parfoislimité aux enjeux de gestion ? A mieux impliquer les as-sociations dans la construction et à la mise en œuvre despolitiques publiques, tout en respectant leur autono-mie ? A mieux reconnaitre leur contribution ? g

Animatrice : Florence Guir, Département de la Seine-Saint-Denis

Intervenants Jacques Malet, Président de l'association Recherches etsolidaritésSylvain Rigaud et Alexandre Bailly, Réseau national desmaisons d'associationsJudith Sylva, Déléguée à la vie associative et à l’éducationpopulaire au Département de la Seine-Saint-Denis

Politiques de coopération décentralisée 16 nov. 14 h - 16 h

L'évaluation transformative en coopération décentralisée et solidarité internationale :comment renforcer l’apprentissage et leschangements à travers l’évaluation ?

Le groupe EVALED (Evaluation et aide au développement)de la SFE est un lieu de débats et d’échange sur les sujets

de l’évaluation du développement, ancré dans les pra-tiques et l’expérience. Il a pour objectif de mettre en placedes passerelles entre acteurs et secteurs, partager des tra-vaux, expériences et bonnes pratiques, diffuser une culturede l’évaluation et suivre les évolutions dans le domaine del’évaluation du développement

Les Journées françaises de l’évaluation sont l’occasion pourle groupe de se retrouver autour du travail de méta-éva-luation du F3E et d’inviter l’ensemble des personnes inté-ressées à réfléchir autour de la thématique de l’évaluationen coopération décentralisée et solidarité internationale.

En effet, le F3E (www.f3e.asso.fr) a mené en 2016 uneétude intitulée « Evaluer les évaluations : analyse de pra-tiques pour une évaluation transformative »(https://f3e.asso.fr/article/1791/comment-renforcer-les-apprentissages-et-favoriser-les-changements-a-travers-l-evaluation). Cette étude était l’occasion d’actualiser sesconnaissances dans un milieu de la coopération décentra-lisée et de la solidarité internationale qui a évolué, notam-ment sur la pratique de l’évaluation. Il s’agissait pour le F3Ede mieux caractériser les conditions d’utilité des évalua-tions externes, de cerner leurs éventuelles limites et d’iden-tifier les pistes à développer pour accroître cette utilité enmatière d’apprentissage et de changement. Cette table-ronde présentera succinctement les résultats de cetteétude, elle les rendra vivants et les mettra en discussionavec des commanditaires et des consultant-e-s impliqué-e-s dans de telles évaluations transformative en coopéra-tion décentralisée (collectivité territoriale) et en solidaritéinternationale (ONG). g

Animateur : Lilian Pioch, Coordinateur des études et du Pôle apprentissage, F3E

IntervenantsMaïté Gerschwitz, Responsable du Service des échangesinternationaux et coopération décentralisée, Ville deMontreuilSonia Vinolas, Adie & ActionJulie Conversy, Consultante, IRAMChristophe Mestre, Consultant, CIEDEL

Page 7: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Politique Climat-Air-Energie 16 nov. 16 h - 18 h

Cit’ergie une démarche d’évaluation « à 360° » au cœur d’un processus de labellisation

Portée par l’ADEME au niveau français et par l’associa-tion Forum au niveau européen, Cit’ergie permet aux col-lectivités de rejoindre un réseau européen de 1400collectivités qui partagent un même langage et unemême dynamique de progrès. Cit’ergie est également leseul dispositif français qui permette une évaluation glo-bale des PCAET intercommunaux à la fois sur les niveauxstratégiques et opérationnels et qui contribue à une dé-marche de progrès, voir de transformation.

Les collectivités s’engagent sur un cycle de 4 ans avec éva-luation et suivi annuel par un-e conseiller-ère Cit’ergie etremise en jeu du label au bout du cycle. L’évaluation de lapolitique énergie-climat rentre progressivement dans les

7

pratiques et dans la culture de la collectivité et va se pour-suivre au delà des mandats électifs. Nous souhaitons par-tager, sur la base de 10 années de retour d’expériencede Cit’ergie, comment le processus et son organisationont contribué à l’intégration progressive de la pratiquede l’évaluation au sein des collectivités engagées sur plu-sieurs cycles et ont transformé les modes de penser, defaire et de piloter l’action publique. g

Animatrice : Catherine Bossis, Conseillère Cit’ergie,Greenselipar

IntervenantsAurélie Richard, Membre du Bureau d’Appui Cit’ergie,AERECatherine Bossis, Conseillère Cit’ergie, Greenselipar 1 représentant de Collectivité

Politique du logement16 nov. 16 h - 18 h

Quelle articulation entre évaluation et décision : l’introduction par la Ville de Paris de la cotation dans l’attribution de ses logements sociaux

Trop rares sont encore les cas d’évaluation suivis de lamise en œuvre de réformes. Plus rare encore, la pour-suite d’un souci d’évaluation régulier et in itinere des ef-fets produits par celle-ci.

L’expérience de l’introduction de la cotation commemode d’attribution des logements sociaux par la Ville deParis est exemplaire à ce titre.

C’est une mission d’évaluation qui a préconisé en 2012 lamise en place de cette méthode. La décision a été prised’expérimenter sans délai la réforme. Celle-ci a été pro-gressivement déployée sur le territoire parisien, sous lecontrôle d’un comité de suivi qui en évalue régulière-ment les effets.

La table ronde vise à présenter de façon concrète com-ment cette réforme a été mise en oeuvre à Paris pourl’attribution des logements sociaux. Les initiatives enga-gées pour rendre le demandeur d’un logement social ac-teur du processus d’attribution seront évoquées etdébattues, avec une mise en perspective avec les pra-tiques suivies par d’autres villes et pays d’Europe. g

Animatrice : Isabelle Duchefdelaville, Inspectrice générale, Ville de Paris

IntervenantsCaroline Grandjean, Directrice du logement, Ville deParis Jean-François Arênes, Chargé d'études Habitat &Logement, Atelier parisien d’urbanisme (APUR)Laurent Ghekiere, Spécialiste des questions de logementsocial en Europe, Union Sociale pour l’Habitat (USH)

Politique d’insertion 16 nov. 16 h - 18 h

De l'évaluation ex-post à la définition d'un nouveau PDI-PTI et d'un dispositif de suivi-évaluation

Le Département de Meurthe-et-Moselle a réalisé en2014-2015 une évaluation de sa politique d’insertion so-ciale et professionnelle des bénéficiaires du RSA en vuede définir un nouveau Plan Départemental Insertion –Pacte Territorial Insertion. L’impact et l’efficience desdispositifs, ainsi que la gouvernance départementale etlocale d’une organisation fortement territorialisée ontété au cœur de cette évaluation. Une démarche partici-pative a été choisie avec l’appui d’un prestataire externeafin de croiser les regards des élus, partenaires, opéra-teurs et usagers.

Un témoignage sur quatre années d’expérience du pointde vue des directions opérationnelles et des évaluateurspour ouvrir le débat sur l’utilité de l’évaluation pour pi-loter des politiques publiques locales : des modalités derestitution des recommandations à la prise de décision,à l’élaboration d’outils de suivi-évaluation ou encore demodèle d’évaluation d’expérimentation d’actions finan-cées sur la base de coûts évités. g

Animateur : Etienne Poizat, Directeur Finances, AffairesJuridiques, Evaluation, Département de Meurthe-et-Mo-selle

IntervenantsEtienne Poizat, Directeur Finances, Affaires Juridiques,Evaluation (Directeur Action Sociale nsertion jusqu’au31 août 2017), Département de Meurthe-et-MoselleEmmanuelle Poissonnier, Service Contrôle de Gestion,Observatoire, Evaluation, Département de Meurthe-et-MoselleChristian Laubressac, Directeur, Asdo Etudes

Page 8: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Politiques de solidarité 17 nov. 9 h 30 - 11 h 30

Une approche qualitative à partir de la parole des professionnels au service du pilotage de l'action sociale

L'action sociale est confrontée à de multiples enjeux :pression et évolutions des besoins et des demandes desusagers, reconfigurations institutionnelles, métiers bous-culés, contraintes budgétaires... Le Département de laSeine-Saint-Denis a souhaité donner la parole aux pro-fessionnels pour analyser leurs pratiques, leurs repré-sentations et leurs relations aux usagers. Il s’agissaitd’interroger le sens, les finalités, les difficultés et les le-viers du travail social aujourd’hui.

Cette séquence présente une étude qui a combiné im-mersion dans les circonscriptions de service social et en-tretiens individuels et collectifs auprès des agents.Plusieurs problématiques y sont abordées : Quels sontles besoins et les attentes des usagers et comment ont-ils évolué ? En quoi cela impacte-t-il le métier, les valeurset les pratiques du travail social ? Quels sont les effets dudiscours et des contraintes institutionnelles ? Quellespratiques innovantes développent les professionnelspour faire face aux limites et contraintes du travail so-cial ? g

Animateur : François Ferrere, Chargé d’évaluation, Département de la Seine-Saint-Denis

IntervenantsBérénice Delpal, Directrice générale adjointe du pôleSolidarité, Département de la Seine-Saint-DenisNicolas Duvoux, Professeur de sociologie, UniversitéParis 8

Politiques de santé 17 nov. 9 h 30 - 11 h 30

Peut-on évaluer les parcours de santé ?

Le groupe « évaluation en santé » de la SFE a désiré s’in-téresser à l’évaluation des parcours de santé. Même siles contours de la notion de parcours sont peu clairs,elle recouvre des enjeux importants. Après avoirconstaté qu’il n’existait pas d’outils d’aide à l’évalua-tion pour les promoteurs de parcours, les membres dugroupe ont jugé qu’ils pouvaient en construire, en croi-sant les expertises de chacun et leur connaissance deparcours existants ou en voie de formalisation, et ce,de façon complémentaire aux travaux des pouvoirs pu-blics.

Cette communication propose de présenter les objec-tifs opérationnels du cadre évaluatif, identifiés par legroupe : - Appliqué à la notion de parcours de santé, un « dia-gramme logique d’impacts » (DLI), articulant les res-sources, activités, réalisations, résultats et impactsattendus dans un tel projet. - Les critères de jugement et indicateurs correspondant

Politiques territoriales 17 nov. 9 h 30 - 11 h 30

La prise en compte de la dimension territorialedans l’action publique à différents stades et dans des contextes partenariaux divers : l’évaluation d’impact de la Prime à l’aménagementdu territoire, l’évaluation des schémas départe-mentaux d’amélioration de l’accessibilité des services au Public et l’évaluation des retours sur investissement des politiques en faveur du numérique

Dans un contexte de lutte contre les fractures territo-riales, la mesure des effets des politiques publiques surles territoires doit être mieux appréhendée. Il s’agit, àpartir de plusieurs politiques territoriales mises en œuvrepar le CGET, de montrer l’utilité de l’intégration de l’éva-luation (sous différentes formes) dans le pilotage de l’ac-tion publique.

Les 4 politiques publiques présentées visent à montrerune diversité de champs sectoriels, différentes formesd’actions publiques et des modes de gouvernances va-riés : - la prime à l’aménagement du territoire et l’implanta-tion d’activité économique : politique défensive ou dé-veloppement de l’attractivité ?- les politiques en faveur du numérique et l’analyse duretour sur investissement ; - les programmes européens : comment valoriser les en-seignements des évaluations d’impact conduites par lesautorités de gestion ?- les schémas départementaux d’amélioration de l’ac-cessibilité des services au Public : évaluation des dé-marches territoriales et du dispositif national.  g

Animatrice : Sylviane Le Guyader, Cheffe de projetpilotage programme des études, CommissariatGénérale à l’Egalité des Territoires (CGET)

Intervenants Etienne Kalalo, Secrétaire général de la Commissioninterministérielle des aides à la localisation des activités,Direction du Développement des Capacités du Territoire,Commissariat Générale à l’Egalité des Territoires (CGET )

à certaines des thématiques clés d’un parcours (éviterles ruptures, donner accès aux droits et à l’offre sani-taire et sociale, favoriser la coordination autour del’usager, favoriser l’empowerment).

Dans ce cadre, l’atelier SFE est conçu comme uneséance interactive, impliquant des acteurs des parcoursde santé, des usagers et des experts de l’évaluation, etune étape de travail visant à éprouver l’intérêt de l’ou-til présenté. Ultérieurement, les éléments issus des dis-cussions devront être intégrés dans sa finalisation. g

Animation par le groupe SFE « Evaluation des politiques de santé »

8

Page 9: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Politiques de Développement Durable 17 nov. 11 h 30 - 12 h 30

« J’ai un plan pour changer le monde : ça s’évalue ? » Retour sur l’évaluation de la stratégie de conduite de changement de Loos-en-Gohelle, ville pilote du développement durable. 

Loos-en-Gohelle, située dans le Pas-de-Calais, a été iden-tifiée par l’ADEME comme un démonstrateur de laconduite du changement vers une ville durable. La com-mune a engagé sa transition en opérant la conversiond’un modèle de société non durable, fonde sur l’indus-trie du charbon, a un modèle soutenable post-carbone.Pour Loos-en-Gohelle, conduire le changement, c’estmettre en mouvement l’ensemble des acteurs du terri-toire pour opérer la transition écologique et sociale versun modèle de développement plus durable.

Peut-on caractériser cette stratégie de conduite du chan-gement loossoise et en identifier les résultats ? Peut-onen tirer des leçons susceptibles d’enrichir la mise enœuvre des politiques de transition énergétique et écolo-gique ? S’agit-il d’un objet évaluable ? a demandél’ADEME à Quadrant Conseil. Lequel a répondu positive-ment et déployé une analyse de contribution s’appuyantsur 5 études de cas.

L’aventure ne s’arrête pas là puisque l’ADEME et Qua-drant Conseil sont désormais engagés aux côtés de l’Una-del et de Jean-François Caron, maire de Loos-en-Gohelle,dans un projet de recherche-action visant à confronterles enseignements tirés de l’évaluation à l’expérience de4 autres territoires en transition : comment transmettreet enrichir les résultats de l’évaluation dans une expé-rience réflexive de coaching inédite ? L’expérience est encours... g

Animatrice : Karine Sage, associée, Quadrant conseil

IntervenantsThomas Blais, Coordinateur Observatoires, évaluationset capitalisations, DR ADEME Hauts-de-FranceJulian Perdrigeat, Directeur de cabinet, Ville de Loos-en-Gohelle

Politique de la ville 17 nov. 14 h - 16 h

L'évaluation peut-elle encore servir une autre vision de la politique de la ville ?

De toutes les politiques publiques françaises, la politiquede la ville est sans doute celle qui a été la plus évaluée.Pratiquement tous les programmes et toutes les procé-dures qu’elle a développés au cours des trois dernièresdécennies ont fait l’objet d’évaluations nationales et lo-cales. Les questions et les méthodes évaluatives ont variéavec le temps, tout comme les acteurs et les finalités del’exercice. Jusqu’au début des années 2000, ces évalua-tions ont le plus souvent laissé de côté la mesure des ef-fets et de l’impact, privilégiant la clarification et la miseen débat des objectifs d’une part, l’analyse de la mise enœuvre d’autre part. Il en va désormais autrement.

La clarification nationale des objectifs, l’amélioration dessystèmes d’information statistique, la géolocalisationcroissante des actions et la diffusion des méthodologieséconométriques d’évaluation d’impact ont permis desaméliorations sensibles en matière de mesure et d’im-putation. Mais dans le même temps, on a assisté à un ap-pauvrissement du débat évaluatif, en particulier àl’échelon local où les exigences de production d’indica-teurs et de conduite d’évaluations à intervalles réguliersont transformé l’exercice en contrainte bureaucratique.Force est de constater que l’évaluation n’est plus uncadre d’explicitation et de mise en débat des orientationset des objectifs de la politique de la ville. Au contraire,elle contribue à l’imposition - par le biais de la quantifi-cation - d’une vision de la politique de la ville, des pro-blèmes qu’elle vise et des remèdes à apporter. g

Animateur : Guillaume Dejardin, Co Président de Question de Ville, association des directrices-teurs des Centres de Ressources Politique de la Ville et directeur de Pôle 95

IntervenantsRenaud Epstein, Professeur de sciences PolitiquesSciences-Po St Germain en LayeStéphanie Mas, Cheffe du bureau observation desterritoires en politique de la ville, secrétaire de l’ONPVUn représentant du Commissariat Générale à l’Egalitédes Territoires (CGET)Jean Marie Loncle, consultant-formateur, ex-chef de pro-jet politique de la villeJean-Michel JAOUEN, Directeur de la mission politiquede la Ville, Nantes Métropole

9

Marc Laget, Expert aménagement et développementnumérique des territoires, Commissariat Générale àl’Egalité des Territoires (CGET)Claire Hallegouet, Chargée de mission « appui aupilotage des programmes européens » - CGETSylvie Cabassot, Chargée de mission « accessibilité desservices au public », Commissariat Générale à l’Egalitédes Territoires (CGET)Emmanuel Renard, Directeur – responsable du pôleTerritoires – cabinet EDATER Kevin Demangeclaude, Chargé de mission évaluation,Commissariat Générale à l’Egalité des Territoires (CGET)Alexis Vanderstocken, Chargé de mission évaluation,Commissariat Générale à l’Egalité des Territoires (CGET)

Page 10: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Politiques de développement économique16 nov. 14 h 00 - 16 h 00

De l’évaluation de l’action d’une collectivité à celled’une politique publique partagée : le cas de lastratégie économique francilienne ment des politiques

L’Acte III de la décentralisation a remis sur la table laquestion de l’articulation des compétences et des inter-ventions entre les acteurs publics et privés. La loi NOTRerenforce plus particulièrement le rôle des Régions dans lepilotage et l’articulation des interventions économiquessur leurs territoires, illustré par la mise en oeuvre d’unenouvelle génération de schémas économiques « renfor-cés » en 2016 (intitulés schéma régional du développe-ment économique, de l’innovation et del’internationalisation - SRDEII).

Dans cette idée, l’objectif de cet atelier est de poser laquestion du nécessaire changement d’échelle dans l’ap-proche de l’évaluateur, d’une analyse de l’interventionhier portée individuellement par chaque acteur, à cellede l’action définie demain de manière collective, à partird’orientations plus partagées.

A partir d’un retour d’expérience sur les différents tempsd’évaluation et de construction des documents pro-grammatiques mis en œuvre par la Région Ile-de-Francesur le champ économique avant et après la promulgationde la loi NOTRe, il s’agit ici d’échanger avec le public surquelques enjeux et problématiques transposables à d’au-tres structures et domaines d’intervention.  g

Intervenants Arnaud Mollard, Région Ile de FranceChristophe Olivo, Région Ile de FranceValentin Vigier, Cabinet AmnyosYann Cadiou, Cabinet Technopolis

10

Page 11: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Sessions Pilotage

Des tables rondes ou des ateliers où des évaluateurs internes et / ou externes et des représentants des autresfonctions d’aide au pilotage expliquent leurs objectifs, décortiquent leurs modes de faire, leurs complémentarités…

Format : 2 h

Evaluation et gouvernance publique dans les pays francophones16 nov. 14 h - 16 h

L’évaluation, souvent présentée sous ses aspects mé-thodologiques, a aussi une fonction politique et institu-tionnelle déterminante. D’ailleurs, l’Agenda Global del’Evaluation adopté par Evalpartners et les agences del’ONU pour la période 2016-2020 fait de l’évaluation unvecteur déterminant de consolidation de la bonne gou-vernance et de la démocratie.

L’impact depuis 2 ans des Forums Internationaux du RFE(FIFE) sur les décideurs publics francophones en atteste :on y constate une nette augmentation du nombre deparlementaires, de hauts fonctionnaires et de magistratsdes Cours des Comptes (ou Institutions Supérieures deContrôle), venus notamment des pays du Sud, qui vien-nent y chercher des éléments de réflexion et l’occasionde partager les bonnes pratiques institutionnelles.

Pour autant, l’évaluation est encore inégalement déve-loppée selon les pays francophones : alors que les fran-cophones d’Amérique du Nord pratiquent l’évaluationdepuis bientôt 50 ans, les pays d’Europe latine y sontvenus à la fin des années 90 et les pays Africains s’y in-vestissent depuis une dizaine d’années.

Après un rapide témoignage de la situation de l’éva-luation dans chacune de ces trois zones (Québec, Ca-meroun et Suisse), la table-ronde tentera de cerner lesprincipaux enjeux pour le développement de l’évalua-tion et le renforcement de la démocratie dans lemonde francophone. g

Animateur : Guy Cauquil, Président du RFE (Réseau desassociations nationales Francophones d’Evaluation) etPrésident d’honneur de la SFE

IntervenantsMarie Gervais, Québec, Vice présidente de l’OICE (Org.Internat. de Coopération en Evaluation) et du RFE Thiery Tsou Fematouo, Cameroun, Secrétaire Général dela CADEA (Assoc. Cam. Evaluation) et du RFEKatia Horber-Papazian, Suisse, Professeure enévaluation des politiques publiques, Université de Lau-sanne

Evaluation et prospective 16 nov. 16 h - 18 h

Evaluation et prospective sont des outils d’aide à la déci-sion qui se sont développés en traçant les frontières deleur champ d’application.

Chacune de ces disciplines est censée répondre à des ob-jectifs posés comme bien distincts. Chacune défend sonchamp d’expertise, son vocabulaire, son référentiel, sesmétiers. Mais sur le terrain, dans la commande commedans la mise en œuvre, les champs d'intervention ne sontpas aussi segmentés.

L’imbrication entre disciplines est une réalité. Génère-t-elle de la confusion ou apporte-t-elle une plus-value?Faut-il promouvoir une répartition des rôles et des outilsclairs ou, au contraire, encourager l’hybridation des mé-thodes ? Et bien sûr, à quelles conditions ces méthodesde travail permettent-elles de devenir une réelle aide à ladécision ?

La séquence sera structurée autour des 3 principalesquestions suivantes : Pourquoi faut-il relier prospectiveet évaluation ? Où en est-on sur les liens prospective etévaluation ? Comment mieux relier prospective et éva-luation ?

Pour explorer ces différentes questions, les animateursde l’atelier (Patricia Auroy, Nicolas Subileau et VincentPacini restitueront un premier travail d’enquête réalisésur un panel d’une vingtaine d’experts (questionnairedelphi abaque). Une synthèse du questionnaire sera pré-senté aux participants pour alimenter le débat. g

IntervenantsPatricia Auroy, Consultante, Technopolis GroupNicolas Subileau, Directeur associé, PluricitéVincent Pacini, Professeur associé, Conservatoire National des Arts et Métiers (CNAM)

11

Evaluation et pilotage financier 16 nov. 16 h - 18 h

Dans un contexte national contraint pour les collectivi-tés locales sur le plan financier, les décideurs locaux sontpoussés à interroger l’efficacité et l’efficience de leurs ac-tions et le périmètre d’intervention de leurs politiquespubliques. Au-delà de la méthode aveugle du « coup derabot » sur les dépenses, une palette d’outils existe pour

Page 12: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

12

optimiser l’utilisation des ressources. Parmi ces outils, fi-gurent les démarches de pilotage financier et d’évalua-tion des politiques publiques dont se sont saisies deuxcollectivités locales prises en exemple : - A Angers, la Ville, la Communauté d’agglomération et leCCAS ont initié la « Relecture des Politiques Publiques(RPP) » dans un contexte de mutualisation des services.Ce projet, récompensé du prix Territoria 2016 de l'Ob-servatoire national de l'innovation publique, repose surun système d’animation « multi-acteurs », un dispositifde pilotage centralisé, un cadre de référence homogènedes politiques et un système d’information unique. - En Savoie, le Conseil départemental a lancé une dé-marche de performance visant à la fois le pilotage despolitiques départementales et les activités des services,qui s’appuie sur la mobilisation de plusieurs outils de ma-nagement stratégiques : arbres d’objectifs, segmentationstratégique, indicateurs de suivi des activités … Cette dé-marche est boostée par le travail d'identification et deformalisation des processus initié dans le cadre de l’ex-périmentation de la certification des comptes, pour la-quelle le département a été sélectionné.

A travers la présentation détaillée de ces deux initiativeslocales, la séquence cherchera à démontrer par l’exem-ple que l’évaluation des politiques publiques et les outilsde pilotage financier ne sont pas contradictoires maispeuvent être articulés ensemble pour renforcer le pilo-tage des ressources des collectivités locales. g

Animatrice : Françoise Larpin, Associée, Directrice na-tionale secteur public, KPMG

IntervenantsPierre Le Lann, Directeur du Pôle Finances, Evaluation etAppui aux politiques publiques, Ville d’Angers etCommunauté Urbaine Angers Loire MétropolePascal Bellemin, Administrateur Afigese, Conseil dépar-temental de Savoie

Evaluation et audit interne 17 nov. 9 h 30 - 11 h 30

Les attentes de plus en plus exigentes des citoyens - bé-néficiaires de l’action publique et les contraintes sanscesse plus prégnantes sur l’utilisation des ressources pu-bliques ont amené à renforcer les fonctions de pilotageau sein des organisations publiques.

L’audit interne et l’évaluation des politiques publiquesparticipent à cette dynamique. Si l’une et l’autre de cesfonctions répondent à des attentes différentes (interro-gation de l’impact des politiques et évaluation de la ca-pacité de l’organisation à mettre en oeuvre desdécisions), force est de constater que leur articulationsoulève encore nombre de questions. La publication dudécret et de la circulaire de 2011 qui exigent la mise enplace d’une mission ministérielle d’audit interne a eu no-tamment pour conséquence de clarifier les champs cou-verts et les méthodologies respectives de ces deuxapproches, en particulier au sein des inspections géné-rales de l’Etat.

Les collectivités territoriales ne sont pas concernées parcette obligation de déploiement d’une telle fonctiond’audit interne. Pour autant, nombreuses sont celles quise sont engagées dans cette direction en poursuivant lastructuration de missions d’évaluation de politiques pu-bliques. Les organisations diffèrent selon les collectivités,les champs d’investigation se recoupent, les missionssont parfois assurées par les mêmes personnes. Aussiconvient-il d’échanger sur les apports et les spécificitésdes deux fonctions et les conditions à réunir pour unecoordination fructueuse. g

Animateur : Yannis Wendling, Directeur de l'Audit in-terne, du Contrôle Internes et de la Gestion des risquesau Département de la Seine-Saint-Denis, président de laConférence des inspecteurs et auditeurs territoriaux etadministrateur de l'IFACI

IntervenantsAgnès Bachelot Journet, Directrice de la performance etde la modernisation du service au public au conseildépartemental de l’IsèreJean-Pierre Jochum, Inspecteur général des financeshonoraire, ancien vice-président du comitéd’harmonisation de l’audit interne de l’Etat et ancienprésident de la commission interministérielle decoordination des contrôles portant sur les opérationscofinancées par les fonds européensMichel Reverdy, Directeur de l’audit interne àl’Eurométropole de StrasbourgHervé Toro, Responsable de la Mission ministérielled'audit interne des Ministères de la transition écologiqueet solidaire, des transports, de la cohésion des territoires,Inspecteur général ressources humaines pour letransport aérien, membre permanent du CGED

Evaluation et observation16 nov. 16 h - 18 h

Benchmark, baromètres, outils de comparaison… les ou-tils pour se positionner par rapport à des « semblables »se démultiplient. Certains comparent des données decontexte, pour se situer en objectivant les atouts etcontraintes du territoire : on est là plutôt dans le do-maine de l’observation, du diagnostic.

D’autres décortiquent la manière dont, ailleurs, dansdes situations comparables, on résout un problème, onconduit une politique publique, on s’organise, avecl’exercice ô combien périlleux du « toutes choses égalespar ailleurs » : on est là plutôt dans le domaine de l’éva-luation. Cet atelier propose, à partir de l’expérience desbaromètres territoriaux et de l’exercice du benchmark,d’explorer les usages et mésusages de la comparaison. g

Animatrice : Hélène Clot, Grenoble Alpes Métropole

IntervenantsFlorence Gall-Sorentino, Fédération nationale desagences d’urbanismeDorig Bruno, Rennes Métropole Elise Crovella, Cabinet Itinere Conseil

Page 13: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Évaluation et accompagnement du changement 17 nov. 14 h - 16 h

La place du suivi et de l’évaluation a largement évolué cesdernières années, en particulier dans le cadre des pro-grammations européennes. Lorsqu’une démarche d’ac-compagnement du changement est mise en œuvre, ellepermet d’aborder différemment les processus de suivi etd’évaluation et favorise des configurations différentesentre acteurs impliqués.

Forts d’expériences dans le cadre des programmationsnationales du FSE 2007-2013 et actuellement 2014-2020,les cabinets Amnyos et Edater proposent de s’appuyersur différentes missions réalisées pour la DGEFP dans lecadre des programmes nationaux du Fonds Social Euro-péen (missions d’évaluations, associées à des missionsde capitalisation et de communication) de façon à capi-taliser les facteurs favorables et défavorables à une in-tégration plus forte de la conduite du changement dansl’évaluation, et de l’évaluation dans la conduite du chan-gement, sous trois angles : - la mobilisation des parties prenantes et de leur interac-tion ;- l’utilité et l’utilisation des résultats pour conduire la stra-tégie des acteurs ;- les outils mobilisés et les livrables.

Le témoignage de la DGEFP en tant que commanditaireviendra compléter le débat sur « Evaluation et accompa-gnement du changement, l’association gagnante pouraller vers une plus grande performance dans la mise enœuvre des politiques publiques ? ». g

Animateurs : Sophie Bensaadoun, Consultante sénior,Amnyos et Sébastien Guilbert, Directeur, Edater

IntervenantFrédéric Guillemine, Direction Générale à l’Emploi et la Formation Professionnelle (DGEFP)

13

Evaluation et conception des politiques publiques 17 nov. 14 h - 16 h

Dans le cadre de l’accompagnement à la mise en placedu Système national des données de santé (SNDS), quiremplacera désormais le SNYRAM, le SGMAP s’est ap-puyé sur l’outil DLI pour partager, en amont du projet,une vision commune des impacts et des résultats à at-teindre collectivement. Organisé sous la forme de troisateliers successifs organisés de février à avril 2017, unDLI général du projet a été construit et a contribué à don-ner à voir la vision commune de la stratégie soutenant lamise en place du SNDS et à préfigurer la liste des indica-teurs permettant de suivre le déploiement du nouveaudispositif. Ce faisant, ces ateliers ont été l’occasion d’ac-culturer les professionnels du pilotage et de la gestiondes données de santé aux concepts clés de l’évaluation :réalisations – résultats – impacts et indicateurs. g

Animateur : Clément Lacouette-Fougère, Chef de projet, Secrétariat général pour la modernisation de l'action publique (SGMAP)

IntervenantsIsabelle Bonnelie, Directrice de projet, Secrétariatgénéral pour la modernisation de l'action publique(SGMAP)Maxime Putton, Chef de projet, Secrétariat général pourla modernisation de l'action publique (SGMAP)Julien Inge, Consultant, EYMylène Girard, DREES, Ministère des solidarités et de lasanté

Page 14: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Sessions Innovations et méthodes

Des approches, des techniques, des outils nouveaux ou innovants en évaluation ou au service de l’évaluation :des ateliers pratiques qui donnent du sens.

Format : 1 h

La consultation des bénéficiaires dans l’évaluation : le cas d’un dispositif ville-hôpital 16 nov. 14 h - 15 h

Sur le plan de l’identification et de la compréhension deseffets induits par la mise en place d’un dispositif dans lechamp de la santé, est-il possible de faire l’économie dela consultation des bénéficiaires ? Depuis des décennies,nombre de spécialistes en sciences sociales et en santécommunautaire ont répondu par la négative à cettequestion. Cependant, dans un domaine où la culture éva-luative se heurte à des résistances, toute forme d’asso-ciation des usagers du système de santé y est d’autantplus vécue comme contraignante.

Cette communication propose de présenter : les discus-sions relatives au caractère présupposé subjectif (doncpeu fiable) des données produites par la consultation di-recte des bénéficiaires de dispositifs que l’on souhaiteévaluer, les procédés opératoires susceptibles d’être uti-lisés, et les normes éthiques à appliquer. La présentationd’une étude portant sur l’évaluation d’un dispositif ville-hôpital illustrera l’argumentation plaidant pour l’asso-ciation des bénéficiaires à ce travail. g

Intervenante - animatriceLaurence Roux, Animatrice du groupe SFE « Evaluationen santé »

construites pour l’évaluation d’impact. D’autre part, lesévaluateurs hésitent à les proposer, faute d’intérêt perçumais aussi par peur de ne pas savoir les appliquer.

Nous appelons à une utilisation « décomplexée » de cesméthodes et à un « piratage bienveillant des com-mandes », afin que les principes des méthodes d’évalua-tion d’impact irriguent progressivement les pratiquesévaluatives. Nous illustrerons cette présentation par desexemples d’utilisations « à la carte » de ces méthodes,selon les budgets disponibles, la nature de l’intervention,et l’intérêt du commanditaire pour ces réflexions. Nousengagerons un débat avec la salle sur les limites et lesapports de ces utilisations. g

Animateurs : Agathe Devaux, Quadrant conseil et Thomas Delahais, Quadrant conseil

Comment utiliser de manière décomplexéedes méthodes d'évaluation d'impact "complexes" 16 nov. 14 h -15 h

Dans les années à venir, les évaluateurs français devrontréaliser plusieurs dizaines d’évaluations d’impact des pro-grammes opérationnels des fonds structurels. Plus large-ment, l’évaluation d’impact représente une partgrandissante de la commande d’évaluation.

Pour autant, les expériences d’application stricte des mé-thodes d’évaluation d’impact, contrefactuelles ou non,restent limitées. Les exemples d’analyse de contributionpar exemple, pourtant discutée depuis plus de 10 ans enFrance, restent extrêmement limités en France. D’uncôté, les commandes évaluatives sont rarement

14

Comment mesurer l’impact de l’investissement social ? 16 nov. 14 h - 16 h

La séquence vise à rendre compte des initiativesconcrètes développées ces dernières années afin demieux prendre en compte la mesure de l’impact socialdans le champ de l’action sociale : reconnaissance du prin-cipe d’utilité sociale, évaluations dans le secteur de l’éco-nomie sociale et solidaire, expérimentation des contratsà impact social, anticipation des effets des politiques so-ciales sur leurs bénéficiaires, tentatives de mesure du ren-dement de l’investissement social, mise en place destructures dédiées (Fonds d’innovation sociale de la BPI,Caisse nationale des allocations familiales)… L’atelier apour objectif de présenter et de soumettre à la discussionles éléments saillants de ces nouvelles approches et deprésenter leurs points de convergences et de divergences.Les intervenants, spécialistes et praticiens de la mesurede l’impact social échangeront sur les articulations entreles méthodologies propres à la mesure de l’impact socialet les méthodologies plus générales de l’évaluation despolitiques publiques et reviendront ainsi sur les apportsmutuels que peuvent nourrir ces deux démarches. g

Animatrice : Jean-Baptiste Bodin, SGMAP

Intervenants Adrien Baudet, Doctorant ESCP, KPMGArthur Heim, CNAF et France StratégieBenedict Rickey, Agence nouvelle des solidarités activesEmmanuel Rivat Agence Phare

Page 15: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Comment tenir compte de l’égalitéfemmes / hommes dans l’évaluation ? 16 nov. 15 h - 16 h

Obligation légale, recherche de qualité accrue de l'actionpublique, prise en compte de la diversité des publics...les raisons ne manquent pas pour prendre en comptel'égalité femmes/hommes dans les travaux d'évaluationdes politiques publiques et le groupe de travail dédié dela SFE en a tiré un argumentaire. Vous êtes convaincu.e,mais vous ne voyez pas comment faire ? Vous souhaitezdévelopper cet aspect, mais vous n’en avez pas encoreeu l’occasion ? Alors participez à cet atelier.

Nous travaillerons collectivement à intégrer l’égalitéfemmes/hommes dans le cadre d’un cas pratique : com-ment intégrer la dimension d’égalité femmes/hommesau sein d’un cahier des charges d’évaluation des poli-tiques publiques ? g

Animation par le groupe « Evaluation et égalité femmes / hommes »

Les usages de la vidéo : de l'évaluation filméeà la présentation des résultats 16 nov. 16 h -18 h

L’Agence française de développement réalise depuis plu-sieurs années des évaluations filmées de ses projetsd’aide au développement. Au-delà des fonctions clas-siques de l’évaluation – tirer les leçons de l’expérience,améliorer les pratiques, réorienter les projets, les straté-gies et les outils pour en améliorer la qualité et les effets–, l’évaluation filmée constitue un outil d’information etde formation novateur, accessible et efficace. Dans lecadre de son projet de soutien à la mise en œuvre duPlan de gestion et de développement du Parc Nationalde Limpopo au Mozambique, l’AFD s’est dotée d’une mé-thodologie innovante en réalisant cette fois-ci en paral-lèle l’analyse audiovisuelle et l’analyse écrite au sein dumême processus d’évaluation, afin de mettre à profitleur complémentarité.

Après la projection du film produit dans le cadre de cetteévaluation, les participants échangeront sur cette expé-rience et, plus largement, sur l'intérêt de développer cetype d'approche innovante.

Intervenants Sabrina Guérard, Agence française de développementEric Mounier, réalisateur de l’évaluation filmée

La gouvernance de l’évaluation, aussi importante que l’évaluation elle-même ? 17 nov. 9 h 30 - 10 h 30

La Direction régionale et interdépartementale de l'envi-ronnement et de l'énergie (DREAL) Occitanie a lancédébut 2017 une mission pour accompagner l’évaluationdes projets territoriaux de développement durable de six

15

collectivités d’Occitanie avec pour double objectif : dé-velopper les conditions pour engager une évaluation par-ticipative de la stratégie et favoriser l’autonomie descollectivités pour poursuivre et compléter cette évalua-tion à l’issue de la mission.

L’équipe Le Geste-Green Selipar, retenue pour conduirela mission d’accompagnement des collectivités à l’éva-luation, réunit des consultants expérimentés qui conju-guent compétences en évaluation des politiquespubliques, facilitation de l’intelligence collective, mé-thodes de créativité et de design thinking. Les partis prisinitiaux et la méthodologie proposée par l’équipe Geste-Greenselipar ont trouvé écho auprès du service de laDREAL Occitanie, commanditaire de la mission. Dès le dé-part de la mission il a accordé sa confiance à l’équipe deconsultants en validant les principes d’expérimentationet de droit à l’erreur.

Ce partage initial des responsabilités entre commandi-taire et prestataire a permis de sortir des pratiques clas-siques de l’évaluation des politiques publiques, enconfiance, et de proposer aux bénéficiaires (les six collec-tivités) une forme d’accompagnement inédite. Au boutdes six premiers mois de la mission nous observons uneévolution des pratiques et des postures chez les trois pro-tagonistes. Cela interroge nos postures habituelles et nosrôles respectifs. Nous souhaitons partager ces évolutionsainsi que nos interrogations autour de la question del’utilité de l’évaluation : « peut-elle se concevoir sansune interrogation des rôles et des postures entre com-manditaires, prestataires et bénéficiaires, en particuliersur les politiques de développement durable ? » Pourcela nous proposons un retour d’expérience à trois voix(DREAL Occitanie, consultante et une collectivité bé-néficiaire) sous un format participatif qui permettrad’enrichir nos questionnements. g

Animatrice : Catherine Bossis, coordinatrice et chef de projet de la mission, Greenselipar

Intervenants Renée Faraut, Chargée de mission Projets Territoriauxde développement durable, Division Développementdurable et Partenariats, DREAL OccitanieCatherine Bossis, Coordinatrice et chef de projet de lamission, Greenselipar Myriam Duchams, Chargée de mission de la Ville deCornebarrieu

Pourquoi et comment cibler le critère d’utilité sociale dans l’évaluation des politiques publiques ? 17 nov. 9 h 30 - 10 h 30

Evaluer la performance d’une politique publique c’estbien au-delà de l’efficience et de l’impact social, maisêtre exhaustif pour repérer in fine la- les plus -values decette politique pour l’équilibre sociétal.

Quand le quantitatif se marie avec le qualitatif d’unepart, le développement individuel et collectif d’autre

Page 16: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Mieux communiquer : présenter mon évaluation en 3 minutes, est-ce possible ? 17 nov. 10 h 30 - 11 h 30

« Mon éval’ en 180 secondes » consiste à permettre àune dizaine de personnes de présenter en 3 minutesmaximum le contenu d’une évaluation de programme oude politique ; il s’agit de faire comprendre simplementles résultats de ces évaluations et de valoriser leur utilité; ces présentations sont jugées par un jury et par le pu-blic qui attribuent des prix ; l’ensemble est filmé pourêtre diffusé sur le site de la SFE ; le dispositif est inspiréde la démarche « ma thèse en 180 secondes » quiconnait un vif succès en termes de vulgarisation scienti-fique médiatisée. g

Animateur : François Mouterde, Président d’honneur de la SFE, Directeur associé, Planète PubliqueUn jury composé de 5 personnes

part ; quand le passé, le présent et le futur sont comprisdans la conscience de la réalité ; la démocratie est amé-liorée, l’équilibre sociétal, le bien - être sont à portée demain sur les territoires !

Encore faut-il élargir l’horizon évaluatif, compléter et en-richir les méthodes d’analyse et de traitement des don-nées en utilisant les multiples moyens de communicationrelationnelle, les outils numériques, en travaillant « enlive » avec les citoyens et toutes les autres parties pre-nantes pour saisir et faire vivre ces dynamiques que seull’intérêt général peut nourrir pour une meilleure justicesociale.

Ici, vous allez découvrir comment viser juste et global àla fois, mesurer l’efficience sociétale, comment ne plusêtre freiné(e) par la conformité institutionnelle. Venez,de façon plaisante enrichir votre méthodologie évalua-tive !!! g

Animatrice : Martine Guérin, Cabinet Martine GuérinManagement, animatrice du groupe « Utilité sociale »,SFE

comme référentiel d’évaluation. Puis, à partir des expé-riences d’évaluation des participants, en petits groupes,nous reconstruirons ensemble un questionnement éva-luatif et des modalités de recueil de données.

Objectif : repartir chez soi avec un outil utilisable, le tes-ter… et en tirer des enseignements collectifs. g

Animatrice : Hélène Clot, Grenoble Alpes Métropole

Intervenants Anne Leroy, Centre de recherche en économie deGrenobleFiona Ottaviani, Grenoble Ecole de Management

16

Les méta-évaluations : l’évaluation des évaluations de politiques publiques conduitepar le SGMAP, quel retour d'expérience ? 17 nov. 11 h 30 - 12 h 30

En 2017, le SGMAP a conduit une évaluation de sa dé-marche d’ensemble d’évaluations des politiques pu-bliques (EPP). Confiée à un groupement externe(KPMG-Quadrant Conseil) cette évaluation visait à inter-roger : - l‘effectivité de la démarche sur la période 2012-2016(75 EPP réalisées)- l’efficacité du dispositif et la qualité des EPP produites- Les effets en termes de suite et de contribution aux ob-jectifs de transformation de l’action publique

Pour cela l’évaluation a reposé, outre les entretiens etateliers de groupe, sur la mise en place d’une analyse deméta-évaluation qui a permis de passer en revue 65 EPPachevée à la date du 1er juillet 2016. En outre, afin d’ap-précier la contribution des EPP aux changements obser-vés, 8 études de cas approfondies ont été réalisées. g

Animateur : Clément Lacouette-Fougère, Chef de projet, Secrétariat général pour la modernisation de l'action publique (SGMAP)

Intervenants Thomas Delahais, Quadrant ConseilSylvain Vanneste, KPMGJacques Toulemonde Le bien-être, nouveau référentiel

d’évaluation ? Du rêve à la réalité 17 nov. 10 h 30 - 11 h 30

Mesurer la contribution de chaque projet ou politique pu-blique au bien-être de chacun et au bien-vivre de tous…l’idée semble séduisante ! Nombreuses sont les expé-riences qui ont tenté de « compter ce qui compte » dansles processus d’évaluation… et qui se sont heurtées à ladouble difficulté : collecter les bonnes données et faireen sorte qu’elles soient réellement prises en compte.

Cet atelier s’inspirera de l’expérience conduite dans lamétropole grenobloise autour d’IBEST, indicateur debien-être soutenable et territorialisé, aujourd’hui utilisé

Un besoin d’évaluer ? Mettre en place une méthode simple pour aider les services à débuter 17 nov. 11 h 30 - 12 h 30

Retour d’expérience de la Direction de l’Audit, ducontrôle et de l’évaluation des politiques publiques duDépartement des Hauts-de-Seine qui a initié, dès 2015,une démarche partagée de diffusion de la culture del’évaluation auprès de l’ensemble des agents de la col-lectivité, en s’appuyant sur : d’une part, l’élaboration

Page 17: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Maha Keramane, Responsable entrepreneuriat social etmicro-finance Europe, BNP Paribas - InvestisseurMarc Olivier, Responsable ALM et refinancement, Adie -Opérateur socialEve Durquety, Consultante évaluatrice, KPMG -Evaluateur

17

Innovations et participation citoyenne en éva-luation17 nov. 11 h 30 - 12 h 30

ette séquence vise à présenter des pratiques innovantesdans l’association des citoyens à l’évaluation. D’un côté,la Ville de Toulouse a souhaité évaluer ses accueils péri etextrascolaires (2016) en prenant en compte la parole desenfants et des familles. Cette volonté soulève plusieursquestions sur le plan méthodologique : quels outils met-tre en œuvre pour recueillir le point de vue d’enfantsâgés de 3 à 11 ans ? Quelle place donner à leur parole etquelle légitimité de cette parole face à celle des parentset des professionnels ? Comment apprécier l’impact duProjet éducatif de territoire sur les enfants ? Telles sontles questions que nous proposons d’éclairer dans cettecommunication, en montrant l’intérêt de la mobilisationdes outils qualitatifs propres aux sciences sociales pource type de démarche.

De l’autre, à Nantes métropole, le Grand débat de latransition énergétique a été soumis au regard évaluatifd’une communauté de citoyens constituée d'une cin-quantaine de personnes. Accompagnée de Planète Pu-blique et Mission publique, la communauté desévaluateurs a eu pour objectif d’améliorer des projetsmétropolitains expérimentaux. C'est de cette expérienceinnovante que nous souhaitons témoigner, débattre enrestituant les enseignements...mais aussi partager l'en-thousiasme suscité, l'exigence démocratique et les en-gagements à tenir pour la suite. g

Animateur : François Ferrere, Conseil départemental de Seine-Saint-Denis

IntervenantsCatherine Veyrat-Durebex, Chargée de mission Poledialogue citoyen, évaluation et prospective, NantesMétropoleBenoit Simon, Directeur associé, Planète PubliqueGaëlle Baron, Toulouse MétropoleStéphanie Mirouse, Toulouse Métropole

De la modélisation à la construction d’un outil : la création d’un simulateur d’impact du télétravail17 nov. 14 h - 16 h

L'organisation du travail et de la production connaît denombreux changements : dématérialisation de l'écono-mie, spécialisation des tâches, distance domicile-travail,coût de l'énergie, saturation des réseaux de transport...Cette évolution profonde a des conséquences sur le dé-veloppement des territoires.

d’un guide de l’évaluation des politiques publiques pourlequel des agents de divers services ont été associés ;d’autre part, des temps d’échanges sur les pratiques éva-luatives ouverts à tous les agents de la collectivité(« cafés de l’évaluation » sur un rythme trimestriel)

L’enjeu est de sensibiliser les agents à la méthodologiede l’évaluation des politiques, de mettre en lumière lesexpériences des directions et de les doter d’outils pra-tiques pouvant être mobilisés dans le pilotage et l’éva-luation de leurs actions et dispositifs au quotidien. Cesactions s’inscrivent dans le cadre d’une démarche ma-nagériale globale portée par la collectivité (Vision’ère). g

Animatrice : Julie Smith, Directeur général adjoint encharge du Pôle Evaluation, Organisation et Méthodes,Département des Hauts-de-Seine

IntervenantsCélia Lefebvre et Cécile Misme, Chargées d’évaluationdes politiques publiques à la Direction de l’Audit, ducontrôle et de l’évaluation des politiques publiques, Département des Hauts-de-SeineCaroline Bourret, Chef de projet GRC, Département des Hauts-de-Seine

Les contrats à impact social : l’évaluation et le financement au résultat 17 nov. 11 h 30 - 12 h 30

Le gouvernement a lancé en 2016 un appel à projet pourla mise en œuvre des Contrats à impact social (CIS), adap-tation française des Social impact bonds anglo-saxons. LeCIS est un dispositif de financement d’innovations so-ciales qui vise à améliorer la situation de bénéficiairestout en générant des coûts évités pour la collectivité. Desfinanceurs privés se substituent à la puissance publiquepour financer cette expérimentation. Si l’opérateur so-cial, porteur du projet, atteint ses objectifs, la puissancepublique rembourse les investisseurs voire leur verse uneprime en cas de surperformance. Pierre angulaire de cecontrat, l’évaluateur est chargé de vérifier l’atteinte deses résultats, en fonction d’indicateurs négociés au préa-lable entre les parties prenantes du contrat. Sélection-née pour son programme de micro-crédit professionnelen zones rurales isolées, l’Association pour le droit à l’ini-tiative économique (ADIE) a signé l’un des tous premiersCIS. La séquence a pour objet de présenter un premierretour d’expérience de ce CIS, un an après sa signature,en répondant aux questions suivantes : qu’évalue-t-ondans le cadre d’un CIS ? Constate-t-on des convergencesdes attentes des parties prenantes en matière d’évalua-tion ? Quels arbitrages entre recherche d’efficacité et exi-gence de qualité pour le dispositif d’évaluation ? g

Animatrice : Françoise Larpin, Associée, Directrice nationale Secteur public, KPMG

Intervenants Thomas Boisson, Chef du Pôle « Economie sociale &solidaire et investissement à impact », Direction généraledu Trésor, Ministère de l’Économie et des Finances -Payeur final

Page 18: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

A ce titre, le CGET est chargé d’élaborer, en copilotageavec la Direction générale de l’administration de la Fonc-tion publique (DGAFP) et la Direction générale du travail(DGT) un plan national de déploiement du télétravail.

Quelle est la place de l’évaluation dans les différentesétapes du pilotage de cette action publique au service dela modernisation ? une démarche collective pour unenjeu nouveau. g

Animateur : Marc Laget, Commissariat généralà l’égalité des territoires

Intervenants Véronique Marchal, Direction Générale del'Administration et de la Fonction PubliqueChristelle Akkaoui, Direction Générale du TravailKarine Babule, Agence nationale pour l'amélioration desconditions de travail

Quels apports des CESER dans l'évaluation des politiques régionales ? 17 nov. 15 h - 16 h

La loi NOTRe a confié aux CESER la compétence de contri-buer à l'évaluation des politiques publiques régionales.

Les CESER ont officiellement remis leur Livre Blanc auprésident des Régions de France le 28 septembre 2017.

Les CESER considèrent que l’évaluation peut être un outilessentiel, utile à la reconquête de la visibilité de l’actionpublique, à la valorisation de l’engagement des élus etdes acteurs dans les territoires. L’évaluation doit doncêtre appréhendée de façon sereine, comme un processusutile et vertueux qu’il faut savoir engager et partager.Ce livre blanc tente d’approcher les fondamentaux del’évaluation, d’en développer les incidences et d’identi-fier les conditions de sa réussite.

Il est l’aboutissement d’un énorme travail collectif portépar tous les CESER et leurs représentants : conseillers etchargés de mission.

En parcourant ce livre blanc, le lecteur devrait retenir aumoins trois idées clefs et structurantes :- l’évaluation des politiques publiques doit être appré-hendée comme un levier de réussite démocratique ;- l’évaluation ne peut être séparée ou disjointe des pro-cessus de décision, de mise en action et de suivi ;- l’évaluation n’est en aucun cas un moyen de contrôle,mais plutôt un outil d’aide à la décision. g

IntervenantsLaurent Degroote, Président de l'Assemblée des CESERde France et président du CESER des Hauts-de-France Jean-Pierre Hillewaere,Vice-président du CESER Hauts-de-France.

18

Page 19: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Les sciences comportementales au service de l’action publique 16 nov. 14 h - 15 h

Le SGMAP a investi, depuis deux ans déjà, dans une dé-marche fondée sur les enseignements des sciences com-portementales. Cette approche permet de comprendrequels sont les facteurs d’influence -émotions, normes so-ciales, résistance au changement, habitudes…- qui pèsentinconsciemment sur la décision des individus et qui expli-quent des comportements à risque ou « non-optimaux ».En mobilisant des outils tel que le « nudge », nous abor-dons les politiques publiques avec une approche scienti-fique qui permet de comprendre le comportement descitoyens et de trouver le bon levier, la « bonne » incitationpour favoriser un changement dans leur comportement.

Cette séquence consistera en une sensibilisation à cesnouvelles approches et vous donnera des pistes d’actionsconcrètes illustrés par plusieurs exemples internationauxet locaux. Elle ouvrira une réflexion sur la manière dontce type de projets basés sur les sciences comportemen-tales peuvent être évalués (quels prérequis méthodolo-giques ? Quelles spécificités ? Quels enjeux ? etc.) et surl’apport que peuvent avoir les sciences comportemen-tales dans les évaluations ne politiques publiques (Com-ment prendre en compte les changementscomportementaux dans les évaluations ? Comment mo-biliser les méthodes issues des sciences comportemen-tales dans l’évaluation des politiques publiques ?). g

animatricesAline Blanc-Tailleur, Adminsitratice de la SFE

Intervenantes Mariam Chammat, Docteure en neurosciences cognitives, Secrétariat Général à la Modernisation del’action Publique (SGMAP)Camille Laporte, Docteure en sciences politiques,Secrétariat Général à la Modernisation de l’actionPublique (SGMAP)

Sessions Controverses

Des ateliers où des thèses différentes s’affrontent et les participants prennent position mais où des consensus peuvent aussi être trouvés !

Format : 1 h

Ceci n’est pas une évaluation ! Pourquoi ?Peut-on éviter les amalgames ? 16 nov. 15 h - 16 h

Au cours de ces dix dernières années, on a assisté à uneinflation d' "évaluations"- elles en portaient le nom - ainsiqu'à une multiplication d'organismes qui comportaient,dans leur intitulé, le mot "évaluation". Sous une appa-

19

rence de rigueur scientifique, tous les domaines sont pas-sés au crible de soi-disantes évaluations. Des philosophes,des chercheurs, des psychanalystes ont vivement dénoncécette dérive qui repose - selon eux - sur un corpus idéolo-gique bien marqué. "En ce début de XXIème siècle, en Oc-cident, la folie sociale a pris un nouveau nom, celui d'EVALUATION . Le mot essaime partout. Il est à la fois le dis-positif et le symptôme d'un mode de contrôle particulière-ment dangereux " écrivent Alain Abelhauser, Roland Goriet Marie-Jean Sauret dans leur livre La folie évaluation. Lesnouvelles fabriques de la servitude. Il s'agira donc, dans unpremier temps, de réinterroger le concept même d'éva-luation et de clarifier le sens des démarches d'évaluationet de l'action publique .

On tentera ensuite d'analyser l'étrange et apparent pa-radoxe qui se joue entre une frénésie des évaluations et,en même temps, une sorte de phobie de l'évaluation.N'est-on pas en droit de se poser la question de savoir si,aussi bien l'hostilité de principe à l'évaluation que les"fausses" conceptions de l'évaluation ne cachent pas unvéritable déni des enjeux de transformation de l'actionpublique qu'une analyse critique permet d'identifier.

Les intervenants s'attacheront à démontrer que la cri-tique légitime de l'évaluation alibi-contrôle-normalisa-tion-coupe budgétaire ne prend son sens que s'il est misen avant la nécessité de transformer l'action publiquegrâce à des évaluations éthiques- démocratiques- plura-listes et partagées. Enfin, dans une dernière partie, lesusages de l'évaluation en tant qu'outil de pilotage de l'ac-tion publique seront au cœur du débat. Bien souvent, lesamalgames résultent du fait que les décideurs, deman-deurs d'évaluations, en attendent des effets de commu-nication, de contrôle ou des effets budgétairesrépondant à des enjeux décisionnels immédiats avec desrisques d'instrumentalisation importants. Dans cecontexte, il s'agira de démontrer que l'évaluation ne peutse concevoir qu'en rapport avec le pilotage et les autresfonctions d'aide à la décision, tout en cultivant ses spé-cificités.g

Animateur : Jean-Pierre Perrin, Administrateur de la SFE

IntervenantsNicolas Matyjasik, Directeur scientifique, stratégie &prospective, Bibliothèques Sans FrontièresGilles Alfonsi, Directeur adjoint de la direction de lastratégie de l’organisation et de l’évaluation, Départe-ment de Seine Saint DenisBernard Perret, Ingénieur et socio-économiste

Page 20: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

On a tous une raison de ne pas faire de l’évaluation : Quelle est la vôtre ? 16 nov. 16 h - 17 h

Au sein du CGDD, le Bureau des Territoires, engagé de-puis près d’une dizaine d’années en faveur de l’évalua-tion des projets de territoire durable a fait un constatsimple : de nombreuses ressources existent pour ap-puyer les acteurs publics dans la mise en place d’une dé-marche d’évaluation, mais elles sont pourtant peunombreuses à passer à l’action. Pour quelles raisons ?Comment les aider à se lancer ? à désamorcer leurs ap-préhensions ? à jouer cartes sur table et révéler leursbonnes raisons de ne pas faire de l’évaluation ?

Pour répondre à ces questions, le CGDD a choisir de fairetravailler un groupe de porteurs de projets de territoiresdurable avec le soutien de Strategic Design Scenarios, la-boratoire d’innovation durable et publique, spécialisé endesign, et Quadrant Conseil, SCOP spécialisée en évalua-tion de politiques publiques, pour concevoir une solutioninnovante à ce défi. Cette démarche a permis de consti-tuer un dispositif de préchauffage de l’évaluation quis’appuie sur un jeu de cartes, lauréat du concours « Fu-turs Publics 2017 ».

Le principe du jeu est simple : convier les parties pre-nantes susceptibles d’être mobilisées pour l’évaluationà un cercle de jeu en partant du principe, quelque peuprovocateur, qu’ « on a tous une bonne raison de ne pasfaire de l’évaluation » … mais que les choses peuventchanger ! En rupture avec les sessions de sensibilisationconventionnels, le jeu de cartes libère un ton décalé, dé-complexe les échanges et ouvre un espace plus favorableà l’évaluation … mais le plus simple est encore de venirl’essayer. g

Animation : Karine Sage, Quadrant ConseilErwin Riclet, Commissariat général au développementdurable (CGDD)François Jégou, Strategic Design ScenariosChristophe Gouache, Strategic Design ScenariosVincent Honoré, Quadrant Conseil

L’évaluation est-elle une science ? 17 nov. 11 h 30 - 12 h 30

Une science peut être définie comme un ensemble deconnaissances sur un fait, un domaine, ou un objet, véri-fiées par des méthodes expérimentales. La science sebase sur l’observation, l’expérimentation, et établit des «lois » qui permettent d’expliquer, logiquement de ma-nière invariable, les résultats observés.

Alors, l’évaluation est-elle une science ? Permet-elle d’éta-blir des « lois » de nature à expliquer les résultats obser-vés ? En a-t-elle les attributs de rigueur et de neutralité

Mais aussi...

20

Regards scientifiques croisés sur l’évaluationdes politiques publiques17 nov. 14 h - 16 h

Un sociologue, une économiste, un géographe et un po-litiste donne leur vision de l’apport de leur discipline res-pective à l’évaluation des politiques publiques et descomplémentarités entre disciplines scientifiques à sonservice. g

Animatrice : Danièle Lamarque, membre de la Cour descomptes européenne, administratrice de la SFE

IntervenantsAntoinette Baujard, Directrice-adjointe du GATE L-SE,Maître de conférences HDR Sciences EconomiquesUniversité Jean Monnet St EtienneNicolas Duvoux, Maître de conférences en sociologie àl'Université Paris Descartes (Paris VIII)Romain Lajarge, Professeur à l’Ecole NationaleSupérieure d'Architecture de l'Université Grenoble Alpeset directeur du Collège International des Sciences duTerritoireOlivier Rouquan, Politiste, enseignant chercheur auCERSA, université Panthéon Assas (Paris II)

que l’on prête volontiers à la démarche « scientifique » ?

Par ailleurs, à l’heure où la demande de chiffres est deplus en plus forte, où se généralisent de nouvelles mé-thodes d’évaluation d’impact, d’analyse des coûts/béné-fices, la question interroge également le bon équilibreentre les approches purement quantitatives et de mo-délisation, et des approches plus expérimentales, socio-logiques, comportementales ?Poser la question de l’évaluation comme science, c’estaussi renvoyer au débat entre science et politique. Sil’évaluation est une science, nos élus en ont-ilsconscience ? Est-ce une garantie de prise en compte desrésultats par les décideurs publics et de rationalisationde l’action publique à l’heure des alternative facts et dela « science alternative » ? g

Animateur Matthieu Lacave, Directeur associé, Techno-polis Group

IntervenantsCorinne Autant Bernard, Responsable scientifique EUROLIO GATE Lyon Saint Etienne, Université JeanMonnet de Saint Etienne Haitem Ben Hassine, Chargé de mission, DépartementEconomie-Finance, France StratégieUn représentant de collectivités territoriales, ministèresou commission européenne

Page 21: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Le processus d'institutionnalisation de l'évaluation est-il controversé ? 17 nov. 14 h -15 h

Le déploiement du nouveau management public et sesinstruments de gestion, ne sont pas nécessairement sy-nonymes du développement de l'évaluation de poli-tiques. Ils tendent plutôt à s’y substituer. Cette rechercheanalyse l’institutionnalisation de l’évaluation de poli-tiques, indépendamment de contraintes descendantes,à l'échelle d’une organisation. Partant du cas de la Caissed'Allocations Familiales de la Gironde, elle interrogepourquoi et comment l'évaluation est institutionnaliséedans une organisation et les effets qu'elle produit. L'éva-luation de politiques constitue une norme floue qui faitl'objet d'appropriations et d’usages stratégiques par sesprotagonistes. Elle prend forme à travers le travail insti-tutionnel des acteurs qui l'investissent parce qu'ils y trou-vent un intérêt. Ils en négocient les normes et les usages,contribuant ainsi à définir la nature du changementqu'elle introduit dans les relations sociales et la conduitede l'action publique. Ces acteurs donnent sens et consis-tance à l'évaluation par la pratique dans la durée, enfonction de la structure sociale, organisationnelle et po-litique dans laquelle ils s’inscrivent.g

IntervenantNadia Okbani, Post-doctorante au Centre Emile Dur-kheim, enseignante à l'Université Paris Descartes etPanthéon-Sorbonne

lité. La table ronde sera l’occasion de présenter : - Les préalables nécessaires à la faisabilité dechacune de ces approches compte tenu des donnéesdisponibles et de l’objectif attendu de chacune d’elles- Une analyse comparée des avantages et incon-vénients de ces approches méthodologiques - Les résultats intermédiaires obtenus avec cha-cune de ces méthodes, 7 ans après le financement despremiers projets g

Animateur : Michel Basset, Professeur associé IEP deLyon, Président de la SFE

IntervenantsSophie Cottet et Marion Monnet, économistes à l’Insti-tut des Politiques PubliquesVirginie Besrest, Quadrant ConseilLaurence Ould Ferhat et Isabelle Sanniè, ADEMEAntoine Naboulet, France Stratégie

Et encore...Evaluation globe : échange surla professionnalisation et la médiatisation de l’évaluation en France 16 nov. 17 h - 18 h

La séquence est proposée dans le cadre du programmede recherche international baptisé « Evaluation globe »supervisé par le Centrum für Evaluation (CEval) allemanddont l’objectif est la rédaction coordonnée d’une analysecomparée de l’institutionnalisation de l’évaluation dansplus de 40 pays. La séquence vise plus précisément à ac-tualiser la connaissance et les perceptions sur l’état dela professionnalisation et de la médiatisation de la pra-tique évaluative en France. Sur la base d’une grille dequestionnement établie sur la base du projet de mono-graphie en cours de rédaction pour la France, les partici-pants sont invités à partager leur expérience et leurréflexion sur le métier d’évaluateur, sa perception et sontraitement dans la sphère médiatique comme sa récep-tion dans l’espace public. g

Animateurs : Clément Lacouette-Fougère, Chef de projet, Secrétariat général pour la modernisation de l'action publique (SGMAP), et Benoît Simon, Directeurassocié, Planète Publique

Politiques d’emplois et de formation profes-sionnelle17 nov. 14 h - 16 h

Quelles productions de compétences pour les actifs autravers des politiques d’orientation, de formation, de tra-vail et d’emploi ? Dans cette perspective, comment éva-luer les effets des politiques publiques d’emploi et desdispositifs de formation professionnelle sur les trajec-toires professionnelles et le marché du travail ? Ces pro-blématiques sont au cœur des travaux menés par legroupe de travail SFE sur l’évaluation des politiques de

21

Les méthodes quanti et quali, irréconcilia-bles ?17 nov. 14 h -16 h

Le programme des Investissements d’avenir confié auCommissariat général à l’investissement (CGI) en 2010est un dispositif de soutien public à l’innovation à desti-nation des entreprises, laboratoires de recherche et col-lectivités. L’Agence de l’Environnement et de la Maîtrisede l’énergie (ADEME) est un des opérateurs de ce pro-gramme dont l’objectif est de stimuler la croissance, dansle cadre de la transition écologique et énergétique, enencourageant l’innovation et en accompagnant le risquede mise sur le marché.

L’ADEME et le CGI ont souhaité évaluer les effets de ceprogramme à travers deux démarches d’évaluation com-plémentaires : une évaluation économétrique des effetssur les entreprises bénéficiaires et une évaluation plusqualitative des résultats et impacts sur les projets soute-nus. L’idée est de permettre de couvrir un large champde questionnements et de confronter les résultats obte-nus.

Ces deux démarches ont été testées en 2017 afin de fi-naliser les méthodologies employées, valider leur robus-tesse et parvenir à une méthode globale véritablementopérationnelle qui prenne en compte du principe de réa-

Page 22: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

formation professionnelle et d’emploi. Créé en 2011, legroupe contribue à porter au débat public les élémentsclés des travaux d’évaluation menés au niveau local, na-tional et international.

Ouvert à l’ensemble des acteurs impliqués dans l’éva-luation des politiques d’intérêt général (décideurs, ex-perts, chercheurs, praticiens, bénéficiaires…), qu’ellessoient de nature publique ou paritaire, il offre un espacede discussion et d’échange sur les choix opérés en termesde méthode, sur le sens et la portée des résultats et surles usages sociaux de l’évaluation. Ce travail privilégiel’exploration de thématiques variées, en lien avec les en-jeux et les transformations à l’œuvre en matière de poli-tiques d’emploi et de formation professionnelle.

Parmi celles-ci : les conséquences des formations en si-tuation de travail sur la professionnalisation des salariés,les effets du plan « 500 000 formations supplémen-taires », la mesure d’impact de la formation sur l’accèsà l’emploi des chômeurs, notamment au regard des in-vestissements régionaux en termes de formations quali-fiantes, les politiques de formation dans le secteursanitaire et social, le développement des contrats de pro-fessionnalisation, la mesure des compétences desadultes dans les enquêtes internationales (PIAAC, IVQ), laprospective des emplois et des compétences… g

Animation par le groupe SFE “Evaluation des politiquesd’emploi et de formation professionnelle”

Comment innover dans l’évaluation des poli-tiques d’action sociale ?17 nov. 9 h 30 - 11 h 30

A l’issue de ses réflexions et travaux sur l’évaluation ex-terne et interne des établissements et services sociauxet médicosociaux, le groupe de travail de la SFE sur l’éva-luation des politiques d’action sociale souhaite mainte-nant ouvrir son champ à l’évaluation de politiques etdispositifs dans le domaine social, en y mobilisant des ap-proches innovantes comme celles du design.

Jeunes et séduisantes, ces pratiques revisitent des ques-tions anciennes… Que peuvent-elles apporter dans l’éla-boration et la prise en compte des commandesd’évaluation posées par les autorités nationales et lo-cales ? Comment mieux faire participer, éclairer, rendreaccessible la démarche d’évaluation pour tous, déci-deurs, opérateurs et citoyens ? Quelles innovations am-bitieuses et néanmoins réalistes favoriseraient unemeilleure appropriation des résultats ?

L’atelier s’ouvrira par la visite guidée du travail de la 27èrégion (laboratoire de transformation des politiques pu-bliques) et de Plausible possible sur « l’évaluation enga-gée ». Fruit des réflexions d’un groupe de professionnelset d’experts retravaillées en mode design en 2015, la 27èrégion propose ici un scénario inspirant et 6 bonnes idéespour un processus d’évaluation plus engageant. A notretour, nous expérimenterons avec les participants, à par-tir d’exemples concrets et en mode atelier, en quoi cesapproches créatives peuvent nous aider à renouveler nos

Et le 15 novembre...

Formation « Initation à l’évaluation des poli-tiques publiques »

Objectif : Comprendre l’utilité et les enjeux de l’évalua-tion des politiques publiques

Programme :Repérer la place de l’évaluation dans le cycle des•politiques publiques Connaitre le cadre général d’une évaluation •Identifier les principaux bénéfices d’une •évaluation Identifier les conditions de lancement d’une •évaluation Organiser le pilotage d’une évaluation•Utiliser les résultats des évaluations•Mettre l’évaluation au service d’une autre •gouvernance des politiques publiques

Tarifs :350 euros pour les adhérents•450 euros pour les non adhérents•

Télécharger le programme et bulletin d'inscription

pratiques d’évaluation dans le champ social. g

Animation par les membres du groupe SFE “Evaluationdes politiques d’action sociale”Anne Sadoulet, DRJSCS-Responsable de la Mission Ré-gionale et Interdépartementale d’Inspection, Contrôle,EvaluationFrançois Jousserandot, Consultant, Ecole buissonnièrede la créativitéMarc Chauveau, Consultant, EvaluateurCatherine Gerhart, Médecin de santé publique

22

Quelles sont les compétences clefs pour unévaluateur de politiques publiques ? Com-ment et où les développer ?16 nov. 15 h - 16 h

L’évaluation des politiques publiques se développe ets’institutionnalise depuis plusieurs années. Cet essor setraduit par la création de services évaluation dans les ad-ministrations publiques et le développement de l’activitéd’évaluation des politiques publiques dans les bureauxd’études intervenant auprès des administrations. Pouraccompagner les besoins en compétences de ces nou-veaux services et répondre aux commandes publiquesdes formations supérieures et/ou professionnelles ontété créées ces dernières années afin de former des pro-fessionnels en évaluation. L’objectif de cet atelier serade faire un point sur les compétences clefs pour un éva-luateur de politiques publiques et d’échanger sur com-ment et où les développer au mieux ? g

Animation par Nicolas Subileau, Responsable du Master"Evaluation et suivi des politiques publiques" et des étu-diants du Master "Evaluation et suivi des politiques pu-bliques"

Page 23: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

InscriptionsLes frais d'inscriptions incluent :

• La participation aux deux jours de conférence• Les restaurations du midi• La soirée du 16 novembre

Les montants des frais d’inscription sont les suivants :

• 90 € pour les étudiants, demandeurs d'emploi et retraités adhérents à la SFE• 200 € pour les adhérents payant personnellement• 300 € pour les adhérents pris en charge par un organisme• 450 € pour les non adhérents

Les inscriptions ne seront valides que si le bulletin est validé par l’organisme et/ou accompagné d’un bon de com-mande ou du règlement. 

Informations pratiques

Les JFE se tiendront au :

Village des Artistes27 rue Godillot

93400 Saint-Ouen

Accessibilité en transports en commun :

• Métro ligne 13 : arrêt "Mairie de Saint-Ouen" • Métro ligne 4 : arrêt “Porte de Clignancourt”

Puis prendre le bus 255 en direction de Les Prévoyans : arrêt “Godillot”• RER C : arrêt “Saint-Ouen”

Puis prendre le bus 85, 173 ou 174 arrêt “Mairie de Saint-Ouen”

111 rue de Montreuil – 75011 Paris

Retrouvez toutes les informations sur les JFE

http://www.sfe-asso.fr/evenements-sfe/journees-nationales-sfe

Pour s’inscrire, c’est ici : http://www.sfe-asso.fr/content/inscriptions

Attention : Nouveau lieu

L’Usine de Saint-Denis ayant été victime d’un incendie, nous changeons de lieu pour lesJFE.

Contact et renseignements :Stéphanie Breton, directrice01.45.41.58.40 - 06.85.80.31.20 - [email protected]

Contact presse :Aline Blanc-Tailleur, administratrice en charge des relations presse07.82.25.41.83 - [email protected]

Page 24: XIII Journées Françaises de l’Evaluation (JFE) · Le baromètre de l’évaluation 2016 réalisé par la SFE ... tage et la conduite de l’action publique. Les JFE 2017 : un

Journées Françaises de l'Evaluation

Mieux décider, mieux piloter L’évaluation au service d’une nouvelle intelligence de l’action publique

16 et 17 novembre 2017

BULLETIN D’INSCRIPTION

(Adresser à : SFE – 111 rue de Montreuil – 75011 PARIS

Télécopie : 01-43-48-58-57 E-mail : [email protected])

N° d’agrément organisme de formation : 11755310175

Nom ......................................................................................... Prénom ................................................................................. .

Coordonnées de facturation

Organisme (si les frais d’inscriptions sont pris en charge par l’employeur) : .....................................................................

....................................................................................................................................................................................................

Adresse : ....................................................................................................................................................................................

....................................................................................................................................................................................................

Code postal : ............................... Ville : .................................................................................................................................

Téléphone : ................................ E-mail : ..............................................................................................................................

Fonction exercée : ......................................................................................................................................................................

Organisme de rattachement : .....................................................................................................................................................

Je m’inscris

au déjeuner du 16 novembre au déjeuner du 17 novembre à la soirée du 16 novembre

Je m’engage à verser le montant de la participation forfaire de …………… euros

90 euros (étudiants, sans emploi, retraité qui sont adhérents à la SFE)

200 euros (adhérents payants personnellement)

300 euros (adhérents pris en charge par un organisme)

450 euros (non adhérents)

J’accepte que mes coordonnées soient diffusées aux participants à la journée

Fait à ………………......………… le ……………………….…………

Signature