Une technique de groupe à découvrir en évaluation

Une technique de groupe à découvrir en évaluation

Marie Gervais, Ph.D. marie.gervais@saaq.gouv.qc.ca

Geneviève Pépin, M.Sc., O.T. (c)Québec, Canada

5th Biennal Conference of the European Evaluation SocietySevilla, Spain / October 2002

RésuméRésuméTRIAGE, TRIAGE, ouou TTechnique echnique dede RReecherche dcherche d’’IInformation nformation par par

AAnimation nimation dd’’un un GGroup roup dd’’EExperts, xperts, est une mest une mééthode de collecte thode de collecte dd’’informationinformation inductive inductive etet structurstructurééee visant lvisant l’’obtention dobtention d’’un un consensus au sein dconsensus au sein d’’un groupe.un groupe. Le but de cetteLe but de cette technique technique est est dd’’obtenirobtenir rapidement et efficacementrapidement et efficacement du matdu matéériel informatif de riel informatif de qualitqualitéé afin de faciliter la prise de dafin de faciliter la prise de déécision. cision. TRIAGE TRIAGE complcompléémentmentee et se distingueet se distingue des techniques de groupe des techniques de groupe utilisutiliséées en es en éévaluation jusquvaluation jusqu’à’à ce jour (ce jour (techniquetechnique Delphi, Delphi, ttechniqueechnique du gdu grouproupe ne nominalominal, f, focusocus ggrouproup). ).

LaLa ddééfinitionfinition, , lele contextcontextee dd’’utilisation ainsi que les utilisation ainsi que les éétapes du processus habituel de tapes du processus habituel de TRIAGE TRIAGE serontseront expliquexpliquéés. s. PlusieursPlusieurs exexeemplesmples dd’’utilisation deutilisation de TRIAGE TRIAGE appliappliququéés s ààdifferentdifferentss contextcontextees s dd’é’évaluation valuation seront seront prpréésentsentééss. . CesCesexexeemplesmples illustrillustrentent la richessela richesse, , lala flexibilitflexibilitéé etet lele potentipotentieel l de de cettecette technique. technique. Les forces et les faiblesses de TRIAGE seront Les forces et les faiblesses de TRIAGE seront éégalement abordgalement abordéés.s.

Histoire de TRIAGEHistoire de TRIAGE

TT echnique echnique dede RR echercheecherched’d’IInformation par nformation par AA nimation nimation d’und’un GGrouproupe d’e d’EE xperts xperts (Plante & Côté, 1993)(Plante & Côté, 1993)

Développée dans le domaine de Développée dans le domaine de l’éducationl’éducation

(Université Laval, Québec, Canada)(Université Laval, Québec, Canada)Application au domaine de la santé (1996)Application au domaine de la santé (1996)Famille des techniques de groupeFamille des techniques de groupe

Alternative au Alternative au focusfocus groupgroup, à la technique du , à la technique du gro pe nominal et à la techniq egroupe nominal et à la technique DelphiDelphi

TRIAGE vs Focusgroup

TRIAGE vs Focusgroup

Phase individuelleQuestionnaire

Phase collectiveInteractionsvalorisées entre les participantsProcessus continu d’analyse des données et de validationAnimateur centré sur le groupe et sur la

PhasePhase individuelleindividuelleQuestionnaireQuestionnaire

Phase collectivePhase collectiveInteractionsInteractionsvalorisées entre les valorisées entre les participantsparticipantsProcessus continu Processus continu d’d’analyse des analyse des données données et de et de validationvalidationAnimateur Animateur centré sur centré sur le groupe et sur la le groupe et sur la tâ h

Pas de phase individuelle

Phase collective

Interactionsvalorisées entre les participantsLourd processus a posteriori d’analyse des données et de validationAnimateur centré sur

Pas dePas de phase phase individuelleindividuelle

Phase collectivePhase collective

InteractionsInteractionsvalorisées entre les valorisées entre les participantsparticipantsLourd processus a Lourd processus a posteriori d’posteriori d’analyse analyse des données des données et de et de validationvalidationAnimateur Animateur centré sur centré sur

TRIAGE vs TGNTRIAGE vs TGNPhase individuelleQuestionnaire

Phase collectiveInteractions entre l’animateur et les participants seulementProcessus continu d’analyse des données et de validationAnimateur centré sur la tâche

PhasePhase individuelleindividuelleQuestionnaireQuestionnaire

Phase collectivePhase collectiveInteractionInteractionss entre entre l’animateur et les l’animateur et les participants participants seulementseulementProcessus continu Processus continu d’d’analyse des analyse des données données et de et de validationvalidationAnimateur Animateur centré sur centré sur la tâchela tâche

PhasePhase individuelleindividuelleQuestionnaireQuestionnaire

Phase collectivePhase collectiveInteractionsInteractionsvalorisées entre les valorisées entre les participantsparticipants

Processus continu Processus continu d’d’analyse des analyse des données données et de et de validationvalidationAnimateur Animateur centré centré sur le groupe et sur le groupe et sur la tâchesur la tâche

TRIAGE vs DelphiTRIAGE vs DelphiPhase individuelleQuestionnairePhase collectiveInteractions valorisées entre les participantsProcessus continu d’analyse des données et de validationAnimateur centré sur le groupe et sur la tâche

PhasePhase individuelleindividuelleQuestionnaireQuestionnairePhase collectivePhase collectiveInteractions Interactions valorisées entre les valorisées entre les participantsparticipantsProcessus continu Processus continu d’d’analyse des analyse des données données et de et de validationvalidationAnimateur Animateur centré sur centré sur le groupe et sur la le groupe et sur la tâchetâchePP id tid t

Phase individuelle QuestionnairesPas de phase collectivePas d’interactionsentre les participantsLourd processus d’analyse des données et de validationPas d’animation de groupeLong processus et exigeant

Phase individuelle Phase individuelle QuestionnairesQuestionnairesPas dePas de phase phase collectivecollectivePas d’Pas d’iinteractionsnteractionsentre les participantsentre les participantsLourd processus Lourd processus d’d’analyse des données analyse des données et de et de validationvalidationPas Pas d’animation d’animation de de groupegroupeLongLong processusprocessus et et exigeantexigeant

Caractéristiques de TRIAGECaractéristiques de TRIAGE

Technique Technique inductiveinductive

Technique Technique interactiveinteractive

Support visuel Support visuel continucontinu

Technique centrée sur l’obtention d’unTechnique centrée sur l’obtention d’unconsensusconsensus

Technique Technique structuréestructurée de collecte de de collecte de données données composée de 3 phases composée de 3 phases successivessuccessives

TRIAGE... Phase préparatoireTRIAGE... Phase préparatoire

DDééfinitionfinition / Validation de la question de / Validation de la question de recherche ou des recherche ou des ththèèmemess d’évaluationd’évaluation

Élaboration des outils de collecte de Élaboration des outils de collecte de données données

Formation Formation du du groupgroupe d’e d’expertexpertssIInformnformatateeuursrs clés (6 à 12 personnes)clés (6 à 12 personnes)

TRIAGE... Phase de productionTRIAGE... Phase de production

PPhasehase de pde productionroduction individuelleindividuelleQuestionnaires postauxQuestionnaires postauxMaximum de 5 réponses données à chaque Maximum de 5 réponses données à chaque questionquestion (indicateurs, problèmes, (indicateurs, problèmes, pperceptionserceptions, suggestions, suggestions, besoins, forces, , besoins, forces, faiblesses, …)faiblesses, …)Transcription de l’information sur des Transcription de l’information sur des cartons numérotéscartons numérotésInformation non traitéeInformation non traitée

PPhasehase de pde productionroduction collectivecollectiveSession de travail du groupe d’experts (2Session de travail du groupe d’experts (2--3 3 hrshrs))Étapes successives formelles Étapes successives formelles Consensus Consensus de groupede groupe

Production collective... DescriptionProduction collective... Description

MémoireEntreposage des réponses

RegroupementsProcessus de traitement de l’information

SélectionChoix définitif des indicateurs / Mise en priorité possible

RéfrigérateurAmbiguïté, difficulté: Indicateurs conservés au frais pour être rediscutés ultérieurement

VetoSi désaccord formel: pour diminuer la tension / Les indicateurs seront traités plus tard par des experts externes

PoubelleIndicateurs non pertinents

MémoireMémoireEntreposage des réponsesEntreposage des réponses

RegroupementsRegroupementsProcessus de traitement de l’informationProcessus de traitement de l’information

SélectionSélectionChoix définitif des indicateurs / Mise en priorité Choix définitif des indicateurs / Mise en priorité possiblepossible

RéfrigérateurRéfrigérateurAmbiguïté, difficulté: Indicateurs conservés au frais Ambiguïté, difficulté: Indicateurs conservés au frais pour être rediscutés ultérieurementpour être rediscutés ultérieurement

VetoVetoSi désaccord formel: pour diminuer la tension / Les Si désaccord formel: pour diminuer la tension / Les indicateurs seront traités plus tard par des experts indicateurs seront traités plus tard par des experts externesexternes

PoubellePoubelleIndicateurs non pertinentsIndicateurs non pertinents

11

9988

7766

5544

3322

1010

Regroupements

Réfrigérateur Veto Poubelle

SélectionMémoire

Support visuel

66331010

11

9988

77

5544

22

Désaccord entre

participants en ce qui

concerne 3. Il est mis au

réfrigérateur et sera re-

discuté plus tard.

Consensus impossible

pour 10. Sera traité plus

tard par des experts

externes.

6 n’est pas pertinent.. Il est mis à

la poubelle.

66331010

99

88

77

55

4422

1111

111 et 8 partagent des idées semblables mais sont

énoncées différemment.. Un nouvel indicateur

contenant ces idées est créé.

2 et 4 partagent le même sens. L’indicateur le plus juste est

conservé. 44 2222

5 contient plus d’une idée. Il est divisé en 2 nouveaux

indicateurs.

551313

7 et 9 demeurent inchangés

7799

1212

66331010

991111

22

1212

771313

2, 9, 11 et 12 forment la

sélection finale. Ils peuvent être mis en ordre de

priorité.

Applications en évaluationApplications en évaluationProjeProjet:t: ÉÉvaluation valuation de l’efficacité de de l’efficacité de programmes de réadaptationprogrammes de réadaptation

Approche participative et pluralisteApproche participative et pluraliste53 participants 53 participants

Gestionnaires / Intervenants / Clients des Gestionnaires / Intervenants / Clients des programmesprogrammes

800 propositions d’indicateurs800 propositions d’indicateursSélection par consensus des 15 «Sélection par consensus des 15 « meilleursmeilleurs » » indicateurs selon 5 dimensions de l’efficacité indicateurs selon 5 dimensions de l’efficacité Élaboration et validation du Modèle des Élaboration et validation du Modèle des Dimensions d’un Programme (Gervais, 1996)Dimensions d’un Programme (Gervais, 1996)Modèle et indicateurs sélectionnés Modèle et indicateurs sélectionnés Utilisés par Utilisés par la suite dans la démarche formelle d’évaluation la suite dans la démarche formelle d’évaluation des programmesdes programmes

Applications en évaluationApplications en évaluationProjetProjet:: Identification Identification desdes compocomposantessantesopopéérationrationnellesnelles d’un programme de santé d’un programme de santé mentale dans un centre hospitalier mentale dans un centre hospitalier ––Évaluation formativeÉvaluation formative

36 participants / 6 groupes36 participants / 6 groupes(médecins, infirmières, professionnels de la (médecins, infirmières, professionnels de la

santé, clients)santé, clients)343 343 indicatindicateueursrs groupgroupésés parpar ththèème me (communication, travail d’équipe, gestion, …)(communication, travail d’équipe, gestion, …)Identification des forces et Identification des forces et faiblesses dufaiblesses duprogramme programme Identification et implantation Identification et implantation réussieréussie d’un plan de d’un plan de résolution résolution de de problèmesproblèmes

Applications en évaluationApplications en évaluationPProjetrojet:: DDéévelopveloppepementment d’un outil de mesure d’un outil de mesure de la de la satisfaction satisfaction de la clientèle traumatisée de la clientèle traumatisée craniocranio--cérébralecérébrale

10 experts québécois en évaluation de la 10 experts québécois en évaluation de la satisfaction de la clientèlesatisfaction de la clientèleValidation des 5 dValidation des 5 dimensionsimensions de soins et de leurs de soins et de leurs standards correspondantsstandards correspondantsPhase de collecte de l’information Phase de collecte de l’information Prototype Prototype dd’’un questionnaire de 88 questions un questionnaire de 88 questions (échelle de (échelle de cotation en 5 points) cotation en 5 points) Questionnaire de satisfaction actuellement en Questionnaire de satisfaction actuellement en phase d’expérimentation dans le réseau québécoisphase d’expérimentation dans le réseau québécois

Applications en évaluationApplications en évaluationProjetProjet:: Amélioration de la validitéAmélioration de la validité d’un d’un instrument de mesure de la instrument de mesure de la participation participation socialsocialee pour une clientèle ayant des pour une clientèle ayant des incapacités physiquesincapacités physiques

Évaluation de la pertinence et du degré deÉvaluation de la pertinence et du degré dedifficultdifficulté de l’instrument de mesure (é de l’instrument de mesure (5858 itemsitems) ) 29 participants / 3 groupes provenant de 3 29 participants / 3 groupes provenant de 3 centres de réadaptation de la province de centres de réadaptation de la province de QuébecQuébecValidité interValidité inter--groupegroupeConfirmation Confirmation des résultats obtenus par des résultats obtenus par analysanalyseede de RashRashRecommandations faites aux auteurs de Recommandations faites aux auteurs de l’instrument afin de développer une versionl’instrument afin de développer une version

Applications en évaluationApplications en évaluationProjetProjet:: Évaluation d’une ressource Évaluation d’une ressource communautaire associée au système de communautaire associée au système de santé québécoissanté québécois

Mission de la ressource: Favoriser l’intégration Mission de la ressource: Favoriser l’intégration sociale des personnes vivant avec des sociale des personnes vivant avec des incapacitésincapacités77 participants77 participants

(clients, famille, anciens clients, intervenants, (clients, famille, anciens clients, intervenants, acteurs du réseau)acteurs du réseau)

Identification des forces et Identification des forces et faiblesses dufaiblesses duprogrammeprogramme selon selon le le ModèleModèle des Dimensions des Dimensions d’un d’un ProgrammeProgramme (Gervais, 1996)(Gervais, 1996)Implantation des Implantation des stratégies d’améliorationstratégies d’amélioration

Applications en évaluationApplications en évaluationForces de la ressource communautaire…Forces de la ressource Forces de la ressource communautaire…communautaire…

1. Objectifs centrés sur le client

2. Gestion participative

1. Objectifs centrés sur le client

2. Gestion participative

1. Ressources humaines dévouées / bilinguisme

2. Structure de la ressource communautaire

1. Ressources humaines dévouées / bilinguisme

2. Structure de la ressource communautaire

1. Programmation vocationnelleet récréative

2. Implication et attitudes des employés

1. Programmation vocationnelleet récréative

2. Implication et attitudes des employés

1. alternatives vocationnellesau travail

2. Satisfaction des proches

1. alternatives vocationnellesau travail

2. Satisfaction des proches

1. Bénéfices psychologiques (bien-être, normalisation, confiance en soi, estime de soi, sentiment d’appartenance)

2. Contacts sociaux (expérimentation de rôles sociaux valorisés, diminution de l’isolement)

1. Bénéfices psychologiques (bien-être, normalisation, confiance en soi, estime de soi, sentiment d’appartenance)

2. Contacts sociaux (expérimentation de rôles sociaux valorisés, diminution de l’isolement)

1. Manque de ce type de ressource dans le réseau

2. Clients: déficits cognitifs et physiques sévères

*stratégiqu*stratégiquee

*systémiqu*systémiquee

*structurel*structurellele

*opérationnell*opérationnellee

*spécifique*spécifique

Applications en évaluationApplications en évaluationAspects à améliorer pour la ressource communautaire…Aspects à améliorer pour la ressource Aspects à améliorer pour la ressource communautaire…communautaire…

1. Marketing de la ressource dans l’organisation de la communauté environnante et ses partenaires

2. Vision à long terme de la ressource (survie financière)

1. Marketing de la ressource dans l’organisation de la communauté environnante et ses partenaires

2. Vision à long terme de la ressource (survie financière)

1. Accessibilité (lieu et transport)

2. Financement incertain et limité

1. Accessibilité (lieu et transport)

2. Financement incertain et limité

1. Programmation: quantité et variété2. Ressources humaines : stabilité

1. Programmation: quantité et variété2. Ressources humaines : stabilité

2. Peu de partenaires

3. Manque d’ouverture d’esprit

2. Peu de partenaires

3. Manque d’ouverture d’esprit

1. Intégration sociale objective à poursuivre

2. Appropriation et responsabilisation à développer

1. Intégration sociale objective à poursuivre

2. Appropriation et responsabilisation à développer

1. Clients plus jeunes

2. Attention de ne pas encourager la dépendance

*stratégiq*stratégiqueue

*systémique*systémique

*structurelle*structurelle

*opérationnell*opérationnellee

*spécifiqu*spécifiquee

Conclusion : Forces deTRIAGEConclusion : Forces deTRIAGE

Peut être utilisé à petite, moyenne ou grande Peut être utilisé à petite, moyenne ou grande échelleéchellePeut être adapté à desPeut être adapté à des contextcontextees diffs difféérentrentssPermet l’exploration simultanée de plusieurs Permet l’exploration simultanée de plusieurs facettes du phénomène à l’étudefacettes du phénomène à l’étudeEst flexible, facile à utiliser et peu coûteuxEst flexible, facile à utiliser et peu coûteuxPProduroduit it de l’de l’informationinformation validvalide re rapidapidementement ––Aucune analyse de données additionnelle Aucune analyse de données additionnelle requiserequiseIImplicationmplication rapide etrapide et continucontinuee desdes participants participants dans ledans le processprocessusus d’éd’évaluationvaluation favorisée par favorisée par les interactionsles interactionsStimuleStimule uneune pratipratiquque re rééflexiveflexive chez leschez les

Conclusion : Pièges deTRIAGEConclusion : Pièges deTRIAGE

Ampleur possible duAmpleur possible du ththèème me à l’étude à l’étude (vouloir couvrir trop large)(vouloir couvrir trop large)

Défis deDéfis de l’l’animationanimationHabiletés dans les dynamiques de groupes requisesHabiletés dans les dynamiques de groupes requisesGestion de comportements problématiques au sein Gestion de comportements problématiques au sein du groupedu groupe

ChoiChoixx desdes participantsparticipantsExperts au niveau du contenuExperts au niveau du contenuCapacité à être confortable dans une situation de Capacité à être confortable dans une situation de groupe (habiletés de communication, niveau de groupe (habiletés de communication, niveau de concentration)concentration)

ComparabilitComparabilitéé desdes rréésultsultatats s reste à reste à ddéémontremontrerrValidité localeValidité locale