View
109
Download
0
Category
Preview:
Citation preview
1
Les projets Pépite et Lingot
M2-IFL, DU-TICE, 31-10-2013Elisabeth.Delozanne@lip6.fr
Équipe Mocah du LIP6
Diagnostic cognitif et EIAHDe la recherche aux usages
Objectifs du coursDonner un exemple de
Méthode• coopération pluridisciplinaire chercheurs/professionnels
EIAH• modèle d’apprenant et diagnostic cognitif
TICE• dissémination en classe de travaux de recherche
Vous faire manipuler des prototypes de diagnostic cognitif plusieurs types de modèles et de représentations
• didactique : texte, tableau• conceptuel : tableau, diagramme• informatique :
- en machine : structure d’un fichier xml- à l’interface : visualisation des données xml
2
Plan
Les projets Pépite et Lingot Motivation, objectifs
DémoDémarche de recherche
Recherche participative et itérative Questions de recherche
Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
3
Des Pépites et des Lingots ?Dans la boue des productions des
élèves… x + 8 = 8x Il ne faut pas additionner les
puissants
… trouver les granules de connaissances pour forger
… des connaissances conformes au référentiel des programmes
4Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Origine du projet (~1990)Didactique
Algèbre : porte d’entrée/barrière enseignement scientifique
Un questionnement sur l’enseignement de l’algèbre Un outil papier crayon : diagnostic et activités
différenciées Trop lourd à mettre en œuvre hors contexte de
rechercheInformatique
Modélisation de l’apprenant et diagnostic cognitif Automatiser un processus de diagnostic déjà
• très structuré• validé sur le plan épistémologique, cognitif et
didactique• testé sur papier : étude de corpus (600 réponses)
5Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
6
Le projet Lingot Objectifs
Instrumenter la gestion par les enseignants• de la diversité cognitive des élèves
Comment ? Concevoir et mettre en œuvre des outils pour les
enseignants • issus de la recherche• accessibles en ligne• pour mettre en œuvre un enseignement
différencié• fondé
sur un diagnostic fin des besoins des élèveset pas seulement
– sur corriger des erreurs isolées– sur faciliter la tâche aux plus faiblesDémo Démarche Diagnostic Parcours Modèles RésultatsProjet
7
3 axes de recherche
Diagnostic (projet Pépite)1. Développer des tests diagnostiques2. Analyser les réponses à des exercices3. Détecter des cohérences
• Obstacles/Leviers pour l’apprentissage4. Situer un élève (un groupe d’élèves) par rapport à
la compétence de référence
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
8
3 axes de recherche Diagnostic : Pépite
Apprentissage : PépiPad Exploiter le diagnostic Parcours d’apprentissage différenciés adaptés au
diagnostic
Instrumentation de l’activité des enseignants : PépiMep Usage des outils dans des situations de classe Mettre en ligne les outils développés Gestion dans les classes d’un enseignement
différencié
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Didactique des maths
Une équipe pluridisciplinaire
Informatique
Sésamath
9
Enseignants
…
Ergonomie
SésamathUne association (2001) de bénévoles + 6 salariésUn site : http://www.sesamath.net/Des manuels
Papier : bons et moitié moins chers• 18% du marché français• Financent les frais de fonctionnement
En ligne : gratuits et sources accessibles• 1 600 exercices, 1 100 animations
Une plateforme d’outils libres et gratuits (Mep, LaboMep) Pour les profs de maths
• 14 643 inscrits Pour les élèves : 1/4 collégien français
• 1 million d’inscrits (sept-dec 2012)• 1,3 million connections /mois
10Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
LaboMepScenario d’utilisation• le prof crée une séance en associant à la souris• des ressources • à un groupe d’élèves
• chaque élève • se connecte• utilise les ressources de la séance (exercices,
animations)• le prof peut consulter un bilan du travail des
élèves
11Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Les usages de Pépite et PépiPadDe nombreuses expérimentations de 2001 à 2012En 2012 mise en ligne sur LaboMep (plateforme de
Sésamath)• des tests diagnostiques (3°-2nde)• puis des parcours d’apprentissages
Pour 2012-2013• 540 séances de tests diagnostiques crées par
des enseignants• 4221 élèves ont passé le test• 129 séances différenciées ont été crées• 49 enseignants ont répondu à un questionnaire
en ligne de 24 questions
Démo 12Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et Lingot Motivation, objectifs
DémoDémarche de recherche
Recherche participative et itérative Questions de recherche
Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
13
ScénarioNous sommes une classe de 3° dans le collège Lingot
de Terre Adélie et de LaboMep Je suis votre prof de math1. Les prof prépare la séance de test diagnostique2. Chaque élève (vous) se connecte sur LaboMep et
passe le test en répondant aux questions (N’oubliez pas de cliquer sur OK, ne revenez pas en arrière)
3. Le prof regarde les bilans et choisit un thème de travail
4. PépiPad génère une séance différenciée5. Le prof la modifie (ou pas) et l’enregistre6. Chaque élève (vous) travaille sur les exercices de sa
séance (rafraichir pour voir sa séance)
14Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et Lingot Motivation, objectifs
DémoDémarche de recherche
Recherche participative et itérative Questions de recherche
Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
15
Démarche de recherche itérativePartir
De l’expertise de chercheures en didactique• du laboratoire André Revuz (ex-Didirem)
Des l’état des recherches en EIAH et en informatique• LIUM, LIP6
De l’expertise des enseignants• association Sésamath, IREM, IUFM
Créer des modèles informatiques et des prototypesTester les prototypes dans les classesEn retour
Enrichir l’expertise • didactique• des enseignants• en conception d’EIAH
Être utile aux élèves et aux professeurs ?
16Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Une recherche itérative
17
(Mackay et Fayard, 1997)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
18
Conception participative La participation des enseignants aux projets de
recherche Difficile à mettre en œuvre
Nécessite du temps• Temps de la recherche• Temps de l’action
Une réflexion pour faire leur place Des prototypes pour expérimenter
Collaboration avec l’association Sésamath "Transformer
• une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances " [Muller 03]
19
Cadres conceptuels (1/2) Informatique
Conception centrée utilisateur-participative (Schuller
93, Mackay 04), Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)
Ingénierie dirigée par les modèles (Favre et al. 06),
Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)
EIAH Conception centrée sur les usages (Bruillard et Vivet 94,
Bruillard et al 00, Caroll 00)
Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04)
Analyse de corpus, de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
20
Cadres conceptuels (2/2) Didactique des mathématiques
Théorie Anthropologique du Didactique (Chevallard 92),
Théorie des situations didactiques (Brousseau 88),
Dialectique outils/objets (Douady 90) Jeu de cadres et registres (Duval 95), Ingénierie didactique (Artigue 91)
Didactique de l’algèbre (Grugeon 95, 08, Chevallard 85,Chevallard et Bosch 2012, Bardini 03, Sfard 91, Drouhard 92, Kieran 07)
Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Questions de recherche1. Comment décrire les connaissances du doamine, d’un élève ?
Modèles de référence : didactique/enseignants/informatique
2. Quelles situations mettre en place pour recueillir des observables ?
Modélisation des tâches diagnostiques, Banque de tests
3. Comment inférer les descripteurs à partir des observables ?
Typer et coder les réponses : diagnostic individuel local
Détecter les cohérences : diagnostic individuel global
Situer l’élève par rapport à une référence : stéréotypes/groupes
4. Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ?
Prise de décisions didactiques (enseignants ou machine)
• Aide à la décision pour organiser des parcours
Réflexion métacognitive avec l’élève
5. Comment évaluer les résultats produits ?
21Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Cycles de recherche1. Une analyse didactique cognitive et épistémologique
un outil de diagnostic papier (Grugeon 95)
2. Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000)
3. Une nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005)
4. Une modélisation générique du diagnostic Logiciel de calcul formel : Pépinière Génération des exercices et de l’analyse
automatique des raisonnements : PépiGen (Prévit 2008)
5. Dissémination : association Sésamath Prototype/application disponible à large échelle : PépiMep
(Darwesh et al. 2010)
6. Parcours d’apprentissage différencié : PépiPad (Pilet 2011, El-Kechaï 2011)
22 Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Chronologie du projet
23Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Thèse de J. PiletPépiPad sur LaboMepDébut du recueil de traces
2013
PlanLes projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?
Définitions et fondements didactiques Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de
clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
24
Diagnostic cognitif en EIAH ?Processus
« Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité »
(Delozanne et al. 2010)Résultat du processus
Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences
25Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic cognitifAnalyse de la résolution de problème par un sujet
Performance Connaissances, procédures et stratégies
• Correctes ou inadaptéesObjectifs
Intervention : Évaluation• diagnostique : Réguler les apprentissages• formative : Améliorer la performance• sommative : Certifier
Scientifique• Comprendre
- des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception
• Modéliser pour simuler, prédire, classifier
26Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Différents modèles (Cf. M. Labat)Approches symboliques
Psychologie cognitive• ACT : geometry tutor, Algebra tutor (équipe de
Pittsburg 1983 … 2013)
• Diane/Star : problèmes additifs école primaire (Hakem, Sander, Labat, 2005, Martin, Sander, Labat, Richard 2013)
• Plasturgie (Richard, Pastré, Labat et al. 2006)
Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)
• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011)
Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)
Réseaux bayésiens (Labat, Hibou 2007)
27Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Evidence Centred DesignAnalyse du domaineModélisation du domaineModèle conceptuel de l’évaluation
Modèle de l’élève Modèle de diagnostic (Evidence Models) :
évaluation • des productions d’élèves par item • sur l’ensemble du test
Modèle des tâchesModèle d’assemblage (test adaptatif)Modèle de présentation
28
(Mislevy 03, Shute 08)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Fondements didactiques de Pépite
29
Savoirsavant
Savoir enseign
éCahiers
d’élèves, discours
enseignantsSavoir de
référenceModèle
épistémologique
Savoir à enseignerProgrammes officiels et documents
d’accompagnement
Savoir appris
Tests diagnostiqu
es
(Transposition didactique, Bosch et Gascon 05)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Expressions algébriques
30
Aspects épistémologiqu
es
Équivalence des programmes de calcul(Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012)
Équivalence des expressions algébriques(Frege 1971,Drouhard 1992, Kieran 2007)
Dialectique du numérique et de l’algébrique(Chevallard 1985)
Aspects procédural et structural des expressions algébriques(Sfard 1991)
Interprétation des expressions algébriques dans d’autres registres de représentation(Duval 1995, Bardini 2003)
Absent
Peu Présent (Pilet 2013)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Absent
Savoir à enseigner :
31
Des savoirs et savoir-faire implicites Équivalence des expressions
Peu de référence • à la dénotation• à l’organisation du contrôle des calculs
Dialectique du numérique et de l’algébrique Peu de lien avec le numérique (2 expressions
renvoient ou non les mêmes valeurs) Aspect structural et procédural
Peu de référence au processus de calcul, à la reconnaissance de la structure
Expressions et consignes standardisées Lien avec d’autres registres de représentations
Peu de programmes et de schémas de calcul Un sens de traduction privilégié
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Types de tâches (extrait)
32
32
Produire Associer
Traduire
Développer
Factoriser
Réécrire
Calculer
Prouver l’équivalence
Identifier la structure
Tester l’équivalence
Choisir l’expression la plus adaptée
Génération des
expressions
Équivalence des
expressions
Algèbre des polynômes
Absent
Peu Présent
Présent
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Hypothèses didactiquesH1 : Une explication possible des difficultés des
élèves• Les trous, les implicites• Le peu de diversité dans le type des expressions
et les problèmes traitésH2 : Les réponses des apprenants à des problèmes
bien choisis révèlent des cohérences dans leur raisonnement Q1 : Comment identifier ces cohérences ?
H3 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées d’enseignement Q2 : Comment différencier les apprentissages
en s’appuyant sur ces cohérences ?33Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Hypothèses informatiquesH1 : Il est possible de concevoir un logiciel pour
recueillir des traces numériques de l’activité algébrique des élèves pour détecter des cohérences
H2 : Il est possible de concevoir un logiciel qui le détecte de façon automatique (au moins partiellement)
H3 : Les logiciels produits pourront être utilisés dans les classes
H4 : La modélisation informatique de l’expertise didactique fera évoluer cette dernière
34Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?
Définitions, Fondements Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de
clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives 35
Q de recherche (rappel)1. Quel modèle de l’élève ? Quels descripteurs ?
Logiciel pour présenter les résultats : PépiProf2. Comment recueillir les observables ?
Logiciel pour faire passer un test aux élèves : PépiTest
3. Comment analyser les observables pour obtenir les descripteurs ? Logiciel de diagnostic : PépiDiag
4. Comment exploiter les résultats du diagnostic ? Logiciel pour calculer des parcours
d’apprentissage différencié : PépiPad5. Comment évaluer les résultats ?
36Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Méthode de diagnosticTrois temps1. Diagnostic local
Analyse de la réponse à une question Types de réponses anticipées + vecteur de
codes2. Diagnostic global individuel
Cohérences entre les réponses Par composante : taux de réussite + leviers,
fragilités, règles fausses et correctes3. Diagnostic global collectif
Position de l’élève par rapport à une référence/au groupe
Niveau sur chaque composante Caractéristiques communes à un groupe 37
Architecture de PépiMep
38
Exploite
PépiDiag
PépiDiagLocal PépiDiagGlobal
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Q1 : Modéliser les connaissances d’un élève
Enseignants Connaissance de référence : capacités (Programmes scolaires)
• ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable
Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques
Connaissance de référence• Organisation mathématique/didactique• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes
- trous, capacités implicites Connaissances d’un élève
• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs
• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage
39Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèle de l’élève dans Pépite3 niveaux de description
40Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Q2 : Recueillir des observables ?Un élève passe un test
Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves• Erreurs/réussites• faiblesses/leviers d’apprentissage
Un exercice diagnostique Énoncé et questions
• Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement)
Une grille d’analyse des réponses• Types de réponses anticipées• Évaluation multidimensionnelle de ces réponses
41Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Un exercice diagnostique
42Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local(1)Réponse Type Codes + interprétations
x + 8 = 8x8x3 × 8x = 24+3x= 27x27x-4 = 23x23x+x=24x24x/4=6x6x+2=8x8x-x=7
Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée
V3 incorrecteL3 lettres avec règles faussesE2 = annonce de résultatJ31 pseudo-formelleT2 traduction pas-à-pas séparéeEA42 règle incorrecte d’ assemblageRègles utilisées (incorrectes) :A+B = ABA X B = (A B) XA X - X = A – 1
43
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local(2)Réponses Type Codes + interprétations
3 + 8 = 1111 × 3 = 3333 - 4 = 2929 + 3 = 3232/4 = 88 + 2 = 1010 - 3 = 7
Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects
V3 incorrecteL5 pas de lettresE2 = annonce de résultatJ2 justification par un exempleT2 traduction pas-à-pas séparéeEN1 écritures numériques correctes
44
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local (3)Réponses d’élèves Codes + interprétations
(3+8 × 3-4+3)/4+2-332/4+2-38+2-310-3
V3 incorrecteL5 pas de lettresJ2 par l’exempleT3 globale non parenthéséeEN1 : écritures numériques correctes
((5+8)×3-4+5)/4+2-5=7 ?((13)×3-4+5)/4+2-5=7 ?(39-4+5)/4+2-5=7 ?10+2-5=7 ?10-3=7 ?7=7 ?
V3 incorrecteL5 pas de lettresJ2 par l’exempleT1 globale parenthèsée, équationEN1 : écritures numériques correctes
((x + 8) × 3 - 4 + x) / 4 + 2 - x=( 3x + 24 - 4 + x)/4 + 2 - x=(4x +20) / 4 + 2 - x=x + 5 + 2 - x=7
V1 correcte, L1 nb généraliséJ1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. CorrecteRègles utilisées(A+B)C = AC+BC Règle correcteAC+BC = (A+B)C Règle correcte(A+B)/C = A/C+B/C Règle correcteAC+BC = (A+B)C Règle correcte
45
Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests
diagnostiquesTravail didactique (1995) et premier prototype Pépite1
(2000)
Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de
classe Thèse de D. Prévit (2008)
Logiciels PépiGen et Pépinière• Caractérisation des exercices équivalents du
point de vue diagnostique (clones)- Modèle des tâches diagnostiques
• Logiciel qui génère des clones• Analyse multicritère automatique des
réponses ouvertes à chacun de ces clones
46Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
47
PépiGen
Auteur
Système auteur PépiGen
saisit les paramètr
es
Pépinière
expression
algébrique
arbre des solutions
anticipées
est chargé
produit un
clone
Modèle de Classe Exercicesdiagnostiques
XM L
Banques
d’exercices
XM L
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
48
49
Grille de codage : (x + 2)* 3 - 3 * x
<Solution> <Interprétation> Tentative de démarche algébrique mais l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation> <Type>10.7</Type> <Code>V3,L3,T4,J3</Code> <Expression>(x+2)*3</Expression> <Expression>x*3+6</Expression> <Regle>V,7</Regle> <Expression>3*x</Expression> <Expression>3*x+6-3*x</Expression> <Expression>6</Expression> <Regle>V,31</Regle> </Solution>
(x+2)*3=3x+6-3x=6
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
50
PépinièreLogiciel de calcul formel qui manipule des arbres
pour : Analyse syntaxique des expressions
algébriques• Grammaire algébrique
Transformations algébriques • Règles de réécriture correctes ou incorrectes
Génération des solutions plausibles anticipées• Unification et heuristiques
Comparaison des expressions algébriques• Arbres superposables
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Arbre des solutions anticipées
(x+2)*3-3x
-2x+6
6
3x+6-3x
x*3+2*3-3x x+2*3-3x
3x+6-3x
6x
9x-3x
R1
R3
R3
R2
R4
R3
R3
9x-3x
6x
Erreur de parenthèse
avec mémoire
Règles correctes
R1 : (A+B)C AC+BC
R3 : AB+AC A(B+C)
R2: (A+B)C A+BC
R4: AB+C B(A+C)
Règles erronées
6
R3
R4
V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32
Plan
Les projets Pépite et LingotDiagnostic cognitif ?
Définitions Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de
clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
52
Q3 : Analyser les observables ?Comment construire le modèle des compétences d’un
élève ?L’élève passe un test PépiTest
Ses réponses sont mémoriséesPépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse :
type de réponse et vecteur de codes (diagnostic local)
2. Agrégation des codes Bilan cognitif : caractéristiques personnelles +
stéréotype3. Formation d’un groupe pour un même parcours
d’apprentissage
53Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
54
Interpréteur : PépiTest
Elève
XM LInterpréteur
PépiTest
Résout les
exercices
Charge le test avec
les réponses de l’élève
est chargé
Enregistre le test avec
les réponses
de l’élève
Test constitué d’exercices
XM L
Réponse de l‘élève
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 1 : Analyse des réponsesDiagnostic local : PépiDiag
Compare • la réponse de l’élève • à une des réponses anticipées de la grille de
codage Utilise un logiciel de calcul formel : Pépinière
• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressions
55Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
56
Diagnostiqueur : PépiDiag
XM L
Diagnostiqueur PépiDiag
est chargé
Module
Pépinière
Tester l’équivalence de 2 arbres
d’expression
retourne vrai/faux
Enregistre les
réponses
avec le diagnosti
c local (type et codes)XM L
grilles de codage
XM L
Réponse de
l’élève
est
chargé
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Conception du diagnostic localFondée sur les réponses anticipées
Analyse didactique+corpus ->grille de codageRéponses ouvertes
réponses non diagnostiquées par le logiciel :~10-15 % • Erreur de saisie• Réponses imprévisibles
Couteux En expertise didactique + Analyse de corpus
Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse
Complexe pour les raisonnements57Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Évaluation du diagnostic localDépend du type de question (ouverte/fermée)Comparaison Diagnostic machine/humainN = 360 élèves3 experts
trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel
Critères Les réponses correctes ne sont jamais diagnostiquées
incorrectes par PépiDiag• Réponses en une seule expression : OK• Raisonnement algébrique : OK• Raisonnement en LN : certains
Réponses imprévisibles • ~10 %• 2/3 des réponses (incorrectes) non analysées par le logiciel,
ne sont pas non plus analysées par les experts
58Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 2 : Bilan cognitifBilan =
Stéréotype • niveau de compétence sur les 3 composantes
- Usage de l’algèbre- Calcul algébrique - Traduction d’une représentation dans une
autre Caractéristiques personnelles
• taux de réussite• leviers• fragilités • liste des erreurs• liste des réussites
59Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Algorithme de calcul des stéréotypesÉtabli (laborieusement) à partir
d’une analyse didactique du classement mené par 3 experts sur un corpus
de 360 réponses au test de calibrage des seuils suite à l’implémentation
de l’algorithmeRésultat
liste de caractéristique personnelles associer les questions aux caractéristiques et les
pondèrer donner les règles d’agrégation des codes pour
chaque caractéristiqueAlgorithme complet et corrections
60Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 3 : Groupes de travailGérer la diversité cognitive dans une classe
Apprentissage différencié Dynamique de l’ensemble Diminuer le nombre de cas
Groupes de stéréotypes 36 stéréotypes, 15 en pratique Grouper les stéréotypes voisins selon la composante sur
laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur calcul et
commencent à choisir les outils adaptés au problème- A+ : traduisent algébriquement des situations
diverses- A- : erreurs de traduction
Ex. : groupes en 2nde
Algorithme de constitution des groupes
61Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Évaluation des groupementsEn cours• Observation en classe • groupe IREM, 5 enseignants, 191 élèves• Différentes périodes de l’année• Différents niveaux
• Questionnaire• 49 enseignants ont répondu• 42 avaient fait passer le test aux élèves
62Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Stéréotypes observés (N=191)
63
0%
10%
20%
30%
40%
50%
C- C+ B+ A+B- A-
Résultats de l’étude des usagesGlobalement cohérents
évolution des stéréotypes en cours d’année et de 3° à 2 nde Questionnaires : 42 réponses
Appréciation• Pertinence des groupes/ résultats habituels des élèves
Exploitation• Utilisation des PAD sans modifier les groupes
- Tests incomplets : résultats non pertinents- Évolution des élèves après les parcours- Certains élèves scolaires n’ont pas réussi le test- Certains élèves faibles ont réussi (réponse proposées et non à
formuler)- Certains ont moins bien réussi
– Difficultés informatiques ou à comprendre les énoncés64
Oui pour tous Oui pour certains Non ?
12 14 2 14
Oui sans modifier Oui en modifiant Non ?
14 8 20 0
Plan
65
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de
clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Q4 : Exploitation du diagnosticTutorat individuel
Réflexion métacognitive avec l’élève Travail dans la classe
Projet avec Sésamath Parcours d’apprentissage différencié (Pad)
• Thèse en didactique des mathématiques de Julia Pilet
- Mise au point des parcours d’apprentissage différencié
- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai
- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place
66Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
PépiPad : Un scénarioQui ?
Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep
Contexte : MF va aborder le chapitre calcul littéral dans la
classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables
Prérequis MF demande à ses élèves de passer le test à la
maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad
67Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Scénario (suite)Paramétrage : MF choisit
Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux
expressionsPépiPad affiche pour chaque groupe
les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités
Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif
secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe
- Une liste d’élèves- Une liste de ressources
Écran du prof, écran d’un élève
68Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
69
PépiPad
Bilans cognitifs des élèves
Générateur de Parcours
Banque d’exercices
Parcours générés
Règles de calcul de parcours
Pépite
construit
Utilise l'ontologie des exercices
paramètre
prof
Modèle de connaissanceParcours
Un ensemble d’exercices pour un groupe Exemple de parcours (fichier xml)
Exercice caractérisé (exemple d’exercice indexé, fichier xml) Capacités Niveau scolaire Variables didactiques
• Objets mathématiques• Cadre et registres en jeu• Degré de guidage
Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre
70Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
RéférentielComposantes de la compétence
Ex. calcul algébriqueGroupe de capacités
Ex. calculer, tester, factoriserCapacité
Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable
Exemple : capacités liées au calcul algébrique (fichier xml)
71Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Etat des lieuxFait :
Conception de l’ontologie Explicitation des objectifs Liens objectifs/capacités/étapes Indexation des ressources hétérogènes
• Exercices interactifs de Math En Poche• Exercices papier des manuels et des
didacticiennes Création automatique des séances différenciées
En cours Évaluer les bénéfices pour les élèves et les profs
72Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
73
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Modèle du domaineUne ontologie des objets manipulés par les logiciels
Objets mathématiques Objets didactiques
Référentiel des capacitésDimensions et critères d’évaluation
74
Modèles des tâches diagnostic (1)Un exercice
Interface
Une analyse didactique initiale : texte et tableaux Ex
Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis Ex
Modèle informatique de l’exercice 3 : fichier xml Originel Un clone
75Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèles des tâches diagnostic (2)Modèle général d’une Classe d’exercice : schéma UML
• schémaSchémas XDS de grille d’analyse des réponses
anticipées à une question schéma
76Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèle des parcours d’apprentissage différenciés
Une ontologie de référence• Indexation des exercices• Interface d’indexation des exercices• Fichier indexant un exercice
• Calcul de la liste des exercices en fonction• Algorithme de calcul• Fichier résultat
77Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
78
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Résultats/Questions de recherche1. Comment décrire les connaissances d’un élève ?
Modèle à plusieurs niveaux d’interprétation
2. Quelles situations mettre en place pour recueillir des observables ?
Modélisation des tâches diagnostiques, Banque de tests
3. Comment inférer les descripteurs à partir des observables ?
Typer et coder les réponses : diagnostic individuel local
• Analyse multidimensionnelle automatique des réponses
• Logiciel de calcul de formel
Détecter les cohérences et Situer l’élève par rapport à une référence
• Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes
4. Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ?
Prise de décisions didactiques (enseignants ou machine)
• Indexation de 120 exercices
• Proposition de parcours adaptés
5. Comment évaluer les outils produits ?
Preuve par construction
Preuve par utilisation
Analyse didactique des usages (thèse de Soraya)
79Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
LimitesÉquationsAutres niveau (5°,4°)Améliorer les interfaces (saisie des expressions,
interface enseignant)Développer des exercices interactifsDes exercices plus ludiques
80Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Perspectives
Moyen terme (prochain projet) Évolution des bilans des élèves Articuler
• Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur
l’historique et les caractéristiques personnelles
Des scénarios plus ludiques Extension à d’autres niveaux et thèmes
81Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Résultats (actuels) du projetUne méthode de diagnostic
Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel,
positionnement par rapport à la référence Typage des réponses anticipées
Une méthode de mise au point des parcours d’apprentissage
Des modèles exécutables de tâches diagnostiques, d’exercices, de
parcours de bilan cognitif sur trois niveaux de description
Une recherche pluridisciplinaire et participativeUn logiciel accessible sur une plateforme grand publicDes corpus de réponses importants 82Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
83
Résumé : temporel Cycle N°1 (1995) : outil papier-crayon
modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite
systématisation, réification du modèle de compétence diagnostic semi-automatique
Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel, raisonnement
algébrique) vers une géographie de la classe (stéréotypes)
Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic
• plus générique (classes d’exercices) • plus fiable (raisonnement algébrique)• pour l’élève
Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage Logiciel PépiPad
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
84
Résumé : objectifs scientifiques Coté recherche :
Comprendre les difficultés des élèves• Récolter des corpus
Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir
Coté application : Faciliter l’insertion dans/ l’évolution des pratiques
enseignantes• faciliter la genèse instrumentale
Dissémination de résultats de recherche
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
QuestionsDiagnostic cognitif
Définition ? Comparaison avec celles de M. Labat ? De M. Sander ?
Diagnostic humain/diagnostic automatique ? Difficultés ? Évaluation de la qualité ?
85
Diagnostic local (pour le prof)
86
Diagnostic local (pour le chercheur)
87
Diagnostic local pour le logiciel
88
Diagnostic personnel global
89
Bilan Personnel de Sam EugèneSam est dans le groupe A-
Profil du groupe A- :Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes
Diagnostic collectif global
91
Ontologie simplifiée : graphique
92
PépiIndexation
93
PépiPad : Caractérisation du PED 3
Objectif Capacité Objet entrée Cadre Complexité
A : Prouver l’équivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée d’une expression pour résoudre un problème, calculer astucieusement
3.53.717.1
Exclure12.3 (3°)
(fonctionOU expression littérale)et rien d’autres
algé (3°)fonc.(2°)
MP, CX
B : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre
CS
C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre
EL
Recommended