Retos y definiciones de la problematica de la …...D. Leclercq (2007) Cinco problematicas de la evaluacion de las competencias. Seminario MECESUP. Pucon 27 Conocer (restituir) Comprender

D. Leclercq (2007) Cinco problematicas de la evaluacion de las competencias. Seminario MECESUP. Pucon 1

Cinco problematicas de la evaluacion de las competencias :

retos, definiciones, principios, funciones y validezas

Dieudonné [email protected]

Seminario MECESUP en PuconMarzo 2007


Paris


Liège, Belgica


www.ulg.ac.beUniversité de Liège au Sart-Tilman

(Faculdad de Psychologia y Educacion)

http://www.ulg.ac.be/


http://www.ifres.ulg.ac.be


http://www.formasup.eu/


http://www.labset.net/


Capitulo 1

Retos

Cinco problematicasde la evaluacion de las competencias :

Retos, definiciones, principios, funciones y validezas


NB : Indicamos nombres y apellidos para facilitar la exploracion sobre el web.


Cuales son los objetivos de la educacion ?Tres puntos de vista

estudiantes

docentesempleadores

?


Pierre Verberen, Président Fef 1994

Estudiantes

Lo que preocupa a los estudiantes es que ven que lo que aprendenno esta relacionado con su futuro proximo. Tienen miedo del mercado del empleo. Se sienten sin armas y tienen la impresion de que no estan desarrollandolas.


Efecto « retrasado »de la educacion :

cual es la solucion ?Docentes

Solucion :

Arquitectura piramidalde capacidades

D. Leclercq (1987)


Geografia de ChinaVocabulario inglesAnatomia humanaHistoria de FranciaItinerarios y mapasCodigo de la circulacion…….…….Recetas culinarias

poco transferiblesSaberes y skills disciplinarios


Capacidades

LeerPreguntarse cuestionesTomar notasResumirUtilizar el dictionnarioExplorar un libroUtilizar un index……….Utilizar WordUtilizar ExcelUtilizar internet

transferiblesSkills (tecnicos y generales)


CapacidadesAuto-cognitivas (sobre sus saberes, su competencia a resolver problemas, a adaptarse a otros, etc.

Conocerse :

Lo que conozco, y…Lo que hago bien, y…En lo que puedo

comprometermeCon quien trabajo bien, y.. Que tipo de ayuda

necesito

Para aprender eso, no hay libros : tenemos quevivir


Actidudes y compromisoCompromiso

Afiliarse en un grupoDefender una personaDefender un principioLLevar a cabo un proyectoConcebir un proyectoPasar tiempo haciendo…Dar tiempo para…….


Savoirs et savoir-fairedisciplinaires

Metafora con una broca de barena

para confrontarse con

nuevos problemas


COBECenter for Outcome-BasedEducation

Understanding =

Self & Metacognition

The OpenUniversity

empladores

Efficacy Belief (capacidad de convencer, de aňadir valor.

Skills

Empleabilidad ?

Peter Knight

Competencias profesionales

Programa « Skills + »


Understanding =

Self & Metacognition

Efficacy Belief

Skills

Peter Knight (2000) D. Leclercq (1987, 1998)

Competencias professionales


Capitulo 2

Definiciones y ejemplos





Inspirandome de • Jacqueline Beckers (U. Liège). Développer & évaluer des compétences à l’école.Bruxelles : Labor, 2002

• Gérard Scallon (U. Laval)L’évaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck, ..2003

• Xavier Roegiers (U. C. Louvain)Une pédagogie de l’intégration : compétences

et intégration des acquis dans l’enseignement. Bruxelles : De Boeck, 2000.

Utilizo el modelo siguiente


Evolucion historica de los objetivos educacionales

Contenidos x Actividades (mentales y practicas) = = Capacidades (El estudiante sera capaz de .....)

Competencias

Contenidos

Contenidos x Actividades x Situacion(Roegiers, 2000)

(Mager, 1962)

espontaneas

autonomasContenidos x Actividades x Situacion nueva

(Beckers, 2002)

(Leclercq, 2007))


Competencia =

La aptitud para poner en practica un conjuntoorganizado de saberes,

de skills (habilidades)de actitudes

Que permitan desempeňar una serie de tareas*

Articulo 5 del Decreto-Missiones de Julio 1997

*pertenecientes en una familia de situaciones)


Una formula para definircompetencias

Contenidos x Actividades x Situacion nuevaautonomas

CapacidadesCompetencias

espontaneas




espontaneas

Ejemplo 1 : Escuela de conduccion de coche




espontaneasContenidos x Actividades x Situacion nueva

autonomasCapacidades

Competencias



Competencias

espontaneas

Tipos de capacidades

Destrezas (maňas): Skills : Saber hacerlo : Gestos (desembragar, acelerar, encender las luces,..)

Saberes declarativos : saber que hacer, porque (leyes)procedurales : saber como hacerlo

Actitud (placer de conducir, stress, cortesia, riesgo)

condicionales : saber cuando hacerlo

John ANDERSONCarnegie Mellon Pittsburgh

Prueba téorica Jacques TARDIFUniv. Sherbrooke Canada


Tipos de capacidades

Destrezas (maňas): Skills : Saber hacerlo : Gestos (desembragar, acelerar, encender las luces,..)

Saberes declarativos : saber que hacer, porque (leyes)

Actitud (placer de conducir, stress, cortesia, riesgo)

condicionales : saber cuando hacerloprocedurales : saber como hacerlo

Ejemplo 1 : Escuela de conduccion de cocheEjemplo 1 : Escuela de conduccion de coche

Prueba practica





Competencias



Competencias

espontaneas


Conocer (restituir)Comprender (traducir)Aplicar

AnalizarSintetizar / crearEvaluar / juzgar

Benjamin Bloom

Taxonomia de nivelesde procesos mentales






Competencias



Competencias

espontaneas






Competencias



Competencias

espontaneas

Niveles de destrezas

Anita HARROW

Taxonmia Reflejos


Movimientos locom. y manip.Percepciones (vis., audit., tact.,)

y coordinacionesCapacid. Fisicas (resistencia, fuerza,agilidad)Adaptacion (juegos collectivos)

Communicacion -expresion






Competencias



Competencias

espontaneas

Niveles de actitudes(nivel de

compromiso)

D. Krathwohl, Bloom & Masia

RecepcionTaxonomia

Respuesta


ValorizacionOrganizacionde un sistemade valores


Ejemplo 2 : Evaluacion en medicina en Maastricht

Tests* Lab tests Simulaciones* :

* ECOS = Examenes ClinicosObjetivos y EstructuradosProgress tests,TCS,

Blok tests

Internship





Competencias



Competencias

espontaneas


Capitulo 3

Principios





Principio 1 : Combinar varios tipos de evaluacion



Principio 2 : Un eje de las metodologias de evaluacion

Tests

Simulaciones Internship

Practicas

Portfolios

Presentaciones

Informes,Tesis





Competencias



Competencias

espontaneasContexto escolar-------------------------------------------------------Situacion Profesional

Problemas


PrincipioPrincipio 33 : Cada curso debe contribuir a los objetivos comunes (Peter Knight)


Competencias transversales - 11 docentes de Ciencias de la Educacion 2004 :

COMPETENCES : 1 2 3 4 5 6 7 8 9 10 11

1.Capacités critiques : V V V V V V V V V V V

1.Argumentation : V V V V V V V V V

1.Nombre : V V V V V V

1.Flexibilité : V V V V V V V V V V V

1.Exploitation de l’information : V V V V V V V V

1.Qualifications de recherches : V V V V V V V V

1.TIC : V V V V

1.Présentation : V V V V V V V V V V V

1.Travail problèmes : V V V V V V V V V V

1.Organisation du travail : V V V V V V V V V V

Siempre 21%

A veces 36%

Jamas 43%

La contribucion de cada curso a los objetivos comunes (D. Leclercq)


Capitulo 4

Funciones





Evaluacionestienen

varios fines y caracteristicas

Rosa de losvientosde las

caracteristicasde la evaluacion

de groupeinstitutionnelle

à processus expliciteà jugement expliciteà décision explicite

J. TRANSPARENCE

Continuerépétée

améliorable

à repères mobiles adaptative

en contexte naturelsubjective

G. METHODE

ArbitraireExternePar expertsassistée

allocentrée

E. AGENTS

F. TEMPOS

formativecritérielle

diagnostique répondanteà critères cachés

Processus-DémarcheSanction de la rép. finale

unidimensionnelle

Des personnesindividuelle

B. QuoiA. PourquoiH. REPERES

C.Qui

autocentréeautonomepar pairsinternetransactionnelle

E. Par qui

objectiveen contexte expérimental

standardiséeede progression

G. Comment

multidimensionnellesanction du résultat

Produit B. OBJETS

Normative sommativesanctionnante

A. FONCTIONS

définitiveunique

ponctuelle

F. Quand

à décision impliciteà jugement implicite

à processus implicite

J. Avec quellevisibilité

H. Avec quelsrepères ?

D.Pour qui

publicD.DESTINATAIRE

Confidentielle-privée

C. SUJETS à critères annoncéspréordonnée

EVALUATION

D. Leclercq (2006)Evaluation et docimologie pourpraticiens chercheurs.Editions de l’universitéde Liège.


A. Pourquoi

con fin formativa

con finsancionante

con precisiondiagnostica con referencia

criterial

con precisionsumativa

con referencianormativa

Evaluacion

Mejorar el aprendizaje

Seleccionar, certificar

Objetivos, umbralesde exito (Maestria)Examenes

Posicion segun los otrosconcursos

Una valor final y error de medida

Deteccion decausasde faltas


Capitulo 5

Validezas





Principio 5 : Maximizar las cualidades de la evaluacionHay muchos tipos de Validezas :

Ecologica (cerca de la realidad)

Teoretica (conformidad a un modelo y cubierta de contenidos)

Informativa (diagnostica, sutileza, claridad)

Consecuencial (provoca algo, cambios )

Predictiva (correlacionada con otra cosa o futuro)

Replicable (Reliability)

Aceptable por estudiantes (preparacion, valores),

por los docentes (valores, trabajo, tiempo)

Deontologica (equidad, confidencialidad, preparacion...)


ValidezEcologica

(authentica)

ETIC PRAD

No perfectamente : un maniquiy computador


Validez teoreticaTeoria : « El conocimiento parcial existe. Medirlo es util y factible. »Grados de certeza con las respuestas : 0% 20% 40% 60% 80% 100%.Spectrum de qualidad de -100 hasta +100 :

ETIC PRAD

0M 20 40 60 80 1000-20-40-60-80-100 -0

Incorretas CorrectasEn vez de

Dos hemispectros (forma ideal de la curva : J)

Incorretas Correctasmisconcepciones


1993

1982, 161-287

Leclercq & Poumay, 2006http://www.labset.net/media/prod/Metacognitive_indices_of_realism_in_self_assessment.pdf


Progress Testsen facultad de medicina de Maastricht

Tests de Progression à la Faculté de médecine de Maastricht

0

10

20

30

40

50

60

70

77 77 78 78 78 78 79 79 79 79 80 80 80 80 81 81 81 81 82 82 82 82 83 83 83 83 84 84 84 84 85 85 85 85 86 86 86 86 87 87 87 87 88 88

dates des tests

Pour

cent

age

de r

éuss

ite

Leclercq & Vandervleuten 1998, 199

La cohorte roja

october 78

December 78March 79

June 79

October 79

ETIC PRAD


Progress Tests

Tests de Progression à la Faculté de médecine de Maastricht

0

10

20

30

40

50

60

70

77 77 78 78 78 78 79 79 79 79 80 80 80 80 81 81 81 81 82 82 82 82 83 83 83 83 84 84 84 84 85 85 85 85 86 86 86 86 87 87 87 87 88 88

dates des tests

Pour

cent

age

de r

éuss

ite

Leclercq & Vandervleuten 1998, 199

en octubre 80

ETIC PRAD


Informativa.Resultados individuales a un Progress Test en medicina en Maastricht


Informativa : Mismos datos presentados en dos maneras

B. Verhoeven (2003). Progress Testing. The utility of an assessment concept. Doctoral Thesis. University of Maastricht.


Capitulo 8 : PBL

D. Leclercq(Liège)

Cees Van der Vleuten(Maastricht)


Validez Informativao diagnostica

ETIC PRAD

Englehart (1994)

Bla bla bla bla bla bla bla blabla bla bla bla bla bla bla blabla bla bla bla bla bla bla bla

bla bla bla bla bla

1 2 3 4 5 6-Estructura I---I---I---I---I---I---I-Terminos tecnicos I---I---I---I---I---I---I-Originalidad de ejemplos I---I---I---I---I---I---I

1 2 3 4 5 6I---I---I---I---I---I---II---I---I---I---I---I---II---I---I---I---I---I---I

1 2 3 4 5 6I---I---I---I---I---I---II---I---I---I---I---I---II---I---I---I---I---I---I

Ejemplo : el examen oral

Conclusion : no diagnostico, no bastante Informativo


ETIC PRAD

Validez Consecuential (Samuel Messick, 1984)

EEUU : QI & prejudicio, culture free tests Arthur Jensen

U.C. Berkeley University

Resultadosde PruEbas

eStandardizadasal Servicio

de los Aprendizajesen Candidatura


memoria

comprension


Resultados han bajado mi incertezacon el vocabulario.Ahora se que es muy bajo.


Que ha aprendido usted

con eso ? Entiendo peor que memorizo.

H


Ha cambiado usted su metodo de estudio ?

No he cambiado nada.

B


He estudiado mas en profundidad, para entender antes de memorizar.

Ha cambiado usted su metodo de estudio ?


RESSAC FAPSE ULG examens de juin-septembre 2000

28

32

9

48

7

43

56

22

55

23

0

10

20

30

40

50

60

Total 99-105 Leclercq 28-34 Mormont 23-27 Brédart 33-31 Crahay 15-13

Taux

de

réus

site

%R sans%R avec

No SI

Porcentaje de exito del examen en 4 cursos


Predictiva Corelaciones multiples en MOHICAN

NVP r %VE Predictores Filo y letras (N = 154)

1 0,28 8% Syntaxe MS* 2 0,36 13% Syntaxe MS* + Histoire MS*3 0,38 15% Syntaxe MS* + Histoire MS* + CompGéo TE

Math MS* + Chimie MS* + ComprText TE + ComprText EC32%0,554Math MS* + Chimie MS* + ComprText TE28%0,533Math MS* + Chimie MS* 25%0,502Math MS* 20%0,451

Prédicteurs%VErNVP

Math MS* + Chimie MS* + ComprText TE + ComprText EC32%0,554Math MS* + Chimie MS* + ComprText TE28%0,533Math MS* + Chimie MS* 25%0,502Math MS* 20%0,451

Prédicteurs%VErNVP

Vetrinarios (N = 211)

Rojas = con certezaAzules = sin certeza


ETIC PRAD Validez de Replicabilidad o « Reliability »

Henri Piéron (1963) DOCIMOLOGIA CRITICA : notas al Bacchilerato de Francia

La ley de Posthumus : tendencia en la curva de Gauss

-Gjorgjeski (Rot & Butas, 1959) : 4 profesores re-evaluanlas copias que habian obtenido “bien” por 5 otros evaluadores-ecuacion personal de los evaluadores : severos o laxos.

Ahora continua segun el principio que se produce ciegamente, al azar !


ETIC PRAD Validez de Aceptabilidad - Aplicabilidad

Bruce Choppin

-Aceptabilidad teoretica : 3 modelos de la actividad mental de una persona que constesta una CEM-Aceptabilidad practica : desaparicionde los examenes orales por falta de tiempo

-Acceptabilidad social : -baremos de tarifas (exito con menos

de 50% respuestas correctas ????)-baremos que bajan la media !!

-Aceptabilidad psicologica : subrayar puntos postivos tambien


ETIC PRAD Validez Deontologica - etica

Piéron (1963) : Efectos-de halo-de estereotipo o de inercia-de constrasto-Posthumus

Me ha dado una notade 8/20 para teneruna curva de Gauss

Valididad curicular : evaluar solo lo que ha sido enseňado o adiestrado !(Beckers, 2002, 119)

Documents

Retos y definiciones de la problematica de la …...D. Leclercq (2007) Cinco problematicas de la evaluacion de las competencias. Seminario MECESUP. Pucon 27 Conocer (restituir) Comprender