Retos y definiciones de la problematica de la …...D. Leclercq (2007) Cinco problematicas de la...

D. Leclercq (2007) Cinco problematicas de la evaluacion de las competencias. Seminario MECESUP. Pucon 1

Cinco problematicas de la evaluacion de las competencias :

retos, definiciones, principios, funciones y validezas

Dieudonné Leclercqd.leclercq@ulg.ac.be

Seminario MECESUP en PuconMarzo 2007

Liège, Belgica

www.ulg.ac.beUniversité de Liège au Sart-Tilman

(Faculdad de Psychologia y Educacion)

http://www.ifres.ulg.ac.be

http://www.formasup.eu/

http://www.labset.net/

Capitulo 1

Cinco problematicasde la evaluacion de las competencias :

Retos, definiciones, principios, funciones y validezas

NB : Indicamos nombres y apellidos para facilitar la exploracion sobre el web.

Cuales son los objetivos de la educacion ?Tres puntos de vista

estudiantes

docentesempleadores

Pierre Verberen, Président Fef 1994

Estudiantes

Lo que preocupa a los estudiantes es que ven que lo que aprendenno esta relacionado con su futuro proximo. Tienen miedo del mercado del empleo. Se sienten sin armas y tienen la impresion de que no estan desarrollandolas.

Efecto « retrasado »de la educacion :

cual es la solucion ?Docentes

Solucion :

Arquitectura piramidalde capacidades

D. Leclercq (1987)

Geografia de ChinaVocabulario inglesAnatomia humanaHistoria de FranciaItinerarios y mapasCodigo de la circulacion…….…….Recetas culinarias

poco transferiblesSaberes y skills disciplinarios

Capacidades

LeerPreguntarse cuestionesTomar notasResumirUtilizar el dictionnarioExplorar un libroUtilizar un index……….Utilizar WordUtilizar ExcelUtilizar internet

transferiblesSkills (tecnicos y generales)

CapacidadesAuto-cognitivas (sobre sus saberes, su competencia a resolver problemas, a adaptarse a otros, etc.

Conocerse :

Lo que conozco, y…Lo que hago bien, y…En lo que puedo

comprometermeCon quien trabajo bien, y.. Que tipo de ayuda

necesito

Para aprender eso, no hay libros : tenemos quevivir

Actidudes y compromisoCompromiso

Afiliarse en un grupoDefender una personaDefender un principioLLevar a cabo un proyectoConcebir un proyectoPasar tiempo haciendo…Dar tiempo para…….

Savoirs et savoir-fairedisciplinaires

Metafora con una broca de barena

para confrontarse con

nuevos problemas

COBECenter for Outcome-BasedEducation

Understanding =

Self & Metacognition

The OpenUniversity

empladores

Efficacy Belief (capacidad de convencer, de aňadir valor.

Skills

Empleabilidad ?

Peter Knight

Competencias profesionales

Programa « Skills + »

Understanding =

Self & Metacognition

Efficacy Belief

Skills

Peter Knight (2000) D. Leclercq (1987, 1998)

Competencias professionales

Capitulo 2

Definiciones y ejemplos

Inspirandome de • Jacqueline Beckers (U. Liège). Développer & évaluer des compétences à l’école.Bruxelles : Labor, 2002

• Gérard Scallon (U. Laval)L’évaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck, ..2003

• Xavier Roegiers (U. C. Louvain)Une pédagogie de l’intégration : compétences

et intégration des acquis dans l’enseignement. Bruxelles : De Boeck, 2000.

Utilizo el modelo siguiente

Evolucion historica de los objetivos educacionales

Contenidos x Actividades (mentales y practicas) = = Capacidades (El estudiante sera capaz de .....)

Competencias

Contenidos

Contenidos x Actividades x Situacion(Roegiers, 2000)

(Mager, 1962)

espontaneas

autonomasContenidos x Actividades x Situacion nueva

(Beckers, 2002)

(Leclercq, 2007))

Competencia =

La aptitud para poner en practica un conjuntoorganizado de saberes,

de skills (habilidades)de actitudes

Que permitan desempeňar una serie de tareas*

Articulo 5 del Decreto-Missiones de Julio 1997

*pertenecientes en una familia de situaciones)

Una formula para definircompetencias

Contenidos x Actividades x Situacion nuevaautonomas

CapacidadesCompetencias

espontaneas

Ejemplo 1 : Escuela de conduccion de coche

espontaneasContenidos x Actividades x Situacion nueva

autonomasCapacidades

Competencias

espontaneas

Tipos de capacidades

Destrezas (maňas): Skills : Saber hacerlo : Gestos (desembragar, acelerar, encender las luces,..)

Saberes declarativos : saber que hacer, porque (leyes)procedurales : saber como hacerlo

Actitud (placer de conducir, stress, cortesia, riesgo)

condicionales : saber cuando hacerlo

John ANDERSONCarnegie Mellon Pittsburgh

Prueba téorica Jacques TARDIFUniv. Sherbrooke Canada

Tipos de capacidades

Destrezas (maňas): Skills : Saber hacerlo : Gestos (desembragar, acelerar, encender las luces,..)

Saberes declarativos : saber que hacer, porque (leyes)

Actitud (placer de conducir, stress, cortesia, riesgo)

condicionales : saber cuando hacerloprocedurales : saber como hacerlo

Ejemplo 1 : Escuela de conduccion de cocheEjemplo 1 : Escuela de conduccion de coche

Prueba practica

Competencias

espontaneas

Conocer (restituir)Comprender (traducir)Aplicar

AnalizarSintetizar / crearEvaluar / juzgar

Benjamin Bloom

Taxonomia de nivelesde procesos mentales

Competencias

espontaneas

Competencias

espontaneas

Niveles de destrezas

Anita HARROW

Taxonmia Reflejos

Movimientos locom. y manip.Percepciones (vis., audit., tact.,)

y coordinacionesCapacid. Fisicas (resistencia, fuerza,agilidad)Adaptacion (juegos collectivos)

Communicacion -expresion

Competencias

espontaneas

Niveles de actitudes(nivel de

compromiso)

D. Krathwohl, Bloom & Masia

RecepcionTaxonomia

Respuesta

ValorizacionOrganizacionde un sistemade valores

Ejemplo 2 : Evaluacion en medicina en Maastricht

Tests* Lab tests Simulaciones* :

* ECOS = Examenes ClinicosObjetivos y EstructuradosProgress tests,TCS,

Blok tests

Internship

Competencias

espontaneas

Capitulo 3

Principios

Principio 1 : Combinar varios tipos de evaluacion

Principio 2 : Un eje de las metodologias de evaluacion

Simulaciones Internship

Practicas

Portfolios

Presentaciones

Informes,Tesis

Competencias

espontaneasContexto escolar-------------------------------------------------------Situacion Profesional

Problemas

PrincipioPrincipio 33 : Cada curso debe contribuir a los objetivos comunes (Peter Knight)

Competencias transversales - 11 docentes de Ciencias de la Educacion 2004 :

COMPETENCES : 1 2 3 4 5 6 7 8 9 10 11

1.Capacités critiques : V V V V V V V V V V V

1.Argumentation : V V V V V V V V V

1.Nombre : V V V V V V

1.Flexibilité : V V V V V V V V V V V

1.Exploitation de l’information : V V V V V V V V

1.Qualifications de recherches : V V V V V V V V

1.TIC : V V V V

1.Présentation : V V V V V V V V V V V

1.Travail problèmes : V V V V V V V V V V

1.Organisation du travail : V V V V V V V V V V

Siempre 21%

A veces 36%

Jamas 43%

La contribucion de cada curso a los objetivos comunes (D. Leclercq)

Capitulo 4

Funciones

Evaluacionestienen

varios fines y caracteristicas

Rosa de losvientosde las

caracteristicasde la evaluacion

de groupeinstitutionnelle

à processus expliciteà jugement expliciteà décision explicite

J. TRANSPARENCE

Continuerépétée

améliorable

à repères mobiles adaptative

en contexte naturelsubjective

G. METHODE

ArbitraireExternePar expertsassistée

allocentrée

E. AGENTS

F. TEMPOS

formativecritérielle

diagnostique répondanteà critères cachés

Processus-DémarcheSanction de la rép. finale

unidimensionnelle

Des personnesindividuelle

B. QuoiA. PourquoiH. REPERES

autocentréeautonomepar pairsinternetransactionnelle

E. Par qui

objectiveen contexte expérimental

standardiséeede progression

G. Comment

multidimensionnellesanction du résultat

Produit B. OBJETS

Normative sommativesanctionnante

A. FONCTIONS

définitiveunique

ponctuelle

F. Quand

à décision impliciteà jugement implicite

à processus implicite

J. Avec quellevisibilité

H. Avec quelsrepères ?

D.Pour qui

publicD.DESTINATAIRE

Confidentielle-privée

C. SUJETS à critères annoncéspréordonnée

EVALUATION

D. Leclercq (2006)Evaluation et docimologie pourpraticiens chercheurs.Editions de l’universitéde Liège.

A. Pourquoi

con fin formativa

con finsancionante

con precisiondiagnostica con referencia

criterial

con precisionsumativa

con referencianormativa

Evaluacion

Mejorar el aprendizaje

Seleccionar, certificar

Objetivos, umbralesde exito (Maestria)Examenes

Posicion segun los otrosconcursos

Una valor final y error de medida

Deteccion decausasde faltas

Capitulo 5

Validezas

Principio 5 : Maximizar las cualidades de la evaluacionHay muchos tipos de Validezas :

Ecologica (cerca de la realidad)

Teoretica (conformidad a un modelo y cubierta de contenidos)

Informativa (diagnostica, sutileza, claridad)

Consecuencial (provoca algo, cambios )

Predictiva (correlacionada con otra cosa o futuro)

Replicable (Reliability)

Aceptable por estudiantes (preparacion, valores),

por los docentes (valores, trabajo, tiempo)

Deontologica (equidad, confidencialidad, preparacion...)

ValidezEcologica

(authentica)

ETIC PRAD

No perfectamente : un maniquiy computador

Validez teoreticaTeoria : « El conocimiento parcial existe. Medirlo es util y factible. »Grados de certeza con las respuestas : 0% 20% 40% 60% 80% 100%.Spectrum de qualidad de -100 hasta +100 :

ETIC PRAD

0M 20 40 60 80 1000-20-40-60-80-100 -0

Incorretas CorrectasEn vez de

Dos hemispectros (forma ideal de la curva : J)

Incorretas Correctasmisconcepciones

1982, 161-287

Leclercq & Poumay, 2006http://www.labset.net/media/prod/Metacognitive_indices_of_realism_in_self_assessment.pdf

Progress Testsen facultad de medicina de Maastricht

Tests de Progression à la Faculté de médecine de Maastricht

77 77 78 78 78 78 79 79 79 79 80 80 80 80 81 81 81 81 82 82 82 82 83 83 83 83 84 84 84 84 85 85 85 85 86 86 86 86 87 87 87 87 88 88

dates des tests

Leclercq & Vandervleuten 1998, 199

La cohorte roja

october 78

December 78March 79

June 79

October 79

ETIC PRAD

Progress Tests

Tests de Progression à la Faculté de médecine de Maastricht

77 77 78 78 78 78 79 79 79 79 80 80 80 80 81 81 81 81 82 82 82 82 83 83 83 83 84 84 84 84 85 85 85 85 86 86 86 86 87 87 87 87 88 88

dates des tests

Leclercq & Vandervleuten 1998, 199

en octubre 80

ETIC PRAD

Informativa.Resultados individuales a un Progress Test en medicina en Maastricht

Informativa : Mismos datos presentados en dos maneras

B. Verhoeven (2003). Progress Testing. The utility of an assessment concept. Doctoral Thesis. University of Maastricht.

Capitulo 8 : PBL

D. Leclercq(Liège)

Cees Van der Vleuten(Maastricht)

Validez Informativao diagnostica

ETIC PRAD

Englehart (1994)

Bla bla bla bla bla bla bla blabla bla bla bla bla bla bla blabla bla bla bla bla bla bla bla

bla bla bla bla bla

1 2 3 4 5 6-Estructura I---I---I---I---I---I---I-Terminos tecnicos I---I---I---I---I---I---I-Originalidad de ejemplos I---I---I---I---I---I---I

1 2 3 4 5 6I---I---I---I---I---I---II---I---I---I---I---I---II---I---I---I---I---I---I

Ejemplo : el examen oral

Conclusion : no diagnostico, no bastante Informativo

ETIC PRAD

Validez Consecuential (Samuel Messick, 1984)

EEUU : QI & prejudicio, culture free tests Arthur Jensen

U.C. Berkeley University

Resultadosde PruEbas

eStandardizadasal Servicio

de los Aprendizajesen Candidatura

memoria

comprension

Resultados han bajado mi incertezacon el vocabulario.Ahora se que es muy bajo.

Que ha aprendido usted

con eso ? Entiendo peor que memorizo.

Ha cambiado usted su metodo de estudio ?

No he cambiado nada.

He estudiado mas en profundidad, para entender antes de memorizar.

Ha cambiado usted su metodo de estudio ?

RESSAC FAPSE ULG examens de juin-septembre 2000

Total 99-105 Leclercq 28-34 Mormont 23-27 Brédart 33-31 Crahay 15-13

%R sans%R avec

Porcentaje de exito del examen en 4 cursos

Predictiva Corelaciones multiples en MOHICAN

NVP r %VE Predictores Filo y letras (N = 154)

1 0,28 8% Syntaxe MS* 2 0,36 13% Syntaxe MS* + Histoire MS*3 0,38 15% Syntaxe MS* + Histoire MS* + CompGéo TE

Math MS* + Chimie MS* + ComprText TE + ComprText EC32%0,554Math MS* + Chimie MS* + ComprText TE28%0,533Math MS* + Chimie MS* 25%0,502Math MS* 20%0,451

Prédicteurs%VErNVP

Math MS* + Chimie MS* + ComprText TE + ComprText EC32%0,554Math MS* + Chimie MS* + ComprText TE28%0,533Math MS* + Chimie MS* 25%0,502Math MS* 20%0,451

Prédicteurs%VErNVP

Vetrinarios (N = 211)

Rojas = con certezaAzules = sin certeza

ETIC PRAD Validez de Replicabilidad o « Reliability »

Henri Piéron (1963) DOCIMOLOGIA CRITICA : notas al Bacchilerato de Francia

La ley de Posthumus : tendencia en la curva de Gauss

-Gjorgjeski (Rot & Butas, 1959) : 4 profesores re-evaluanlas copias que habian obtenido “bien” por 5 otros evaluadores-ecuacion personal de los evaluadores : severos o laxos.

Ahora continua segun el principio que se produce ciegamente, al azar !

ETIC PRAD Validez de Aceptabilidad - Aplicabilidad

Bruce Choppin

-Aceptabilidad teoretica : 3 modelos de la actividad mental de una persona que constesta una CEM-Aceptabilidad practica : desaparicionde los examenes orales por falta de tiempo

-Acceptabilidad social : -baremos de tarifas (exito con menos

de 50% respuestas correctas ????)-baremos que bajan la media !!

-Aceptabilidad psicologica : subrayar puntos postivos tambien

ETIC PRAD Validez Deontologica - etica

Piéron (1963) : Efectos-de halo-de estereotipo o de inercia-de constrasto-Posthumus

Me ha dado una notade 8/20 para teneruna curva de Gauss

Valididad curicular : evaluar solo lo que ha sido enseňado o adiestrado !(Beckers, 2002, 119)

Retos y definiciones de la problematica de la …...D. Leclercq (2007) Cinco problematicas de la...

Documents

Problematicas economicas y

Problematicas sociales ericson vargas

PLAN DE EMERGENCIA VOLCANICA COMUNA DE PUCON

D. Leclercq (2007) Cinco problematicas de la evaluacion de las competencias. Seminario MECESUP. Pucon 1 Cinco problematicas de la evaluacion de las competencias

Vulcão Villa Rica Pucon - CH

Problematicas de la Colacion

Problematicas Del Diseno Grafico

Situaciones problematicas blog1

Colgajos expandidos. Pucon 2010

conductas problematicas

Problematicas sociales (1)

Pucon · 2017-02-22 · Pucon Pucon est un lieu de villégiature très prisé au Chili. La ville se niche au bord d'un lac entouré de volcans. Nous avons passé une partie de l'après

9 Problematicas

Arbol de Problematicas

Crisis y Problematicas

Pucon 2008

Auge Y Quemados Congreso de Cirujanos. Pucon

Juventudes problematicas

PROBLEMATICAS DEL NIÑO

La Argumentacion Problematicas