Alejandro García Limón Edgar Gómez Bonilla Puebla, 24 noviembre 2009 Alejandro García Limón Edgar Gómez Bonilla Puebla, 24 noviembre 2009 S EMINARIO DE

Alejandro García LimónEdgar Gómez Bonilla

Puebla, 24 noviembre 2009

Alejandro García LimónEdgar Gómez Bonilla

Puebla, 24 noviembre 2009

SEMINARIO DE DIDÁCTICA Y EVALUACIÓN

TEMA DE ESTUDIO :

ASPECTOS ÉTICOS DE LA EVALUACIÓN

DE LOS APRENDIZAJES

SEMINARIO DE DIDÁCTICA Y EVALUACIÓN: ASPECTOS ÉTICOS DE LA EVALUACIÓN DE LOS APRENDIZAJES.

TEMA 3: Principios y normas

Segunda sesión24 de noviembre de 2009

Objetivo: Analizar los principios y las normas de evaluación como herramientas para contribuir al aseguramiento ético de las prácticas de valoración del aprendizaje.

Contenido

3.1 Componentes3.2 Referentes comunes3.3 Principios de la evaluación 3.4 Normas de evaluación del JCSEE3.5 Características 3.6 Semejanzas3.7 Aspectos críticos: problemática, comprensión y aplicación


3.1.1 Contenido

AEA Principios de la evaluación

JCSEE Normas de evaluación

* Propiedades.* Características. * Semejanzas.* Problemática.

3.1 Componentes.


Multiplicación de evaluadores y de comités de evaluadores.

Multiplicación de prácticas de evaluación que promueve el gobierno, impulsa organismos e instituciones nacionales e internacionales.

Necesidad de asegurar prácticas de evaluación ética.

Los principios y normas de evaluación son referentes que permiten orientar la acción valoradora del aprendizaje de los estudiantes.

3.1.2 Contexto


Diseñar evaluaciones.

Desarrollar instrumentos para evaluaciones, así como, criterios y programa de análisis de datos.

Conducir y coordinar la evaluación de los aprendizajes.

Evaluar las evaluaciones.

Realizar un informe cualitativo de la evaluación del aprendizaje al término del curso.

Capacitar permanentemente en los discursos de la evaluación.

3.1.3 Acción profesional que implica:


Creados por practicantes de la evaluación.

Resultan de una serie de experiencias.

Definidos en lo general.

Aplicabilidad amplia (programa de estudios, programa educativo nacional o regional).

Revisión periódica (instrumentos se deben analizar)

3.1.4 Valor.


Los principios y las normas no definen lo que será la evaluación que tienda a juzgar a un sujeto.

Respaldo de instituciones reconocidas (ENet, ERS, AEA, APA, AERA, NCME)En los dos instrumentos han participado diversos investigadores y docentes formados en la evaluación.

Muestran una variedad de indicadores para evaluar el campo de la educación, la docencia y el aprendizaje de los estudiantes.

Se expresan clases y clases de información posible para respaldar la evaluación.

3.2 Referentes comunes en el desarrollo de los instrumentos.


Evaluadores involucrados en el desarrollo de los instrumentos.

P R I N C I P I O S AEA

N O R M A S JCSEE

William ShadishDiana Newman

Mary Ann SheirerChips Wye

Daniel StufflebeamDonald Campbell

Egon GubaGeorge Madaus

Robert Linn


3.3 Los principios para la evaluación AEA: Desarrollo histórico.

1982 ERS Estándares para la evaluación de programas

1986 ENet más ERS Sociedad de investigación evaluadora

1992 AEA establece un grupo de trabajo (Task force) para desarrollar los principios generales de la evaluación.

1994 El grupo de trabajo presenta su informe conteniendo la propuesta de sus cinco principios generales compatibles con los códigos de conducta.

1999 Revolución de principios a través de un cuestionario y comparación de los principios de evaluación de sociedades de evaluación australiana y canadiense.

2000 Difusión amplia del documento como ejercicio rector y esencial.

2002-2003 Análisis de los principios AEA

2004 Afirmación de AEA


3.4 Las Normas de evaluación JCSEE: Desarrollo histórico.

1954 APA recomendaciones técnicas para los tets psicológicos y las técnicas de diagnóstico.

1966 AERA, APA, NCME establecen normas para aplicar pruebas y manuales educativos y psicológicos.

1974 Revisión de normas para aplicar pruebas.

1975 Se establece el comité integrado, conjunto, mixto (Join Comitte).

1976 Recibe fondos de la Fundación Lilly para el proyecto de normas de evaluación centrado en la educación.

1978 Pruebas de campo.

1979 Ajuste de las normas (incorporando productos de la prueba, recomendaciones y crítica que deriva)

1980 Se publican por primera vez las normas.

1981 Revisión continua de las normas de evaluación.

2006 Evolución en tres conjuntos de normas del JCSEE, evaluación de programas, del personal (profesores) y alumnos (aprendizaje).


Presentes en la totalidad de los

códigos de conducta de los distintos campos

profesionales de la educación, cada

actor los ubica con sus matices.

3.5. Características

3.5.1 Los principios de evaluación (aprendizaje) AEA.


Los principios para evaluadores AEA, 1994.

1. Conocimiento sistemático

2. Competencia profesional

3. Integridad y Honestidad

4. Respeto a los Derechos de las Personas

5. Responsabilidad ante el Bienestar General y Público



Conocimiento sistemático

A. (Valoración

del Proceso)

1. Estándares técnicos en la conducción de procesos y en la obtención de información cuantitativa y cualitativa (precisión, credibilidad).

2. Características de las preguntas de evaluación (enfoques).

3. Declaración de métodos y enfoques de evaluación, así como de sus limitantes (inicio-final).



Competencia profesional

B. (Rendimiento, Capacidad

y Habilidades)

1. Formación, habilidades, destreza y experiencia. 2. Practica acotada (formación-experiencia).3. Actualización permanente.



Integridad y Honestidad

C. (Determina

impacto de las

acciones)

1. Atención a los acuerdos establecidos (contratos) 2. Intereses explícitos (evaluador, cliente, audiencias) 3. Atender situación que presentan conflicto de intereses 4. Negociaciones honestas con clientes y audiencias 5. Valoración equitativa y justa 6. Informar sobre errores o sesgos



Respeto a los derechos de las Personas

D. (Comunidad participante)

1. Consideración de riesgos y peligros, consentimiento informado

2. Maximizar beneficios de los resultados

3. Comunicación de resultados en un marco de respeto a la dignidad de las personas (audiencias)

4. Equidad de la evaluación



Responsabilidad ante el Bienestar General y Público

E. (Cubrir expectativas

y necesidades)

1. Informes (intereses de todas las audiencias) 2. Visión integral 3. Acceso a la información (audiencias autorizadas) 4. Equilibrio de intereses (cliente-audiencias interesadas)




A. (Valoración del Proceso) 1. Estándares técnicos en la conducción de procesos y en la obtención de información cuantitativa y cualitativa (precisión, credibilidad). 2. Características de las preguntas de evaluación (enfoques). 3. Declaración de métodos y enfoques de evaluación, así como de sus limitantes.


B. (Rendimiento, Capacidad y Habilidades) 1. Formación, habilidades, destreza y experiencia 2. Practica acotada (formación-experiencia) 3. Actualización permanente


(Determina impacto de las acciones) 1. Atención a los acuerdos establecidos (contratos) 2. Intereses explícitos (evaluador, cliente, audiencias) 3. Atender situación que presentan conflicto de intereses 4. Negociaciones honestas con clientes y audiencias 5. Valoración equitativa y justa 6. Informar sobre errores o sesgos

Respeto a los Derechos de las

Personas

(Comunidad participante) 1. Consideración de riesgos y peligros, consentimiento informado 2. Maximizar beneficios de los resultados 3. Comunicación de resultados en un marco de respeto a la dignidad de las personas

(audiencias) 4. Equidad de la evaluación

Responsabilidad ante el Bienestar General y Público

(Cubrir expectativas y necesidades) 1. Informes (intereses de todas las audiencias) 2. Visión integral 3. Acceso a la información (audiencias autorizadas) 4. Equilibrio de intereses (cliente-audiencias interesadas)


3.5.2 Las normas del JCSEE

Clasificación Campos

Normas de propiedad (8)

Normas de utilidad (7)

Normas de factibilidad (3)

Normas de seguridad/ precisión (12)

Programas

Personal (30)

Alumnos


Las normas de evaluación JCSEE, 1981.

UTILIDAD (7)UTILITY

U1 Identificación de audiencias U2 Credibilidad del evaluadorU3 Enfoque y selección de la información U4 Identificación de valores (criterios) U5 Informes claros U6 Divulgación oportuna de resultados U7 Impacto de la evaluación



PROPIEDAD (8)PROPIETY

P1 Orientación de servicio (necesidades) P2 Acuerdos formales P3 Respeto a los derechos de las personas P4 Interacciones humanas P5 Valoración completa P6 Divulgación de resultados P7 Conflicto de intereses P8 Responsabilidad fiscal (rendición de cuentas)



FACTIBILIDAD (3)FEASIBILITY

F1 Procedimientos prácticos F2 Factibilidad política F3 Costo-beneficio



SEGURIDAD/PRECISIÓN (12)ACCURACY

A1 Descripción fiel del programa evaluado A2 Análisis del contexto A3 Descripción de los propósitos y procedimientos de la evaluación A4 Descripción de fuentes de información A5 Obtención de información válida A6 Obtención de información confiable A7 Empleo de métodos sistemáticos para obtener la información A8 Análisis apropiados de la información cuantitativa A9 Análisis apropiados de la información cualitativa A10 Conclusiones justificadas A11 Informe imparcial A12 Evaluación de la evaluación



UTILIDAD (7)UTILITYU1 Identificación de audiencias U2 Credibilidad del evaluadorU3 Enfoque y selección de la información U4 Identificación de valores (criterios) U5 Informes claros U6 Divulgación oportuna de resultados U7 Impacto de la evaluación

PROPIEDAD (8)PROPIETYP1 Orientación de servicio (necesidades) P2 Acuerdos formales P3 Respeto a los derechos de las personas P4 Interacciones humanas P5 Valoración completa P6 Divulgación de resultados P7 Conflicto de intereses P8 Responsabilidad fiscal (rendición de cuentas)

FACTIBILIDAD (3)FEASIBILITYF1 Procedimientos prácticos F2 Factibilidad política F3 Costo-beneficio

SEGURIDAD/PRECISIÓN (12)ACCURACYA1 Descripción fiel del programa evaluado A2 Análisis del contexto A3 Descripción de los propósitos y procedimientos de la evaluación A4 Descripción de fuentes de información A5 Obtención de información válida A6 Obtención de información confiable A7 Empleo de métodos sistemáticos para obtener la información A8 Análisis apropiados de la información cuantitativa A9 Análisis apropiados de la información cualitativa A10 Conclusiones justificadas A11 Informe imparcial A12 Evaluación de la evaluación

CUADRO CONCENTRADOR DE DATOS TÉCNICOS

Curso Institución Número de estudiantes

Repro-bados

Historia de México

BUAP, Preparatoria 2 de octubre

66 2

Práctica Docente

BUAP, Lic. en Historia

25 0

Metodología para la

enseñanza de la Historia

BUAP, Lic. en Historia

19 1

Historia de la Educación

BUAP, MES.11 0

Didáctica para la Educación en

Salud

UPAEP, Lic. En Enfermería 21 0

51 Oficial- 1 Particular

142 3

Autoevaluación del aprendizaje por normas y principios

Aplicación de los Principios en la Evaluación de Aprendizajes por cursos

Curso Conocimiento sistemático



Respeto a los derechos de las personas

Responsabilidad ante el bienestar general y público

Historia de México + - + + + +Práctica Docente + + + - + - + -


enseñanza de la Historia

+ + + + + Historia de la educación + + - + + + -Didáctica para la

Educación en Salud

+ + - + - + - + -

Dimensión ( + )

Se manejó información cualitativa

habilidades, destreza y experiencia

Valoración equitativa y

justa

Comunicación de resultados

en un marco de respeto

Informes

Dimensión ( - )

Limitantes en enfoques de Evaluación

Práctica acotada

Atención a los acuerdos establecidos

Consideración de riesgos y

peligros.

Cuidado del interés público.

Aplicación de las Normas de Evaluación por cursosUtilidad (7)

CursoHistoria de

MéxicoPráctica Docente


enseñanza Historia

Historia de la educación superior

Didáctica para la Educación en

SaludNormas de evaluación

Identificación de audiencias X X X X XCredibilidad del evaluador X X X X XEnfoque y selección de la información X X X X XIdentificación de valores (criterios) X X X X XInformes claros X X XDivulgación oportuna de resultados X X XImpacto de la evaluación X X

T o t a l 5 6 4 7 5

Aplicación de las Normas de Evaluación por cursos Propiedad (8)

Curso Historia de

México

Práctica Docente


enseñanza

Historia de la

educación

Didáctica para la

EducaciónNormas de evaluación

Orientación de servicio (necesidades)

X X X X X

Acuerdos formales X X X X X

Respeto a los derechos de las personas

X X X X X

Interacciones humanas X X X X X

Valoración completaX X

Divulgación de resultadosX X X

Conflicto de interesesX X X

Responsabilidad (rendición de cuentas) X X X

T o t a l 5 7 5 8 6

Aplicación de las Normas de Evaluación por cursosFactibilidad (3)

Curso Historia de México

Práctica Docente


enseñanza

Historia de la

educación

Didáctica para la


Procedimientos prácticos X X

Viabilidad política X X X X X

Costo-beneficioX X X

Total 1 3 1 3 2

Aplicación de las Normas de Evaluación por cursosSeguridad / precisión (12)

Curso

Historia de México

Práctica Docente


enseñanza

Historia de la educación.

Didáctica para la


Descripción fiel del programa evaluado

X XX X X

Análisis del contexto X X X X X

Descripción de los propósitos y procedimientos de la evaluación

XX X X

Descripción de fuentes de información

X XX X X

Obtención de información válida X X

Obtención de información confiable

XX

Empleo de métodos sistemáticos para obtener la información X

X

X

Análisis apropiados de la información cuantitativa

X XX X X

Análisis apropiados de la información cualitativa

XX

Conclusiones justificadas X X X X X

Informe imparcial X X X X X

Evaluación de la evaluación X X X X X

T O T A L 7 12 8 12 9

Escala de Integración de normas por cursos

CursoHistoria de

MéxicoPráctica Docente


enseñanza

Historia de la

educación

Didáctica para la


Utilidad 5 6 4 6 5

Propiedad 5 7 5 8 6

Factibilidad 1 3 1 3 2

Seguridad 7 12 8 12 9

Total 18 28 18 29 22

Escala B E B E B

1. Conceptualización de la docencia en el Siglo XXIASPECTOS ÉTICOS DE LA EVALUACIÓN DE LOS APRENDIZAJES

Escala de Evaluación por normas.

Rangos Numéricos para la Interpretación

de Resultados.

Excelente 30-25

Muy Bien 24-21

Bien 20-15

Regular 14-11

Suficiente 10-5

Deficiente 4-0

PERFIL DE EVALUACIÓN QUE REFUERZA LOS ASPECTOS ÉTICOS

NORMAS(JCSEE)

P R I N C I P I O S (AEA)



Integridad-honestidad

RespetoResponsabilid

ad

Utilidad

Se proporcionó la información necesaria para el alcance de los propósitos de los cursos.

Se promovió el modelo de formación en habilidades, destrezas y experiencias.

Se aplicaron intereses y necesidades de los estudiantes (contextualización)

se generó clima de confianza al respetar criterios de evaluación.

Se proporcionaron los resultados de evaluación (informes)

Propiedad

Se presentaron a los estudiantes fortalezas y debilidades de su aprendizaje.

Se respetaron los acuerdos de la evaluación.

Se promovió el respeto a los derechos de los estudiantes.

La evaluación del aprendizaje se sustentó en el criterio formativo y sumativo.

Factibilidad

Se lograron los niveles procedimentales en los estudiantes.

Se respetaron los intereses explícitos.

Se cuidó la maximización de beneficios para los estudiantes

Seguridad-precisión

Las fuentes de información de la evaluación fueron variadas.

Los enfoques de evaluación fueron sistemáticos: Diagnóstico, formativo, sumativo.

Se presentó a los estudiantes informe de errores y sesgos.

Imperó la equidad de la evaluación.

Se respetó el programa de estudios con cuidado del interés público


En la Investigación reciente sobre los

aspectos éticos de la evaluación resulta

que los investigadores

identifican semejanzas entre los principios y las

normas.

3.6 Semejanzas.


Los principios defienden una filosofía de la

evaluación, las normas evidencian

los errores y propone

recomendaciones para corregirlas.

3.6 Semejanzas.


Ambos instrumentos representan herramientas para los profesores que evalúan porque presentan fuertes puntos de coincidencia que no son discrepantes:

Las normas son más específicas y detalladas.

Las normas adicionalmente se han acompañado de recomendaciones para su empleo y de casos que ejemplifican su uso.

Los principios de evaluación han sido organizados por las actividades profesionales de los evaluadores (Administración de la evaluación, Análisis de la información, Evaluación presupuestal, Decisiones sobre la evaluación, Definición de problemas a evaluar, Diseño de evaluaciones, Información de evaluaciones, Evaluación del personal).

3.6 S e m e j a n z a s


Los principios y las normas

son herramientas que ayudan pero tienen

límites.

3.7 Aspectos críticos: problemáticas, comprensión


Su aplicación está mediada

por la interpretación

de los que deciden

utilizarlos.



La interpretación queda condicionada

por tres factores: forma de evaluar,

experiencia acumulada en evaluaciones

diversas, contexto en el que ocurren las evaluaciones.



La investigación sobre el empleo de normas en diversas

prácticas de evaluación en el

mundo sugiere los contextos que las

evaluaciones reclaman

adecuaciones al conjunto de normas.



Diversidad de prácticas de evaluación exigen su revisión

permanente.



Los principios y normas no aseguran evaluaciones éticas, favorecen el diseño, desarrollo y término

de procesos más pertinentes, seguros y

precisos: “mejores prácticas de evaluación”.



Es recomendable que todos los evaluadores

tengan una información sistemática y que parte de esta descanse en el conocimiento complejo y valorador adecuado de los principios y las

normas.



Traducir los principios y las

normas en acciones

concretas en las prácticas de la

evaluación de los aprendizajes.



Reconocer los alcances y

límites de los principios y las normas en las evaluaciones

que practicamos.


Documents

Alejandro García Limón Edgar Gómez Bonilla Puebla, 24 noviembre 2009 Alejandro García Limón Edgar Gómez Bonilla Puebla, 24 noviembre 2009 S EMINARIO DE