ECAES Y VALOR ACADÉMICO AGREGADO - Inicio y valor... · que el ICFES siguió para el tratamiento de los datos, entre los años 2003 y 2006, el pilotaje de los instrumentos se integró

ECAES Y VALOR ACADÉMICO AGREGADO

Por Daniel Bogoya M.

Universidad Nacional de Colombia

1. INTRODUCCIÓN

El presente ensayo reconstruye y articula dos conceptos ya propuestos,

relacionados con los exámenes de calidad de la educación superior en Colombia, ECAES1

,

que administra el Instituto Colombiano para la Evaluación de la Educación. El primero está

referido a la concertación conceptual que constituyó la línea central de la estrategia, que

permitió implementar los exámenes de evaluación externa y lograr una especial

trascendencia, con la participación crítica y propositiva de la mayoría de la comunidad

académica del país (Bogoya, 2005); y el segundo abre la posibilidad de elaborar estudios

de tendencias de promedios y varianzas, y de valor académico agregado en educación

superior, utilizando los resultados individuales que los estudiantes alcanzan en los

exámenes de ingreso y egreso, haciendo agrupaciones para cada programa académico

específico, y valorando esta diferencia respecto de las que se presentan en los demás

programas con los que se quiera efectuar la comparación (Bogoya, 2006).

2. CONCERTACIÓN CONCEPTUAL

La comunidad académica colombiana, que tiene asiento principalmente en las

universidades y en las asociaciones profesionales, ha participado y manifestado

permanentemente su interés y compromiso, desde el inicio del proyecto, frente a los

exámenes de calidad de la educación superior, ECAES2

1 ECAES es un proyecto de aplicación anual orientado a la evaluación de los aprendizajes y las competencias desarrolladas por los estudiantes que concluyen el nivel de educación superior, en las áreas y componentes propios de su programa académico.

. El movimiento sistemático y

2 Es necesario recalcar que los exámenes de calidad ECAES constituyen una de las cuatro estrategias de la política de calidad de la educación superior colombiana. Para tener una idea más

ECAES Y VALOR ACADÉMICO AGREGADO. Febrero 2010. Página 2 de 21

juicioso de percepciones, opiniones, puntos de vista e hipótesis elaboradas se ha instalado

en todos los intersticios de discusión del sistema. Ya hacen carrera proyectos de

investigación, sobre algunas de las dimensiones de la evaluación, reconociendo las

tensiones que han existido –tan necesarias para precisar conceptos– y generando espacios

para llegar a los acuerdos epistemológicos que dan soporte al proyecto.

La fundamentación conceptual3, el diseño de los instrumentos de evaluación y la

definición de cada una de las estructuras, la elaboración de los ítems (o preguntas)

previstos y el ensamble de los instrumentos respectivos, y el análisis y socialización de los

resultados han estado siempre a cargo de la academia4

En particular, sobre los instrumentos, que suelen ser la dimensión más visible y

utilizada para interrogar el proyecto, los ítems que los conforman siguen un riguroso

proceso de elaboración, a cargo en su totalidad de profesores que se desempeñan en sus

campos en instituciones de educación superior de Colombia

, en tanto es la entidad que

representa legítimamente los saberes “expertos”, capaces de concebir y dar vitalidad a

una propuesta, que sea válida a partir de la teoría y desde su puesta en escena, y de

revivir el estado del arte del saber de cada comunidad a lo largo de su propia historia.

5

plena y robusta de la calidad, deben considerarse las otras tres estrategias: registro calificado, acreditación y observatorio laboral.

. Cada instrumento

desarrollado es sometido a la revisión de especialistas reconocidos por su experticia

3 Los documentos de la fundamentación conceptual –que gravita alrededor de un enfoque de competencias y que sigue nutriéndose cada día– y demás documentos del proyecto se encuentran disponibles en el sitio www.icfes.gov.co. El enfoque de competencias es el lazo que permite unir los proyectos de evaluación de educación básica (SABER), educación media (ICFES) y educación superior (ECAES), para efectos de visualizar relaciones entre sus resultados, conocer el avance relativo del aprendizaje de los estudiantes, evidenciar el aporte de las instituciones educativas y proponer estudios de valor agregado. 4 Existe información detallada de las universidades, asociaciones e instituciones que han contratado con el ICFES el diseño y elaboración de ítems e instrumentos para el proyecto ECAES, correspondientes a cada uno de los programas académicos evaluados. Pueden citarse, entre otras entidades, ACFA, ACFO, ACOFACIEN, ACOFAEN, ACOFI, AFACOM, AFADECO, APROBAC, ASCOFADE, ASCOFAME, ASCOFAOP, ASCOFAPSI, CONETS, Universidades Nacional de Colombia, Industrial de Santander, del Valle, de Antioquia, de los Andes, del Norte, de la Sabana, de Sucre y Tecnológica de Pereira, y Uniones Temporales PROCAD y REDFACONT. 5 Esta actividad ha sido posible y muy nutritiva gracias a la disposición y coordinación permanentes de asociaciones, facultades, universidades, uniones temporales o directamente por el ICFES.


dentro de su comunidad. Esto hace que los ítems se depuren y ajusten aún más a las

especificaciones definidas previamente para el examen, y que a partir de este ejercicio de

discusión y concertación entre pares sea posible garantizar que cada uno de los ítems, y

por ende cada instrumento, expresen el consenso y la voz institucional de la comunidad

correspondiente.

Un buen ejemplo de este tipo de participación lo constituyen los talleres de

elaboración de ítems para el ECAES de Economía, realizados a escala nacional durante el

año 2004: 305 docentes, de 62 universidades, formularon 2.110 ítems; luego del análisis y

juicio de los expertos6 se redujo el conjunto a 7327 ítems; finalmente, fueron

seleccionados 400 ítems para conformar los instrumentos utilizados en los años 2004 y

2005. Vale la pena subrayar que estos talleres, así como las reuniones de expertos,

constituyen el espacio natural de la academia, y que es justamente allí, en esa arena,

donde una hipótesis puede conquistar libremente una audiencia y convertirse

transitoriamente en la propuesta más sensata, es decir, en el acuerdo de la comunidad8

En otra perspectiva de los ECAES, es importante anotar que en el procedimiento

que el ICFES siguió para el tratamiento de los datos, entre los años 2003 y 2006, el pilotaje

de los instrumentos se integró a su aplicación definitiva. En consecuencia, surgieron dos

.

Se reconocen, desde luego, otros espacios para expresar las disonancias o las simpatías

con los acuerdos, espacios en los que aparecen las voces que reflejan sus puntos de vista.

6 Los expertos que participaron en el análisis, para efectos de seleccionar los ítems del instrumento, fueron propuestos por los decanos de las distintas instituciones de educación superior que participaron en el proyecto. 7 La reducción en la que se descarta primero el 65% de los ítems y finalmente el 81%, garantizaba, a criterio de AFADECO, la calidad del instrumento (Presentación de rendición de cuentas, agosto 19 de 2004). Hay otro criterio emergente que implica desarrollar experticia para fabricar sólo un número de ítems muy cercano al del diseño y evitar descartar así tantos ítems. 8 Como otro ejemplo de esta metodología, que es utilizada extensamente, vale la pena anotar que para la elaboración de los instrumentos de Ingeniería se llevaron a cabo siete talleres de construcción de ítems, convocados a escala nacional por ACOFI durante el año 2003. El ejercicio, en el que participaron 262 profesores de 78 instituciones de educación superior, permitió compilar 15.900 ítems, que habían sido aportados por 1.114 profesores, de los cuales fueron seleccionados 3.600 ítems para ensamblar los instrumentos respectivos. En el caso de Derecho, también se adelantaron siete talleres de construcción de ítems para elaborar los instrumentos empleados en los años 2003 y 2004, donde participaron 122 profesores y decanos representantes de 51 instituciones de educación superior de todo el país.


momentos lógicos en el procesamiento de las respuestas de los evaluados. Antes de

producir los resultados, se analizó la validez de los ítems, tanto en la dimensión de su

contenido como de su comportamiento estadístico. Esto permitió descartar aquellos ítems

que no cumplían con las especificaciones técnicas para ser considerados en la calificación,

y así entonces se procesó la información sólo con los ítems que sí satisficieron dichas

especificaciones. Un ejemplo: de los 200 ítems aplicados en el ECAES de Economía del año

2004, los expertos, teniendo en cuenta los indicadores estadísticos obtenidos,

suprimieron dos ítems para la producción final de los resultados del examen.

3. USO DE LOS RESULTADOS

Los resultados alcanzados por estudiantes, programas académicos e instituciones

de educación superior en el proyecto ECAES, y que sirven para identificar fortalezas y

debilidades relativas, hacer análisis complejos combinando esta información con otras

variables propias del contexto, el horizonte institucional y los proyectos educativos, con

miras a pensar, diseñar y emprender planes de cualificación, se disponen en el sitio

www.icfesinteractivo.gov.co/result_ecaes/sniee_ind_resul_ecaes.htm con destino a cada

uno de los evaluados, profesores y directores de programas, decanos, rectores,

investigadores, tomadores de decisiones y comunidad en general. La confiabilidad del

proyecto para poder establecer inferencias válidas con los resultados que arroja es

reconocida por la comunidad y en especial por el Ministerio de Educación:

“Los ECAES son el principal mecanismo de evaluación externa que el Estado le brinda a las instituciones de educación superior, un insumo que les permite conocer sus propios procesos de formación y cotejarlos con el panorama nacional.

La creación e implementación de una prueba general para la educación superior, que mida de manera objetiva el desempeño de los estudiantes de último año de formación en este nivel y de los egresados de las distintas áreas del conocimiento, es una búsqueda que se emprendió en nuestro país desde hace tres décadas, pero que sólo hasta el año 2003 se concretó en un programa consolidado que ha venido creciendo desde entonces, convirtiéndose en una fuente de información tanto para el Ministerio de Educación Nacional, como para la propia comunidad académica.” (MEN, 2008; p.10).

http://www.icfesinteractivo.gov.co/result_ecaes/sniee_ind_resul_ecaes.htm�


Conscientes de la necesidad de valorar la trascendencia del proyecto ECAES, es

forzoso ilustrar el uso de los resultados al nivel de las instituciones participantes. En el

primer semestre del año 2004, fueron consultados los rectores de las 150 instituciones

cuyos estudiantes fueron evaluados en la versión ECAES 2003 para 27 programas, acerca

de las acciones emprendidas en sus instituciones, a partir de los resultados reportados, y

de acuerdo con la filosofía del proyecto: constituirse en una fuente de información

confiable y oportuna para la cualificación permanente de los procesos del sistema de

educación superior. Con las respuestas de 111 rectores se elaboró el libro Impacto de los

resultados de los Exámenes de Calidad de la Educación Superior, ECAES 2003. Este

testimonio, editado por el ICFES y aprobado por los mismos rectores, circula desde

entonces como referencia para todas las instituciones, profesores, estudiantes y la

comunidad en general. Allí es posible reconocer los campos de acción con los que ésta se

encuentra comprometida. A manera de ejemplo, y para mostrar sólo una de las distintas

reacciones, el siguiente segmento enviado por una de las corporaciones universitarias:

“Diseño de pruebas de simulación a los estudiantes una vez concluyen su VIII semestre por la metodología de preguntas objetivas para ECAES, elaboración de un software para analizar los resultados, este software permite identificar los rangos de alto, medio y bajo, y reporta el comportamiento de los estudiantes por materia y por área; permitiendo identificar las áreas débiles y las necesarias de fortalecer, igualmente reporte áreas de fortaleza.

Estos resultados son analizados por las jefaturas de áreas y departamentos y se informan a los comités, para su conocimiento y la orientación de sus decisiones de planeación y mejoramiento. A nivel de Direcciones de Escuelas se implementan programas de fortalecimiento y actualización de los núcleos y temas de las diferentes áreas.

Los docentes desarrollan estos programas y la metodología está orientada a la solución de problemas y aplicabilidad de las competencias interpretativas, argumentativas y propositivas, fomenta además la aplicación de las competencias de promoción, prevención, diagnóstico, tratamiento y rehabilitación, teniendo en cuenta que el currículo y el modelo pedagógico están basados en el estudiante y en el aprendizaje.” (ICFES, 2004; p. 46)”

Un año más tarde, 128 instituciones de las 134 que participaron en la versión

ECAES 2004, aportaron sus puntos de vista y describieron las acciones concretas


emprendidas, como consecuencia de los resultados alcanzados y en todo caso en

consonancia con la filosofía del proyecto. La escritura colectiva generada permitió

elaborar el libro Impacto de los resultados de los Exámenes de Calidad de la Educación

Superior, ECAES 2004. En este caso, una universidad manifestó lo siguiente:

“… la Rectoría de la Universidad ha solicitado a cada uno de los programas

evaluado, un informe analítico de los resultados en los cuales se busca en

primer término una identificación de las fortalezas y debilidades de cada

programa, acorde con las áreas evaluadas… En segundo término se realiza

una contrastación de los resultados en comparación con las demás

instituciones del país. Si bien este análisis es natural hacerlo, también

entendemos que los ECAES no son un mecanismo de clasificación o

competencia de instituciones, sino un instrumento para el mejoramiento de

las mismas, razón por la cual nuestra principal preocupación se concentra en

el diagnóstico de nuestros problemas y la determinación de correctivos.

Estos informes por programas son presentados en el consejo académico de

la universidad, en el cual cada decano expone sus análisis, los cuales pueden

compartirse y contrastarse con las observaciones realizadas por los demás

decanos. Si bien las observaciones de cada facultad muestran las

especificidades y problemáticas propias de cada programa, existen

observaciones comunes a todos los análisis ….” (ICFES, 2005; p. 349).

Continuando con la línea de consulta a las instituciones participantes en el

proyecto, luego de la versión ECAES 2005, se invitó a las 198 instituciones cuyos

estudiantes presentaron el examen, para que aportaran sus análisis, avances y

sugerencias. Con las respuestas de nuevo de 128 instituciones se produjo el libro Impacto

de los resultados de los Exámenes de Calidad de la Educación Superior, ECAES 2005, donde

se resalta el siguiente texto de una universidad:

“A nuestro parecer el gran reto de los ECAES está en llegar a tener un

impacto real y efectivo en el mejoramiento de la calidad de los programas y

la formación, en constituirse en una herramienta de mejoramiento en la

formación en pregrado; en este sentido es necesario enraizarlo cada vez más

en las comunidades académicas como algo que les es propio colectivamente.


Tan importantes son los resultados del examen como los procesos que se

desencadenan a raíz de su elaboración y el ejercicio de análisis de los

resultados, tanto más cuando son tan escasas las oportunidades de trabajo

académico conjunto en y entre las facultades y sus académicos, tanto más

cuando el tema de la evaluación se juzga y asume como connatural a la

docencia sin concretar los compromisos que ella implica y se desconoce la

poca experticia que existe en el país sobre el tema. En suma, si los ECAES no

contribuyen al mejoramiento de la educación superior en Colombia, no se

justifica el esfuerzo, el desgaste y el gasto ingente de recursos de toda índole

que su desarrollo demanda.” (ICFES, 2006; p. 528).

La muestra de aportes que las instituciones han hecho al proyecto, revela una

variedad amplia de miradas y confirma la complejidad que se desprende del uso de los

resultados, que atraviesa también otras dimensiones como el enfoque mismo, los

instrumentos e incluso la pertinencia de los ECAES. Satisfechas las inquietudes que

puedan surgir, si ello es posible, se muestran enseguida tres herramientas cuantitativas de

fácil factura, a partir de los resultados alcanzados por los estudiantes que participan en el

proyecto, que pueden trabajarse bien con los resultados globales como también con los

resultados parciales obtenidos en cada componente particular: tendencia del puntaje

promedio, para verificar la sostenibilidad y progreso de un determinado estado; tendencia

de la desviación estándar, para apreciar los cambios en la equidad; y magnitud del valor

académico agregado, para estimar el aporte neto efectivo de irradia cada institución.

4. TENDENCIA DEL RENDIMIENTO

Los resultados alcanzados en el proyecto ECAES brindan la posibilidad de realizar

ejercicios de referenciación institucional, cuando se comparan los desempeños de los

estudiantes de un determinado programa en un campo específico, con los de otros

estudiantes de programas que se consideren pares, dentro de una misma aplicación o

versión, tal como lo reportan numerosas instituciones. La referenciación de un programa

también es posible frente a sí mismo, entre dos o más aplicaciones o versiones, que

suceden en distintos momentos y con distintas cohortes de estudiantes, para efectos de

apreciar la sostenibilidad del impacto del programa y el recorrido que sigue el promedio


de puntaje como indicador de rendimiento. La comparación es posible, porque las

técnicas de calibración y equiparación empleadas durante el procesamiento de los datos

conducen a utilizar escalas equivalentes, al momento de reportar los resultados.

80

90

100

110

120

30 40 50 60 70

Promedio ingenierías 2004

Promedio ingenierías 2003

Programas con disminución relativa de rendimiento

Programas con aumento relativo de rendimiento

Fuente: ICFES, para 332 programas.

80

90

100

110

120

30 40 50 60 70

Promedio arquitectura 2004

Promedio arquitectura 2003




A manera de ejemplo, los gráficos 4.1, 4.2 y 4.3 muestran el comportamiento del

desempeño global, en términos del indicador de rendimiento, mediante una correlación

entre los promedios de puntajes obtenidos por los estudiantes en los años 2003

(representados en el eje horizontal) y 2004 (en el eje vertical), agrupados por cada

Gráfico 4.1. Promedio de puntajes de programas

de ingeniería, ECAES 2004 vs 2003

Gráfico 4.2. Promedio de puntajes de programas de arquitectura, ECAES

2004 vs 2003


programa ofrecido en ingenierías, arquitectura y fisioterapia, respectivamente. La escala

empleada en el año 2003 tiene un valor medio de 50 puntos y una desviación estándar de

10 puntos, mientras que la escala del año 2004 utiliza un valor medio de 100 puntos y la

misma desviación estándar de 10 puntos. Un programa con un promedio de puntaje para

sus estudiantes igual a 60 puntos, en el año 2003, mantiene su resultado si su promedio

en el año 2004 es igual a 110 puntos, pues en ambos casos el indicador se localiza en el

valor de la media más una desviación estándar.

80

90

100

110

120

30 40 50 60 70

Promedio fisioterapia 2004

Promedio fisioterapia 2003




Cada programa académico se representa mediante un punto dentro de la nube que

se muestra. La localización de un programa en el plano advierte si entre los años 2003 y

2004 se registra un incremento relativo de rendimiento promedio, respecto del

comportamiento de todos los programas considerados, cuando el programa se ubica en la

parte superior de la línea de tendencia, o una disminución relativa, cuando se ubica en la

parte inferior9

9 La variación del rendimiento es relativa, tanto en la dirección del incremento como de la disminución, pues la función generada presenta el cambio para cada elemento, en este caso cada programa académico, siempre respecto del observado para los demás elementos del conjunto. Un programa puede registrar un incremento absoluto, igual a cinco puntos en el promedio, por ejemplo, y sin embargo su incremento relativo puede ser negativo, si los demás programas considerados en el conjunto obtienen un incremento mayor de cinco puntos en dicho promedio.

. Las líneas de tendencia dibujadas corresponden a una función tipo

polinomio de grado dos, cuyo coeficiente de correlación es igual a 0.83 para ingenierías,

Gráfico 4.3. Promedio de puntajes de programas de fisioterapia, ECAES

2004 vs 2003


0.75 para arquitectura y 0.91 para fisioterapia, valores que señalan la estabilidad en los

resultados, es decir, los programas con mayor promedio en el año 2003 tienden a

mantener el mismo alto nivel de desempeño en el año 2004, mientras que aquellos

programas con menor promedio sostienen esta condición en ambas versiones analizadas.

La pequeña dispersión de los datos representados, alrededor de la línea de tendencia,

ilustra que el movimiento del promedio, entre una y otra aplicación o versión es muy

restringido. Los esfuerzos de la cualificación permanente de un programa pueden

entonces traducirse sólo en pequeños incrementos del promedio, razón por la cual se

requiere de lapsos de tiempo relativamente prolongados para lograr producir cambios

significativos.

Los programas que más se alejan de la línea de tendencia, tanto hacia la zona

superior como hacia la inferior, muestran los mayores altibajos, es decir, en estos

programas los efectos personales de los estudiantes, que suelen aportar una gran

dispersión, recogen en mayor proporción la varianza total observada y el resultado global

alcanzado en cada versión es inestable e impredecible. El efecto del proyecto educativo es

imperceptible y queda diluido en la varianza producida por los proyectos de vida

personales de los estudiantes.

También es posible estudiar la pendiente de la función generada, alrededor de la

media del año 2003, cuyos valores son iguales a 0.90 para ingenierías, 1.22 para

arquitectura y 1.05 para fisioterapia, y el efecto que representa. Un valor superior a uno

para la pendiente significa un incremento en las distancias de promedio existentes entre

los distintos programas considerados, es decir, una situación con inequidad inter-

programas cada vez mayor o una estratificación académica cada vez más nítida y separada

en el conjunto. Por el contrario, un valor inferior a uno para esta pendiente revela una

disminución en las distancias mencionadas, lo que se traduce en un sistema inter-

programas cada vez más equitativo. Cuando la pendiente es igual a uno se evidencia el

sostenimiento de las distancias entre los promedios de los estudiantes de los distintos

programas: nada cambia y aparece un estancamiento en los resultados de todos los

programas representados.

De otra parte, la mayor compacidad de los puntos que representan los 18

programas de fisioterapia evaluados en los dos años considerados, alrededor de la línea


de tendencia, advierte la existencia de una estructura y señala una mayor estabilidad en el

efecto global de los proyectos educativos implementados en las instituciones respectivas,

dentro de los años considerados, expresando la existencia de una comunidad en este

campo al nivel nacional. Los resultados se mantienen con muy pequeñas varianzas entre

las dos versiones analizadas. Sería trascendental mantener esta compacidad como sistema

en todos los grupos de programas y con una pendiente cada vez menor, es decir, logrando

cada vez una mayor equidad inter-programas: cuando los promedios de puntajes de una

aplicación o versión aumenten en mayor proporción para los programas más débiles y

estos programas acerquen sus resultados a los de los programas con mayores fortalezas y

promedios de puntajes más altos. Desde luego, la disminución de la pendiente de la línea

de tendencia tiene un requisito irrenunciable: mantener o superar los promedios de

puntajes de los programas más destacados.

5. TENDENCIA DE LA EQUIDAD

Para analizar la calidad de la educación, desde la perspectiva de los resultados

alcanzados por un programa académico, es necesario añadir al indicador de rendimiento

al menos otra dimensión, en este caso un indicador de equidad intra-programa, es decir,

una señal o indicación acerca de la manera como se distribuyen los resultados de sus

estudiantes. Cuantificar la magnitud de las distancias existentes entre los resultados de los

estudiantes permite diseñar proyectos específicos para lograr un mayor nivel de equidad.

3

6

9

12

15

3 6 9 12 15

Desviación estándar ingenierías 2004

Desv. est. ingenierías 2003

Programas con disminución relativa de equidad

Programas con aumento relativo de equidad


Gráfico 5.1. Desviación estándar de puntajes de programas de ingeniería,

ECAES 2004 vs 2003


El gráfico 5.1 muestra el comportamiento de la dispersión de los resultados,

mediante la correlación entre las desviaciones estándar de puntajes obtenidos por los

estudiantes en los mismos años 2003 y 2004, para el caso de ingenierías. Los programas

que se localizan bajo la línea de tendencia muestran un avance relativo en equidad, dado

que la desviación estándar en la versión del año 2004 es menor que la reportada en la

versión del año 2003, teniendo como referencia el desempeño medio de esta variable en

los demás programas. Al mismo tiempo, aquellos programas ubicados sobre la línea de

tendencia revelan una disminución relativa de la equidad, porque la desviación estándar

tiene un incremento positivo al pasar del año 2003 al 2004.

Como meta de calidad, a partir de los resultados obtenidos en el proyecto ECAES,

es deseable que los programas con menores niveles de equidad a su interior (desviación

estándar alrededor de nueve o superior) consoliden su propia comunidad académica,

revisen y actualicen su proyecto educativo e implementen proyectos de cualificación para

avanzar más rápidamente en la dirección de disminuir la desviación estándar de puntajes

observada, lo que equivale a lograr que haya menores distancias entre los resultados de

los estudiantes de un mismo programa académico, sin descuidar el otro propósito esencial

de elevar el promedio de sus puntajes. Ambos indicadores, de equidad y de rendimiento,

se entretejen y dialogan permanentemente, en cualquier intento por lograr mayores

niveles de calidad.

6. VALOR ACADÉMICO AGREGADO

El término valor agregado se emplea extensamente para estimar el incremento de

valor logrado sobre un producto, un bien o un servicio, debido a la transformación

ocurrida durante un determinado proceso. Su aplicación más difundida se da en el sector

económico, donde se emplea para hacer el balance contable neto que resulta de restar los

ingresos menos los egresos, en un cierto período de tiempo, al nivel personal, de una

familia, una empresa, un país o una región, y desde allí ha sido tomado para explicar el

cambio ocurrido en el aprendizaje de los estudiantes que se forman en una institución

educativa (Jesson y Taylor, 2002) o su potencial para abordar el siguiente ciclo de

educación (Ávila y Pérez, 2004).


La utilización del concepto en el campo de la educación superior, que es aún

primigenia y objeto de investigación más detallada, considera la variación global del

resultado alcanzado en pruebas externas aplicadas a los estudiantes de un programa

académico o un conjunto de programas, al iniciar sus estudios superiores (como línea de

base) y al terminarlos (como condición o estado de salida), convirtiéndose en un indicador

de avance relativo, que se aprecia frente al respectivo avance de los demás estudiantes o

programas bajo consideración.

Para el caso colombiano, la metodología que se propone consiste en tomar el

resultado obtenido en las pruebas del proyecto ECAES (condición de salida del programa

académico) y referirlo al respectivo resultado en las pruebas de estado para ingreso a

educación superior, proyecto ICFES (línea de base), al nivel de estudiante, programa o

grupo de programas. El valor académico agregado de un estudiante podrá verse en

relación con el de los demás estudiantes de un mismo programa, de la misma institución,

mientras que el valor académico agregado de un programa se verá frente al de los demás

programas de referencia. Si hay un solo estudiante en un programa, no será posible

apreciar el valor agregado, en términos de un cambio relativo de sus resultados en las

pruebas de inicio y terminación, porque no existe grupo de control o contraste frente al

cual comparar la variación; tampoco podrá estimarse el valor agregado de un programa, a

partir de un cambio relativo de resultados de ingreso y salida, cuando no haya otros

programas de la misma naturaleza que conformen el grupo de control o contraste.

30

35

40

45

50

55

60

65

70

240 260 280 300 320 340 360

ECAES ing. sistemas 2003

Resultado ICFES

Programas con mayor valor agregado relativo

Programas con menor valor agregado relativo



de ingeniería de sistemas, ECAES 2003 vs

Resultado ICFES


30

35

40

45

50

55

60

65

70

240 260 280 300 320 340 360

ECAES medicina 2003

Resultado ICFES




30

35

40

45

50

55

60

65

70

220 240 260 280 300 320 340

ECAES fisioterapia 2003

Resultado ICFES




A manera de ejemplo de uso de la metodología propuesta, en el nivel de educación

superior en Colombia, en los gráficos 6.1, 6.2 y 6.3 se presenta el valor académico

agregado, en los programas de ingeniería de sistemas, medicina y fisioterapia,

respectivamente, mediante la correlación entre los promedios de puntajes obtenidos por

los estudiantes que participaron en la versión 2003 del proyecto ECAES (representados en

el eje vertical) y los promedios de puntajes obtenidos por los mismos estudiantes en el

proyecto ICFES (representados en el eje horizontal), agrupados por cada programa

académico.


2003 vs Resultado ICFES


de medicina, ECAES 2003 vs Resultado ICFES


Ingeniería de sistemas es un ejemplo de programas con pendiente positiva y

creciente del valor académico agregado y discriminación alta: los resultados en la salida

son cada vez más altos, en mayor proporción, en la medida que las condiciones de ingreso

también siguen este patrón de crecimiento. En contraste, medicina representa el caso de

programas con pendiente positiva y decreciente del valor académico agregado y

discriminación baja: los resultados en la salida crecen cada vez menos en la medida que

las condiciones de ingreso son más altas, aunque con mayor dispersión en este caso que

en los programas con condiciones relativas de ingreso y egreso más bajas. Fisioterapia

emerge como un programa de comportamiento intermedio, pues mantiene una

constancia auto-regulada en la pendiente del valor académico agregado, con la menor

dispersión observada en el grupo de programas considerados para el análisis, reflejando

una discriminación media.

80

85

90

95

100

105

110

115

120

220 240 260 280 300 320 340


Resultado ICFES




Los gráficos 6.4 y 6.5, donde se representan los resultados por programa de

fisioterapia en las versiones del proyecto ECAES 2004 y 2005, respectivamente, permiten

confirmar la forma y compacidad de la tendencia observada en la versión del año 2003,

con un leve decaimiento en la pendiente del valor académico agregado, en la zona de

promedios de puntajes más altos. La conservación del desempeño observado con los

resultados de los distintos programas de fisioterapia, durante los tres años considerados,

valida las inferencias realizadas sobre el comportamiento de estos datos y a la vez




confirma la estabilidad de los proyectos educativos, vistos en conjunto como un sistema

estructurado y ordenado.

80

85

90

95

100

105

110

115

120

220 240 260 280 300 320 340


Resultado ICFES




10

20

30

40

50

60

70

80

90

160 200 240 280 320 360 400


Resultado ICFES

Fuente: ICFES, para 784 estudiantes.

Para avanzar en el análisis de los comportamientos mostrados, al relacionar las

condiciones de ingreso y egreso a programas académicos de educación superior, en los

gráficos 6.6 y 6.7 se representa el par de puntajes ICFES y ECAES, para cada estudiante de

fisioterapia, en los años 2003 y 2004, respectivamente. Las dos nubes expresan una forma

similar aunque más compacta la del año 2004, lo que indica menores diferencias

individuales respecto del promedio. Al observar la tendencia global, se infiere que el



Gráfico 6.6. Puntajes de estudiantes de

fisioterapia, ECAES 2003 vs Resultado ICFES


puntaje alcanzado en el proyecto ECAES aumenta en forma directamente proporcional al

aumento de los puntajes obtenidos en el proyecto ICFES, es decir, aquellos estudiantes

que logran un alto resultado ICFES, al iniciar sus estudios superiores, poseen una alta

probabilidad de lograr también un alto resultado ECAES, al concluir los estudios, mientras

que quienes tienen bajos resultados en la prueba ICFES están fatalmente determinados a

llevar consigo una alta probabilidad de repetir un bajo resultado en la prueba ECAES.

60

70

80

90

100

110

120

130

140

160 200 240 280 320 360 400


Resultado ICFES

Fuente: ICFES, para 712 estudiantes.

La lectura propuesta es probabilística, en la que se abre un espectro con límites

definidos, donde pueden localizarse los resultados de un proyecto educativo, pues aunque

las tendencias mostradas son globalmente nítidas, tanto al nivel de estudiante como al

agrupar sus resultados al nivel de un programa, también son visibles las diferencias entre

los resultados de proyectos educativos que tienen condición de inicio semejante:

estudiantes con resultados muy cercanos en el proyecto ICFES, sistemáticamente

obtienen resultados distintos en el proyecto ECAES, dependiendo del programa

académico que abordan.

Para el análisis y el juicio formulado se ha considerado opaca la constelación de los

otros factores externos que incide sobre los resultados de un proyecto académico, porque

se suponen distribuidos en forma normal y con suma nula. Además, porque la hipótesis

que subyace en el concepto de valor académico agregado consiste en otorgar peso y

preponderancia máximos al efecto del proyecto educativo sobre cualquier otro factor.


fisioterapia, ECAES 2004 vs Resultado ICFES


10

20

30

40

50

60

70

80

90

160 200 240 280 320 360 400


Resultado ICFES

Fuente: ICFES, para 9, 26 y 79 estudiantes.

60

70

80

90

100

110

120

130

140

160 200 240 280 320 360 400


Resultado ICFES

Fuente: ICFES, para 9, 52 y 45 estudiantes.

Para ilustrar la diferencia entre los resultados de proyectos educativos, en los

gráficos 6.8 y 6.9 se representan los pares de resultados obtenidos en los proyectos ICFES

y ECAES, por parte de los estudiantes de sólo tres programas de fisioterapia,

seleccionados de acuerdo con la magnitud de su valor académico agregado: el primero de

impacto académico alto (ubicado en la zona superior del gráfico), representado con

triángulos de color verde; el segundo de impacto académico medio (en la zona intermedia

del gráfico), con cuadrados de color azul; y el tercero de impacto académico bajo (en la

zona inferior del gráfico), con círculos de color rojo. Las líneas de tendencia generadas

mediante una función lineal mantienen la convención de color de los puntos


fisioterapia, ECAES 2003 vs Resultado ICFES, en

tres programas


fisioterapia, ECAES 2004 vs Resultado ICFES, en

tres programas


representados, para facilitar la lectura de las diferencias halladas entre los resultados de

uno y otro programa.

Dos programas distintos y que reciben estudiantes de condición académica

semejante, es decir, con un resultado similar en el proyecto ICFES, arrojan resultados

diferentes. Uno de ellos, con mayor efectividad que el otro, logra que sus estudiantes

alcancen un resultado más destacado en el proyecto ECAES, y al representar estos valores

en los gráficos mostrados es posible generar una línea de tendencia que sobresale en una

posición más alta que las de los otros programas. Al mismo tiempo, dos programas

distintos que reciben estudiantes en condición académica semejante, desarrollan brechas

diferentes. Uno de ellos, con mayor equidad que el otro, logra que sus estudiantes más

débiles académicamente superen esta condición y se acerquen a los de mayores

fortalezas y que así sus diferencias en los resultados en el proyecto ECAES sean más

pequeñas que las reportadas en los resultados en el proyecto ICFES, generando en estas

gráficas una línea de tendencia con una menor pendiente.

La calificación del impacto académico de un programa se deriva de la localización

de los pares de valores, en el plano donde se representan los resultados alcanzados por

los estudiantes, en los proyectos ICFES y ECAES, como condiciones de inicio y terminación

del ciclo de educación superior, mediante dos parámetros de la línea de tendencia

generada: pendiente y posición. La pendiente aporta un indicador de equidad y la posición,

como media de puntajes en el proyecto ECAES, aporta un indicador de rendimiento. Un

programa cuya línea de tendencia tiene menor pendiente y mayor valor de la media de

puntajes en el proyecto ECAES, respecto de otro programa, muestra un mayor valor

académico agregado.

7. CONCLUSIONES

Los resultados alcanzados en el proyecto ICFES, por parte de los estudiantes que

inician estudios de educación superior, constituyen un indicador objetivo para estimar su

potencial académico inicial y la condición de ingreso a un determinado programa ofrecido

por una institución en Colombia. Al mismo tiempo, los resultados obtenidos en el

proyecto ECAES por estos estudiantes, cuando terminan sus estudios, corresponden a un

indicador robusto y confiable para estimar el estado final o condición de egreso del


respectivo programa. La relación entre los resultados ICFES y ECAES permite establecer el

valor académico agregado, de un estudiante o un programa, cuando se expresa frente a la

relación encontrada para los demás estudiantes o programas.

Además de pretender un valor académico agregado significativo, en aras de lograr

niveles destacados de calidad de educación en el país, un programa de educación superior

también debe ocuparse de la equidad con la que sus estudiantes crecen intelectualmente,

durante su permanencia en la universidad. Brechas académicas grandes, con una

desviación estándar de los resultados alcanzados por los estudiantes relativamente alta,

porque también son bien distintos sus niveles de aprendizaje y dominio del conocimiento

propios de su campo, conducen a afianzar la estratificación ya observada, donde el grupo

de estudiantes con resultados finales bajos tiene poca probabilidad de conseguir un

trabajo digno, superarse y aportar al progreso de la sociedad.

La metodología de valor académico agregado permite hacer ejercicios de

referenciación institucional, entre los distintos programas cuyos estudiantes participan en

el proyecto ECAES, incorporando nuevas variables en el análisis para efectos de explicar

diferencias encontradas, como la capacidad de retención y promoción, por ejemplo,

mediante las cuales se evidencia el impacto positivo del proyecto educativo sobre todos

los estudiantes que inician sus estudios superiores. Un programa con mayor valor

agregado que otro, pero también con mayor tasa de abandono, tiene una enorme tarea

pendiente de resolver, con el fin de lograr sus resultados no solo con unos pocos

estudiantes sino con todos ellos.

Es necesario convertir la evaluación de los resultados de un programa académico

en un campo de investigación, propio de universidades en sus niveles de maestría y

doctorado y de institutos especializados, donde se validen las técnicas que se emplean

actualmente en el país, se construya conocimiento nuevo, se creen y pulan nuevas

estrategias y modelos. La hipótesis ya canónica que circulan en el medio prevé una gran

síntesis: el resultado alcanzado por un estudiante en una prueba artificial que se fabrica

en el mundo de la academia, con situaciones simuladas, tiene la capacidad de predecir con

incertidumbre muy pequeña, el desempeño posterior del futuro profesional el mundo de

la vida. Aunque las evidencias empíricas son consistentes en la mayoría de los casos

observados, es necesaria una reflexión acerca de esta hipótesis.


REFERENCIAS

Ávila, José Luis y Pérez, Ma. Yolanda (2004). Valor agregado del Bachillerato Internacional

y del Advanced Placement Program en el desempeño académico de profesional.

Tecnológico de Monterrey. Nuevo León, México.

En: mty.itesm.mx/rectoria/dda/rieee/pdf-II/s1/80DAPerezAvilaFinal.pdf

Consultado el 10 de febrero de 2010.

Bogoya, Daniel (2005). ECAES: un ejercicio de concertación conceptual. Educación Superior

- Boletín informativo No. 5, octubre-diciembre 2005. Ministerio de Educación Nacional.

Colombia.

En: menweb.mineducacion.gov.co/educacion_superior/numero_05/0004.htm


Bogoya, Daniel (2006). Evaluación educativa en Colombia. Memorias Seminario

Internacional de Evaluación. Instituto Colombiano para el Fomento de la Educación

Superior, ICFES. Cartagena, Colombia.

En: w3.icfes.gov.co:8080/seminariointernacional/ktmllite/files/uploads/DANIEL%20BOGOYA.pdf


Instituto Colombiano para el Fomento de la Educación Superior, ICFES (2004). Impacto de

los resultados de los Exámenes de Calidad de la Educación Superior, ECAES 2003, Bogotá,

Colombia.

-------------- (2005). Impacto de los resultados de los Exámenes de Calidad de la Educación

Superior, ECAES 2004, Bogotá, Colombia.

-------------- (2006). Impacto de los resultados de los Exámenes de Calidad de la Educación

Superior, ECAES 2005, Bogotá, Colombia.

Jesson, David and Taylor, Cyril (2002). Value added and the benefits of specialism.

Technology Colleges Trust. Londres, Inglaterra.

Ministerio de Educación Nacional (2008). Los exámenes de estado: evaluación para la

calidad. Educación Superior - Boletín informativo No. 11, octubre 2008. Ministerio de

Educación Nacional. Colombia.

En: menweb.mineducacion.gov.co/educacion_superior/numero_11/examenes.htm


http://www.mty.itesm.mx/rectoria/dda/rieee/pdf-II/s1/80DAPerezAvilaFinal.pdf�

http://menweb.mineducacion.gov.co/educacion_superior/numero_05/0004.htm�

http://w3.icfes.gov.co:8080/seminariointernacional/ktmllite/files/uploads/DANIEL%20BOGOYA.pdf�

http://menweb.mineducacion.gov.co/educacion_superior/numero_11/examenes.htm�

Documents

ECAES Y VALOR ACADÉMICO AGREGADO - Inicio y valor... · que el ICFES siguió para el tratamiento de los datos, entre los años 2003 y 2006, el pilotaje de los instrumentos se integró