Francisco Javier Lozano,

El ECUM como una propuesta alternativa para analizar el desempeño de las

universidades

• Los rankings se comercializan como un referente de la calidad universidades•Aseguran contar con una metodología sólida y universal•De acuerdo con su argumentación, la posición de cada institución educativa permite determinar qué universidad es mejor que otra

1. Estudio Comparativo de las Universidades Mexicanas como una alternativa ante los rankings

La supuesta fortaleza de los rankings:

Limitaciones de los rankings como referentes de “calidad”

• Las funciones sustantivas de las universidades como son eldesempeño académico, el de investigación y la difusión de lacultura no puede simplificarse a la medición de unos cuantosindicadores• Las ponderaciones de los indicadores que utilizan no tienen unsustento académico consistente: ¿vale más un paper o un alumnoegresado?•Los resultados se caracterizan por su opacidad, su variabilidad yrespondiendo a un modelo elitista propuesto sobre todo poruniversidades de Estados Unidos: investigación (papers);internacionalización (ingresos económicos); relación con laindustria

Limitaciones de los rankings como referentes de “calidad”Lo que para éstos simplemente NO son trascendentes (en imágenes):

Las Universidades latinoamericanas ante los rankingsEn mayo de 2012 se realizó en la UNAM un encuentro en el que participaron:

ArgentinaUniversidad AustralUniversidad de Buenos Aires

BoliviaUniversidad Mayor de San Andrés

BrasilPuc Do Rio Grande Do SulUniversidade Federal Do ABCUniversidad Federal de Minas GeraisUniversidade Federal de PernambucoUniversidad Federal de Viçosa

ChileUniversidad Andrés BelloUniversidad Diego PortalesUniversidad de ChileUniversidad de Santiago de Chile

ColombiaPontificia Universidad JaverianaUniversidad Nacional de ColombiaUniversidad Pedagógica NacionalUniversidad del Valle

Costa RicaInstituto Tecnológico De Costa Rica

Pontificia Universidad Católica del EcuadorUniversidad de Especialidades Espíritu Santo

GuatemalaUniversidad Rafael Landivar

Las Universidades latinoamericanas ante los rankingsEn mayo de 2012 se realizó en la UNAM un encuentro en el que participaron:

ArgentinaUniversidad AustralUniversidad de Buenos Aires

BoliviaUniversidad Mayor de San Andrés

BrasilPuc Do Rio Grande Do SulUniversidade Federal Do ABCUniversidad Federal de Minas GeraisUniversidade Federal de PernambucoUniversidad Federal de Viçosa

ChileUniversidad Andrés BelloUniversidad Diego PortalesUniversidad de ChileUniversidad de Santiago de Chile

ColombiaPontificia Universidad JaverianaUniversidad Nacional de ColombiaUniversidad Pedagógica NacionalUniversidad del Valle

Costa RicaInstituto Tecnológico De Costa Rica

Pontificia Universidad Católica del EcuadorUniversidad de Especialidades Espíritu Santo

GuatemalaUniversidad Rafael Landivar

Las Universidades latinoamericanas ante los rankingsMéxico

Centro de Investigaciones Biológicas del Noroeste, S.C.Centro de Investigación en Materiales Avanzados S.C.Colegio de MéxicoInstituto Politécnico NacionalInstituto Tecnológico de SonoraCentro de Investigación y Docenica en Humanidades del Estado de MorelosITESM Campus MonterreyITESM Campus Cd. de MéxicoITS TantoyucaTecnológico de Estudios Superiores de EcatepecUniversidad Autónoma de Baja California SurUniversidad Autónoma de CampecheUniversidad Autónoma de Ciudad JuárezUniversidad Autónoma de Nuevo LeónUniversidad Autónoma de SinaloaUniversidad Autónoma de TlaxcalaUniversidad Autónoma del CarmenUniversidad Autónoma Metropolitana

Universidad de Ciencias y Artes de ChiapasUniversidad de GuanajuatoUniversidad de MonterreyUniversidad de Quintana RooUniversidad de SonoraUniversidad del Valle de Atemajac Univa QuerétaroUniversidad Iberoamericana Cd. de MéxicoUniversidad Juárez Autónoma de TabascoUniversidad la Salle A.C.Universidad Michoacana de San Nicolás de HidalgoUniversidad Nacional Autónoma de MéxicoUniversidad Pedagógica NacionalUniversidad Tecnológica de CoahuilaUniversidad Tecnológica de PueblaUniversidad Tecnológica de QuerétaroUniversidad Tecnológica de Tula-TepejiUniversidad Tres CulturasUniversidad Veracruzana

Las Universidades latinoamericanas ante los rankings

ParaguayUniversidad Nacional De Asunción

PerúPontificia Universidad Católica del PerúUniversidad Nacional de Ingeniería

BoliviaUniversidad Autónoma De Santo Domingo

El Salvador

Universidad de El SalvadorUniversidad Francisco Gavidia

VenezuelaUniversidad Central De Venezuela

Editores de RankingsSCImagoTimes Higher EducationQS University RankingsWebometrics

Las Universidades latinoamericanas ante los rankings• Reconocer que existe una creciente demanda de conocimiento sobre las

condiciones, características, desempeños e impactos de las instituciones de educación superior (IES) en cada país y en la región en su conjunto.

• Manifestar su preocupación por efectos indeseados de los rankings tales como:

- La homogeneización de la diversidad de instituciones respecto al modelo predominante de universidad elitista de investigación de los Estados Unidos y la consecuente pérdida de identidad de la universidad latinoamericana.

- La percepción sesgada acerca de la operación, calidad y resultados de la IES de la región a partir de mediciones parciales enfocadas principalmente a la circulación internacional de la producción científica.

- La influencia de estas visiones parciales en tomadores de decisiones en el nivel nacional y en las mismas instituciones.

- La deslegitimación de las IES nacionales que impulsan modelos distintos al de la universidad centrada en la investigación

- La confusión de los rankings con sistemas de información.

Las Universidades latinoamericanas ante los rankingsPrincipales Propuestas

Proponer a las autoridades gubernamentales responsables de la coordinación de los sistemas

universitarios, a las asociaciones y redes universitarias, a los rectores y directivos de las instituciones, así

como a la UNESCO en su conjunto, impulsar alternativas a los rankings para la mejor comprensión

y evaluación de la realidad de la educación superior. Entre estas propuestas destaca:

- La construcción de sistemas de información acerca de las IES en la totalidad de sus funciones y

responsabilidades, sus características, procesos, recursos y resultados.

- La elaboración de estudios comparativos, sistemáticos, objetivos y confiables con el fin de contar con

referentes rigurosos que permitan una mejor toma de decisiones.

- La coordinación de acciones comunes para promover la circulación y reconocimiento internacional de

las publicaciones académicas y conocimientos científicos producidos en las IES de la región.

Nuestra propuestaEl estudio comparativo pone a disposición del público en general diversos rubros de información a través de una herramienta informática denominada:

‘Explorador del Estudio Comparativo de Universidades Mexicanas (ExECUM)’.

• En esta propuesta de la UNAM, los usuarios pueden realizarconsultas de acuerdo a sus necesidades e intereses particulares, locual permite llevar a cabo análisis que reflejen mejor las distintascaracterísticas y resultados de las instituciones(http://www.ecum.unam.mx; http://www.execum.unam.mx).

2. ¿Qué datos ofrece el Execum?

Datos Institucionales:

•Docentes •Contrato: Total, Tiempo completo, 3/4 de tiempo, ½ tiempo, Por horas •Escolaridad: Total, TSU, Lic. , Especialidad, Maestría, Doctorado

•Matrícula: •Nivel: Total, TSU, Licenciatura, Especialidad, Maestría, Doctorado

• Programas académicos•Nivel: Total, TSU, Licenciatura, Especialidad, Maestría, Doctorado

• Financiamiento: subsidio total, ordinario federal , ordinario estatal, extraordinario federal, extraordinario estatal

Investigación :

• SNI: Investigadores totales, con nivel III, II, I y candidatos

• PROMEP: Cuerpos académicos totales, consolidados, en consolidación, en formación

• ISI artículos/documentos (totales, SCI, SSCI, AHCI)

•Producción Institucional •Análisis por autor •Colaboraciones •Citas

• SCOPUS artículos/documentos (total, Life, Health , Physical, Social and Humanities)

•Producción Institucional •Análisis por autor •Colaboraciones •Citas

•Patentes de invención sector académico:

•Publicadas en gaceta del Instituto Mexicano de la Propiedad Industrial (solicitadas y otorgadas, acumulado desde 1991)

Revistas :

• Revistas en Latindex (Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal) en el sector de investigación (totales, catalogadas)

• Revistas en el índice del Consejo Nacional de Ciencia y Tecnología

Acreditación:

Programas evaluados por los Comités Interinstitucionales para la Evaluación de la Educación Superior –CIEES- (Totales, TSU, Licenciatura, Especialidad, Maestría, Doctorado):

• Evaluados • Nivel 1

Programas acreditados por el Consejo para la Acreditación de la Educación Superior –COPAES- (Totales, TSU, Licenciatura).

Posgrados Programa Nacional de Posgrados de Calidad -PNPC- (Total, Competencia Internacional, Consolidados, En desarrollo, Reciente creación)

•Doctorado •Maestría •Especialidad

3. ¿Qué utilidad tiene para las universidades?

Es una herramienta de evaluación dado que permite• Comparar (en el tiempo y entre IES)

• Construir indicadores pertinentes a para cada

IES dado que ofrece datos para construirlos

• Establecer benchmarking

• Medir el impacto de acciones aplicadas

4. Ejemplos de análisis relacional a través del Execum

Institución MATRÍCULA SNI ISI (Documentos)

Nivel de Estudios Total Producción Institucional

Total TotalNúm. % Nal. Núm. % Nal. Núm. % Nal.

3,322,469 100 17,639 100 11,901 100Principales 60 Universidades 1,659,480 50 12,674 72 8,981 75

UNIVERSIDAD NACIONAL AUTONOMA DE MEXICO 204,581 6.2 3,583 20.3 3,630 30.5CENTRO DE INVESTIGACION Y DE ESTUDIOS AVANZADOS DEL IPN 2,312 0.1 727 4.1 971 8.2INSTITUTO POLITECNICO NACIONAL 100,452 3.0 779 4.4 861 7.2UNIVERSIDAD AUTONOMA METROPOLITANA 51,935 1.6 906 5.1 657 5.5UNIVERSIDAD DE GUADALAJARA 92,451 2.8 662 3.8 431 3.6UNIVERSIDAD AUTONOMA DE NUEVO LEON 79,246 2.4 443 2.5 394 3.3BENEMERITA UNIVERSIDAD AUTONOMA DE PUEBLA 54,434 1.6 384 2.2 314 2.6UNIVERSIDAD AUTONOMA DE SAN LUIS POTOSI 24,121 0.7 262 1.5 241 2.0COLEGIO DE POSGRADUADOS 948 0.0 239 1.4 241 2.0UNIVERSIDAD DE GUANAJUATO 17,812 0.5 265 1.5 234 2.0

Matrícula, docencia y producción científica (generales)

Análisis descriptivo

Dado que ofrece datos es posible utilizarlos para generar modelos como el siguiente: Variables asociadas al mayor volumen de producción de documentos indexados

Resumen del modelo

Modelo R cuadradoR cuadrado corregida

Error típ. de la estimación

1 (SNI_Total 0.983 0.982 64.9642 (SNI_Nivel 1) 0.989 0.988 53.3953 (SNI_ Nivel 3) 0.991 0.99 47.837a Variables predictoras: (Constante), SNI_TOTb Variables predictoras: (Constante), SNI_TOT, SNI_N1c Variables predictoras: (Constante), SNI_TOT, SNI_N1, SNI_N3

Modelos explicativos

4. ¿Porqué es necesario contar con un sistema como el Execum?

a) Las IES tenemos que participar de manera determinante en la construcción de los indicadores de evaluación y éstos no deben ser impuestos

b) Permite compararnos con otras IES y a lo largo del tiempo a través indicadores precisos.

c) Puede ser usada como una herramienta de negociación ante los gobiernos federales y estatales

d) Es herramienta sumamente útil en la implementación de la metodología del Marco Lógico y la construcción de la matiz asociada

4a. Las IES tenemos que participar de manera determinante en la construcción de los indicadores de evaluación y éstos no deben ser impuestos desde afuera

- Los indicadores necesarios para evaluar las IES no siempre corresponden a los requeridos por el Gobierno Federal (algunos ejemplos):- El tratamiento de lo indígena- La investigación como factor de medición- El valor de la docencia- El impacto social

4b Permite compararnos con otras IES y a lo largo del tiempo a través indicadores precisos.

- El ejercicio de evaluación no significa responder cuestionarios que le envían a la rectoría agentes externos, por el contrario debe basarse en objetivos y metas que correspondan al perfil de la institución generalmente expresado en el PDI:

- Documento por área de investigación

- Internacionalización de la investigación como resultado de una política

4c. Puede ser usada como una herramienta de negociación ante los gobiernos federales y estatales

- El sector público produce más de 90% de la producción nacional de documentos Wos

- Sólo La BUAP tiene:- El 62.4% de los artículos Wos que se

producen en todo el Estado- El 61.8 de los SNI estatales

4c. Es herramienta sumamente útil en la implementación de la metodología del Marco Lógico

Ejemplo SNIS:

- A. Análisis de involucrados- B. Análisis del problema- C. Análisis de objetivos- D. Identificación de alternativas de solución al

problema- E. Selección de la alternativa óptima- F. Estructura analítica del proyecto (EAP)

Es también un medio de verificación (impacto de políticas aplicadas)

Comentarios Finales:•El Ecum no es ranking, por el contrario es una herramienta de consulta

•No propone indicadores pero facilita la información para que los investigadores puedan construirlos

•Se perfila como una herramienta sólida, confiable que permite al usuario verificar la veracidad de los datos (patentes: http://www.dgei.unam.mx/hwp/?smd_process_download=1&download_id=845)

• Concentra datos que tienen sentido para les IES y que están asociados a objetivos pertinentes para éstas. Se debe avanzar en su complementación y defensa frente a indicadores ajenos y con poco sentido para la universidades

El ECUM como una propuesta alternativa para analizar el desempeño de las

universidades

Francisco Javier Lozano, asojle@unam.mx