L’évaluation des Universités Marocaines :

Etude de cas

Pr Mustapha BENNOUNA

Président UAE (2002-2010)

Evaluation des Universités

Remplir au mieux des missions nationales : Formation-Recherche-Insertion • Adapter/adopter les standards internationaux• Pour être « lisible » à l’international

Affirmer sa spécificité• La diversité n’est pas un obstacle mais une

richesseL’assurance qualité est un des outils

majeurs pour remplir ces objectifs

2

Espace Européen

Ce que la construction de l’espace européen nous a appris sur l’assurance qualité• Dans un monde ouvert, les étudiants ont

besoin de standards pour leur mobilité et leur évolution professionnelle

• Les employeurs ont besoin d’informations, de standards internationaux pour leurs recrutements

• Lutter contre les « usines à diplômes »• Instaurer une culture d’amélioration continue

dans les formations

3

Bases

Les bases de l’assurance qualité :• Des « agences » indépendantes des « parties

prenantes » : ministères, groupes d’écoles, employeurs, organisations professionnelles

• Mais portées par « ces parties prenantes »Les outils de l’assurance qualité :

• L’auto-évaluation• L’évaluation externe• L’accréditation• L’habilitation

4

Outils

• L’auto-évaluationProcessus continu d’audit interne, avec une boucle

interne pour l’amélioration continue• L’évaluation externe

Audit par une équipe d’experts qui établit un rapport, non contraignant

• L’accréditationJugement de conformité à un guide externe de

références (ISO, CTI, ABET…) Label de qualité• L’habilitation

Décision gouvernementale basée (ou non) sur les résultats de l’évaluation/accréditation

5

L’assurance qualité dans l’espace européen

Définition de standards et de procédures (ESG)

• Pour les universités (et écoles), • Pour l’évaluation externe des universités• Pour les agences d’évaluation ou

d’accréditation : ENQA• EQAR: Registre des agences

conformes/habilitées à opérer dans l’espace européen ( European Quality Assurance Register for higher education)

6

Loi 01-00• Article 77: Le système de l’enseignement supérieur est soumis,

dans sa globalité, à une évaluation régulière, portant sur sa rentabilité interne et externe, et touchant tous les aspects pédagogiques, administratifs et de recherche. Cette évaluation se basera, en plus des audits pédagogiques, financiers et administratifs, sur l’auto évaluation de chaque établissement d’éducation et de formation, et de sondage périodique des avis des acteurs éducatifs et de leurs partenaires, dans les milieux du travail, de la science de la culture et des arts.

• Article 78 : Les établissements d’enseignement supérieur publics et privés mettent en place un système d’auto-évaluation.

• Article 79 : Pour la réalisation des audits et de l’évaluation requises à l’article 77 ci-dessus,il sera procédé à la création d’instances spécialisées de régulation bénéficiant de l’autonomie et de l’indépendance nécessaires, notamment une instance nationale d’évaluation et un observatoire pour l’adéquation des enseignements supérieurs à l’environnement économique et professionnel.

7

FOREVALE: Formation à l’évaluation externe (2006).

Initié par le Ministère de l’Enseignement Supérieur et sponsorisé dans le cadre des projetsTEMPUS, Il concerne la formation de ressources humaines, enseignants et

cadres administratifs, dans l’évaluation externe. Une trentaine de personnes

représentant les différentes universités marocaines ont participé à ce projet.

8

Projets TEMPUS:EVAL-UM5A(2005-2007) et QAREM (2005-2008) .

• EVAL-UM5A• Réaliser l’évaluation institutionnelle de l’Université Mohamed V

Agdal avec ses deux phases, interne et externe, en couvrant les principales missions de l’Université : enseignement, recherche et bonne gouvernance;Développer des mécanismes internes d’assurance qualité, en particulier, pour accompagner la mise en œuvre de la réforme et l’introduction du LMD ;

• Contribuer, par cette évaluation pilote, à l’élaboration du système d’évaluation de l’enseignement supérieur marocain, et ce au travers d’un partage d’expérience avec les autres universités marocaines, et d’une réflexion stratégique avec le Ministère de tutelle et la Conférence des Présidents d’Universités.

• QAREM: Assurance Qualité dans la Réforme de l’Enseignement au Maroc

9

Référentiel EVAL UM5A

• Politique et procédures pour le management de la qualité

• • Elaboration, mise en œuvre et révision périodique des programmes et des diplômes

• • Évaluation des étudiants• • Management de la qualité du corps enseignant

• • Outils pédagogiques et soutien aux étudiants

• • Système d’information• • Information au public• • Politique de recherche, développement et

prestation de service.

10

11

Université Cadi Ayyad (Marrakech)

Projet Tempus:« Management de l’Université par la Qualité » (MUQ) Le projet s’étend sur une durée de 3 années : √ Année 2008 : mise en place d’un Système de Management de la Qualité (SMQ) au sein des services administratifs de la Présidence de l’Université et Certification ISO 9001-Version 2000 ; √ Année 2009 : mise en place du SMQ au sein des services administratifs des Établissements situés à Marrakech et certification ; √ Année 2010 : mise en place Du SMQ au sein des services administratifs des Établissements hors Marrakech et certification ; √ Fin de l’Année 2010 : sensibilisation et diffusion du SMQ auprès de toutes les universités marocaines et formation d’un «Responsable Qualité» par Université.

12

AQUIMEDUn projet Tempus « mesure structurelle »

Thématique : assurance qualité des universités Axe central : évaluation interne des universités

Une durée de 3 ans : 15 janvier 2010-15 janvier 2013 3 pays du sud de la Méditerranée :

Algérie, Maroc et Tunisie (Universités et Ministères) 70 personnes de 10 universités formées Des partenaires de 3 pays européens :

Belgique, Espagne et France 1 partenaire international : AUF

Leader du Projet : CIEP Des experts indépendants Un budget de 874 988 €

13

Description du projetTrois années, cinq phases

Phase 1 : Approche méthodologique et lancement du projet (2010) Phase 2 : Approche comparée de l’assurance qualité (2010) Phase 3 : Elaboration de références d’évaluation commune (2011) Phase 4 : Production d’une auto-évaluation des universitéspartenaires (2012) Phase 5 : Bilan, valorisation et dissémination (2012)

*Visites aux agences d’évaluation : France, Espagne

Evaluation de la gouvernanceEvaluation de la Recherche

Université Abdelmalek EssaâdiAction volontaire menée par le

Conseil de l’UAE (2010)

UAE UAE Quelques chiffres

Centre de Tanger

1.­ FST

2.FSJES3.ENCG4.ENSA5.ESRFT

TangerTangerMartilMartil

Centre de 

Tétouan 1.FS

2.FLSH

3.FPT

4.PUAE5.ENS6.ENSA

TétouanTétouan

ChefchaouChefchaounn

LaracheLarache

Ksar ElkébirKsar Elkébir

FPL

AzilaAzila

• C’est une exigence de la loi 01-00• Dresser le bilan des deux mandats du Président• Se mettre en phase avec la contractualisation dans le cadre du plan d’urgence 2009 – 2012• Instaurer la culture et les pratiques d’évaluation c’est un acte volontariste

Le Pourquoi?

L’objectif est d’évaluer les modalités d’élaboration et de mise en œuvre de la politique de l’UAE, en s’attachant essentiellement à la stratégie de Gouvernance.

Evaluation de la Gouvernance

Secteurs de la Gouvernance à évaluer:

1. Organigrammes 2. Pilotage des missions fondamentales de l’UAE3. Structures et outils de gestion au service de la communauté universitaire4. Vie étudiante5. Relations extérieures et internationales6. Identité de l’UAE et communication externe 7. Impact de la réforme de l’enseignement supérieur (loi 01-00)

. L’évaluation de la Gouvernance de l’UAE s’est déroulée en deux parties.- une auto-évaluation, qui a mobilisé en interne l’ensemble des acteurs de l’UAE sur les différents sites. ( 2 – 9 mai 2010)- La deuxième, l’évaluation externe, a été conduite par des experts de l’Agence Française d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES) et a pris en compte non seulement les analyses des acteurs de la Gouvernance, mais aussi les points de vue des usagers (étudiants, autres publics), ainsi que des représentants des collectivités territoriales et des milieux socio-économiques :157 acteurs ont participé aux entretiens. ( 25 octobre – 2 novembre 2010)

Méthodologie et déroulement de l’évaluation:

Pilotage de l’auto-évaluation

.

Une vision organisationnelle

•Constitution d’un comité de pilotage au niveau de l’université•Désignation d’un coordonnateur et constitution d’une équipe dédiée dans chaque établissement.•Organisation de réunions d’information et de cadrage à destination des responsables de l’UAE, des différents personnels et des étudiants, par site et composantes.

Analyse des structures de fonctionnementComposante par composanteService par serviceSite par site

Analyse de l’articulation des structuresEntre composantesEntres servicesEntre sitesEntre équipe de direction, services, composantes, sites

.

Documentation et rapports

Évaluation externe : les entretiens

• Doyens: 6• Directeurs d’écoles: 5• Formations: 36• Recherche et coopération: 24• Transversalité: 23• Services: 36• Communauté universitaire: 16• Personnalités extérieures: 11 157 PERSONNES ONT PARTICIPE AUX ENTRETIENS

-Autoévaluation:

. Documentations de base: Textes règlementaires, Procès verbaux des instances légales, Textes organisationnels, Référentiels et Indicateurs, Bilans…

. Rédaction du rapport d’autoévaluation et envoi aux experts

-Évaluation externe

. Rédaction du rapport d’évaluation de l’UAE

. Réponse de Mr le Président.

Points forts

.

1. Professionnalisation des formations et ouverture au monde socio-économique régional.2. Volonté de modernisation de la gouvernance.3. Expansion réussie du patrimoine.4. Reconnaissance des compétences de gestion des projets internationaux par la Commission Européenne.5. Renforcement du sentiment d’appartenance à l’Université.

Points faibles

.

1. Gouvernance et autonomie tributaires d’une réglementation nationale inadéquate.2. Nécessité de renforcer et de perfectionner le potentiel des techniciens et administratifs .3. Un SI partiellement exploité.4. Atomisation de la recherche et axes structurants insuffisants.5. Résistance facultaire.

Recommandations

.

1. Renforcer l’unité de l’UAE comme université de la région Tanger-Tétouan.2. Créer d’autres postes de chargés de mission : RI, RE, Valorisation,…3. Généraliser les outils de la gouvernance numérique à l’ensemble de l’UAE pour une meilleure cohérence.4. Définir des axes de recherche fédérateurs et structurants pour faire émerger des équipes de taille critique.5. Coordination avec l’ONOUSC pour une amélioration des conditions de vie étudiante.

23

Evaluation RechercheUE,CNRST : potentiel

nationalLabellisation: CNRST

TEMPUSCNAE

Initiatives propres aux universités : UAE,UHP,…Manque de pérennisation

et d’experts formésAbsence d’une instance nationale d’évaluation

Pourquoi et Comment Evaluer?

• L’évaluation: exigence loi 01-00• Contrat plan d’urgence• Exigence de l’autonomie• Référentiel d’évaluation• Rapport d’autoévaluation• Evaluation externe : visites , entretiens• Evaluateurs : pairs « experts » ou

membres d’agences : AERES,ANECA,…

Evaluation externe

• Disposer du document : politique de la recherche

• des rapports d’autoévaluation réalisés par les structures

• Organiser des entretiens avec les acteurs et les partenaires

• Organiser des visites : locaux, équipements• Rédiger un rapport avec cotation des

structures et recommandations

Objectifs de l’évaluation

• Atteinte des résultats contractuels• Analyser les points forts et les points faibles• Proposer des pistes de progrès : démarche

d’amélioration continue• Benchmarking international• Faire émerger une véritable structuration• Valoriser les acteurs• Évaluation de la production des structures

Pilotage et évaluation

• Existence d’un document de pilotage (projet de développement, contrat,…)

• Structuration : caractérisation du potentiel

• Souci de cohérence, visibilité, optimisation

• Regroupement justifié des structures

• Objectif : masse critique significative autour de thèmes fédérateurs

• Nécessité d’un outil moderne de recensement

Système d’Information : SIRECH

• Développé par l’UAE (contrat direction sciences) en cours de généralisation

• Bases de données : LDAP (Enseignants/Chercheurs),bases de données internationales (citations index)

• Outil d’aide à la décision

• Renseigné en continu

Indicateurs de SIRECH

• Identification des structures

• Publications indexées avec facteur d’impact

• Publications non indexées, communications, chapitres, livres

• Brevets référencés, entreprises incubées

• Contrats, projets nationaux et internationaux

• Inventaire équipements

Indicateurs

• Revues éditées

• Articles téléchargés via IMIST

• Mesures effectuées aux UATRS

• Budgets contractuels et propres (investissement, fonctionnement)

• Activités organisées

• Prix et labels

Indicateurs CED

• Encadrement de thésards et d’habilitations

• Thèses :charte, durée, suivi, soutenance,

• Doctorants: mobilité, insertion des docteurs,

• Bourses: nationales, mérite, coopération

• Moyens TIC disponibles

• Citation des thésards dans les publications

• Appartenance à des réseaux

Résultats des remontées d’informations

• Rapports d’activités recherche /champ disciplinaire, global,…

• Repérage des niches d’excellence

• Tableau de bord : thèmes hiérarchisés

• Passage à une recherche identifiée et assumée vs situation confuse

• Définition d’axes stratégiques de la politique de recherche

Résultats

• Positionner le potentiel de recherche aux niveaux national et international

• Détecter des leaders

• Valoriser les meilleurs acteurs

• Redimensionner la structuration : fédérer les équipes ,mieux regrouper

• Améliorer la gouvernance et réaffecter les moyens

Etude de cas : UAE

• UAE : Accréditation , autoévaluation

• Participation de 90% des structures

• Evaluation externe pilote de 5 structures scientifiques

• Référentiel et experts AERES

• Domaines: Sciences et Sciences et Techniques

• Visites et entretiens

Points forts

• Disponibilité d’un document : gouvernance de la recherche

• Emergence véritable d’une structuration : 30 labos ou groupes / 750 enseignants chercheurs (40% PES ou Ph dont 2/3 actifs)

• SIRECH bien maitrisé

• Potentiel humain impliqué de qualité

• Flux croissant de doctorants

Données

• Cumul de 1800 publications de 2002 à 2010 dont 800 indexées

• Moyenne: 80 publications indexées /an (80% cosignées avec des étrangers) et 10 brevets

• SI développé SIRECH à breveter

• Produisant:40% des enseignants chercheurs (2/3 en Sc et 1/3 en SHS)

• 23 prix décernés

Données

• 2 entreprises incubées

• 4 CED , 1200 thésards : 40% SJES,25%SHS,35% en Sc Tech

• Taux d’encadrement moyen de 1/5

• Définition des niches

• Organisations d’activités :doctorales, cours séminaires

• Durée moyenne de thèse : 5 ans

Cotation structures (1à5)

• Qualité scientifique

• Productivité

• Rayonnement

• Stratégie et organisation

• Projet

• Cotations: 2A+(excellent),2A(TB),0B(Bon),1C(Acceptable)

Profil qualitatif recherche 3/5• CED : Encadrement et Suivi des doctorants 3• Relations socioéconomiques 2.5• Qualité scientifique publications 4• Transfert et valorisation 3• Potentiel ( humain ,infrastructures) 2• Pilotage et stratégie 4• Promotion et valorisation 2.5

Points à améliorer

• Moyens humains en quantité et qualité : techniciens, administratifs , chargés de mission,..

• Implication des acteurs • Autofinancement• Exploiter moyens CNRST et IMIST• Durée thèse 5 à 3 ans• Valoriser les chercheurs et les doctorants :

Prix

.

MERCI