Country: Albania

VOPE name: SAEP - Société albanaise d’évaluation de programme (Albanian Society of Program Evaluation)1

Contact person: Fation Luli MAP, président, fationluli@hotmail.com

Title: Challenges of a new national evaluation society, the Albanian Society of Program Evaluation

Background:

The process leading to the formalization of the Albanian Society of Program Evaluation (SAEP in French) began in April 2011. Very early on, the person who initiated the Albanian project sought the support of a more experienced evaluation society to accompany it in this process, that is to say the Société québécoise d’évaluation de programme (SQEP). This paper will present the steps leading to the creation of the SAEP and its early achievements, in addition to presenting the coaching experience from the perspectives of each of the parties. Several observations as well as lessons learned will are also shared.

Background

The context of evaluation in Albania Albania is currently going through an interesting time. The post-Communist era has led to the establishment of democracy in this country and created an environment favourable to the development of a culture of healthy governance, managing for results and accountability. The stability of democracy observed over the past years has also paved the way for significant changes calling for greater effectiveness of the government and for more transparency regarding expenditures and outcomes. In this perspective, a major effort was made to renew the Albanian public administration. The context was thus favourable for the development of the evaluation. However, it must be recognized that the evaluation function remains underdeveloped in Albania and its degree of institutionalization within the various structures of the country is very weak, even non-existent. In fact, very few professional initiatives related to evaluation are identified by the government, universities (public or private) or public organizations. Moreover, those that do exist do not usually conform to internationally recognized standards for evaluation practice. There is no national policy on the evaluation of public policies and programs which would provide a framework for the practice of evaluation. Program evaluation is generally justified by audit or quality improvement initiatives (i.e. ISO certification), thus creating further confusion as to the true nature of evaluation. In addition, there is no Albanian language publication in evaluation nor formal training in the field, let alone criteria for the accreditation of training or practice. In this context, there is no guarantee as to the skills and expertise of those who carry out evaluations. Finally, there is no network or association of evaluators, which contributes to the feeling of disorganisation and isolation for some Albanian evaluators. In short, there are major deficiencies in Albania in both the demand side and the supply side of evaluation. In this perspective, and considering various possible strategies to develop an evaluation culture and evaluation capacity in Albania, the establishment of a national society was chosen as the priority strategy to put forward.

1 This case was developed with the contribution of SQEP (Marie Gervais vice-president, marie.gervais@fmed.ulaval.ca) under the agreement SAEP-SQEP.

The first steps of the SAEP The idea to create a national evaluation society was first put forward by a person who was initially foreign to the world of evaluation, but who, during his Masters in Public Administration, gradually began to be interested in this field of practice. Of Albanian nationality, this leader was exceptional in that he was a lawyer by training and residing in Quebec. Willing to invest time and energy towards this endeavour, in April 2011, he rallied a few people from different disciplinary backgrounds and diverse practice settings (government, universities, municipalities, private companies) who were also interested in thinking about the needs for capacity reinforcement in evaluation in Albania as well as the best strategies to implement to this end. A first informal network of nine professionals was formed in July 2011. The discussions at this point were helpful in that they:

Reaffirmed the need to create a national society in Albania; Clarified the type of society that was desired, the type of evaluation to promote, as well as the

expected characteristics of the future membership. Initial activities were also identified for implementation. At the same time, taking advantage of geographical proximity with SQEP, the Albanian leader made contact in June 2011 with its president to explore the possibilities of support for the Albanian project. SQEP’s reaction was immediate and favourable, and its Board has subsequently:

Confirmed its intention to go ahead with the partnership requested; Designated as respondent its delegate to the Francophonie.

This first phase of the partnership was relatively informal and personal, and took the form of meetings and regular exchanges between the SAEP and the SQEP respondents. In addition, this partnership was focused on the needs specifically and progressively expressed SAEP (“à la carte” support).

To nourish SAEP discussions and decisions, SQEP made available to its own experience accumulated since its founding.

The SAEP retained all decision making. And during this period, the Albanian leader and his group had access to a variety of publications dealing with, firstly, the development and strengthening of national evaluation societies and national evaluation systems (World Bank, IDEAS, IOCE UNDP, UNICEF, etc..), and secondly, the strengthening of individual and institutional capacity. This allowed them access to learning shared by the international community in evaluation and clarified the most appropriate process to support the development of evaluation in Albania. When a broad consensus had been reached, the group undertook the process of formalization. Thus the SAEP was legally established in October 2011 and officially recognized by the Albanian government. It was incorporated under the laws numbered 8788 and 8789 dated 05/07/2001.

SAEP’s statutes and regulations were drafted in compliance with these laws. While firmly anchored in Albanian reality, the group of volunteers took account of the positioning of other national evaluation societies, which subsequently helped determine its own foundations, which have been the object of broad consensus among consulted Albanian stakeholders. The SAEP is a professional organization for those already involved or who would be involved in evaluation. It is an open non-exclusive society, trying to gather all interested parties in evaluation, including policy makers, managers, practitioners, teachers, students and so on, from the government, various public, private multi-sector, municipal or community networks. The SAEP wants to be an actor who fosters dialogue between various communities and creates opportunities for exchanges on topics of common interest. The focus is to provide a collective nature to evaluation in Albania.

Thought is being given to find topics of common interest with other Albanian organizations and to schedule joint activities. Members of these organizations are strongly encouraged to become members. A young society, the SAEP already had 15 members by October 2012.

It aims for 90 members by the end of 2013. It is therefore facing a major recruitment challenge. To achieve this, it was decided that at this stage, SAEP membership would be free of charge.

The SAEP is a non-profit organisation with a formal constitution.

It is headed by a president and led by a five-member Board of Directors which ensures overall governance and programs activities.

They report to the Assembly members. The Assembly elects the President and the Board of Directors for terms of two years.

It should be noted that SAEP is an organisation led and coordinated by volunteers. In respect of this, no financial or material remuneration is provided to the board members for the duration of their mandate. The SAEP has defined its mission as:

Contributing to the development of program evaluation in Albania; Promoting the use of evaluation in public and private organizations.

The Association aims to promote the theory, practice, understanding and use of evaluation through the following specific objectives:

Provide basic training and professional development in areas related to evaluation; Identify the ethical principles and standards of evaluation practice in Albania and promote

their use; Encourage the development of the theory and practice of evaluation by the publication of

advances and recognizing exceptional contributions; Organize discussion forums that provide networking opportunities and enrichment of the

scope of evaluation (seminars, workshops, conferences, etc.). Promote evaluation (advocacy) and encourage the understanding and use of evaluation; Gather members who have similar interests in evaluation.

The SAEP has also developed its first strategic plan. This was adopted by the Board of Directors in February 2012. It is divided into four main areas: the promotion of evaluation, professional international cooperation, professional development and education, as well as funding. 1. Promoting evaluation

Strengthen the institutional position of SAEP and establish a national consensus on the legitimacy and credibility of evaluation for regular use in decision- making;

Support the promotion of a culture of evaluation (national, organizational, professional) and the development of general principles, procedures, code of ethics and rules of conduct for the achievement and the control of evaluations;

Conduct advocacy directed to the Albanian government to support the development of models and practices for the evaluation of public policies and programs and awareness in the higher echelons of civil service;

Conduct advocacy directed to the Albanian government to register the evaluation of public policies and programs as a strategic priority and mobilize the necessary resources for this purpose;

Assess the needs and environment of current and potential members. 2. Professional international cooperation

Develop a network, cooperation and exchanges with international associations with similar objectives to strengthen the Albanian evaluation community;

Build evaluation skills by creating learning opportunities with experienced organisations; Participate in cooperative activities and forums for the exchange of good practices based on

the theory and practice of evaluation and develop new knowledge in evaluation; Develop partnership agreements between SAEP and other evaluation societies; Carry out joint projects, publications and research activities in evaluation.

3. Professional development and teaching

Develop a theoretical and technical corpus in evaluation that will be accessible to all public and private stakeholders in Albania and contribute to the development of knowledge, skills, and evaluation methods as well the installation of a culture of "program evaluation”. This includes the publication of articles and books for evaluation in the Albanian language;

Introduce a basic course in program evaluation at a public university in Albania; Actively seek opportunities for training and professional development; Explore the possibility of SAEP members contributing to international working groups in

evaluation; Create an electronic communication platform for the Albanian evaluation community; Learn from best practices in the international arena; Call for the creation of study groups and research teams focused on evaluation in non-profit

organizations and universities; Strengthen the presence of members or strategic institutional partners in the SAEP

(universities, municipalities, ministries, international organizations etc.). 4. Funding

Establish financial goals and ensure diversification of sources of income; Develop a strategic approach to financial management; Identify specific activities and raise sufficient funds for evaluation activities put forward by

SAEP; Seek funding from international donor agencies for international cooperation to support the

development of SAEP and its activities; Find international scholarships to support training for the students; Associate sponsors in the activities of SAEP; Maintain an appropriate balance between dependence on volunteer time and work done by a

paid Secretariat. Towards a Framework Agreement between the SAEP and SQEP Considering the frequency and nature of interactions between the respondents of SAEP and of SQEP and the positive results that have ensued to date, it was agreed to strengthen this partnership by signing a framework agreement in May 2012 to formalize the nature of this collaboration between two organisations. This two year framework agreement is renewable with the approval of both boards, and covers all areas of collaboration judged of mutual interest for the organisations. Support activities by SQEP which are already underway include:

Support for the formalization of SAEP (statutes, providing services to members); Support for the development of individual and institutional capacity in evaluation of the

members of SAEP (university training, training to the emerging community of evaluators); Support for the integration of SAEP into existing evaluation international networks including

Europe and the Francophonie; Support for the promotion of evaluation in Albania (standards of practice, ethical principles).

By way of examples, SQEP’s support has allowed:

Two members of SAEP to attend a meeting of SQEP’s Board ; Direct support for clarification of SAEP’s mission, the development of its strategic plan and its

long-term strategy to strengthen its capacity ; Some mentoring activities on specific issues.

Already two positive outcomes for SAEP A first result consists of SAEP becoming a member of the International Organization for Cooperation in Evaluation (IOCE) (October 2011), which facilitates its connection with international debates, as well as membership in the Francophone Evaluation Network (Réseau francophone de l’évaluation - RFE) (July 2012), which is currently being re-established. The adherence to RFE formally lists Albania as an actor adhering to the principles of the Declaration of Strasbourg (2008) and aims to make SAEP a committed partner in various projects which will develop later in the international Francophonie. The second major benefit is the "EVAlbanie" initiative.

It has been jointly developed by SAEP and SQEP within the framework of EvalPartners and in cooperation with IOCE and UNICEF.

EVAlbanie was officially endorsed by EvalPartners in July 2012, considered as a promising initiative to serve as an example for the entire international evaluation community.

EVAlbanie fits naturally into the principles put forward by EvalPartners. It is about mentoring and coaching of a national evaluation society more experienced in the planning and implementation of actions identified as priorities by an emerging national evaluation society. It is technical support and transfer of expertise from the more experienced society to the emerging national evaluation society, with a perspective of empowerment and autonomy in realistic deadlines. The EVAlbanie initiative targets the achievement of three specific projects that support the implementation of the strategic plan of the SAEP. The first concerns the strengthening of the institutional capacity of SAEP, consistency and continuity with the efforts to date. This is specially the establishment of a permanent secretariat to support the overall activities of the SAEP and development of its website. The second project speaks to the demand for evaluation that SAEP wants to create within the different structures in the country and the supply of evaluation that it wishes to strengthen through professional development. Thus, SAEP wishes to:

Provide short-term advocacy on the importance of the policies and programs of evaluation in the context of public administration, in support of managing for results;

Contribute to increasing the number of evaluators and practitioners and to strengthening the ability of evaluators currently active in Albania by developing a range of skills training and short-term professional development workshops on priority topics.

This leads to the third project aimed to develop university level training in evaluation in Albania:

Develop, in the short term, a first course in program evaluation to be given by an Albanian university;

Start discussions leading up to the development of a graduate program in evaluation in the medium-term.

Constraints: Lack of resources (technical and financial) to support the initial efforts of SAEP for the

development and implementation of the first actions which in return, the significant personal investment that was required by the founding members;

Having a "non-resident president in Albania" that leads the SAEP from a distance, this complicates communication mechanisms and requires a high level of adaptability on the part of the Board of Directors;

Aspiration to develop a VOPE in a country without an evaluation culture or evaluation capacity, and thus in a context where both supply and demand in evaluation are absent;

A partnership SAEP -SQEP developed on a strictly voluntary basis, which can weaken over time and affect the intensity of support depending on the availability of respondents.

Progress and results: Progress and Unexpected results: (See also the section « Background») Unexpected results:

The ability to so quickly engage a small group of enthusiastic actors able to work as a team on this project for a national evaluation society, which resulted in a rapid emergence, despite the absence of any evaluation tradition in Albania, without dedicated funding.

Essential factors:

The presence of a champion with a vision and a small group of volunteers dedicated to the establishment of a national society in evaluation; their different backgrounds facilitates taking into account the various contexts of practice;

The choice to move quickly towards the formalization of SAEP as a strategy to mobilize and strengthen legitimacy and credibility given the Albanian context;

The early support of SAEP by an experienced national evaluation society (SQEP); mentoring developed at a rate and for needs specifically identified by SAEP;

The choice to define a global vision but proceed quickly to the development of structuring activities, whence EVAlbanie;

Easy access to learning from the international community capacity building and networking to enrich the reflection and the first strategic direction of SAEP.

Innovations and lessons learned: Lessons learned Much can be done with little It is possible to create a national evaluation society without external funding based primarily on the work of volunteers and partnerships. However, this has its limits and can jeopardize the short term survival of such a society. The issue of funding is at the heart of the development capacity of a VOPE. Manage and measure the ambitions The desire to develop a national evaluation society and then advancing the evaluation process within different institutions and structures of a country can be challenging when there is no evaluation culture or evaluation capacity in the country. How to operate in an environment where everything in evaluation is to be built and promoted? That's why the following are important:

Develop a vision of evaluation and the development strategies that correspond to the specific characteristics of that country;

Proceed with realistic and achievable steps that allow small successes that continue to encourage and stimulate;

Maintain contact and communication with the various parties interested in evaluation; Allow yourself as a VOPE the right to adjust regularly given the responsiveness of the

environment and resources actually available. Recognize the importance of the human factor Maintaining the active engagement of volunteers over time as well as their ability to work in a team are essential ingredients to ensure the progress of a project to create a VOPE. Timely Networking This experience has shown that it is more productive to focus efforts on networking projects and issues that allow the quick development of collaborations, rather than to go for an early but general support without specific targets, which quickly generates a decrease in interest.

Innovation To have quickly sought the mentorship of a more experienced VOPE gave the founding members of SAEP confidence in the path taken. This synergy has enabled them to test some decisions and strategies before their implementation in addition to benefiting from the experiences of others.

Next Steps: In a little over a year, SAEP has progressed rapidly. It is formalized, has obtained a legal status and determined its statutes. It is equipped with a strategic plan, has signed a collaboration agreement with SQEP, developed in conjunction with this society a structuring initiative called "EVAlbanie" with the support of EvalPartners, and began its international outreach including by positioning themselves in the Francophonie and upon approaching the Network of European Societies of Evaluation (NESE). SAEP is, however, facing many challenges which it must address strategically to prevent burnout or unproductive dispersion of its resources. It should now deliver on its strategic plan and the EVAlbanie initiative. Thus, its rapid growth must now translate into concrete actions on the ground, which will confirm its legitimacy and strengthen its credibility as an Albanian actor working towards a healthy democracy and good governance. Although it has demonstrated that it can create and maintain in its early stages of existence a national evaluation society without direct political support and with very limited resources, SAEP must now ensure the interest, support and funding to achieve its ambitions.

It must stimulate interest in evaluation (advocacy), and promote the commitment of the public sector in partnerships, at different levels of government, academe and international.

It will quickly seek the necessary funds to start the first outreach and capacity building activities.

It will also shortly increase its visibility with the official opening of its office in Albania and the launch of its website. In terms of operations, it relies on the establishment of a secretariat and various committees (ex. ethical standards, professional development and training, publications and international relations) to support the day-to-day coordination and implementation of its operations. The SAEP leadership is also aware of the challenge of leading an emerging community of evaluators. How to interest and engage evaluators, ensure their professional development, support their professional identity, in addition to enhancing quality of practice in such a context? Efforts to develop the services offered to its members, more meetings with key stakeholders involved in the development of evaluation in Albania and to support the professionalization of evaluation will also take place. On this last point, SAEP intends to devote some time to reflect on skills, standards of practice and ethical principles in Albania. Finally, SAEP is aware of the great efforts that will be need to be deployed within an Albanian society without an established evaluation culture. Its role as promoter of evaluation to institutions and individuals is even more important carries significant potential for influence.

Nom du pays: Albanie

Nom de la VOPE (OBEP): SAEP - Société albanaise d’évaluation de programme1

Personne contact:

SAEP : Fation Luli MAP, président, fationluli@hotmail.com

Titre: L’émergence d’une nouvelle société nationale d’évaluation, la Société albanaise d’évaluation de programme

Résumé:

Les toutes premières démarches devant conduire à la formalisation de la Société albanaise d’évaluation de programme (SAEP) se sont amorcées en avril 2011. Très rapidement, le porteur de dossier albanais a sollicité le soutien d’une société d’évaluation davantage expérimentée pour l’accompagner dans cette démarche, soit la Société québécoise d’évaluation de programme (SQEP). Le présent document présentera à la fois les différentes étapes devant conduire à la création de la SAEP et ses premières réalisations en plus de présenter l’expérience d’accompagnement telle que vécue par les deux parties. Les constats et apprentissages dégagés tout au long de cette démarche seront également partagés.

Histoire:

Le contexte de l’évaluation en Albanie L’Albanie traverse actuellement une période intéressante. L’ère postcommuniste a permis l’instauration de la démocratie dans ce pays et a créé un contexte favorable au développement d’une culture de saine gouvernance, de gestion axée sur les résultats et de reddition de compte. La stabilité de la démocratie observée au cours des dernières années a d’ailleurs pavé la voie à des changements significatifs appelant à une plus grande efficacité du dispositif gouvernemental et à plus de transparence en ce qui concerne les dépenses et les résultats obtenus. Dans cette perspective, un effort important a été fait pour renouveler l'administration publique albanaise. Le contexte est ainsi devenu propice au développement de l’évaluation. Toutefois, il faut reconnaitre que la fonction évaluative demeure actuellement peu développée en Albanie et que son degré d’institutionnalisation au sein des différentes structures du pays est très faible, voire inexistant. En effet, très peu d’initiatives professionnelles liées à l’évaluation ne sont recensées de la part du gouvernement, des universités (publiques ou privées) ou encore des organisations publiques. Par ailleurs, celles-ci ne répondent habituellement pas aux standards de pratique reconnus internationalement. Il n’existe pas non plus de politique nationale sur l'évaluation des politiques et programmes publiques qui permette de baliser le champ de la pratique de l’évaluation. L’évaluation de programme se trouve le plus souvent justifiée par des activités d’audit ou des procédures d'amélioration de la qualité (ISO certification), créant ainsi une confusion supplémentaire quant à la véritable nature de l’évaluation. De surcroît, il n'existe pas de publication en langue albanaise en évaluation tout comme il n’existe pas de formations formelles en évaluation et encore moins de critères d'accréditation de ces formations et de la pratique. Dans ce contexte, aucune assurance n’est présente quant aux compétences et à l’expertise affichée de ceux qui réalisent les évaluations. Finalement, il n’existe pas de regroupement d’évaluateurs, ce qui contribue à l’éparpillement et au sentiment d’isolement des quelques évaluateurs albanais. Bref, il faut retenir que des carences majeures existent actuellement en évaluation en Albanie, et ce tant du côté de la demande que du côté de l’offre en évaluation. Dans cette perspective et considérant les différentes stratégies possibles pour développer la culture et la capacité en évaluation en Albanie, la mise en place d’une société nationale d’évaluation a été retenue comme étant la stratégie prioritaire à mettre de l’avant. Les premiers pas de la SAEP

1 Ce cas a été développé en collaboration avec la SQEP (Marie Gervais vice-présidente, marie.gervais@fmed.ulaval.ca) dans le cadre de l’entente de collaboration SAEP-SQEP.

L’idée de créer une société nationale d’évaluation a d’abord été portée par une personne, qui était au départ étrangère au monde de l’évaluation mais qui graduellement au cours de sa maîtrise en administration publique s’est intéressée à ce champ de pratique. En plus d’être de nationalité albanaise, ce leader2 avait pour particularités d’être juriste de formation et résidant québécois. Prêt à investir temps et énergie pour faire avancer le dossier, il a mobilisé autour de lui, dès avril 2011, quelques personnes de différents horizons disciplinaires et de milieux de pratique variés (gouvernement, universités, municipalités, entreprises privées) lesquels étaient également intéressées à réfléchir sur les besoins en renforcement de capacité en Albanie ainsi que sur les meilleures stratégies à mettre en place pour y répondre. Un premier réseau informel composé de neuf professionnels a été formé en juillet 2011. Les discussions à ce niveau ont permis de : • Consolider le besoin de création d’une société nationale d’évaluation en Albanie; • Clarifier le type de société désiré, le type d’évaluation à promouvoir ainsi que la nature du

membership attendu. Quelques premières actions à mettre en place ont également été identifiées. Parallèlement et profitant de la proximité géographique avec la SQEP, le leader albanais a pris contact dès juin 2011 avec le président de cette société pour explorer les possibilités de soutien dans la démarche albanaise. L’accueil étant d’emblée favorable, le Conseil d’administration de la SQEP a par la suite : • Confirmé son intention d’aller de l’avant avec le partenariat demandé; • Désigné comme répondante sa déléguée à la Francophonie3.

Cette première phase du partenariat s’est concrétisée sous un mode informel et personnalisé par le biais de rencontres et d’échanges réguliers entre le répondant SAEP et la répondante SQEP. De plus, ce partenariat était ciblé, c’est-à-dire qu’il focalisait sur les besoins exprimés progressivement et spécifiquement par la SAEP (accompagnement « à la carte »). • La SQEP mettait sa propre expérience cumulée depuis sa création en 1988 à la disposition de la

SAEP pour alimenter sa réflexion et ses décisions. • La SAEP conservait toute latitude décisionnelle.

Ainsi pendant cette période, le leader albanais et son groupe ont eu accès à une diversité de publications touchant, d’une part le développement et le renforcement de sociétés nationales d’évaluation et de systèmes nationaux d’évaluation (Banque mondiale, IDEAS, OICE, PNUD, UNICEF, etc.), et d’autre part le renforcement de la capacité individuelle et institutionnelle. Cela leur a permis d’accéder aux apprentissages partagés par la communauté internationale en évaluation et de clarifier le processus le plus approprié pour soutenir le développement de l’évaluation en Albanie. Quand un large consensus a été atteint, le groupe a entrepris un processus de formalisation. Ainsi la SAEP a été légalement établie en octobre 2011 et reconnue par le gouvernement albanais. Elle a été incorporée en vertu des lois 8788, et 8789 dt. 07.05.2001. • Ses statuts et règlements de la SAEP ont été rédigés en conformité avec ces lois.

Tout en s’ancrant fermement avec la réalité albanaise, le groupe de volontaires a tenu compte du positionnement des autres sociétés nationales d’évaluation comme élément d’inspiration pour, par la suite, déterminer ses propres fondements. Ceux-ci ont fait l’objet d’un large consensus auprès des acteurs albanais consultés. La SAEP est une organisation professionnelle pour les personnes déjà impliquées ou qui voudraient être impliquées en évaluation. Elle se veut une société ouverte, non exclusive cherchant à rassembler toute personne intéressée par l’évaluation, qu’elle soit décideur politique, gestionnaire, praticien, professeur, étudiant ou autre, et qu’elle provienne du gouvernement, des divers réseaux publics, privés, intersectoriels, municipaux ou communautaires. La SAEP se veut être un acteur qui stimule le dialogue entre diverses communautés et qui crée des occasions d’échanges sur des thèmes d’intérêt commun. L’accent est mis à donner un caractère collectif au positionnement de l’évaluation en Albanie. Une réflexion a lieu pour trouver des sujets d'intérêt commun avec d'autres organisations albanaises afin de programmer des activités conjointes. Les membres de ces organisations sont d’ailleurs fortement encouragés à devenir membre.

2 Fation Luli, éventuel président de la SAEP 3 Marie Gervais, vice-présidente de la SQEP

Étant une toute jeune société, la SAEP comptait 13 membres en date de juillet 2012. • Elle vise un membership de 90 membres d’ici la fin 2013. • Elle fait donc face à un important défi de recrutement. • Pour y arriver, il a été décidé qu’à cette phase, l’adhésion à la SAEP serait gratuite.

La SAEP se définit par ailleurs comme une société à but non lucratif possédant une constitution formelle. • Elle est dirigée par un président et animée par un conseil d’administration de cinq membres qui

en assure la gouvernance globale et la programmation des activités. • Ceux-ci rendent compte à l’Assemblée des membres. • Cette Assemblée élit, pour des mandats de deux ans, le président et les membres du conseil

d’administration. Il faut noter que la SAEP est une société animée et coordonnée par des volontaires. Selon ce principe de volontariat, aucune rémunération matérielle ni financière n’est procurée aux membres du CA pour la durée de leur mandat. La SAEP a également précisé sa mission, soit : • Contribuer au développement de l'évaluation de programme en Albanie, et • Promouvoir son utilisation dans les organisations publiques et privées.

Elle vise à promouvoir la théorie, la pratique, la compréhension et l'utilisation de l'évaluation à travers les objectifs spécifiques suivants : • Fournir une formation de base et du perfectionnement professionnel dans les domaines liés à

l'évaluation; • Déterminer les principes éthiques et les normes de pratique de l'évaluation en Albanie et

promouvoir leur utilisation; • Encourager le développement de la théorie et de la pratique de l'évaluation par la publication de

ces avancées et en reconnaissant les contributions exceptionnelles; • Organiser des forums d’échanges qui fournissent des opportunités de réseautage et

d’enrichissement du champ de l’évaluation (séminaires, ateliers, conférences, etc.); • Faire la promotion de l’évaluation (advocacy) et encourager la compréhension et l'utilisation de

l'évaluation; • Réunir les membres qui ont des intérêts similaires en évaluation.

La SAEP a également élaboré son premier plan stratégique. Celui-ci a été adopté par son conseil d’administration en février 2012. Il se décline en quatre axes principaux, soit la promotion de l’évaluation, la coopération internationale professionnelle, le développement professionnel et l’enseignement de même que le financement. 1. Promotion de l’évaluation

• Renforcer le positionnement institutionnel de la SAEP et établir un consensus national sur la légitimité et la crédibilité de l'évaluation en vue de son utilisation systématique dans la prise de décision;

• Soutenir la promotion d’une culture de l'évaluation (nationale, organisationnelle, professionnelle) et le développement des principes généraux, des procédures, d’un code d’éthique et des règles de conduite pour la réalisation et la commande d'évaluations;

• Réaliser un plaidoyer dirigé vers l’État d’Albanie visant à soutenir le développement des modèles et des pratiques d’évaluation des politiques et programmes publics et la sensibilisation dans la haute fonction publique;

• Réaliser un plaidoyer dirigé vers l’État d’Albanie visant à inscrire l’évaluation des politiques et programmes publics comme une priorité stratégique et de mobiliser les ressources nécessaires à cet effet;

• Évaluer les besoins et l'environnement des membres actuels et des membres potentiels. 2. Coopération internationale professionnelle

• Développer un réseautage et des activités de coopération, et d’échanges avec des associations internationales visant des objectifs similaires en vue de renforcer la communauté albanaise de la pratique évaluative d’évaluation;

• Bâtir les compétences en évaluation par la création d’occasions d'apprentissage avec des sociétés déjà expérimentées;

• Participation aux activités de coopération et aux forums pour l’échange de bonnes pratiques sur la théorie et la pratique de l’évaluation et développer de nouvelles connaissances en évaluation;

• Développer des accords de partenariat entre la SAEP et d’autres sociétés d’évaluation; • Réaliser des projets et des publications communes ainsi que des activités de recherche en

évaluation. 3. Développement professionnel et enseignement

• Constituer un corpus théorique et technique accessible pour tous les acteurs publics et privés de l’évaluation en Albanie et contribuer au développement des connaissances, des compétences et des méthodes d’évaluation ainsi qu’à l'installation d'une culture d"évaluation de programmes. Cela inclut la publication d’articles et de livres d’évaluation en langue albanaise;

• Introduire un cours de base en évaluation de programmes dans une université publique d’Albanie;

• Exercer une recherche active d’opportunités de formation et de développement professionnel; • Explorer la possibilité de contribution des membres de SAEP au sein de groupes de travail

internationaux en évaluation; • Créer une plateforme électronique de communication pour la communauté albanaise

d’évaluation; • Apprendre de bonnes pratiques sur la scène internationale; • Appeler à la création de groupes d'étude et d’équipes de recherche axées sur l'évaluation

dans les organismes sans but lucratif et dans les universités; • Renforcer la présence des membres ou partenaires institutionnels stratégiques à la SAEP

(universités, municipalités, ministères, organismes internationales etc.). 4. Financement

• Établir des objectifs financiers et s’assurer d’une diversification des sources de revenus; • Définir une approche stratégique de la gestion financière; • Identifier et mener des activités spécifiques de levée de fonds suffisants pour financer les

activités d'évaluation mises de l’avant par la SAEP; • Rechercher des fonds internationaux provenant d’agences donatrices pour la coopération

internationale pour appuyer le développement de la SAEP et ses activités; • Trouver des bourses de formation en évaluation au niveau international pour des étudiants; • Associer des commanditaires aux activités de la SAEP; • Maintenir un équilibre approprié entre une dépendance à l'égard du temps de bénévolat et de

travail censé être effectué par un Secrétariat rémunéré. Vers un accord cadre du partenariat entre la SAEP et la SQEP Considérant la fréquence et la nature des échanges entre les répondants SAEP et SQEP ainsi que les résultats positifs qui y ont été associés à ce jour, il a été convenu de conforter ce partenariat en signant en mai 2012 un accord cadre permettant de baliser formellement la nature de cette collaboration entre les deux sociétés. Cet accord cadre, d’une durée de deux années et renouvelable avec l’approbation des deux conseils d’administration, concerne tous les domaines de collaboration jugés d’intérêt mutuel par les deux sociétés. Les activités suivantes d’accompagnement et d’expertise conseil de la part de la SQEP sont notamment déjà engagées : • Soutien à la formalisation de la SAEP (statuts, offre de services aux membres); • Soutien au développement de la capacité individuelle et institutionnelle en évaluation des

membres de la SAEP (formation universitaire, formation continue auprès de la communauté émergente d’évaluateurs);

• Soutien à l’intégration de la SAEP dans les réseaux d’évaluation existant en Europe, dans la Francophonie et au plan international;

• Soutien à la promotion de l’évaluation en Albanie (normes de pratique, principes éthiques). À titre indicatif, cet accompagnement a permis : • La participation de deux membres de la SAEP à une réunion du conseil d’administration de la

SQEP;

• Le soutien direct à la clarification de la mission de la SAEP ainsi qu’à l’élaboration de son plan stratégique et de sa stratégie à long terme visant le renforcement de capacité de SAEP;

• Certaines activités de mentorat sur des questions spécifiques. Déjà deux retombées positives pour la SAEP Une première retombée consiste en la concrétisation de la démarche d’adhésion de la SAEP, d’une part à l’Organisation internationale de la coopération en évaluation (OICE) (octobre 2011), ce qui facilite sa mise en lien avec les débats internationaux, et d’autre part au Réseau francophone d’évaluation (RFÉ) (juillet 2012), lequel est actuellement en processus de relance. • Cette adhésion au RFÉ inscrit formellement l’Albanie comme un acteur adhérent aux principes

de la Déclaration de Strasbourg (2008) et vise à faire de la SAEP un partenaire engagé dans les différents projets qui se développeront ultérieurement dans la Francophonie internationale.

La deuxième retombée majeure concerne l’initiative « EVAlbanie ». • Celle-ci a été développée conjointement par la SAEP et la SQEP dans le cadre d’EvalPartners

sous la responsabilité de l’OICE et d’UNICEF. • EVAlbanie a été officiellement endossée par EvalPartners en juillet 2012, étant considérée

comme une initiative porteuse pour l’ensemble de la communauté internationale d’évaluation. EVAlbanie s’insère naturellement dans les principes mis de l’avant par EvalPartners. Il est question de mentorat et d’accompagnement d’une société nationale d’évaluation plus expérimentée dans la planification et la réalisation d’actions identifiées comme étant prioritaires par une société nationale d’évaluation émergente, d’appui technique et de transfert d’expertise de la société nationale d’évaluation plus expérimentée vers la société nationale d’évaluation émergente, et ce dans une perspective d’habilitation et d’autonomie dans des délais réalistes. L’initiative EVAlbanie cible la réalisation des trois projets particuliers qui viennent appuyer la réalisation du plan stratégique de la SAEP. Le premier concerne le renforcement de la capacité institutionnelle de la SAEP, en cohérence et en continuité avec les efforts déployés à ce jour. Il est question notamment de la mise en place d’un secrétariat permanent qui appuiera l’ensemble des activités de la SAEP et du développement de son site WEB. Le deuxième projet interpelle à la fois la demande d’évaluation que la SAEP veut susciter au sein des différentes structures du pays et l’offre en évaluation qu’elle souhaite renforcer via le développement professionnel. Ainsi, la SAEP souhaite : • Offrir à court terme des activités de sensibilisation sur l’importance de l’évaluation des politiques

et des programmes dans un contexte d’administration publique, en appui avec la gestion axée sur les résultats;

• Contribuer à l’augmentation du nombre d’évaluateurs praticiens et au renforcement de la capacité des évaluateurs actuellement actifs en Albanie par le développement d’une offre de formation qualifiante de courte durée et par la tenue d’ateliers de développement professionnel sur des thèmes jugés prioritaires.

Cela conduit au troisième projet qui vise le développement d’une offre de formation universitaire en évaluation en Albanie. Il est question de : • Développer à court terme un premier cours en évaluation de programme à être donné par une

université albanaise; • Démarrer les discussions devant conduire au développement à moyen terme d’un deuxième

cycle en évaluation de programme.

Stratégie et mise en œuvre basée sur le cadre conceptuel de capacités nationales d'évaluation développement. Veuillez décrire comment votre VOPE a contribué (ou a l'intention de contribuer) à:

• Renforcer un environnement propice á l’évaluation; • Développer et de renforcer une stratégie durable pour améliorer les capacités individuelles à

effectuer des évaluations crédibles et utiles; • Renforcement des évaluations et des systèmes d'évaluation axée sur l'équité et de gendre.

Veuillez également décrire comment votre VOPE renforcé sa propre capacité institutionnelle afin d'être en mesure de proposer sur les trois questions mentionnées ci-dessus. Voir la section « Histoire »

Contraintes:

• L’absence de ressources (techniques et financières) pour soutenir à la fois les efforts initiaux de développement de la SAEP et la réalisation des premières actions d’où en contrepartie, l’investissement personnel considérable qui a été nécessaire chez les membres fondateurs;

• Le fait d’avoir un « président non résident en Albanie » qui dirige la SAEP à distance, ce qui complexifie les mécanismes de communication et demande une capacité d’adaptation importante de la part du conseil d’administration;

• Vouloir développer une VOPE dans un pays sans culture ni capacité en évaluation, et donc dans un contexte où ni l’offre en évaluation, ni la demande en évaluation ne sont au rendez-vous;

• Un partenariat SAEP-SQEP développé sur une base strictement bénévole, ce qui peut fragiliser et conditionner dans le temps l’intensité de l’accompagnement selon la disponibilité des répondants.

Progrès et résultats:

Progrès et résultats attendus : Voir la section « Histoire »

Résultats inattendus :

La capacité de mobiliser aussi rapidement un petit groupe d’acteurs enthousiastes et capables de travailler en équipe autour d’un projet de société nationale d’évaluation qui s’est concrétisée par une émergence rapide, et ce, malgré l’absence de tradition d’évaluation dans le paysage albanais et de financement dédié.

Facteurs essentiels:

• La présence d’un champion porteur d’une vision et d’un petit groupe de volontaires dédiés à la mise en place d’une société nationale en évaluation; leur provenance variée facilitant également la prise en compte des divers contextes de pratique;

• Le choix fait d’aller rapidement vers la formalisation de la SAEP comme stratégie à la fois de mobilisation et de renforcement de la légitimité et de la crédibilité compte tenu du contexte albanais;

• L’accompagnement précoce de la SAEP par une société nationale d’évaluation expérimentée, la SQEP; un mentorat développé selon un rythme et des besoins spécifiquement déterminés par la SAEP;

• Le choix de se définir une vision globale mais de procéder rapidement au développement d’une action structurante qui mobilise, ici EVAlbanie;

• L’accès facilité aux apprentissages de la communauté internationale en renforcement de capacité et au réseautage pour enrichir la réflexion et les premières orientations stratégiques de la SAEP.

Innovations et leçons apprises: Leçons apprises

On peut faire beaucoup avec peu Il est possible de créer une société nationale d’évaluation sans financement externe en s’appuyant essentiellement sur du travail et des partenariats bénévoles. Toutefois, cela a ses limites et peut compromettre la survie à brève échéance d’une telle société. L’enjeu du financement est au cœur de la capacité de développement d’une VOPE.

Gérer et doser les ambitions Vouloir développer une société nationale en évaluation, et de là, faire progresser l’évaluation au sein des différentes structures d’un pays peuvent constituer des défis de taille lorsqu’il y a absence de culture et de capacité en évaluation dans ce pays. Comment évoluer dans un contexte où tout est à construire en évaluation et à promouvoir ? D’où l’importance de : • Élaborer une vision de l’évaluation et des stratégies de développement qui correspondent aux

caractéristiques spécifiques du dit pays; • Procéder par étapes réalistes et réalisables qui permettent des petits succès qui encouragent et

stimulent à poursuivre; • Maintenir l’ancrage et la communication avec les différents milieux intéressés par l’évaluation; • Se donner le droit de se réajuster régulièrement comme VOPE compte tenu de la réceptivité de

l’environnement et des ressources réellement disponibles.

Accorder de l’importance au facteur humain

Le maintien de la mobilisation des volontaires au fil du temps ainsi que leur capacité de travail en équipe sont des ingrédients essentiels pour assurer la progression d’un projet de création d’une VOPE.

Réseauter en temps opportun L’expérience vécue a démontré qu’il s’avère plus productif de cibler les efforts de réseautage sur des projets/dossiers spécifiques permettant rapidement l’actualisation de collaborations plutôt que d’aller chercher de façon précoce un soutien général sans cible précise, ce qui a génère rapidement un relâchement de l’intérêt. Innovation

Avoir rapidement sollicité le mentorat d’une VOPE plus expérimentée a donné confiance aux membres fondateurs de la SAEP dans le cheminement emprunté. Cette synergie leur a permis de tester certaines décisions et stratégies avant leur actualisation en plus de tirer profit d’expériences conduites par d’autres.

Prochaines étapes:

En un peu plus d’un an, la SAEP a rapidement progressé. Elle s’est formalisée, a obtenu un statut juridique, a déterminé ses statuts, s’est dotée d’un plan stratégique, a signé un accord cadre de collaboration avec la SQEP, a développé conjointement avec cette société une initiative structurante « EVAlbanie » avec le soutien d’EvalPartners et a amorcé son rayonnement international notamment en se positionnant dans la Francophonie et en s’approchant du Network of European Society of Evaluation (NESE). La SAEP fait toutefois face à plusieurs défis d’importance qu’elle devra aborder avec stratégie afin de prévenir l’essoufflement et une dispersion qui pourrait s’avérer non productive. Elle devra maintenant livrer ce qu’elle a annoncé dans son plan stratégique et dans l’initiative EVAlbanie. Ainsi, sa rapide progression doit maintenant se transposer en actions concrètes sur le terrain, question de confirmer sa légitimité et sa crédibilité comme acteur albanais oeuvrant à une saine démocratie et à une bonne gouvernance. Pa ailleurs et bien qu’elle ait démontré qu’elle peut créer et maintenir dans ses premières phases de vie une société nationale d’évaluation sans soutien politique direct et avec des ressources très limitées, la SAEP devra dorénavant s’assurer de l’intérêt, du soutien et du financement nécessaires pour réaliser ses ambitions. • Elle devra stimuler l’intérêt face à l’évaluation (plaidoyer), favoriser l’engagement des pouvoirs

publics et mobiliser des partenariats à différents paliers, gouvernementaux, universitaires et internationaux.

• Elle devra rapidement aller chercher les fonds nécessaires au démarrage des premières activités de sensibilisation et de renforcement de capacité.

Elle compte également accroitre sa visibilité par l’ouverture officielle prochaine de son bureau en Albanie et par le lancement de son site Web. Au plan opérationnel, elle compte sur la mise en place d’un secrétariat et de divers comités (ex : éthique et normes, développement professionnel et formation, publications et relations internationales) en mesure d’appuyer au quotidien la coordination et la réalisation de ses activités. La SAEP est également consciente du défi important d’animation d’une communauté émergente d’évaluateurs. Comment intéresser, mobiliser, assurer le développement professionnel, soutenir l’identité professionnelle en plus de valoriser une pratique de qualité dans un tel contexte? • Des efforts pour développer les services offerts à ses membres, multiplier les rencontres avec

les acteurs clés concernés par le développement de l’évaluation en Albanie et pour appuyer la professionnalisation de l’évaluation devront également prendre place.

• Sur ce dernier point, une réflexion est prévue sur les compétences, les normes de pratique et les principes éthiques applicables en Albanie.

Finalement, la SAEP est consciente des efforts importants qui devront être déployés inlassablement auprès d’une société albanaise sans culture d’évaluation établie. Son rôle de promoteur de l’évaluation auprès des institutions et individus est d’autant plus important et empreint d’un potentiel d’influence significatif. Version du 20 septembre 2012