116
Establishment of National Authority for Qualifications Autoritatea Naţională pentru Calificări (ANC) File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 1 of 45 Date: 29th of July 2009 Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International Ghidul de aplicare a M4 - Metodologia de certificare a calificǎrilor şi competenţelor Evaluarea competenţelor profesionale

Ghidul de Aplicare Al Metodologiei M4

Embed Size (px)

DESCRIPTION

Prin comparaţie cu ghidul utilizat anterior de cǎtre centrele de evaluare, acesta este mult maiconsistent. Acest lucru se datoreazǎ faptului cǎ ghidul a fost elaborat pentru a facilitaformarea profesionalǎ a personalului implicat în evaluare. Din acest punct de vedere, acestghid reprezintǎ, de fapt, un ghid de evaluare şi nu neapǎrat un ghid care sǎ fie corelat în modspecific doar cu metodologia M4. Acest ghid abordeazǎ comprehensiv evaluareacompetenţelor şi este menit formării în mod activ a personalului implicat în evaluare în EFP.

Citation preview

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 1 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Ghidul de aplicare a M4 - Metodologia de certificare a calificrilor i competenelor

    Evaluarea competenelor profesionale

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 2 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Cuprins 1 Introducere .............................................................................................................................. 5 2 Principiile evalurii ............................................................... Error! Bookmark not defined.

    2.1 Principiile tehnice ale evalurii ...................................... Error! Bookmark not defined. 2.2 Msuri de asigurare a conformitii cu principiile evalurii .........Error! Bookmark not defined.

    2.2.1 Validitatea ............................................................... Error! Bookmark not defined. 2.2.2 Credibilitatea .......................................................... Error! Bookmark not defined. 2.2.3 Corectitudinea ......................................................... Error! Bookmark not defined. 2.2.4 Flexibilitatea............................................................ Error! Bookmark not defined. 2.2.5 Transparena ............................................................ Error! Bookmark not defined.

    2.3 Importana adecvrii evalurii la nivelul de calificare .. Error! Bookmark not defined. 2.3.1 Nivelul unei calificri n Cadrul Naional al Calificrilor......Error! Bookmark not defined. 2.3.2 Nivelul unei sarcini de lucru n cadrul unei probe de evaluare .....Error! Bookmark not defined.

    2.3.2.1 Sistemele taxonomice....................................... Error! Bookmark not defined. a. Taxonomia lui Benjamin Bloom pentru domeniul cognitiv ...Error! Bookmark not defined. b. Taxonomia lui Romiszowski privind cunotinele i abilitile .....Error! Bookmark not defined.

    2.4 Colectarea dovezilor valide............................................ Error! Bookmark not defined. 2.4.1 Numrul i natura dovezilor .................................... Error! Bookmark not defined. 2.4.2 Tipuri de dovezi directe/indirecte ........................... Error! Bookmark not defined. 2.4.3 Eantionarea dovezilor ............................................ Error! Bookmark not defined.

    3. Tipuri de evaluare................................................................. Error! Bookmark not defined.

    3.1 Funcii i caracteristici ale evalurii............................... Error! Bookmark not defined. 3.2 Evaluarea iniial/diagnostic: alegerea corespunztoare ............Error! Bookmark not defined. 3.3 Evaluarea formativ: feedback....................................... Error! Bookmark not defined. 3.4 Evaluarea sumativ: evaluarea n vederea calificrii ..... Error! Bookmark not defined. 3.5 Evaluarea integrat: calificare prin eantionare ............. Error! Bookmark not defined. 3.6 Aplicarea tipurilor de evaluare n contexte diferite de nvare ....Error! Bookmark not defined.

    4 Planurile i programele de evaluare ...................................... Error! Bookmark not defined.

    4.0 Introducere n problematica planurilor de evaluare i a programelor de evaluare..Error! Bookmark not defined.

    4.0.1 Planul de evaluare ................................................... Error! Bookmark not defined. 4.0.2 Programul de evaluare............................................. Error! Bookmark not defined.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 3 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    4.1 Elaborarea unui plan de evaluare ................................... Error! Bookmark not defined. Pasul 1: Stabilirea scopului planului de evaluare............. Error! Bookmark not defined. Pasul 2: Evaluarea surselor .............................................. Error! Bookmark not defined. Pasul 3: Stabilirea obiectivelor......................................... Error! Bookmark not defined. Pasul 4: Stabilirea metodelor de evaluare ........................ Error! Bookmark not defined. Pasul 5: Specificarea instrumentelor de evaluare............. Error! Bookmark not defined. Pasul 6: Verificarea planului ............................................ Error! Bookmark not defined.

    5 Tipuri de itemi de evaluare.................................................... Error! Bookmark not defined.

    5.1 Grile de specificare a testelor i itemi iniiali de evaluare ............Error! Bookmark not defined. 5.2 Elaborarea testelor: proiectarea itemilor de evaluare ..... Error! Bookmark not defined.

    5.2.1 Definiie .................................................................. Error! Bookmark not defined. 5.2.2 Clasificarea formatelor de itemi de evaluare........... Error! Bookmark not defined. 5.2.3 Itemi de evaluare discrei i integrativi ................... Error! Bookmark not defined.

    5.2.3.1 Itemi discrei..................................................... Error! Bookmark not defined. 5.2.3.2 Itemi integrativi ................................................ Error! Bookmark not defined.

    5.2.4 Itemi de evaluare obiectivi i subiectivi .................. Error! Bookmark not defined. 5.2.4.1 Itemi obiectivi .................................................. Error! Bookmark not defined. 5.2.4.2 Itemi subiectivi ................................................. Error! Bookmark not defined.

    5.3 Construirea itemilor de evaluare .................................... Error! Bookmark not defined. 5.3.1 Reguli i exemple de bun practic......................... Error! Bookmark not defined. 5.3.2 Recomandri............................................................ Error! Bookmark not defined.

    5.3.2.1 Construirea itemilor de completat i cu rspuns scurt.....Error! Bookmark not defined. 5.3.2.2 Construirea itemilor de tip adevrat/fals .......... Error! Bookmark not defined. 5.3.2.4 Construirea itemilor cu alegere multipl ......... Error! Bookmark not defined.

    6. Metode i instrumente de evaluare/teste 6.1.1. Probe scrise 6.1.2. Probe orale 6.1.3. Probe practice 6.1.4. Proiectul 6.1.5. Portofoliul

    7. Punctarea testelor ................................................................. Error! Bookmark not defined.

    7.0 Introducere ..................................................................... Error! Bookmark not defined. 7.1 Punctajul itemului, formatul i performana cerut........ Error! Bookmark not defined. 7.2 Punctajul brut ................................................................ Error! Bookmark not defined. 7.3 Scale de apreciere a performanelor .............................. Error! Bookmark not defined.

    7.3.1 Scale cantitative....................................................... Error! Bookmark not defined. 7.3.2 Scale calitative......................................................... Error! Bookmark not defined.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 4 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    7.4 Reguli de acordare a punctajului .................................... Error! Bookmark not defined. 8. Realizarea evalurii .............................................................. Error! Bookmark not defined.

    8.1 Competenele cheie ale evaluatorului ............................ Error! Bookmark not defined. 8.1.1 Realizarea observrii directe ................................... Error! Bookmark not defined. 8.1.2 Realizarea interviurilor............................................ Error! Bookmark not defined. 8.1.3 Evaluarea dovezilor................................................. Error! Bookmark not defined. 8.1.4 Oferirea de feed-back .............................................. Error! Bookmark not defined. 8.1.5 Comunicarea n scris ............................................... Error! Bookmark not defined.

    8.2 Conduit profesional .................................................... Error! Bookmark not defined. 8.2.1 Integritate ................................................................ Error! Bookmark not defined. 8.2.2 Empatie.................................................................... Error! Bookmark not defined. 8.2.3 Flexibilitate.............................................................. Error! Bookmark not defined. 8.2.4 Independena evalurii ............................................ Error! Bookmark not defined. 8.2.6 Cooperare ................................................................ Error! Bookmark not defined.

    8.3 Etica furnizorilor de servicii de evaluare ....................... Error! Bookmark not defined. 8.3.1 Accesibilizarea informaiei .................................... Error! Bookmark not defined. 8.3.2 Pregtirea personalului de evaluare......................... Error! Bookmark not defined. 8.3.3 Principiul egalitii .................................................. Error! Bookmark not defined.

    9 Verificarea intern................................................................. Error! Bookmark not defined.

    9.1 Scopul verificrii interne................................................ Error! Bookmark not defined. 9.2 Rolul verificatorului intern............................................. Error! Bookmark not defined.

    9.2.1 Planificarea activitilor de verificare interne ......... Error! Bookmark not defined. 9.2.2 Evaluarea calitii proiectrii evalurii ................... Error! Bookmark not defined. 9.2.3 Evaluarea performanei evaluatorilor...................... Error! Bookmark not defined. 9.2.4 Monitorizarea i verificarea deciziilor de evaluare . Error! Bookmark not defined. 9.2.5 Oferirea de feed-back .............................................. Error! Bookmark not defined. 9.2.6 Colectarea i schimbul de informaii....................... Error! Bookmark not defined. 9.2.7 Pstrarea nregistrrilor realizate pe parcursul evalurii ........Error! Bookmark not defined.

    10: Verificarea extern ............................................................. Error! Bookmark not defined.

    10.1 Cadrul instituional necesar funcionrii organismelor intermediare de certificare.............................................................................................. Error! Bookmark not defined. 10.2 Coordonarea naional a OIC-urilor............................. Error! Bookmark not defined. 10.3 Asigurarea calitii OIC-urilor ..................................... Error! Bookmark not defined. 10.4 Detalii referitoare la realizarea verificrii externe ....... Error! Bookmark not defined.

    10.4.1 Analiza n vederea verificrii externe (cercetare - documentare)Error! Bookmark not defined. 10.4.2 Vizita de verificare extern ................................... Error! Bookmark not defined. 10.4.3 Vizitele suplimentare de verificare extern........... Error! Bookmark not defined. 10.4.4 Vizitele de monitorizare realizate prin eantionareError! Bookmark not defined. 10.4.5 Verificarea prin eantionare a instrumentelor de evaluare...Error! Bookmark not defined.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 5 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    10.4.6 Rapoartele de verificare extern............................ Error! Bookmark not defined.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 6 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    1. Introducere Acest ghid a fost elaborat pentru facilitarea implementrii metodologiei de certificare a calificrilor i competenelor n educaia i formarea profesional (EFP), cunoscut i sub denumirea M4. Metodologia M4 mpreun cu acest ghid fac parte din cadrul metodologic care a fost creat i parial implementat pe parcursul proiectului multi-anual Phare: nfiinarea Autoritii Naionale pentru Calificri din Romnia (2004-2006). Prin comparaie cu ghidul utilizat anterior de ctre centrele de evaluare, acesta este mult mai consistent. Acest lucru se datoreaz faptului c ghidul a fost elaborat pentru a facilita formarea profesional a personalului implicat n evaluare. Din acest punct de vedere, acest ghid reprezint, de fapt, un ghid de evaluare i nu neaprat un ghid care s fie corelat n mod specific doar cu metodologia M4. Acest ghid abordeaz comprehensiv evaluarea competenelor i este menit formrii n mod activ a personalului implicat n evaluare n EFP. Ghidul acoper tematic trei dimensiuni: Proiectarea evalurii (capitolele 1-7) Realizarea propriu-zis a evalurii (capitolul 8) Verificarea intern i extern a evalurii (capitolele 9 i 10).

    Motivul pentru care s-a pus n mai mare msur accentul pe proiectarea evalurii este unul simplu: pn la acest moment, subiectul proiectrii evalurii nu a fost suficient abordat. Prea adesea i nu numai n Romnia se pornete de la prezumia potrivit creia orice specialist cu experien ntr-un domeniu poate s evalueze o persoan care dorete s lucreze n domeniul respectiv. Orice profesor tie cum se realizeaz evaluarea. Am avut parte de evaluri n trecutul nostru, avem experiene personale, aa nct lucrurile nu ar trebui s fie foarte dificile. Prin urmare, nu ar fi prea dificil s formulm cteva ntrebri. Nu-i aa? ns, aceast prezumie se bazeaz pe o interpretare total greit legat de ce nseamn cu adevrat evaluarea de competene. Proiectarea unor instrumente valide i fidele de evaluare este un meteug n sine. Succesul n acest domeniu depinde de o bun nelegere a numeroaselor detalii tehnice. Aceste aspecte tehnice nu sunt dificil de neles, ns nerespectarea lor are un efect negativ asupra desfurrii propriu-zise a evalurii. Dintr-un anumit punct de vedere, se poate spune chiar c utilizarea unor instrumente de evaluare care nu respect principiile tehnice reprezint o risip de timp i de alte resurse. Pentru a prentmpina interpretrile greite, utilizatorii acestui ghid trebuie s fie, de asemenea, contieni de faptul c nvarea mecanic a principiilor tehnice nu i va transforma n buni proiectani de instrumente de evaluare. Proiectarea evalurii este un proces continuu de luare a deciziilor. El se bazeaz pe analiza cerinelor evalurii, a tipurilor de dovezi i pe gsirea celei mai eficiente maniere din punct de vedere financiar pentru evaluarea competenelor la nivelul cerut, prin intermediul celor mai adecvate metode de evaluare, care s asigure o evaluare valid i fidel a obiectivelor stabilite. nvarea mecanic a principiilor sau cutarea unei reete nu reprezint abordarea cea mai potrivit. Acest ghid ofer numeroase

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 7 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    exemple preluate din domenii diverse. Utilizatorilor acestui ghid li se adreseaz provocarea de a transfera aceste exemple n propriile situaii i de a construi mai departe pornind de la ele. De asemenea, trebuie precizat c acest ghid nu se concentreaz pe aspecte exclusiv tehnice. Evaluarea este un domeniu sensibil, iar etica este fundamental n acest domeniu, n special n proiectarea i realizarea propriu-zis a evalurii. Etica joac un rol important n multe etape ale procesului de evaluare. Esenial din acest punct de vedere trebuie s fie abordarea potrivit creia evaluarea competenelor: Trebuie s ofere candidailor la evaluare oportunitatea de a-i demonstra competenele

    i nu s le plaseze capcane. Evaluarea trebuie s ofere oportuniti valide de calificare; Deciziile de evaluare trebuie s fie transparente i consecvente, furnizorul de servicii

    de evaluare s fie un facilitator i s nu influeneze procesul ntr-o manier negativ; Este realizat astfel nct societatea n ansamblul ei s aib ncredere n sistem iar

    candidaii s fie provocai n a-i demonstra cele mai bune performane. n mai multe rnduri, n acest ghid utilizatorul este sftuit s continue documentarea asupra subiectelor pe care le consider de interes. Acest lucru trebuie subliniat nc o dat. Exist suficiente documente disponibile pe internet care ofer detalii suplimentare. Toate aceste informaii nu ar fi putut fi incluse n acest ghid, aa nct este stimulat cutarea activ.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 8 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    2. Principiile evalurii

    2.1 Principiile tehnice ale evalurii Practica evalurii de competene n vederea acordrii unei calificri recunoscute n Cadrul Naional al Calificrilor (CNC), ar trebui s urmeze urmtoarele principii pe care aceast metodologie intenioneaz s le impun:

    1. Metodologia pentru certificarea calificrilor i competenelor se aplic oricrui tip de evaluare a competenelor organizat n educaia i formarea profesional (EFP) care conduce la o calificare;

    2. Metodologia este centrat pe evaluarea rezultatelor nvrii (final) mai degrab

    dect pe o evaluare pentru nvare (formativ);

    3. n contexte formale, non-formale sau informale, caracteristicile eseniale ale evalurii de competene sunt urmtoarele: este voluntar; este raportat la standarde: evaluarea se realizeaz prin raportare la criteriile

    de performan descrise de standardul ocupaional/standardul de pregtire profesional;

    este asigurat din punct de vedere calitativ; se supune principiilor tehnice ale evalurii:

    i. validitate: evaluarea se bazeaz pe dovezile de competen care provin din activitile descrise n standardul ocupaional/de pregtire profesional.

    ii. credibilitate (fidelitate): evaluarea folosete metode care conduc la consecven n obinerea aceluiai rezultat.

    iii. corectitudine: evaluarea trebuie s fie corect fa de toi candidaii, fr discriminare.

    iv. flexibilitate: evaluarea trebuie s fie flexibil pentru a se adecva gamei de contexte n care urmeaz a fi utilizat i nevoilor persoanelor supuse evalurii.

    v. transparen: modalitile de evaluare a dovezilor de competen, modul de apreciere a rezultatelor evalurii trebuie s fie obiective, iar candidatul/reprezentanii acestuia s fie informai asupra acestora.

    vi. simplitate: procedurile de evaluare trebuie s fie simple, uor de neles i de aplicat de ctre toate persoanele implicate.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 9 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Ca regul general, evaluarea de competene n vederea calificrii se bazeaz pe un eantion rezonabil de elemente de competen lund n considerare orice alte cerine formulate de ctre organismul corespunztor de stabilire a standardelor.

    4. Sunt necesare proceduri prin care s se asigure faptul c performana evaluat este cu certitudine a cursantului care urmeaz s primeasc certificatul;

    5. Mijloace alternative de evaluare a cursanilor cu nevoi speciale care ar fi serios

    dezavantajai chiar i n cazurile n care ar reui, n aceste condiii, s ating nivelul de competen cerut pentru calificare;

    6. n Cadrul Naional al Calificrilor, cea mai mic unitate recunoscut la evaluarea

    organizat n scopul acordrii unei calificri este o unitate de competen;

    7. Furnizorii de evaluare sunt responsabili de organizarea sesiunilor n care se realizeaz evaluarea competenelor candidailor;

    8. Furnizorii de evaluare se vor asigura c procedurile de evaluare sunt cunoscute de

    ctre cursani i vor lua msuri pentru a se asigura c aceste proceduri sunt respectate corespunztor, inclusiv n ceea ce privete selectarea i formarea personalului care realizeaz evaluarea.

    2.2 Msuri de asigurare a conformitii cu principiile evalurii Muli specialiti n domeniul educaiei sunt contieni de faptul c o serie de principii tehnice trebuie respectate atunci cnd este vorba de evaluare. Aceste principii tehnice ar trebui s conduc la - i respectarea lor ar trebui s aib ca rezultat - o evaluare de bun calitate. Cele mai bine cunoscute principii tehnice sunt validitatea, credibilitatea, transparena, corectitudinea i flexibilitatea. Alte principii tehnice sunt mai rar ntlnite, precum: adecvarea la obiective, congruena, potenialul discriminatoriu (sensibilitatea) i altele asemenea. Majoritatea specialitilor n educaie i formare sunt capabili s ofere o definiie sau o descriere a celor mai des ntlnite principii tehnice, ns va exista ntotdeauna o varietate considerabil n rndul acestora, deoarece sunt vehiculate diverse nelegeri ale conceptelor. Cu toate acestea, problema n acest capitol nu este cea de definire a termenilor, ci abordarea mai detaliat a manierei n care se poate asigura conformitatea cu aceste principii. Ce msuri pot asigura: validitatea, credibilitatea, corectitudinea, flexibilitatea i transparena

    evalurii?

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 10 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Pentru descrierea acestor concepte, a fost fcut o alegere pragmatic de utilizare a unei definiii sau a unei descrieri care s fie uor de neles de ctre oricine. Definiii tiinifice mai adecvate pot fi regsite n literatura de specialitate n domeniul evalurii sau pe internet. Nu trebuie dect s introducei termenul care v intereseaz ntr-un motor de cutare i vei avea parte de o adevrat explozie de informaii. n urmtoarele tabele, fiecare dintre cel mai des ntlnite principii prezentate mai sus au fost detaliate.

    2.2.1 Validitatea: Validitatea reprezint msura n care un test msoar ceea trebuie s msoare. Cu alte cuvinte, o evaluare poate fi considerat valid dac testeaz dovezi ale competenei care decurg din activitile descrise n cadrul standardului ocupaional/ de pregtire profesional i dac se pot trage concluzii valide pe baza rezultatelor acestei testri. n contextul de evaluare educaional, se face distincia ntre mai multe tipuri de validitate.

    1. Validitatea de faad: n aparen (la prima vedere) testul (item-ul) pare a msura ceea ce intenioneaz s msoare.

    2. Validitatea de construct sau de coninut : pe baza analizei, se confirm prin dovezi faptul c un item msoar efectiv ceea ce i-a propus s msoare. Calitile care contribuie la validitatea de construct sunt: Validitatea criteriului Validitatea concurent Validitatea discriminant

    Validitatea de faad are o valoare superficial. Ea ofer o indicaie care poate conduce la concluzii greite. Mai important este stabilirea validitii de construct sau de coninut prin intermediul unei riguroase testri psihometrice a item-ilor. Elemente ale validitii de construct care

    determin validitatea evalurii Msuri de asigurare a validitii evalurii

    1. Validitatea criteriului: Itemii de evaluareevaluare acoper aria avut n vedere/se concentreaz pe criteriile de performan care trebuie testate.

    Utilizai numai criteriile din standarde la definirea ariilor care trebuie testate; Evitai msurarea altor manifestri ale criteriilor fa de cele avute n vedere; Itemii de evaluareevaluare trebuie s fie independeni (nici un item nu trebuie s dezvluie rspunsul la itemii de evaluareprecedeni); Evitai manifestarea preferinelor individuale prin tipare de rspuns (n cazul testelor gril); Itemii de evaluare trebuie s corespund obiectivului testului; Evitai subiectivismul legat de evaluare i de genul candidailor; Realizai analiza psihometric a punctajelor testelor acolo unde este necesar, analizai rezultatele testelor.

    2 Validitatea concurent: evaluarea realizat n baza aceluiai concept ns cu metode diferite de evaluare (testare) conduce la rezultate similare

    Testai competenele cerute utiliznd metode diferite care s duc la rezultate similare. Validai astfel rezultatele obinute pe parcursul testrii;

    3 Validitatea discriminant: evaluarea nu msoar ceea ce nu ar trebui s msoare.

    Scorul obinut la itemii de evaluare face posibil diferenierea ntre cursanii competeni i cei care nu sunt nc competeni;

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 11 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Utilizai un limbaj adecvat nivelului de competen i de nelegere al cursantului; Realizai analiza psihometric a punctajelor testelor, acolo unde este necesar, analizai rezultatele testrii.

    Definirea obiectivului testrii, construirea unor itemi de evaluare care s corespund obiectivului, analizarea rezultatelor testrii pentru a determina calitatea fiecruia dintre itemii de evaluare i stabilirea unui prag de performan minim reprezint elementele eseniale n determinarea validitii unei testri eficace. ntr-o situaie ideal, analiza riguroas a rezultatelor testrii are loc nainte de acordarea punctajelor finale pentru testele respective. Contientizarea msurilor de asigurare a validitii reprezint un prim pas i ar trebui s ghideze proiectarea testrii.

    2.2.2 Credibilitatea: Credibilitatea (fidelitatea) se refer la msura n care rezultatele evalurii reprezint o apreciere exact a abilitilor candidatului prevzute prin criteriile de evaluare. n alte cuvinte, o evaluare poate fi considerat a fi credibil sau fidel dac furnizeaz un set substanial de msurtori ale obiectului evalurii independent de condiiile n care are loc evaluarea - evaluatorul, momentul, instrumentele i auxiliarele de evaluare.

    Elemente care determin credibilitatea evalurii

    Msuri care s asigure credibilitatea evalurii

    1. Fidelitatea ntre evaluatori: toi corectorii n cadrul unei evaluri specifice corecteaz munca tuturor candidailor consecvent i consistent.

    1. Oferirea unor instruciuni de punctare lipsite de ambiguitate;

    2. Notarea este precis, fr erori; 3. Notarea este verificat; 4. Utilizarea unor bareme lipsite de ambiguitate; 5. Instruirea evaluatorilor; 6. Evidenierea subiectivismului evaluatorilor i

    luarea msurilor de prevenire a manifestrii acestui subiectivism

    2 Fidelitatea n timp: evaluarea repetat n timp cu un instrument specific nu influeneaz rezultatul evalurii

    1. Re-utilizarea planurilor de evaluare/grilelor de specificare a testelor

    2. Utilizarea aceluiai format ca cel anterior (de evaluarei al baremului de corectare)

    3 Fidelitatea condiiilor: condiiile de evaluare nu influeneaz rezultatul evalurii

    1. Standardizarea condiiilor de evaluare ntr-o ct mai mare msur

    2. Specificarea condiiilor n care ar trebui s fie organizat evaluarea

    3. Verificarea condiiilor nainte de nceputul evalurii i soluionarea posibilelor riscuri perturbatoare

    4 Fidelitatea instrumentelor i a auxiliarelor de evaluare: instrumentele i auxiliarele de evaluare nu influeneaz rezultatul unei evaluri n timp.

    1. Specificarea auxiliarelor necesare evalurii; 2. Verificarea disponibilitii auxiliarelor necesare; 3. Verificarea calitii auxiliarelor necesare.

    Aa cum s-a artat mai sus, credibilitatea (fidelitatea) rezultatelor evalurii este determinat de un numr de factori. n situaia ideal, nici unul dintre aceti factori nu va influena rezultatul unei evaluri. n situaii reale (de exemplu, evaluarea la locul de munc), fidelitatea evalurii va fi influenat negativ deoarece aceste condiii (pe parcursul timpului) nu pot fi controlate 100% de la un loc la altul. Organismul de certificare este cel care determin gradul de credibilitate (fidelitate) acceptat. n practic, un grad ridicat (absolut) de credibilitate poate fi obinut numai n condiii controlate de laborator.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 12 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    N.B. Fidelitatea instrumentelor de evaluare:

    2.2.3 Corectitudinea: Corectitudinea reprezint msura n care un test ofer oportuniti egale cursanilor i evit orice tip de discriminare .

    Elementele care determin corectitudinea evalurii

    Msuri care asigur corectitudinea evalurii

    1. Prejudeci culturale i/sau de gen: Itemii de evaluare nu discrimineaz minoriti, pe baze culturale sau de gen

    Utilizai doar criteriile preluate din standarde pentru a defini domeniile care trebuie testate; Evitai utilizarea itemilor de evaluare care discrimineaz minoriti, pe baze culturale sau de gen; Itemii de evaluaretrebuie s fie neutru construii din punct de vedere al genului; Evaluai rezultatele testului obinute sub aspectul corectitudinii.

    2 Dizabiliti Proiectai mijloace alternative valide de evaluare a cursanilor cu dizabiliti (de exemplu, cu probleme de citire) dac competena cerut n conformitate cu standardul poate fi msurat i ntr-o manier diferit.

    2.2.4 Flexibilitate: Flexibilitatea evalurii reprezint msura n care ndeplinirea criteriilor de competen poate fi msurat n contexte diferite ntr-o manier valid. Elementele care determin flexibilitatea

    evalurii Msuri care asigur flexibilitatea evalurii

    1. Flexibilitatea evalurii: Metodele de evaluare sunt elaborate astfel nct s fie adecvate obiectivelor urmrite ntr-un context dat fr s reduc validitatea i/sau fidelitatea rezultatelor testrii

    Proiectanii evalurii contientizeaz contextul (posibilitile i constrngerile sub care sunt utilizate metodele de evaluare/testele)

    AUTO EVALUAREA

    Sczut nalt FIDELITATE

    TEST GRIL STANDARDIZAT

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 13 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    2.2.5 Transparena: Transparena reprezint gradul de informare al cursanilor cu privire la evaluare Elementele care determin transparena

    evalurii Msuri care asigur transparena evalurii

    1. Transparena obiectivelor evalurii: Candidatul este informat corespunztor cu privire la evaluare.

    Informai candidaii cu mult timp nainte cu privire la obiectivul evalurii; Informai candidaii cu privire la maniera de desfurare a evalurii, tipurile de itemi de evaluare, numrul de itemi, utilizarea rezultatelor testrii.

    2 Transparena deciziilor de evaluare: Deciziile luate pe baza dovezilor de evaluare sunt determinate ntr-un mod lipsit de ambiguitate

    Evitai subiectivismul evaluatorilor (stimulai capacitatea acestora); Utilizai instruciunile de punctare; Verificai punctarea; Stabilii dreptul candidailor de acces la rezultatele testrii.

    2.3 Importana adecvrii evalurii la nivelul de calificare Pe baza principiului validitii, o evaluare intenioneaz s msoare ceea ce ar trebui s msoare. Acest lucru implic nu numai realizarea unor consideraii atente legate de metoda de evaluare i coninutul propriu-zis, ci, de aceeai importan, este i nivelul la care trebuie evaluat coninutul. Pe baza rezultatului procedurii de evaluare, evaluatorul trebuie s fie capabil s realizeze deducii valide i consecvente referitoare la nivelul de competen. n general, sunt dou aspecte ale noiunii de nivel care trebuie permanent avute n vedere. O distincie trebuie fcut din acest punct de vedere ntre:

    1. nivelul unei calificri din Cadrul Naional al Calificrilor; 2. nivelul unei probe de evaluare.

    2.3.1 Nivelul unei calificri n Cadrul Naional al Calificrilor n Cadrul Naional al Calificrilor fiecare calificare a fost definit la un anumit nivel. Aceasta este una dintre caracteristicile eseniale ale cadrului n sine. La ora actual, n cadrul calificrilor din Romnia au fost definite cinci niveluri de calificare. Fiecare nivel este descris printr-o apreciere calitativ: descriptorul de nivel. Aceti descriptori se refer la aspecte precum complexitatea sarcinilor de lucru i autonomia lucrtorilor calificai la acel nivel specific. Descriptorii au un caracter generic, nu sunt foarte specifici, ns trebuie, cu siguran, s fie luai n calcul la imaginea de ansamblu atunci cnd se discut realizarea unor proiecte de evaluare sau desfurarea propriu-zis a evalurii pentru o anumit calificare.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 14 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Avnd ca referin reglementrile elaborate de Biroul Internaional al Muncii (ILO) ISCO 88 COM, la nivelul Uniunii Europene (Decizia Consiliului 85/368/EEC) au fost definite cinci niveluri de calificare, adoptate i de Romnia, descrise dup cum urmeaz: Nivel 1 nivel de calificare muncitor cruia i se asociaz competene profesionale care implic aplicarea cunotinelor n activitatea profesional, din diverse domenii de activitate, activitate caracterizat prin rutin i sarcini de lucru previzibile; Nivel 2 nivel de calificare muncitor calificat cruia i se asociaz competene profesionale care implic aplicarea cunotinelor ntr o anumit activitate profesional, cu sarcini de lucru nerutiniere, care presupun responsabilitate i munca n echip; Nivel 3 - nivel de calificare tehnician/maistru - cruia i se asociaz competene profesionale care implic aplicarea cunotinelor ntr-o arie extins a activitii profesionale, cu sarcini de lucru diverse i complexe, care exclud rutina. Sarcinile de lucru presupun luarea unor decizii, responsabilitate i, uneori, munca n echip cu atribuii de coordonare; Nivel 4 - nivel de calificare cruia i se asociaz competene profesionale care implic aplicarea cunotinelor ntr-o arie extins a activitii profesionale, cu sarcini de lucru diverse i complexe, caracterizate printr-un grad semnificativ al responsabilitilor personale, al coordonrii activitii i alocrii resurselor necesare desfurrii eficiente a respectivelor activiti profesionale; Nivel 5 - nivel de calificare cruia i se asociaz competene profesionale care implic folosirea cunotinelor n contexte ale activitii profesionale deosebit de diverse, complexe i neprevizibile. Acest nivel se caracterizeaz prin luarea de decizii n mod independent, responsabilitate personal ridicat, sarcini privind coordonarea activitii personalului, alocarea de resurse, activiti de analiz, diagnoz, proiectare, planificare, execuie i control. La nivelul 1, un lucrtor trebuie s fie capabil s aplice cunotinele dobndite prin ndeplinirea de activiti cu caracter rutinier, realizate sub supraveghere (Cadrul Naional al Calificrilor). La nivelul 3, tehnicianul/maistrul ndeplinete sarcini mai complexe, ia decizii, i asum responsabiliti i poate ndeplini chiar i sarcini de coordonare. Calificrile sunt elaborate ntr-o manier corespunztoare acestor niveluri diferite. Prin urmare, este necesar ca dovezile colectate pe parcursul evalurii s reflecte aceste diferenieri din punct de vedere al nivelurilor? Rspunsul evident este da. Nu exist reguli prescrise n privina acestei abordri, ns o citire atent i nelegerea esenei descriptorilor de nivel reprezint primul pas atunci cnd discutm despre 1) elaborarea unei strategii de evaluare care include construirea planului de evaluare, a programului i a instrumentelor de evaluare i 2) realizarea propriu-zis a evalurii la diferite niveluri. Descriptorii de nivel ofer, de fapt, informaii care contureaz sfera de aciune a unei evaluri eficace. Din acest punct de vedere, reflectai la urmtoarele aspecte privind: 1. Elaborarea unei strategii de evaluare care s includ planul, programul i

    instrumentele de evaluare:

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 15 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Evaluare parial sau evaluare integrat ? Candidaii ar trebui s poat fi angajai pe baza unei calificri pariale n conformitate cu cerinele pieei muncii? Sau ar trebui ca evaluarea s fie integrat (la nivelul unitilor sau al competenelor identificate)? N.B: Luai n considerare cerinele Cadrului Naional al Calificrilor atunci cnd se face alegerea pentru o calificare parial;

    Alegerea metodelor adecvate de evaluare. Nu are logic utilizarea proiectului sau a eseului ca instrumente de evaluare la nivelul 1; proiectul sau eseul sunt mai adecvate de la nivelul 3 n sus, ns nu sunt ntotdeauna necesare;

    Utilizarea limbajului corespunztor. Limbajul utilizat n cadrul procedurilor de evaluare trebuie s fie adaptat nivelului candidailor. Acesta include limbajul folosit n cadrul instruciunilor de evaluare, procedurilor i n cadrul instrumentelor de evaluare;

    Durata sesiunilor de evaluare (durata optim de concentrare pentru candidai); Riscuri privind sntatea i sigurana intervenite pe parcursul evalurii. La ce riscuri

    sunt expui candidaii dat fiind nivelul de performan cerut; Nivelul de responsabilitate al candidatului pe parcursul evalurii; Sprijinul necesar candidailor. Avei n vedere instruciuni sau asistena furnizat n

    completarea de auto-evaluri, oferind posibiliti candidailor de a se familiariza cu metodele de evaluare nainte de organizarea evalurii propriu-zise;

    Nivelul de performan cerut pe parcursul evalurii (descris n detaliu n cadrul paragrafului 2.3.2);

    n ceea ce privete programarea sesiunilor de evaluare: oferirea de posibiliti candidailor de a participa la o singur sau la mai multe ocazii de evaluare.

    2. Evaluarea propriu-zis a candidailor: Stimularea unei atmosfere n care candidaii s se simt n largul lor (evaluarea nu este

    menit a msura capacitatea de a rezista stresului la evaluare, cu excepia cazului n care aceast cerin este prevzut n mod expres n cadrul calificrii: operarea n condiii de stres);

    Utilizarea limbajului adecvat n cadrul probelor orale; Oferirea unui feed-back uor de neles de ctre candidai; Nivelul de supervizare i alte tipuri de sprijin acordate.

    Aa cum s-a precizat i anterior, nu exist reguli prescrise, ns n practic se ntmpl destul de des ca evaluarea candidailor s se desfoare utiliznd proceduri (instrumente de evaluare) care nu sunt deloc adecvate. Practica, experiena i cunoaterea limitrilor i posibilitilor oferite de metodele de evaluare sunt cruciale n evaluarea unei calificri la nivelul cerut i n realizarea alegerilor corespunztoare. Evaluarea trebuie s fie adecvat obiectivelor i s nu fie realizat pe principiul msurii universal valabile. Un lucrtor la nivelul 1 este un lucrtor la nivelul 1 pentru c procesele mentale necesare pentru ndeplinirea unei sarcini nu depesc acest nivel. De la un lucrtor la nivelul 3, printre altele, se ateapt s aib capacitatea de a reflecta asupra activitilor pe care le ndeplinete, s ia decizii, s-i asume responsabiliti i chiar s-i coordoneze colegii de munc. Cu toate c descrierile utilizate sunt unele foarte generale, este evident faptul c un lucrtor la nivelul 3

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 16 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    va trebui s produc dovezi care s reflecte capacitatea de gestionare a proceselor mentale cerute pentru respectivul nivel. Analiza ocupaional, standardul ocupaional i calificrile corespunztoare ofer mai multe informaii despre competenele necesare unui lucrtor la un anumit nivel. Informaiile din aceste documente trebuie s fie nelese n profunzime, altfel evaluatorul recurge la formularea unor ntrebri doar la nivel de cunotine de baz. Exemplul 1: S presupunem c un evaluator de competene profesionale trebuie s asigure respectarea principiilor tehnice ale evalurii. Care ar fi ntrebarea corespunztoare care s fie adresat unui astfel de specialist n cadrul unei probe scrise sau orale? 1. Menionai principiile tehnice ale evalurii 2. Descriei 2 msuri eficace pentru fiecare dintre urmtoarele principii tehnice ale evalurii

    care trebuie respectate (validitatea, credibilitatea i flexibilitatea) Prima ntrebare se regsete n categoria bine de tiut, candidatul cunoate principiile. ns legtura cu elementul de competen care trebuie s fie evaluat nu este adecvat. Nu reflect sub nicio form nivelul cerut de nelegere a conceptului. Cea de-a doua ntrebare sondeaz n adncime: ofer candidatului oportunitatea de a oferi dovezile cerute n conformitate cu standardul. Exemplul 2: V aflai n Vitan Mall. Evaluai un candidat la nivelul doi de calificare. ntrebarea adresat este Cum ajung pe jos pn pe Calea Victoriei?. Candidatul poate: Rspuns Proces mental/d dovad de 1) Rspunde Nu tiu Nicio dovad de competen 2) Arta ntr-o direcie generic Simul orientrii 3) Oferi ndrumri verbale detaliate prin care indic cteva puncte de reper i locurile n care se cotete la dreapta sau la stnga.

    Cunoaterea mprejurimilor Simul orientrii Poate oferi instruciuni pentru mersul pe jos

    4) Desena ruta de urmat pe o bucat de hrtie, folosind simboluri pentru a reprezenta punctele de reper, semafoare, distane aproximative i alte elemente pe ruta respectiv i explic verbal ce a desenat.

    Cunoaterea mprejurimilor Cunoaterea situaiei locale Cunoaterea situaiei traficului Simul orientrii Simul distanei Poate oferi instruciuni complete pentru mersul pe jos Abiliti de trasare a unei hri

    n mod evident, cel de-al treilea i al patrulea rspuns contureaz un numr de procese mentale care, combinate, rezult ntr-un rspuns logic. Dac obiectivul evalurii ar fi fost stabilirea faptului c respectivul candidat tie s ofere ndrumri precise unui turist care dorete s afle cum poate s ajung de la punctul A la punctul B n Bucureti, cel de-al patrulea rspuns ar fi fost cel mai adecvat.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 17 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Ambele exemple demonstreaz c att ntrebrile ct i prin referire la cel de-al doilea exemplu interpretarea rspunsurilor sunt legate de standardul la care se raporteaz evaluarea i sunt corelate cu performanele solicitate care trebuie demonstrate. Nivelul de performan demonstrat de ctre candidai le solicit capacitatea intelectual. Capacitatea lor intelectual ar trebui evaluat iar dovezile prezentate ar trebui s fac posibil realizarea unor deducii/concluzii legate de competenele acestora. 2.3.2 Nivelul unei sarcini de lucru n cadrul unei probe de evaluare ntr-o form simplificat, se poate considera c orice evaluare const dintr-un numr de sarcini sau ntrebri. Acestor sarcini i ntrebri trebuie s li se gseasc o rezolvare/un rspuns. Rspunsul respectiv trebuie s indice nivelul de competen. Este evident c fiecare sarcin/ntrebare sau stimul trebuie s fie proiectate astfel nct respectivul candidat s poat demonstra un nivel de performan, s rspund la o ntrebare sau s produc o reacie pe baza creia evaluatorul s poat trage o concluzie logic; ceea ce nseamn c evaluatorul este capabil s trag concluzii care s indice nivelul de competen al unui candidat. Dar ce s-ar ntmpla n cazul n care evaluatorul ar pune numai un numr de ntrebri despre cum se repar o pan de cauciuc de biciclet sau care sunt principalele componente ale anvelopei de biciclet? Ar putea atunci evaluatorul s realizeze deducii asupra competenei unui candidat de reparare eficace a unei pene de cauciuc de biciclet? Cu siguran, dac un candidat ar fi capabil s rspund la un numr de ntrebri precum cele prezentate mai sus, evaluatorul ar putea concluziona c respectivul candidat are cunotine (ntr-o oarecare msur), att timp ct ntrebrilor li s-a dat rspunsul corect. Cu toate acestea, asemenea rezultate ale testrii nu ofer nici o garanie c respectivul candidat este, de fapt, competent n repararea unei pene de cauciuc de biciclet.

    Sarcin de lucru / ntrebare / Stimul

    Performan / Rspuns / Reacie

    Evaluarea dovezilor

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 18 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Din pcate, de prea multe ori n realitate ne confruntm cu situaia n care sarcinile sau ntrebrile de evaluare par a fi corecte, dar nu pot fi utilizate pentru a trage concluzii n ceea ce privete competena. Majoritatea testelor scrise, mai ales cele de tip gril i testele cu rspunsuri scurte nu depesc nivelul de evaluare a cunotinelor de baz. Nu este nimic n neregul cu evaluarea cunotinelor de baz, ns ce se ntmpl dac nivelul de competen solicitat este cel de nelegere sau de analiz? Dac evaluatorii doresc s capete o bun nelegere a acestei probleme, trebuie s neleag utilizarea sistemelor taxonomice. 2.3.2.1 Sistemele taxonomice n literatura de specialitate n domeniul evalurii se poate regsi un volum mare de informaie despre validitatea item-ilor de evaluare. Itemul reprezint cerina, ntrebarea la care trebuie s rspund evaluatul. El este un element al unei probe de evaluare sau al unui test de evaluare, deci al instrumentului de evaluare. Se exprim prin formularea unei ntrebri care se integreaz n structura unei probe de evaluare. De fapt, n sensul su real, complet i adaptat realitii de evaluare, itemul nseamn sarcina de lucru plus rspunsul ateptat.1 n majoritatea cazurilor n care este luat n discuie validitatea item-ilor de evaluare, se face referire la sistemele de codare taxonomice. Aproape orice poate fi clasificat n conformitate cu o schem taxonomic. Astfel de scheme sau sisteme demonstreaz relaiile existente ntre elemente. De obicei, aranjamentul are o structur ierarhic (plante, animale, dezvoltarea limbilor etc.) Ierarhia unor astfel de scheme ne poate spune cte ceva despre: evoluie, apariie, caracteristici, complexitate, autoritate, responsabilitate etc. Pe baza unei astfel de nelegeri a elementelor sau conceptelor i, mai important, a relaiilor ntre astfel de elemente sau concepte, suntem capabili s acionm mai adecvat n atingerea scopurilor. Din acest punct de vedere, o structur de calificare poate fi perceput ca fiind o schem taxonomic care demonstreaz rutele de progres i relaiile dintre calificri. Un alt exemplu de schem taxonomic este reprezentat de COR (Clasificarea Ocupaiilor din Romnia). 1 Potolea, D., Manolescu, M., Teoria i practica evalurii educaionale, elaborat n cadrul Proiectului pentru nvmntul rural, Ministerul Educaiei i Cercetrii, Bucureti, 2005

    Taxonomia reprezint tiina i practica clasificrii.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 19 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    n contextul educaional exist o serie de scheme taxonomice care pot fi foarte utile n nelegerea nvrii, cunotinelor, abilitilor, competenelor i n evaluarea acestor concepte. O serie de specialiti n domeniul educaional au construit sisteme taxonomice care ar putea fi utile n ncercarea noastr de a ajunge la o nelegere asupra acestor aspecte. Printre cei mai importani specialiti n domeniu se numr: Bloom, Piaget, Bruner, Gagne, Anderson, Hannah i Romiszowski.

    a. Taxonomia lui Benjamin Bloom pentru domeniul cognitiv

    Aceast schem a domeniului cognitiv prezint ierarhia n cadrul creia nvm i suntem capabili s demonstrm abilitile cognitive. Se ncepe de la etapa simpl a cptrii de cunotine i demonstreaz c cea mai nalt abilitate cognitiv de care dispunem se regsete n capacitatea de a realiza evaluri cognitive. Schema taxonomic a lui Bloom este cuprinztoare i detaliat. Detalierea demonstreaz cum anumite verbe sunt corelate cu abilitile cognitive. Aceste verbe sunt importante pentru felul n care formulm rezultatele nvrii, elementele de competen sau criteriile de evaluare. La ora actual alegerea verbelor care urmeaz a fi utilizate pentru descrierea acestor elemente n cadrul standardelor ocupaionale i a standardelor de pregtire profesional este lsat la latitudinea autorilor. Nu exist materiale de ndrumare n acest domeniu. Prin urmare, nu se poate stabili dac sunt folosite verbele corespunztoare, iar consecina acestui lucru este faptul c evaluarea abilitilor i a cunotinelor nu se poate realiza la nivelul corect. Practica demonstreaz faptul c este mult mai uoar evaluarea candidatului n ceea ce privete gradul de aplicare, nelegere i/sau dobndire de cunotine fa de evaluarea abilitilor acestuia de analiz, sintez sau evaluare. Aceast poate s reprezinte o explicaie relevant pentru faptul c angajatorii nu sunt satisfcui de competenele pe care cursanii le-au dobndit, conform rezultatelor evalurii acestora.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 20 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    b. Taxonomia lui Romiszowski privind cunotinele i abilitile Cunotine Abiliti

    Reproductive Productive Cognitive Cognitive Interpersonale Interpersonale Psiho-motorii Psiho-motorii

    faptice/ fundamentale

    nelegere / know how

    Reactive Reactive Schema taxonomic trebuie s fie citit orizontal de la stnga la dreapta. Progresul obinut n procesul de nvare i deprinderea noilor elemente urmeaz aceeai logic. Ca i taxonomia lui Bloom, schema lui Romiszowski poate fi corelat cu seturi distincte de verbe. Cunotinele faptice sau fundamentale formeaz baza tuturor tipurilor de nvare. Demonstrarea cunotinelor fundamentale poate fi realizat solicitndu-le cursanilor s defineasc, descrie, numeasc etc. (notarea n schema taxonomic pentru acest tip de cunotine este Kf) nelegerea / know-how-ul este considerat a reprezenta o form superioar de cunotine. Ea poate fi demonstrat de ctre cursani solicitndu-le acestora s descrie relaiile existente ntre obiecte, s explice concepte abstracte, s gseasc corespondene, s disting, s rezume, s schieze etc. (notarea este Ku). Abilitile reproductive sunt acele abiliti care sunt realizate n conformitate cu o procedur fix (de exemplu: vopsirea unui zid cu o pensul cu coada lung, utiliznd un anume tip de vopsea). Abilitile productive sunt abilitile care permit o varietate de combinaii de proceduri pentru ndeplinirea unei sarcini. Specialistul trebuie s aleag care este cea mai adecvat/eficace combinaie pentru a ndeplini sarcina, ceea ce, n majoritatea cazurilor, presupune apelarea la creativitate (de exemplu, diagnosticarea cauzelor pentru care maina nu pornete). Dup Romiszowski, att abilitile reproductive, ct i cele productive pot fi sub-mprite n 4 tipuri: Abiliti cognitive: capacitatea de a analiza probleme, de a distinge la nivel intelectual (notare Rc sau Pc); Abiliti reactive: capacitatea de a opera cu sentimente, valori i de a exprima atitudini corecte (notare Rr sau Pr) ; Abiliti psiho-motorii: capacitatea de a utiliza abiliti fizice, precum vopsirea, aezarea crmizilor, scrierea de scrisori etc (notare Rpm sau Ppm). Abiliti interactive: capacitatea de a interaciona cu persoane, precum comunicarea, cooperarea, oferirea de feed-back, ospitalitate, capacitatea de a realiza prezentri etc. (notare Ri sau Pi)

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 21 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    n acest fel, sistemele taxonomice nu ofer doar informaii necesare pentru nvare, ci sunt utilizate i pentru a informa autorii de instrumente de evaluare n ceea ce privete tipul de evaluare i dovezile necesare. Fiecrui element (legat de cunotine sau abiliti) care trebuie s fie evaluat i se poate asocia un cod taxonomic de ctre organismul de stabilire a standardelor. Aceast codificare ar putea asigura realizarea tipului corespunztor de evaluare. Prin tipul corespunztor se nelege: concentrarea pe dovezile cerute, alegerea instrumentului de evaluare adecvat. n urmtoarele exemple sunt prezentate un numr de elemente care trebuie s fie evaluate pentru ca o persoan s obin o calificare. Fiecare element a fost etichetat cu un cod taxonomic (n conformitate cu sistemul de notare taxonomic al lui Romiszowski). Codul indic, de fapt, cum ar trebui evaluat elementul respectiv (element de cunotine sau abiliti). Textul scris cu litere cursive reprezint ceea ce ar cunoate autorul de instrumente de evaluare dac presupunem c persoana respectiv deine un nivel corect de nelegere a codului taxonomic dat. Exemple formulate utiliznd codul taxonomic al lui Romiszowski Exemplul 1: Candidatul poate denumi plante Kf Evaluarea acestui element trebuie realizat prin intermediul unui test de cunotine, concentrat pe denumirea corect, care este fie notat direct de ctre candidat sau aleas n mod corect dintr-o list de alternative. Cele mai adecvate instrumente de evaluare: testul scris (cu rspunsuri scurte/test tip gril). Exemplul 2: Candidatul poate s determine familia de plante pe baza unei liste date de caracteristici

    Ku

    Evaluarea acestui element trebuie realizat prin intermediul unui test de cunotine. Cele mai adecvate instrumente de evaluare: testul scris (cu rspunsuri scurte/test tip gril). N.B1. Majoritatea testelor de cunotine vor fi utilizate pentru a evalua att cunotine faptice/fundamentale ct i cunotine care s demonstreze nelegerea / know-how-ul. Autorii acestui tip de teste consider un exemplu de bun practic aezarea ntrebrilor de cunotine la nceputul acestor teste. Reproducerea de cunotine de ctre candidat pe parcursul evalurii este considerat a fi mai uoar dect demonstrarea nelegerii/a know-how-ului. N.B2. Testarea cunotinelor poate fi realizat, de asemenea, i ntr-o manier integrat! O manier integrat nseamn ca un candidat s ndeplineasc sarcina de a aranja plantele n conformitate cu o taxonomie a plantelor i s determine dac acestea sunt ntr-o stare bun sau proast de sntate, dac aceasta este o cerin a calificrii. Prin urmare, reinei faptul c testarea cunotinelor poate fi realizat i pe parcursul testrii unei abiliti. ns, dac gama de cunotine este una foarte variat, trebuie realizat un test de cunotine separat pentru a asigura prezentarea bazei de cunoatere a candidatului (la nivelul corect) n conformitate cu cerinele standardului.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 22 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Exemplul 3: Candidatul tie s vruiasc un zid Rpm Evaluarea acestui element trebuie realizat prin intermediul unui test practic concentrat pe artefact (produs) deoarece principalul obiectiv al evalurii este determinarea abilitii fizice solicitate. Cele mai adecvate instrumente de evaluare: proiect/produs n laborator sau list de observare/evaluare la locul de munc. Exemplul 4: Candidatul tie s diagnostice o main cu defeciuni Pc, Pi Evaluarea acestui element trebuie realizat prin intermediul unui test practic concentrat pe proces deoarece principalul obiectiv al evalurii este determinarea capacitii candidatului de a face cele mai adecvate i eficiente alegeri, combinnd proceduri i posibiliti i comunicnd constatrile ntr-o manier corespunztoare clientului/efului de atelier de lucru. . Cele mai adecvate instrumente de evaluare: list de observare/evaluare la locul de munc. . Exemplul 5: Candidatul tie s elaboreze instrumente de evaluare Pc Evaluarea acestui element trebuie realizat prin intermediul unui test practic concentrat pe artefact (produs) deoarece principalul obiectiv al evalurii este determinarea capacitii candidatului de a face cele mai adecvate i eficiente alegeri, de a traduce obiectivul evalurii n instrumente de evaluare i de a adapta instrumentul la situaia cerut lund n considerare cursantul i contextul. Instrumentul de evaluare: evaluarea de proiect/produs. Odat ce elementele au fost codate, urmtorul pas este gruparea elementelor cu cod similar i de a determina dac acestea pot fi evaluate integrat. (Aceast problem va fi abordat n cadrul capitolului 4). Exemplele demonstreaz modul n care codurile taxonomice ofer informaii despre maniera n care ar trebui realizat evaluare i ce tip de dovezi ar trebui s ia n considerare evaluatorul. Utilizarea codurilor taxonomice n aceast manier explicit nu este o practic obinuit n Romnia. Acest lucru nu se ntmpl nici n alte ri precum Olanda, Belgia sau Germania. ns, toi acei specialiti implicai n elaborarea de instrumente de evaluare au beneficiat de o formare n acest domeniu i pe baza acestei nelegeri sunt capabili s foloseasc diverse concepte legate de sistemele taxonomice n cadrul unui standard ocupaional sau al calificrilor corespunztoare fr s li se spun n mod expres acest lucru. Concluzii Contientizarea sensului sistemelor taxonomice, a utilitii acestora n elaborarea de instrumente de evaluare este considerat crucial i ar trebui s fac parte din setul de instrumente de lucru al oricrui proiectant de instrumente de evaluare. Sistemele taxonomice ofer un mijloc de a discrimina nivelul de dificultate al sarcinilor de lucru /ntrebrilor/stimulilor i ofer evaluatorului posibilitatea de a evalua reaciile/rspunsurile i/sau performanele la nivelul cerut de competen i de a realiza astfel deducii valide n ceea ce privete competena unui candidat.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 23 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    2.4 Colectarea dovezilor valide Se discut i se dezbate n rndul experilor cea mai bun modalitate de a se asigura ndeplinirea cerinelor de de calificare ce ctre persoana evaluat. n paragraful anterior s-a prezentat o mic parte din aceast discuie i au fost oferite cteva instrumente pentru a aborda eficient aceast problem. Dar s privim lucrurile n perspectiv i s punem aceast ntrebare: Cum se colecteaz dovezi valide? Acesta este un domeniu de cercetare i dezvoltare continu i ar fi greit s prescriem un mijloc universal de aplicare pentru toate calificrile din Romnia. ntrebarea nu este: ce este corect?, ci mai degrab: ce este fezabil? ntrebare: Este fezabil s presupunem c un cursant este un instalator competent dac a

    citit mai multe cri n domeniu i a participat la un curs de 100 de ore? ntrebare: Este fezabil s presupunem c o persoan este un brutar competent dac a lucrat

    ntr-o brutrie timp de 4 ani? Rspunsul la ambele ntrebri ar trebui s fie nu. Este posibil ca respectivul cursant s tie multe despre instalaii, ns ntrebarea care se ridic este dac acel curs a acoperit cunotinele i abilitile necesare. Care este legtura dintre curs i cerinele ocupaionale cu privire la meseria de instalator? Chiar dac rspunsul la ambele ntrebri este satisfctor, ar merita s reflectai mai profund pe marginea cerinelor ocupaionale i s solicitai mai multe dovezi. Este posibil ca persoana care a lucrat 4 ani ntr-o brutrie s se fi ocupat de ncasri, s fi lucrat n spaiul de depozitare sau s fi mturat podeaua. Este posibil ca persoana respectiv s fi nvat multe despre meseria de brutar pe durata lucrului n brutrie, ns nu exist dovezi obiective care s-i ateste competena dac nu i se ofer posibilitatea de evaluare a respectivei competene. Pot fi colectate dovezi pariale prin faptul c persoana respectiv a participat ntr-o anumit msur la formri sau a acumulat o anumit experien de munc. Dar, att timp ct dovezile clare cu privire la performan nu au fost evaluate prin raportare la cerinele unui standard, ntotdeauna se va ridica un mare semn de ntrebare i va persista o lips de ncredere ntr-un proces de certificare ce se bazeaz pe participarea la un program de formare sau pe experienan munc. n ambele cazuri este necesar o form de evaluare. Recunoaterea sau acreditarea competenelor dobndite anterior reprezint concepte de evaluare introduse n ultimii cincisprezece ani pentru a evalua nvarea realizat n contexte informale i non-formale. Uneori poate prea rezonabil presupunerea potrivit creia, dac o persoan se descurc ntr-un anumit domeniu, este mai probabil s se descurce bine i n alt domeniu.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 24 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    ntrebare: Este fezabil s presupunem c un biolog este n acelai timp un grdinar competent?

    ntrebare: Este fezabil s presupunem c un maistru competent pe un antier de construcii este n acelai timp i un zidar competent?

    Din nou, rspunsul la ambele ntrebri ar trebui s fie nu. Acest tip de judecat (atribuire sau efectul de halo) implic riscuri enorme. Este posibil ca biologul s lucreze n domeniul manipulrii genetice, iar maistrul s fie un fost tmplar. ns, acest tip de aprecieri mai bine spus, aceste false prezumii se fac mai des dect ne-am nchipui. Ar trebui s fie clar faptul c o calificare trebuie acordat numai n baza unor dovezi conform crora persoana respectiv a atins standardele necesare pentru calificare. Aceste dovezi ar trebui s fie evaluate i corelate cu nivelul de performan indicat n standard, mai degrab dect cu o performan relativ (prezumat) a indivizilor. Aceasta nseamn c evalurile trebuie s se desfoare prin raportare la un standard. Un termen uzual n acest caz este evaluarea realizat prin raportare la criterii. Acest tip de evaluare se concentreaz pe strngerea de dovezi de competen care acoper criteriile de performan. 2.4.1 Numrul i natura dovezilor Deciziile referitoare la numrul i natura dovezilor de evaluat vor trebui, n mod inevitabil, s ia n calcul: Gradul de asigurare a ndeplinirii cerinelor pentru calificare; Acurateea aprecierilor; Costurile evalurii; Uurina gestionrii procesului de evaluare; Volumul de dovezi necesare. Un concept esenial n acest caz este acela al proporionalitii conform cruia volumul i, drept urmare, costurile de colectare a dovezilor de competen ar trebui s fie proporionale cu necesitatea asigurrii faptului c respectiva persoan a ndeplinit cerinele. Indiferent de ct de riguroas este evaluarea, trebuie reinut faptul c nicio dovad nu poate reprezenta o garanie absolut potrivit creia un individ dispune de cunotinele, abilitile sau competena necesare i c va continua s le dein. Dac este extrem de important existena ncrederii n competena dobndit (de exemplu, n cazul unui pilot de aeronav), va fi justificat alocarea mai multor resurse i a unui timp mai ndelungat pentru strngerea dovezilor necesare dect ar fi n cazul obinerii unei calificri care conduce la ocuparea unui loc de munc sub supraveghere i sub o continu instruire i ndrumare.

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 25 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Realizarea unui aprecieri referitoare la ce este fezabil din punctul de vedere al dovezilor necesare va lua n calcul i: Costurile pentru strngerea dovezilor. Costuri n ceea ce privete resursele alocate

    procesului i timpul necesar profesorilor i cursanilor care, altfel, ar fi putut fi dedicat nvrii;

    Stabilirea costurilor prin raportare la beneficiile ce reies din obinerea unui nivel ridicat de ncredere;

    Existena necesitii de a strnge dovezi despre fiecare dintre competenele dobndite, sau stabilirea situaiei n care unele devin mai importante dect celelalte;

    ntrebare: Ar trebui s fie evaluate toate competenele unui standard? ntrebare Este fezabil evaluarea tuturor competenelor dobndite de un cursant pe

    parcursul procesului de nvare? Rspunsul la ambele ntrebri nu poate fi un NU categoric. n acelai timp, rspunsul nu poate fi nici DA. Pentru a formula o astfel de apreciere, trebuie s fie luate n considerare urmtoarele concepte: dovezi directe i indirecte, inclusiv controlul contribuiilor i rezultatelor; eantionarea dovezilor; dovezi corelate cu unitatea de evaluare.

    2.4.2 Tipuri de dovezi directe/directe Evaluarea competenei se poate baza pe diferite tipuri de dovezi. Din acest punct de vedere, este util realizarea urmtoarei distincii: Dovezi directe: dovad obinut n mod expres cu obiectivul de a strnge probe referitoare la un fapt sau performane, fr a lua n considerare factorii de circumstan. Dovezi indirecte: dovezi care, fr a ncerca s se demonstreze n mod direct existena unui fapt, conduc la o concluzie logic potrivit creia acest fapt exist cu adevrat.

    Dovezi directe Dovezi indirecte

    Competent prin raportare la cerinele unui standard

    Not: Dovezile pot fi de natur calitativ sau cantitativ

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 26 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Dac asigurarea calitii dovezilor este luat n considerare, ar trebui s fie clar c este mult mai probabil ca dovezile directe s fie asigurate calitativ, s aib o valoare mai mare, dat fiind faptul c dovezile indirecte s-ar putea baza pe presupuneri/deducii discutabile. n practic, este probabil s se foloseasc o combinaie de dovezi directe i indirecte pentru a dovedi un fapt (cursantul este/nu este nc competent). Pentru a nelege aceast problem, este necesar, cu siguran, o parantez: n mod tradiional, o mare parte din EFP din Europa a fost controlat prin atenia acordat intrrilor n sistem. n cadrul unui sistem care se bazeaz pe controlul intrrilor, exist grija de a asigura respectarea unui curriculum aprobat, buna pregtire a profesorilor, adecvarea echipamentului i materialelor. Principiul urmat este acela potrivit cruia, dac elevii sau cursanii parcurg un program bine gndit, cu profesori care monitorizeaz progresul obinut, atunci acetia vor dobndi abilitile i cunotinele pe care programul este gndit s le ofere. Aceast prezumie, desigur, pornete de la convingerea potrivit creia participarea la un program bine gndit va conduce n mod invariabil la reuit. n cadrul unei abordri bazate pe competene, care este introdus n prezent la nivel european, tendina este clar n sensul punerii unui accent mai mare pe rezultatele directe. Aceast prezumie pornete de la convingerea potrivit creia testele aplicate rezultatelor directe pot fi cuprinztoare i vor fi n mod invariabil precise. Motivul pentru aceast reorientare ctre controlul rezultatelor directe este unul simplu: controlul att al intrrilor n sistem ct i al ieirilor din sistem este foarte costisitor. Totui, n cadrul unor programe de nvare robuste bazate pe competene (care sunt dificil de identificat n prezent i n Europa), se poate regsi un nou combinaie de control al intrrilor, procesului i ieirilor. Controlul procesului se refer la rolul pe care l-ar putea avea evaluarea formativ ca mod de evaluare continu. Luai n considerare, din acest punct de vedere, adevratul sens al nvrii orientate spre elev: individualizat, responsabilitatea de nvare aparine cursantului, profesorul devine facilitator, curriculumul pe grupe de cursani a disprut, nvarea are loc ntr-un cadru, standardele sunt eseniale i sunt de nalt calitate, asigurarea calitii pentru furnizarea de formare i realizarea evalurilor este la cel mai ridicat nivel (orientat spre sistem). n general, n Romnia i la nivel european, programele de FPI pun mai mult accentul pe un curriculum reglementat i pe durata formrii comparativ cu programele FPC pentru aduli. La cealalt extrem, procedurile de recunoatere a competenelor dobndite n contexte de nvare non/informale trebuie, evident, s se bazeze n mare parte pe msuri legate de ieirile din sistem (deoarece intrrile n sistem sunt complet nereglementate). Metodologia pentru calificri i certificarea competenelor propune ca n toate cazurile, chiar i atunci cnd nivelul controlului intrrilor n sistem este ridicat, formele de evaluare a unui individ s fie asigurate calitativ pentru a obine dovezi directe solide care includ controlul procesului (evaluare formativ asigurat calitativ) i controlul rezultatelor (evaluarea sumativ/examenul final). n tabelul de mai jos se ofer o imagine de ansamblu asupra diferitelor tipuri de dovezi. Numrul de x-uri din coloana de AC indic asigurarea calitii

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 27 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Legenda AC Descriere n funcie de rentabilitate n vederea asigurrii calitii xxx rentabil rentabil xx mai puin rentabil msuri mai extinse de AC i dovezi ale eficacitii msurilor necesare x cel mai puin

    rentabil msuri mai extinse de AC i dovezi ale eficacitii acestor msuri necesare, inclusiv dovezi suplimentare colectate din alte surse

    Dovezi directe Nivel AC Dovezi indirecte Nivel AC Evaluare sumativ xxx Lista de prezen la curs x Evaluare formativ xx Evaluarea portofoliului xx Test scris xx Auto-evaluare x Eseu xx Scrisoare de recomandare xx Prob practic la locul de munc xx Prob practic de laborator xxx Diplom/certificat xxx Evaluare colegial xx n termeni strici, ANC se preocup doar de evaluarea sumativ. ns, dovezile din evalurile formative pot fi utile pentru ajungerea la o concluzie cu privire la competena unei persoane. Este de ateptat ca punctele de vedere despre natura, adecvarea i eficiena dovezilor s se modifice n timp, din perspectiva unui numr de factori, incluznd: schimbrile tehnologice n privina instrumentelor de evaluare (de ex., posibilitile i

    costurile comparative ale metodelor electronice de testare, folosirea unui dispozitiv video pentru a nregistra probe practice etc.);

    cercetri cu privire la validitatea diferitelor metode; experiena practicilor bune i mai puin bune n rndul profesionitilor; punctele de vedere ale factorilor interesani, incluznd n special Comitetele Sectoriale,

    referitor la credibilitatea anumitor metode; cerinele n continu evoluie de participare la Cadrul European al Calificrilor. ANC ar trebui s promoveze n mod activ inovaia, revizuirea i rafinarea abordrilor n vederea strngerii dovezilor de reuit. 2.4.3 Eantionarea dovezilor Calificrile includ mai multe uniti sau module. Aceti termeni au sens diferit n FPI i FPC.

    + +unitatea 1

    unitatea2

    unitatea 3

    modul 1

    modul X

    modul 2

    Calificare FPI

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 28 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    n programele FPI termenul de modul are acelai sens cu unitatea din programele FPC. Aceast situaie este destul de confuz alinierea la nivel terminologic ar fi cu siguran foarte util ns aceste componente ale unei calificri reprezint cele mai mici componente pentru care se poate obine un certificat de calificare parial: certificatul de competen. Acestea sunt componente care ar trebui evaluate la un nivel sumativ. Coninutul unei evaluri ar putea de fapt ar trebui s fie acelai dac respectiva calificare este aceeai. n ambele cazuri este nevoie de dovezi ale competenei. Stabilirea numrului i tipurilor necesare de dovezi depinde de factorii menionai mai sus, dintre care rentabilitatea este important, ns i mai important este colectarea tipului de dovezi cerute. n ambele cazuri ar trebui s se evalueze un eantion reprezentativ de competene dobndite. Evaluarea fiecrui element de competen sau al fiecrui rezultat al nvrii n cel mai mic detaliu nu ar avea sens. Evaluarea trebuie s se bazeze pe eantionare. Dat fiind c n FPI evaluarea formativ se realizeaz deja pe pri ale modulului, cteva dovezi sunt deja disponibile. Dac dovezile sunt credibile adic la calitatea cerut, dac au fost obinute n mod transparent, credibil acestea pot fi luate n considerare. n acest caz, evaluarea sumativ ar putea cpta un caracter generic. n caz contrar, evaluarea sumativ ar trebui s aib un caracter cuprinztor. Totui, acest lucru nu presupune evaluarea fiecrui detaliu n parte. Evaluarea sumativ, la rndul ei, trebuie s se bazeze pe eantionare. La fel se ntmpl i n cazul evalurii sumative la nivel de unitate din programul de FPC. Acolo unde exist ncredere n controlarea intrrilor n sistem (a se vedea paragraful 3.1.2), eantionarea performanei ar putea fi mai redus. Acolo unde exist mai puin ncredere n intrrile n sistem i lipsete controlul procesului, este probabil ca eantionul s fie mai mare. Concluzii: n prezentul paragraf, validitatea dovezilor a fost abordat ca fiind absolut necesar pentru a putea trage concluzii referitoare la competena candidailor.

    + + unitatea 1

    unitatea X

    unitatea 2

    Calificare FPC

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 29 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Volumul dovezilor trebuie s fie proporional, acestea pot fi directe sau indirecte i ele trebuie s fie eantionate ntr-o manier consecvent care s demonstreze o relaie direct dintre evaluarea i unitatea (unitile) de competen acoperite.

    3. Tipuri de evaluare 3.1 Funcii i caracteristici ale evalurii n prezentul paragraf sunt prezentate o serie de funcii ale evalurii n contextul nvrii. n general, aceste funcii pot fi reprezentate dup cum urmeaz n procesul de nvare: n paragraful urmtor, funciile acestor tipuri de evaluare sunt discutate mai detaliat. Dup aceast prezentare, tipurile de evaluare sunt proiectate n diferitele contexte de nvare n care sunt cel mai adesea ntlnite. 3.2 Evaluarea iniial/diagnostic: alegerea adecvat Evaluarea iniial/diagnostic se folosete pentru a identifica nevoile individuale de nvare ale cursanilor, abilitile, preferinele i cunotinele anterioare astfel nct s fie fcute alegerile adecvate i s fie oferit sprijin individual dac este necesar2. Poate fi neleas ca fiind evaluarea intrrilor n sistem. Furnizorul i cursantul folosesc aceast ocazie pentru a reflecta asupra celor mai adecvate alegeri privind nvarea, dat fiind contextul specific, ateptrile i potenialul. ntr-o situaie n care numrul de locuri disponibile la un curs este limitat, se poate folosi evaluarea iniial/diagnostic pentru a alege cursanii cei mai potrivii. n rile n care furnizorii sunt finanai n funcie de rezultate (numrul de cursani calificai), acest tip de evaluare se folosete pentru a preveni irosirea resurselor, irosirea timpului, att de ctre potenialul cursant ct i de ctre instituie. 2 Mary Williams, Manual de evaluare elaborat n cadrul proiectului de sprijinire a IPT n Romnia, Phare 2006.

    Evaluare iniial/

    diagnostic

    Evaluare formativ

    Evaluare sumativ

    unitatea de nvare 1

    unitatea de nvare x

    Evaluarea

    final

    Procesul de nvare

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 30 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    3.3 Evaluarea formativ: feedback Evaluarea formativ are loc n cadrul mediului de nvare i ofer informaii: asupra progresului nregistrat n timpul procesului de nvare; asupra cursanilor, dac au parcurs ceea ce a fost planificat n cadrul cursului Evaluarea formativ permite formatorilor i cursanilor s identifice i s ncerce s ia n considerare orice probleme ce pot influena procesul de nvare n mod pozitiv sau negativ. n funcie de situaie, se nregistreaz rezultatul unei astfel de evaluri. nregistrrile se pot folosi pentru a monitoriza progresul cu privire la nvare, pentru a oferi feedback formatorului referitor la modul n care este livrat programul, pentru a avertiza att formatorul ct i cursantul n situaia n care nu se nregistreaz progresul scontat, n vederea lurii msurilor necesare. Evaluarea formativ poate fi:

    1. centrat pe cursant (ntr-un mediu de formare orientat pe cursant3); 2. parte din procedurile standard bazate pe filozofia furnizorului de formare conform

    creia feedback-ul primit n mod regulat este util tuturor factorilor interesai (ca exemplu de msur de asigurare a calitii);

    3. o cerin legal. n general, rezultatele evalurii formative sunt utilizate pentru stabilirea obiectivelor de nvare i pentru a oferi feedback cursanilor i formatorilor. Nu este recomandabil utilizarea rezultatelor (luarea n considerare a rezultatelor) n scopul calificrii. Motivul este c astfel de evaluri nu sunt de obicei asigurate din punct de vedere al calitii. Dac astfel de evaluri pe parcursul unei formri ar fi asigurate calitativ, costurile ar fi crete n mod dramatic. Cu toate acestea, rezultatele evalurilor formative pot fi folosite pentru a stabili gradul de pregtire: adic, pentru a stabili dac un cursant este pregtit n vederea participrii la evaluarea sumativ sau la un examen final (ambele n vederea calificrii). A nu fi pregtit pentru o evaluare sumativ sau pentru un examen final atrage dup sine irosirea resurselor investite n evaluri costisitoare n vederea calificrii. n cazurile n care s-au folosit rezultatele evalurilor formative pentru a stabili gradul de pregtire, nu este neobinuit ca acestea s devin obligatorii. Evidena participrii la cursuri i rezultatul evalurilor formative pot fi parte din portofoliul cursanilor.

    3 ntr-o abordare centrat pe cursant, evaluarea formativ este adesea menionat sub denumirea de evaluare continu. ntr-o astfel de abordare, distincia dintre evaluarea formativ i evaluarea sumativ tinde s dispar deoarece o parte a acestei filozofii de nvare se bazeaz pe premisa c progresul n nvare este determinat de ctre cursant i c fiecare rezultat al nvrii contribuie la calificare. O astfel de abordare solicit intens furnizorilor asigurarea calitii n practica evalurii, iar profesorilor competene specifice de proiectare a evalurii. n cadrul sistemului educaional actual din Romnia n EFP, aceast abordare nu este nc fezabil din mai multe motive, cel mai important fiind acela c flexibilitatea n nvare nu este posibil. Livrarea curriculumului de ctre profesor determin viteza de nvare a tuturor cursanilor iar evaluarea formativ nu este nici asigurat calitativ, nici raportat la un standard de referin. .

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 31 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    Evaluarea formativ are i funcia de a familiariza cursanii cu evaluarea/instrumentele de evaluare care sunt utilizate n examenele de calificare. ns, un exces de evaluare formativ poate duce la extenuare/suprancrcare, ceea ce poate determina rate de abandon ridicate. Cursanii nu ar mai fi motivai dac s-ar confrunta cu prea multe sesiuni de evaluare (formativ obligatorii). Trebuie gsit un echilibru ntre nevoia de feedback a cursantului i cea a furnizorului de formare/formatorului. Un aspect de reinut n acest caz este c timpul alocat evalurii formative este folosit n detrimentul nvrii. Evaluarea formativ ghideaz procesul de nvare, ceea ce aduce n mod cert o valoare adugat acestuia, eficientizndu-l, att timp ct este aplicat proporional. Totui, este de reinut c tipurile de instrumente de evaluare folosite n timpul sesiunilor de evaluare ghideaz tipul de nvare (efectul backwash sau predarea n vederea testrii). n mod explicit, dac sesiunile de evaluare formativ se concentreaz n special pe progresul n acumularea cunotinelor, procesul de nvare va cpta un caracter mecanic (nvarea pe dinafar). Aceast situaie poate fi fatal i n detrimentul procesului de nvare dac obiectivul const n dobndirea de abiliti i competene. Evaluarea formativ mai are nc dou semnificaii pentru profesor/formator ce trebuie menionate: cea de a ajuta profesorii/formatorii n identificarea materialele de nvare ce trebuie

    clarificate sau predate din nou; cea de a ajuta profesorii/formatorii n a stabili dac activitile de nvare sau

    curriculum-ul trebuie modificate (in timpul orei de curs, nainte de urmtorul curs sau nainte ca programul s fie pregtit pentru urmtoarea generaie de cursani).

    3.4 Evaluarea sumativ: evaluarea n vederea calificrii Evaluarea sumativ este o evaluare imparial a celor nvate prin raportare la un standard oficial, pentru a aprecia dac cerinele pentru o calificare, sau pentru o parte din aceasta, au fost sau nu ndeplinite. Scopul principal al evalurilor sumative este de a raporta rezultatele altor persoane n afara cursantului (de ex., angajatorilor, furnizorilor de educaie i formare la un nivel de calificare superior unde cursantul dorete s se nscrie). Evaluarea sumativ este caracterizat ca evaluare a nvrii, n contrast cu evaluarea formativ, care se constituie ntr- o evaluare pentru nvare. Evaluarea sumativ are loc de obicei la finalul unei perioade de nvare pentru a acorda o not (in FPI) sau pentru a stabili competena (competent/nu este nc competent) ce reflect performana cursantului raportat la rezultatele nvrii. O form tipic de evaluare sumativ este, n FPI, examinarea la finalizarea modulului sau, n FPC, evaluarea unitii de competen. 3.5 Evaluarea final: calificare prin eantionare O evaluare final este de fapt o evaluare sumativ. Este o evaluare raportat la un standard oficial, n ansamblul su, i acoper un eantion de rezultate ale nvrii. Ar trebui

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 32 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International

    totui s aib o valoare adugat dac urmeaz uneia sau mai multor evaluri sumative anterioare pentru un standard/parte a acestuia. Dac nu exist nicio solicitare de evaluare a standardului n ansamblul su deoarece nu ofer valoare adugat, atunci nu este necesar nicio evaluare final. Se obine o valoare adugat dac: este o cerin justificat, reglementat de organismul de stabilire a standardelor; evaluarea final se folosete pentru a recunoate competenele dobndite anterior

    printr-o evaluare sumativ integrat. n acest caz, examenul final are un caracter holistic.

    ns examenele finale, prin eantionarea rezultatelor nvrii, se folosesc i ca: Mijloc de asigurare a calitii procesului de evaluare oferit de furnizor. n astfel de

    cazuri examenul final trebuie se desfoare n condiii de independen. Mijloc de asigurare a faptului c nvarea dobndit pe o perioad mai lung de

    timp este sustenabil . Rezumat al funciilor evalurii i caracteristicilor corespunztoare n paragrafele anterioare s-au prezentat tipurile diferite de evaluare (funcii i caracteristici). n tabelul urmtor, aceste date sunt reluate pe scurt i se face o distincie ntre caracteristici i funcii.

    Tipul de evaluare Iniial/ diagnostic

    Formativ Sumativ

    Pri din standard sau standardul n totalitate

    Examenul final

    Funcii (f) & Caracteristici (c) f Adecvarea alegerilor privind nvarea x f Evaluarea nevoilor (speciale) x f Evaluarea potenialului de nvare x c Cerinele de admitere x f Ofer feedback cursanilor x c Asigur calitatea x x f Ofer feedback profesorilor x c Evaluare pentru nvare x f Gradul de pregtire n vederea evalurii

    sumative x

    f Familiarizarea cursanilor cu evaluarea x f Evaluarea nvrii x x c Eantionare x x x x f n scopul calificrii x x c Raportare la un criteriu/standard de

    referin x x

  • Establishment of National Authority for Qualifications

    Autoritatea Naional pentru Calificri (ANC)

    File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM Version: 2.0 Page: 33 of 45 Date: 29th of July 2009

    Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by FCG International