Il testing e le prove di valutazione...Le griglie di valutazione Possibilità di creare scale ad hoc...

Il testing e le prove di valutazione

Luisa Sartirana

SeLd’A Università Cattolica del Sacro Cuore, Milano

La verifica del profitto dell'allievo è esigenza primaria di ogni insegnante che collochi la propria opera educativa in una corretta visione pedagogica, focalizzando la propria attenzione sull'allievo per conoscerne i processi di apprendimento e per accertare quanto, di ciò che l'insegnante ha cercato di trasmettere, sia stato effettivamente acquisito

G. Porcelli, 1975

2

distinzione fondamentale tra misurazione del profitto e valutazione dell'allievo … La misurazione del profitto consiste nella verifica oggettiva del valore di un risultato scolastico, esclusivamente sulla base della esattezza nozionale e prescindendo da ogni considerazione sull'alunno che ha fornito quel risultato. Il processo di valutazione è invece un atto di natura complessa, nel quale i dati ottenuti mediante la misurazione del profitto sono posti in relazione alla personalità degli studenti, alla loro condizione umana sotto il profilo biologico, psichico, ambientale, socioeconomico, ecc.

G. Porcelli, 1975

3

Verifica, valutazione, test

Language Testing

4

Il complesso dei principi metodologici e delle tecniche che presiedono alla realizzazione, somministrazione e utilizzazione delle prove oggettive di profitto nell’apprendimento delle lingue straniere

G. Porcelli, 1975

Quale valutazione? Quali test? Il test oggettivo:

tecniche didattiche modalità di valutazione i certificati internazionali per bambini

e adolescenti

5

La valutazione

Valutazione formativa (valutare per l’apprendimento):

Legata al curriculum e in relazione con il processo di insegnamento/apprendimento

Responsabilità della valutazione condivisa con l’apprendente

Valutazione sommativa (valutare l’apprendimento):

Legata a ciò che il candidato deve saper fare, stabilito in base a criteri esplicitati

Responsabilità della valutazione delegata a chi disegna il test

6

La valutazione formativa

Sguardo diacronico (la valutazione non è circoscritta nel tempo) e olistico (valutazione globale dell’apprendente)

Può avvenire attraverso: valutazione fra pari autovalutazione portfolio

Fatta dall’insegnante in classe e informale (anche nella fase di restituzione dell’UD)

7

La valutazione sommativa

Sguardo sincronico Valutazione quantitativa: Cosa lo

studente/il candidato sa fare rispetto ai criteri esplicitati

Test di profitto - forte impatto e ricaduta (High stake tests)

8

La valutazione formativa…

Osserva:

come si muove l’apprendente nell’ambiente Il verbale e il non-verbale dell’apprendente il rapporto con la lingua d’origine

Monitora il processo di apprendimento Utilizza un feedback costruttivo Corregge se necessario le modalità didattiche,

attraverso l’osservazione e l’analisi dei risultati Promuove una ricaduta positiva sulla didattica

9

Cosa valutare

10

il contenuto: comprensione dei dettagli e/o dei punti principali

capacità di riutilizzare il contenuto, di utilizzare abilità metacognitive per la riflessione e la rielaborazione autonoma del contenuto

Cosa valutare

11

le abilità linguistiche e le strutture della lingua: conoscenza del lessico specialistico, utilizzo delle strutture adeguate alla discussione/rielaborazione del contenuto)

ascoltare/leggere per cogliere il significato

consapevolezza delle strutture morfosintattiche…

Come valutare

12

il ruolo e il peso degli errori

evitare gli errori

i criteri di valutazione (chiari, espliciti e condivisi)

le griglie di valutazione

valutare il singolo studente o la classe?

I test di profitto sono strumenti di misurazione e non di valutazione, né sono gli unici di cui dispone l'insegnante

G. Porcelli, 1975

13

La valutazione sommativa attraverso test oggettivi

Le caratteristiche di un test

Affidabilità

Validità

Ricaduta

Impatto

14

Validità

Un test è valido se costituisce un esempio paradigmatico delle abilità che sono oggetto di misurazione… e se misura accuratamente ciò che si era proposto di misurare

M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005

15

Affidabilità

Un test è affidabile se è in grado di fornire risultati uguali se somministrato o valutato in tempi differenti e da persone differenti

M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005

16

Ricaduta e Impatto del test

Ricaduta (washback): effetto del test sulla didattica e l’apprendimento

Impatto: “effetto” socio-politico dei risultati del test

17

“In recent years, tests have been viewed not only as pedagogical tools, but especially as social and political instruments that have a strong impact on education and can determine social order”

E. Shohamy, 2006

18

Un nuovo potere delle prove?

Nuovi ruoli per:

insegnanti (ridefinizione dei sillabi e metodologie di insegnamento)

“esaminatori” (maggior potere, possibilità di pressioni politiche…)

candidati (impatto su aspettative e motivazione)

19

La responsabilità del tester

Va oltre il costrutto del test?

Copre anche gli aspetti politico-sociali del testing?

Necessità di un “codice etico”?

Responsabilità “condivisa” con gli utenti del test

20

Le fasi di sviluppo di un test

Processo ciclico in 3 fasi:

Progettazione

Elaborazione Sperimentazione

21

La progettazione (analisi)

Chi sono i potenziali candidati, gli utenti del nostro test

Quali abilità voglio testare? In che modo? Qual è il costrutto di riferimento Quali sono le risorse disponibili

(logistiche, finanziarie, tecniche)

22

Elaborazione - Le specifiche del test

Specifiche del costrutto – definiscono il contesto di riferimento

Specifiche del/i task – specificano i compiti che costituiscono il test, le informazioni e le istruzioni per i candidati

Specifiche della valutazione – specificano i criteri di valutazione e il loro utilizzo nella fase di valutazione

da S. Luoma, 2004

23

Orientamento alle forme linguistiche (lessico –

grammatica – pronuncia)

Orientamento comunicativo (la competenza

comunicativa è l’obiettivo globale della valutazione)

Orientamento alla situazione (parte dai bisogni

comunicativi in contesto – valutazione dei contenuti?)

Possibili cornici teoriche delle prove 24

Esempio di specifiche

del test M. Tabaglio IL TEST DI CONOSCENZA DELLA LINGUA ITALIANA PER SOGGIORNANTI DI LUNGO PERIODO, tesi di Master in Didattica dell’Italiano L2

25

numero e ruolo dei partecipanti

luoghi e tempi di esecuzione

sequenza delle varie parti

informazioni e istruzioni per i candidati: chiare – adeguate/pertinenti – complete – essenziali – con un esempio

informazioni per gli organizzatori

formazione somministratori

Le modalità pratiche di valutazione 26

Esempio di istruzioni

M. Tabaglio IL TEST DI CONOSCENZA DELLA LINGUA ITALIANA PER SOGGIORNANTI DI LUNGO PERIODO, tesi di Master in Didattica dell’Italiano L2

27

Le specifiche della valutazione

Stabilire i criteri di valutazione

Creare le griglie di valutazione

Scrivere i documenti di valutazione

Formare i valutatori e gli intervistatori

28

La costruzione del test

Il formato (quanti quesiti? Come ragrupparli?)

Il contenuto (lessico, strutture ecc.)

La scelta dei testi:

rilevanti per il candidato e in relazione con lo scopo del test, differenziati in base al grado di autonomia del candidato, di lunghezza adeguata e con sufficienti nuclei informativi, velocità del parlato, fattibilità: tecnologia/attrezzature richieste

La redazione dei quesiti (item)

Le procedure di correzione e

Le scale di valutazione

29

La sperimentazione

Trovare un campione congruo

Le analisi statistiche sugli item per la

revisione finale

Le analisi statistiche sugli item e sul test

(se necessario), la ridefinizione delle

specifiche del test

30

30

Testare le abilità di produzione attraverso test oggettivi: tecniche e

valutazione

31

L’utilizzazione delle prove aperte… comporta da un lato la loro

scarsa strutturazione, dall’altro modalità di lettura delle

prestazioni non predeterminate.

…

Nella valutazione diretta della prestazione… il suo grado di

merito viene giudicato in modo soggettivo dall’esaminatore

che fa riferimento a parametri stabiliti in base al contesto di

valutazione, a linee guida e alla propria esperienza

A.M. Scaglioso in Manuale della Certificazione di Italiano L2, 2005

32

La valutazione olistica

• Assegna un punteggio globale

• Basata sull’”impressione generale” del testo prodotto

• Rende la correzione veloce, ma potenzialmente meno affidabile

• Non inficia la validità del test

33

La valutazione analitica

• Richiede un punteggio separato per aspetti diversi della prova, scelti ad hoc da chi progetta il test

• Tiene conto delle possibili differenze nelle singole sottoabilità in ciascun candidato

• Rende la valutazione più affidabile

34

Perché una valutazione analitica

prevede (e valuta) i possibili diversi livelli di competenza linguistica nelle varie abilità

obbliga a prestare attenzione anche ad aspetti in altro modo sottovalutati

dà la possibilità di valutare i diversi aspetti isolatamente (MA attenzione all’effetto “alone”!)

è necessario più tempo per la valutazione

c’è il rischio di perdere di vista la visione di insieme

35

I criteri di valutazione

Scelta sulla base del costrutto del(i) compito(i)

e del livello di competenza

Scelta degli aspetti da valutare: linguistici –

pragmatici - comunicativi

Possibilità di avere criteri diversi per diversi

task

36

Le griglie di valutazione

Possibilità di creare scale ad hoc per ciascun criterio di valutazione

Definire: Il numero di livelli della scala (minimo 4 massimo 7) la presentazione di ciascun livello (valori numerici –

giudizi – definizioni..) L’eventuale feedback per i candidati

Esistono già griglie simili? Adattarle, testarle e RItestarle

37

Gli esaminatori

2 figure separate nelle prove di produzione orale: intervistatore e valutatore

Formare gli intervistatori: pianificare e seguire il formato della prova

Formare i valutatori: definire e seguire i criteri e le scale di valutazione (le procedure di standardizzazione – la correzione a più mani)

38

L’affidabilità della valutazione attraverso la congruenza

Possibili cause di divergenza:

Gradi diversi di severità o generosità a seconda del livello medio delle prestazioni esaminate

Diversa modalità di utilizzo della scala e dei voti relativi ai livelli – la griglia è sufficientemente chiara?

Scarsa chiarezza sull’oggetto della rilevazione e della misurazione

Per aumentare la congruenza:

Correlare i punteggi fra i diversi esaminatori

Doppia valutazione di routine (due valutatori per esame)

39

Per una migliore valutazione del test orale

Prima del test: • Pianificazione accurata del test e dei task (strutturare le

interviste e i dialoghi: maggiore la strutturazione – maggiore la validità)

• Scegliere tecniche appropriate alla tipologia di candidati e • Utilizzare più di un formato • Suddividere i compiti fra valutatore e intervistatore • Scegliere un luogo tranquillo e con una buona acustica Durante il test: • Dare più di un fresh start • Per l’intervistatore: mostrarsi attento e rassicurare il candidato;

passare da un task/topic al successivo in modo naturale; concludere l’esame non appena si ha un numero adeguato di informazioni sulla performance

• Per l’intervistatore/valutatore: prendere appunti in modo non evidente

40

Favorire la validità

compiti e criteri rappresentativi dello scopo del test

creare scale di valutazione significative (efficacia comunicativa vs correttezza grammaticale; principi pragmatici privilegiati rispetto agli aspetti morfosintattici; la valutazione dell’errore)

corrispondenza fra attività richieste/difficoltà e punteggi assegnati

41

Le tipologie dei testi/prove scritte

Prove “guidate”: • Compilare un modulo • Rispondere a un questionario • Compilare un curriculum vitae • Testi di formato standard (cartoline, biglietti di invito/ringraziamento ecc.,

inserzioni e annunci pubblicitari) motivanti perché corrispondenti alla vita reale - formato standard e ricorso a formule fisse – minor grado di soggettività nella correzione (possibilità di riferirsi a criteri univoci e condivisi) Prove di composizione: • Racconto immaginario o di un episodio della propria vita • Descrizione • Diari, lettere, email necessità di definire scopo, destinatario, circostanze – contesto conosciuto e motivante)

42

Le tecniche di testing

Devono rappresentare un indicatore affidabile e valido dell'abilità che vogliamo testare

Devono elicitare risposte valutabili in modo affidabile

Devono essere il più possibile economiche in termini di costi/benefici e tempi (correzione e modalità di fruizione)

Devono avere una ricaduta positiva

43

Le tecniche più comuni/prove orali

L’intervista: • relazione intervistatore/candidato non paritaria (elicitazione di

una sola tipologia di parlato; il candidato è restio a prendere l’iniziativa)

• necessità di strutturazione e pianificazione dell’intervista (calibrare gli interventi dell’intervistatore)

• evitare domande chiuse (SI’/NO), da utilizzare solo all’inizio della prova

Varianti: • role-play: necessità di scegliere con attenzione i ruoli - per

creare autenticità - e di dare istruzioni chiare; peso di fattori extralinguistici (attitudine a recitare); possibilità di valutare fattori extralinguistici (es. svolgimento del compito)

• utilizzo di immagini per elicitare descrizioni, raccontare una storia ecc.

44

Le tecniche più comuni/prove orali

Il monologo: • non preparato: su argomenti familiari al candidato, descrizioni,

ricostruzioni/narrazioni di storie • preparato: rischio di scarsa autenticità; è un task veramente

richiesto al candidato?

L’interazione fra due candidati: • relazione paritaria, ma possibilità che un candidato assuma un

ruolo dominante, inficiando la performance dell’altro

Possibili strutturazioni dell’interazione: • role-play, discussione, negoziazione, dare/seguire istruzioni (per

completare un compito, ricreare una storia, un disegno ecc.)

45

Testare le abilità di comprensione: tecniche e valutazione

46

Scegliere i testi

Successful choice of texts depends ultimately on experience, judgement and a certain amount of common sense...

… practice is necessary

A. Hughes, Testing for Language Teachers, 2003

47

Il dialogo

Scambio bidirezionale faccia a faccia con presa di parola libera

Forma primaria della comunicazione, massima naturalezza

Necessità di eliminare le ambiguità e definire il contesto comunicativo

Due-tre voci a velocità moderata

Per prove a scelta multipla o individuazione di informazioni

Variante: conversazione telefonica

48

La messaggistica

Scambio unidirezionale a distanza

Messaggi registrati per fornire informazioni su attività o orari di enti o comunicazioni registrate in luoghi pubblici

Adatte a test per misurare competenze di base: forma standardizzata, cura nella scelta del lessico e articolazione del discorso semplice ma strutturata

Per prove di individuazione di informazioni, completamento di griglie o a scelta multipla

49

Alcune Tecniche più diffuse

Risposte chiuse • Scelta Multipla • Vero/Falso - Si/No/(Non dice) • Abbinamento • Completamento Risposte semi-chiuse (produzione limitata) • Cloze • Individuazione di Informazioni • Risposte brevi

50

Scelta multipla

Molto adeguata per comprensione orale

Veloce nella fase di correzione

Affidabile nell’attribuzione del punteggio

Poco economica in fase di realizzazione

(necessita di un lavoro di equipe – controllo e

revisione delle fasi di lavoro)

51

Item a scelta multipla

Alcuni termini:

Item: ciascun oggetto di verifica a cui viene attribuito un punteggio

quesito (stem)

risposta

distrattori

chiave

52

Individuare quanti e quali punti sottoporre a verifica

Presentare i quesiti seguendo la struttura del testo

Dare un fresh start per ogni item

Possibilità di focalizzare l’item su: argomento generale del testo, principali nodi informativi, inferenze, intenzioni di chi comunica

Usare 4 distrattori

Usare una lingua semplice e chiara (più semplice del testo di partenza)

53

Scrivere gli item a scelta multipla…

Evitare riferimenti culturali e ambiguità

Evitare: lessico complesso, strutture

idiomatiche, ridondanze, ripetizioni

Preferire nomi ai pronomi

Non scrivere input troppo lunghi (due righe

massimo per studenti di livello basso)

54

i distrattori e la risposta devono…

essere plausibili

avere lo stesso livello di difficoltà fra

loro

essere legati al testo

indurre alla riflessione

55

i distrattori e la risposta NON devono…

essere in contraddizione fra loro (due opposti si annullano!)

ripetere parole dell’input

essere parzialmente veri (ambigui)

contenere informazioni vere ma non presenti nel test

includere contenuti successivi

56

Scrivere i distrattori: espedienti grafici

Mantenere la stessa lunghezza – al limite due distrattori più lunghi e due più corti

Se di lunghezza diversa, ordinarli (dal più corto al più lungo o viceversa)

Ove possibile, iniziare sempre con la stessa lettera (evitare un solo distrattore con lettera diversa)

Ove possibile, elencare i distrattori in verticale

57

Abbinamento

Mettere in corrispondenza due serie di elementi

presentati in ordine casuale (possono essere

parole isolate, frasi, parti di frasi, parti di testi)

Necessità di concordanza logica o

morfosintattica

Più semplice del riordino testuale – anche per

candidati di competenza basica

58

Cloze

Cancellare una o più parole da un testo (in

genere ogni 5 o 7 parole o in base a un criterio,

ad es. una categoria o la difficoltà dell’item)

Ottimo per testare la competenza

metalinguistica di candidati non base

Possibilità di avere risposte non univoche

(necessità di stabilire risposte accettate e

punteggi in fase di elaborazione)

59

Completamento

Come il cloze, ma con scelta fra 3 o 4 soluzioni

strutturalmente accordate e plausibili

Testano le competenze morfologiche, sintattiche

o lessicali.

Variante: viene data fra parentesi la forma base

di una categoria grammaticale da accordare al

contesto

60

Individuazione di informazioni

Presentare una serie di affermazioni/frasi su di un testo

I candidati devono indicare se le informazioni sono presenti o non presenti nel testo

Più elaborato del Vero/Falso

Necessità di:

• scegliere un testo abbastanza lungo e fornire informazioni che facciano riflettere i candidati

• Fornire un numero piuttosto elevato di item

Richiede tempi lunghi di costruzione, è veloce nella correzione, ma va previsto il punteggio negativo per le risposte errate

61

Le prove di certificazione internazionale

Test di profitto

Valutazione sommativa

High stake tests (forte impatto

socio-politico)

62

La certificazione della competenza linguistica

è diventata, oggi (…) lo strumento principale

per attuare funzioni di grande rilevanza: le

funzioni di garanzia, di mediazione e di

responsabilità etica.

M. Vedovelli, M. Barni, C. Bagna, S. Machetti VADEMECUM LE CERTIFICAZIONI DI COMPETENZA LINGUISTICA IN ITALIANO COME LINGUA STRANIERA

63

Gli Enti Certificatori Italiani

Università per Stranieri di Perugia

Università per Stranieri di Siena

Università di Roma Tre

Società Dante Alighieri

64

Una lingua può vedere la presenza di più di un Ente Certificatore e di più di una Certificazione (…) Si tratta di scelte diverse, influenzate da tanti fattori: dall’idea di ‘Stato’ e dalla sua effettiva concretizzazione storica, ai tipi di politica linguistica messi in atto dagli Stati per la diffusione della lingua; dalle caratteristiche dei sistemi formativi all’ampiezza e qualità della ricerca scientifica sulla materia. Un elemento determinante per la scelta di diversificazione o di unitarietà è costituito dalle caratteristiche dei pubblici.

M. Vedovelli, M. Barni, C. Bagna, S. Machetti VADEMECUM LE CERTIFICAZIONI DI COMPETENZA LINGUISTICA IN ITALIANO COME LINGUA STRANIERA

65

Bibliografia e Siti

Bibliografia e sitografia:

Alderson, J. Charles, Clapham Caroline, Wall Dianne (20059), Language Test Construction and Evaluation, Cambridge, Cambridge University Press

Brown J.D. (2005), Testing in language Programs, New York, McGraw Hill.

Hughes, Arthur (2003), Testing for Language Teachers, Cambridge, Cambridge University Press

McNamara, Timothy F. (2000), Language Testing, Oxford, Oxford University Press

Shohamy, E., (2001) The Power of Tests, New York, Routledge

Shohamy, E., (2006) Language Policy: Hidden agendas and new approaches, New York, Routledge

Vedovelli, M, (2005) Manuale della Certificazione di Italiano L2, Roma, Carocci Editore

Vedovelli, M. (2010) Guida all’Italiano per Stranieri, Roma, Carocci Editore

http://www.gporcelli.it/

Siti Enti Certificatori:

CELI - Università per Stranieri di Perugia (www.unistrapg.it)

CILS - Università per Stranieri di Siena (www.unistrasi.it)

Certificazione italiano L2 – Università di Roma Tre http://host.uniroma3.it/dipartimenti/linguistica/certificazione.html

PLIDA - Società Dante Alighieri (www.ladante.it)

66

luisa.sartirana@unicatt.it

67