Upload
fondazione-giovanni-agnelli
View
1.195
Download
5
Embed Size (px)
Citation preview
Bologna Fondazione Golinelli 22 febbraio 2016
quale valutazione
*
Andrea Gavosto [email protected]
Il sistema di valutazione dopo la Buona Scuola
il Sistema Nazionale di Valutazione SNV: com’era in origine, com’è oggi
la valutazione dopo la Buona Scuola (legge 107/2015): quali criticità
le lezioni della sperimentazione VSQ
I TRE FOCUS DELL’INTERVENTO
DPR 80/2013: modello delle tre gambe INVALSI // Ispettori MIUR // INDIRE valuta le scuole: la squadra e non i singoli
3
Il sistema nazionale di valutazione SNV com’era in origine
2. Rapporto Con individuazione delle criticità
3. Piano di miglioramento
4. Monitoraggio dei progressi e autovalutazione
5. Valutazione esterna del miglioramento
C I R C O LA R I T À V I RT UO SA V A L U T A Z I O N E / / M I G L I O R A M E N T O
INVALSI e ispettori
1. Valutazione esterna. Indicatori quantitativi (fra cui,
valore aggiunto) e visite ispettive
SCUOLA
ISPETTORI
SCUOLA E INDIRE
INVALSI e ispettori
Il sistema nazionale di valutazione: com’è oggi
Rispetto al modello delle tre gambe, oggi:
4
Perchè
Dopo i RAV, quest’anno cominciano le visite ispettive dei NEV (nuclei esterni di valutazione)
o per coordinare le visite, servono gli ispettori (in servizio solo 42% dei 191 in organico; previsti altri 48 incarichi triennali)
o ridimensionato il numero di scuole da visitare (da 10% a meno del 5%)
o non ancora identificate le scuole in difficoltà (da visitare per prime)
• maggiore enfasi sull’autovalutazione (RAV) • minor enfasi su valutazione esterna e indicatori quantitativi
• più accettabile da parte delle scuole
• problemi nella qualità dei dati: cheating, studenti non rintracciabili in indagini successive, boicottaggio 2015 ritardi nell’elaborazione del valore aggiunto
Quale valutazione dopo la buona scuola?
5
Accanto alla valutazione delle scuole (prevista da SNV), la L. 107 ha riscoperto la valutazione dei DS e introdotto la valutazione dei docenti
Rischio di situazioni paradossali: può accadere che una scuola venga ritenuta carente in matematica, il DS penalizzato, mentre i docenti di matematica ricevono il premio. La sovrapposizione SNV-L. 107 non garantisce che tutti i soggetti abbiano un obiettivo di miglioramento comune e che ciascuno risponda solo di ciò su cui può esercitare un’influenza diretta.
SCUOLE
Statali e primarie
20 anni
Quali incentivi? SCUOLE
I TRE LIVELLI
DIRIGENTI SCOLASTICI
Statali e primarie
3 anni
Retribuzione di risultato
DOCENTI
Statali e primarie
1 anno
bonus
6
dopo un’accesa discussione, vengono fatte due proposte
di sperimentazione al Ministro Gelmini, una di valutazione dei
docenti (Valorizza), l’altra delle scuole (VSQ).
In entrambi i casi sono previsti premi per i vincitori
Legge 133/2008
30% delle economie di spesa derivanti dalle razionalizzazioni
sono destinate – a decorrere dal 2010 – a iniziative dirette alla
«valorizzazione ed allo sviluppo professionale della carriera del
personale della Scuola»
istituzione del CTS febbraio
2010
Valutazione delle scuole
o dei docenti?
Valorizza 2011
VSQ 2011-13
per definire i premi, occorre stabilire dei parametri di giudizio. Per questo viene istituito un Comitato Tecnico Scientifico con l’obiettivo di «proporre l’istituzione di un sistema nazionale di valutazione e di miglioramento della didattica»
Un passo indietro: come nasce VSQ?
Calcolo del VALORE AGGIUNTO CONTESTUALIZZATO, ossia di una misura della crescita nella qualità degli apprendimenti degli studenti rilevati dalle prove INVALSI di Italiano e Matematica
7
Esiti dei giudizi formulati da parte di team esterni su altri aspetti giudicati irrinunciabili della vita scolastica attraverso RUBRICHE DI VALUTAZIONE nell’ambito di VISITE DI OSSERVAZIONE direttamente nelle scuole
I «due pilastri» della sperimentazione VSQ
LA VALUTAZIONE DELLE SCUOLE SI BASA SU:
8
Il valore aggiunto misura quanto ciascuna scuola aggiunge al livello degli apprendimenti dei propri studenti, tenendo conto della loro preparazione pregressa, delle loro caratteristiche (es. background socio-economico-culturale), degli effetti (positivi o negativi) del contesto in cui opera. Il V.A. consente dunque di confrontare le scuole a parità di condizioni: requisito necessario in una sperimentazione pensata anche con finalità premiali.
SNV anno n (esiti individuali prove di I sec. di I grado)
SNV anno n-1 (Esiti individuali prove di V primaria)
(genere, origine immigrata, ecc) Fonte INVALSI
(numero plessi, turnover docenti, ecc) Fonte MIUR, INVALSI
(area urbana/rurale, provincia, ecc) Fonte INVALSI
Apprendimenti
Livello di preparazione
in entrata
Caratteristiche individuali
Fattori strutturali
Contesto territoriale
=
Il valore aggiunto contestualizzato
VALORE AGGIUNTO
=
- -
- -
Se guardassimo ai soli livelli assoluti di apprendimento come si distribuirebbero le scuole della sperimentazione VSQ?
RISULTATI GREZZI OSSERVATI
E se invece guardiamo al valore aggiunto contestualizzato, come cambia la distribuzione?
RISULTATI IN TERMINI DI VALORE AGGIUNTO
11
1. Inclusione studenti con disabilità 2. Inclusione studenti stranieri 3. Recupero 4. Potenziamento 5. Orientamento 6. Autovalutazione 7. Programmazione e valutazione degli studenti
Ogni Team era composto da un coordinatore e due altri membri, con compiti diversi da svolgere
Le viste di osservazione
Le visite di osservazione sono state condotte da 16 Team
I Team : Gli ambiti osservati:
Criteri di qualità esplicitati Quattro livelli per l’espressione del giudizio (Inadeguato, Accettabile, Buono, Eccellente)
Descrizione analitica di ogni livello, con evidenze empiriche da prendere in considerazione e una check list di passi da compiere, da utilizzare come ‘guida al giudizio’
Lo strumento utilizzato per la valutazione delle azioni della scuola per ognuno dei sette ambiti considerati è stato la Rubrica di valutazione, caratterizzata da:
12
In pratica, come si è sviluppata VSQ? Il reclutamento delle scuole (nov. 2010 – apr. 2011)
PROVINCIA SCUOLE PARTECIPANTI
TASSO DI PARTECIPAZIONE
Arezzo 14 su 34 41%
Mantova (aggiunta tardiva)
5 su 38 13%
Pavia 20 su 29 69%
Siracusa 38 su 60 63%
A Pisa e Cagliari la sperimentazione è stata proposta, ma senza riuscire ad ottenere scuole partecipanti
La decisione di basare la valutazione sul V. A. ha condizionato la scelta: VSQ ha coinvolto solo scuole medie, le uniche per le quali fossero disponibili prove INVALSI in ingresso (V primaria), intermedie (I media) e finali (III)
Per semplificare le procedure di «aggancio» delle prove di V, si sono privilegiate province con una presenza diffusa di Istituti comprensivi
totale scuole partecipanti
77
13
In pratica, come si è sviluppata VSQ? La prima fase della valutazione (aprile - dicembre 2011)
Maggio 2011: si svolgono le
prove Invalsi di I sec. di I grado, i cui risultati vengono collegati a quelli delle prove di V primaria del 2010 per il calcolo del V.A.
Le visite di osservazione slittano all’autunno, dunque all’a.s. 2011-12: vengono compilate le rubriche con giudizi da 1 (inadeguato) a 4 (eccellente) su 7 ambiti della vita scolastica
Si registra un certo disorientamento nelle scuole per il frequente cambio di approcci e di criteri
3%
PERCORSO DI VALUTAZIONE PER L’ESPRESSIONE DEL «GIUDIZIO
COMPLESSIVO INTERMEDIO» (GRAN PREMIO DELLA MONTAGNA)
Graduatorie regionali: 20 scuole (25%) premiate con 35.000 €
Crescita degli apprendimenti in Italiano
Crescita degli apprendimenti in Matematica
• Inclusione studenti disabili e stranieri • Recupero e Potenziamento • Orientamento • Valutazione studenti e autovalutazione
35%
25%
40%
14
Stesura e consegna alle scuole di un primo Rapporto analitico da parte dei Team di valutazione con l’individuazione di punti di forza e di debolezza e suggerimenti per il futuro («piste di miglioramento»)
A tutte le scuole non premiate sono stati comunque erogati contributi inversamente proporzionali alla posizione in graduatoria (fino a un massimo di 12.000€) per la realizzazione di «Piani di miglioramento» (PdM)
Supporto continuativo alle scuole da parte di Tutor scelti e appositamente formati dall’Indire per l’elaborazione, la revisione e la realizzazione dei PdM
In pratica, come si è sviluppata VSQ? La fase del miglioramento (2012-13)
La nuova valutazione del 2013 ha mantenuto fermi – nei limiti del possibile – i criteri utilizzati nel 2011
Giugno 2013: si svolgono le prove Invalsi di III sec. di I grado (all’interno dell’Esame
di Stato), da collegare alle prove di V primaria del 2010 (calcolo V.A.)
Rotazione dei Team di
osservazione sulle scuole: confermate le rubriche e i giudizi (da 1 a 4) sugli stessi 7 ambiti della vita scolastica
Molte scuole partecipanti sono state investite dal dimensionamento. Adozione
da parte del Miur di un criterio «conservativo»: al termine rimangono in lizza 71 istituti 15
Graduatorie regionali: 20 scuole (28%) premiate con 65.000 €
In pratica, come si è sviluppata VSQ? La seconda fase della valutazione (2013)
PERCORSO DI VALUTAZIONE PER L’ESPRESSIONE
DEL «GIUDIZIO COMPLESSIVO FINALE»
Crescita degli apprendimenti in Italiano
Crescita degli apprendimenti in Matematica
• Inclusione studenti disabili e stranieri • Recupero e Potenziamento • Orientamento • Valutazione studenti e autovalutazione
35%
25%
40%
16
ciò che non è andato nella direzione inizialmente prevista durante la fase di progettazione a tavolino della sperimentazione;
le reazioni da parte delle scuole raccolte in tre diverse tornate di approfondimento sul campo, nel 2011, 2012 e 2014;
gli aspetti tecnici e organizzativi perfezionabili alla luce degli inevitabili errori e omissioni della «prima volta».
In altre parole, sulle «lezioni ricavabili da VSQ»
Per una riflessione seria sul nascente SNV è utile soffermarsi anche su:
17
1. Risultati altalenanti sugli apprendimenti (segnali positivi dopo il primo anno, svaniti al termine del triennio) chiamano in causa il fenomeno del cheating osservato in 3a media, soprattutto nelle scuole di controllo.
2. Scarsa capacità delle scuole di usare correttamente i dati ricevuti da Miur e Invalsi. Dai piani di miglioramento emergono anche difficoltà incontrate dalle scuole nel passaggio da generiche idee-guida alla concreta strutturazione di quadri progettuali. La tendenza è ancora quella di proporsi come “progettifici”.
3. Sullo sfondo: resistenza nelle scuole alla valutazione nelle fasi di turbolenza politica, soprattutto quando si parla di valutazione dei docenti
Nonostante la prospettiva dei premi, e nonostante la stesura e la realizzazione di piani di miglioramento supportati dai tutor Indire, al termine del triennio di sperimentazione gli apprendimenti degli studenti delle scuole VSQ non risultano superiori rispetto a quelli di scuole simili.
Prima lezione
18
Peraltro, buoni progressi nel tempo sono stati registrati nei giudizi espressi dai team di valutazione esterna: nel 2013, a due anni di distanza dalle prime visite di osservazione, le scuole hanno ottenuto punteggi sistematicamente superiori.
Seconda lezione
2. Di certo, VSQ ha suscitato nelle scuole un processo di apprendimento organizzativo che ha migliorato la loro capacità di conservare - e al bisogno di produrre tempestivamente - la documentazione loro richiesta dalle procedure di valutazione .
1. C’è stato un reale balzo in avanti nella capacità di inclusione, in quella di orientamento alla prosecuzione degli studi, nell’attenzione agli studenti in difficoltà (recupero) e così via? Oppure a crescere è stata soltanto la capacità di interlocuzione con i valutatori esterni, affinatasi con l’esperienza?
19
1. le prove Invalsi non erano e non sono «ancorate», il che rende più ardua l’interpretazione del v.a.
2. nessun sistema di valutazione è al riparo dagli effetti di un cheating diffuso, in grado di compromettere le prove standardizzate: data l’impossibilità di distinguere a posteriori tra eccellenza e propensione a barare, va rafforzato il controllo preventivo
NB: i boicottaggi delle prove Invalsi 2015 rendono oggi molto più arduo l’uso del VA, in particolare nel Sud
Lo strumento del valore aggiunto, espressamente previsto dal DPR 80, è stato sperimentato con profitto sulle scuole VSQ, ma non è ancora pronto per essere utilizzato in funzione valutativa
Terza lezione
3. l’Invalsi non è stato in grado di seguire longitudinalmente tutti gli studenti che prendevano parte alla sperimentazione, anche a causa del difficile avvio del codice Sidi
4. in tre anni le scuole sembrano aver fatto pochi progressi nella comprensione del concetto e del metodo di stima del valore aggiunto
20
1. autorevolezza e profonda conoscenza del vocabolario e dei meccanismi scolastici sono requisiti necessari per gli osservatori/ispettori che visitano le scuole: va evitato in ogni modo il rischio di una loro delegittimazione
2. gli obiettivi e gli strumenti della valutazione devono essere comunicati alle scuole in modo trasparente e all’inizio del processo
3. una volta determinati gli obiettivi della valutazione, è indispensabile mantenere la coerenza dell’impianto valutativo durante tutto il processo
4. per questo è necessaria una piena sintonia tra ispettori e chi assiste le scuole nella fase di autovalutazione e miglioramento (Indire)
Quarta lezione
E’ stato affinato lo strumento delle visite di osservazione da parte di nuclei esterni, anch’esso ripreso dal DPR 80. L’esperienza VSQ, con diverse occasioni di visita, ha messo in luce alcuni aspetti non scontati
21
1. il processo valutativo di VSQ si è concentrato su 9 indicatori: v.a. di italiano e matematica più 7 dimensioni della vita scolastica (inclusione, orientamento ecc.)
Quinta lezione
I processi valutativi oscillano in permanenza tra due estremi, entrambi sbagliati: l’approccio monodimensionale, che ignora la complessità della scuola, e l’approccio olistico, che vorrebbe tener conto di un’infinità di aspetti diversi. VSQ ha raggiunto un compromesso equilibrato tra la “dittatura dell’indicatore unico” e la dispersività del voler valutare tutto
* va evitata la moltiplicazione delle dimensioni da valutare: oggi in SNV c’è un disorientante eccesso di indicatori
22
Le resistenze delle scuole italiane nei confronti della valutazione esterna si attenuano se viene valutata l’intera squadra, si rafforzano quando si parla di valutazione del singolo docente
1. nel triennio della sperimentazione si è passati da un clima apertamente ostile nei confronti della valutazione esterna delle scuole a un clima molto più disteso e dialogante
2. le scuole non si sono più chieste «se» si dovesse fare la valutazione ma «come» dovesse essere fatta (e hanno giustamente preteso che fosse fatta bene)
3. questo cambiamento rende ancora più cruciale una buona comunicazione tra valutatori e valutati, e impone una maggiore trasparenza dei criteri adottati e delle procedure da parte di Miur e Invalsi
NB: Con l’iter tortuoso che ha condotto all’approvazione della legge sulla «Buona scuola», il pendolo pare essersi nuovamente spostato in direzione della diffidenza e dell’ostilità nei confronti della valutazione esterna.
Sesta lezione
23
La valutazione deve essere tempestiva
1. dall’inizio alla fine di VSQ sono passati più di 3 anni; nel frattempo molto è cambiato: trasferimenti, cessazioni, dimensionamento…
2. tempi troppo lunghi per la valutazione esterna prevista oggi da SNV : potrebbero passare 20 anni prima che una scuola venga visitata
3. a rischio la titolarità dei processi di miglioramento, anche per il turnover di DS e docenti
Settima lezione
24
Un elemento di fragilità di VSQ, segnalato dai docenti e dai DS, va ricercato nella latitanza dei referenti locali. E’ opportuno un maggior coinvolgimento di USR e ambiti territoriali
1. tutte le fasi sono state gestite centralmente da Viale Trastevere, da Frascati e da Firenze, senza prevedere sportelli locali in grado di fornire informazioni alle scuole
2. andrebbe prevista l’attivazione presso le sedi decentrate del Miur di appositi uffici/sportelli che possano agevolare lo svolgimento delle visite di osservazione, aiutare le scuole nella raccolta e nell’interpretazione dei dati di fonte Miur o Invalsi, fornire tutti i chiarimenti necessari sulle diverse fasi del processo valutativo
Ottava lezione
25
Consenso Reazioni
Dalle interviste con i DS delle scuole vincitrici abbiamo
tratto una nona lezione
*Erano inizialmente previste 20 scuole vincitrici, ma il numero è cresciuto a seguito d un ex aequo a Siracusa e di un dimensionamento a Pavia
A un anno dalla conclusione della sperimentazione siamo tornati a Siracusa-Arezzo-Pavia-Mantova per vedere come sono state utilizzate le risorse premiali
Ci interessava verificare cosa era effettivamente successo nelle 22* scuole vincitrici in occasione dell’erogazione dei premi
Criteri di ripartizione dei 65.000 €
Consenso Ai docenti
o alla progettazione
di istituto?
Reazioni
26
A un anno dalla consegna dei premi molti DS delle scuole VSQ vincitrici non hanno ancora
deciso come usarli. Il mondo della scuola fatica a digerire la logica premiale
1. solo il 27% delle scuole dopo 1 anno aveva già allocato tutti i premi.
2. premi al personale: nel 40% dei casi è stata una distribuzione «a pioggia» .
3. in alcuni casi, invece che scegliere i docenti, si è preferito utilizzare i fondi per acquisti o altri progetti.
4. lontananza culturale dalla logica premiale e degli incentivi, anche da parte di scuole auto-selezionate
5. per analogia: come si comporteranno i comitati di valutazione e i DS con il bonus ai singoli docenti della legge 107?
Nona lezione
27
1
2
Vanno scollegate le attività di valutazione delle scuole dal riconoscimento di premi: l’enfasi sulla premialità rende di fatto inutilizzabile qualsiasi indicatore adottato. In particolare, per i docenti alla logica dei premi andrebbe preferita la costruzione della carriera
Il passaggio dalle decine (VSQ) o dalle centinaia (VALeS) di scuole alle migliaia (SNV) richiede una strategia di irrobustimento della cultura della valutazione, con un investimento su larga scala in formazione dei professionisti della valutazione, al momento assente
3
Conclusioni
Va accuratamente evitato il rischio di una regia ondivaga dei processi valutativi, con frequenti
cambi di direzione e conseguente disorientamento da parte dei soggetti valutati.
Occorre una forte guida da parte del Miur
28
info sul progetto VSQ e tutte le lezioni apprese sono disponibili sul sito della Fondazione Agnelli www.fga.it
Bologna Fondazione Golinelli 22 febbraio 2016
quale valutazione
*
Andrea Gavosto [email protected]
Il sistema di valutazione dopo la Buona Scuola