Le tendenze internazionali e il sistema di valutazione in Italia Nadia Colombo Milano 26-2-2012

Le tendenze internazionali Le tendenze internazionali

e il sistema di valutazione in Italiae il sistema di valutazione in Italia

Nadia Colombo

Milano 26-2-2012

Nadia Colombo 26-2-2010

INDICE

Le tendenze internazionali

Il sistema di valutazione in Italia

I quadri di riferimento PISA, PIRLS e TIMSS

I framework INVALSI di lettura e matematica


LE TENDENZE INTERNAZIONALI

Partecipazione dei singoli paesi a progetti internazionali di misurazione degli apprendimenti

Valutazione dei risultati degli alunni in alcune fasce di età

Individuazione di alcune aree chiave del curricolo da presidiare, valutare e certificare (core curriculum)

Focus sull’acquisizione da parte degli alunni di competenze funzionali

Una nuova idea di curricolo: diminuzione del tempo scuola; priorità delle competenze strumentali di base (literacy); valorizzazione dello sviluppo delle abilità trasversali; arricchimenti culturali: lifelong learning


LE TENDENZE INTERNAZIONALI

Fino alla fine degli anni ’70

Immissione di risorse da parte dei sistemi politici, delle scuole pedagogiche e di apparati amministrativi, senza controllo sui risultati

Ipotesi: Investimenti + insegnamenti miglioramento

Anni ’80 : Attenzione ai processi

(Auto)analisi,(auto)valutazione, manutenzione del processo

Ipotesi: valutazione dei processi miglioramento

Dalla metà degli anni ’90: Dai processi agli esiti

Misurazione degli apprendimenti in aree chiave del curricolo

Relazione con indicatori di processo ritenuti significativi (tempo insegnamento, frequenza compiti, presenza e uso biblioteca, capacità verbali e conoscenza materia insegnanti)

Ipotesi OCSE-CERI: leadership educativa, aspettative, enfasi su conoscenze di base, clima scolastico ordinato, frequenti verifiche


I PERCHÉ DELLE PROVE DI VALUTAZIONE ESTERNA

Grande espansione dei sistemi d’istruzione nel secondo dopoguerra, con conseguente esplosione della spesa

Crisi dell’istruzione e messa in discussione dell’esistenza di una relazione semplice e diretta fra risorse investite nell’istruzione (input) e risultati ottenuti (output) e conseguentemente delle politiche scolastiche basate sul semplice aumento della spesa

Tendenza al passaggio da modelli burocratici di governo della scuola a modelli “post-burocratici”, che sfocia da un lato in politiche di “devolution and choice” e dall’altro lato di “standards and accountability”


I PERCHÉ DELLE PROVE DI VALUTAZIONE ESTERNA

Lo sviluppo dell’istruzione di massa fa venir meno le condizioni che un tempo assicuravano, entro certi limiti, la confrontabilità dei voti scolastici e dei titoli di studio all’interno di un paese

Esigenza di trasparenza sul valore dei titoli e delle certificazioni poiché è provato che le valutazioni degli insegnanti non sono comparabili (esempio Pisa 2003: voti – punteggi)

Apertura dei confini e conseguente necessità di favorire la mobilità della forza lavoro e il riconoscimento delle

qualificazioni ai vari livelli (esempio EQF)


Da ISTRUZIONE = SPESA a ISTRUZIONE = INVESTIMENTO

“capitale umano” come fattore discriminante per il progresso economico e sociale di un Paese

La letteratura dimostra che la conoscenza nelle discipline fondamentali ha un ruolo di primo piano

nell’avanzamento individuale e dell’intera società

Questa consapevolezza scientifica ha modellato le indicazioni di policy a livello internazionale ed europeo

ed è stata recepita dalla legislazione nazionale

Strategia di Lisbona

IL BISOGNO DI ACCONTABILITY


Quindicenni con bassi livelli di competenza in lettura

Abbandoni precoci

Completamento studi secondari superiori (20-24 anni)

Partecipazione adulti a lifelong learning (25 – 64 anni)

Laureati scienze matematica e tecnologie

IncrementoPercentuale femminile

Istruzione prescolastica (4 anni)

Adulti con titolo d’istruzione terziario (25 – 64 anni)Investimento pubblico nell’istruzione % PIL

GLI OBIETTIVI DI LISBONA


PROGRESSI VERSO LISBONA: RAPPORTO 2009

Benchmark 2020

Percentuale di quindicenni con scarse abilità in lettura, matematica e scienze: inferiore al 15%Italia*: PISA 2006 11,4% degli studenti sotto il livello 1 (media OCSE 7,4); 15,0% degli studenti si colloca al livello 1 (media OCSE 12,7); 24,5% degli studenti si colloca al livello 2 (media OCSE 22,7)

Dispersione scolastica: inferiore al 10%

Completamento dei studi terziari: almeno 40 % adulti di età compresa tra 30 e 34 anni

Aumento della partecipazione ad iniziative di apprendimento permanente: almeno 15% della popolazione adulta in età lavorativa 25/64 anni

Istruzione prescolastica per bambini di età compresa tra 4 anni e l’inizio della scuola: 95%

*Fra il 2000 e il 2003 l’Italia è scesa nella scala complessiva di lettura di 12 punti, fra il 2003 e il 2006 la discesa continua, passando da 476 a 469; nel complesso, rispetto a PISA 2000, la discesa è dunque di 19 punti. Si tratta di un dato estremamente preoccupante, considerando che la competenza di lettura era l’unica in cui l’Italia era partita da un dato appena inferiore alla media internazionale.


PROGRESSI VERSO LISBONA: dal 2000 al 2008


PAESI ADERENTI AL PROGETTO PISA 2009

Come si è arrivati qui?


Anni ’50

• Gruppo di esperto di valutazione ad Amburgo

Anni ‘60 – ‘70

Sviluppo indagini IEA (International Association for the Evaluation of Educational Achievement) - associazione di Enti di ricerca non governativi

Indagini internazionali comparative sugli apprendimenti a scopi di ricerca,la cui metodologia si basa sulla misurazione tramite prove oggettive dei livelli di profitto e sull’esame di come le variabili di sfondo nei diversi paesi contribuiscono a determinare i diversi livelli di profitto

LO SVILUPPO DELLE INDAGINI INTERNAZIONALI: TAPPE


Anni ’80

Pubblicazione dei primi studi sulla “school effectiveness” e sul

miglioramento delle scuole (“school improvement)

Anni ’90

OCSE: Education at a Glance (1992), UE: Key data on education (1994)

Sviluppo indagini OCSE (Progetti De.Se.Co., PISA 1997): dalla ricerca alla

politica

Indagini nate dall’iniziativa di un certo numero di governi i cui risultati,

pertanto, fanno riferimento agli interessi degli stessi in materia di politica

educativa

La regolarità delle indagini dà la possibilità ai paesi partecipanti di

monitorare ciclicamente e con certezza i propri progressi nel raggiungere

gli obiettivi di apprendimento più importanti

LO SVILUPPO DELLE INDAGINI INTERNAZIONALI: TAPPE


Monitorare i risultati dei sistemi scolastici in termini di prestazioni degli studenti misurati in un quadro di

riferimento comune a livello internazionale

• Mettere a punto indicatori di base che consentano di costruire un profilo di riferimento delle conoscenze e delle abilità degli studenti per ottenere dati comparabili sulle loro prestazioni

• Ottenere un quadro di riferimento per individuare punti di forza e di debolezza del proprio sistema scolastico

• Individuare le caratteristiche dei sistemi scolastici dei paesi che hanno ottenuto i risultati migliori, in termini di qualità (livello delle prestazioni) e di equità (impatto dello status socio-economico sui rendimenti scolastici), in modo da trarre indicazioni relative all'efficacia delle politiche scolastiche nazionali.

GLI SCOPI DELLE INDAGINI INTERNAZIONALI


• Mettere a punto indicatori di contesto che mostrino come conoscenze e abilità siano in relazione con importanti variabili di carattere demografico, socio-economico e riguardanti il sistema dell’istruzione (questionari di accompagnamento)

• Vedere in che misura fattori antecedenti e correlati del profitto scolastico operino nello stesso modo in diversi contesti… tradizioni e leggi … cosa è consentito,

i sistemi di istruzione al di fuori dei confini nazionali … cosa è possibile(Foshay 1962)

… per rendere più informato il lavoro dei decisori pubblici• Mettere a punto indicatori di tendenza, derivanti dal carattere ciclico

della rilevazione, che mettano in luce i cambiamenti sia nel livello e nella distribuzione dei risultati, sia nelle relazioni tra tali risultati e le variabili di contesto a livello di studenti e di scuole.

• Fornire dati sui risultati dei sistemi di istruzione in modo regolare, così da consentire il loro monitoraggio e la costruzione di serie storiche di dati utilizzabili per orientare eventuali provvedimenti innovativi e di riforma.

GLI SCOPI DELLE INDAGINI INTERNAZIONALI


LE PRINCIPALI RICERCHE INTERNAZIONALI

IEA – PIRLS

(Progress in International Reading Literacy Study)

IEA – TIMMS

(Trends in International Mathematics and Science Study)

OCSE – PISA

(Programme for International Student Assessment)

OCSE – ALL

(Adult Literacy and Life Skills)


IEA PIRLS

SCOPO Misurare i livelli di comprensione della lettura dei

bambini, analizzare le esperienze familiari e scolastiche

che possono influenzare l’apprendimento

A CHI Campione di bambini al quarto anno di scolarità

SU COSA Competenza di lettura

PROVE Quesiti a scelta multipla e alcuni quesiti aperti

STRUMENTI Test cognitivo, questionario studente, questionario

famiglia, questionario insegnante, questionario scuola

QUANDO Ogni 5 anni (2001-2006)

DOVE 45 paesi

CHI IEA– Consorzio Università


IEA TIMSS

SCOPO Effettuare confronti a livello internazionale sul

rendimento degli studenti in matematica e in scienze;

raccogliere un’ampia gamma di informazioni sui contesti

“scuola e casa” per l’apprendimento della matematica e

delle scienze.

A CHI Campione di alunni al quarto e all’ottavo anno di scolarità

SU COSA Competenze in matematica e scienze

PROVE Quesiti a scelta multipla e alcuni quesiti aperti

STRUMENTI Test cognitivo, questionario studente, questionario

famiglia, questionario insegnante, questionario scuola

QUANDO Ogni 4 anni (1995-1999-2003-2007)

DOVE 46 paesi (2003) – oltre 60 (2007)

CHI IEA – Consorzio Università


OCSE - PISA

SCOPO Misurare le competenze funzionali nelle aree di lettura, matematica e scienze in chiave comparativa su 5/6 livelli

A CHI Campione di quindicenni scolarizzati

SU COSA Literacy lettura (2000, 2009), Literacy matematica (2003), Literacy scienze (2006), Problem Solving (solo nel 2003)

PROVE Quesiti a scelta multipla semplice e complessa e quesiti aperti a risposta univoca e articolata

STRUMENTI Test cognitivo, questionario studente, questionario genitori, questionario scuola

QUANDO Dal 2000 ogni 3 anni

DOVE 2000: 35 paesi 2003: 41 paesi 2006: 58 paesi2009: 67 paesi

CHI Promosso da OCSE, gestito e coordinato da un consorzio tecnico internazionale


DIVERSI APPROCCI ALLA VALUTAZIONE DEI RISULTATI

Padronanza del curricolo

Preparazione per la vita

Oggetto di indaginele conoscenze e le abilità valutate sono definite in termini di

comune denominatore fra curricoli scolastici dei diversi paesi

competenze funzionali / obiettivi educativi


IL MODELLO DELLE INDAGINI IEA: CRITERI ISPIRATORI

La comparazione parte da studi di caso nazionali per identificare gli elementi curricolari comuni


• La scuola viene valutata in relazione – ad un criterio esterno ad essa rappresentato dalla preparazione dei

giovani per la vita – ad obiettivi impliciti dei sistemi educativi (così come definiti dalla

società)

• Concezione dinamica dell’apprendimento (lifelong learning): le conoscenze e le abilità necessarie per adattarsi ad un mondo in continuo cambiamento si acquisiscono lungo tutto l’arco della vita

• Dimensione internazionale: i curricoli nazionali costituiscono una cornice di riferimento per la definizione dell’oggetto d’indagine, non un vincolo prescrittivo

• Dimensione diacronica: valutare nel tempo senza esser legati alle variazioni nei curricoli

• Prospettiva cross-curricolare: indagare abilità di carattere generale (comunicazione, capacità di risolvere problemi, flessibilità, adattabilità)

IL MODELLO DELL’INDAGINE OCSE PISA: CRITERI ISPIRATORI


LITERACYLITERACY COMPETENZACOMPETENZA

complesso di conoscenze e abilità funzionalicomplesso di conoscenze e abilità funzionali

Superamento di una prospettiva strettamente scolastica

Prospettiva valutativa orientata non al passato ma al futuro

Concezione dinamica dell’apprendimento

Ciò che si intende valutare non è la padronanza di parti del curricolo, ma la capacità di servirsi delle conoscenze e delle abilità acquisite per affrontare i compiti e le sfide della vita adulta.

L’accento è posto sulla padronanza di processi cognitivi, sulla comprensione di concetti e sulla capacità di applicarli, nei vari ambiti, in diverse situazioni.

IL CONCETTO DI LITERACY IN PISA


• Alla base della definizione del cosa valutare vi è l’individuazione dei bisogni del cittadino:

– Cosa è importante che un cittadino conosca? – Cosa deve saper fare in situazioni che hanno a che fare con la

scienza/ la matematica/ la lettura? – A cosa è importante che dia valore?

• Le competenze, intese come complesso di conoscenze e abilità funzionali, non riguardano una versione riduttiva del saper fare (molti compiti PISA richiedono più di una mera esecuzione di compiti eterodefiniti); costituiscono, invece, quel saper fare ad ampio spettro che conferisce senso autentico e motivante alle “cose apprese e utilizzate” e consente di svolgere un ruolo attivo nella società.

• “Competenze chiave sono quelle di cui tutti hanno bisogno per la realizzazione e lo sviluppo personali, la cittadinanza attiva, l’inclusione sociale e l’occupazione” Raccomandazione del Parlamento europeo e del Consiglio 18/12/2006 relativa a competenze chiave per l’apprendimento permanente

IL CONCETTO DI LITERACY IN PISA


Levy-Murname, Th new division of labour. Princeton NY 2004cit sito ADI

PERCHÉ L’ACCENTO SULLE COMPETENZE?

• Crescita esponenziale informazione• Percorsi lavorativi meno lineari• Evoluzione del mercato del lavoro


Per la scuola italiana le rilevazioni internazionali hanno valenza strategica:

• per valutarne il posizionamento in ambito internazionale • per analizzarne e comprenderne la capacità di far acquisire

agli studenti le competenze ritenute essenziali nei paesi a sviluppo avanzato

• per disegnare e valutare programmi di intervento in materia di politica educativa

• per avviare una riflessione all’interno delle istituzioni scolastiche su possibili ricadute didattiche

VALENZA STRATEGICA

DELLE INDAGINI INTERNAZIONALI


PISA, TIMSS, PIRLS sono progetti per la comparazione tra sistemi scolastici

pertanto

• non consentono di approfondire alcuni aspetti relativi alle differenze interne ai singoli sistemi scolastici nazionali

• non possono fornire dati relativi alla singola scuola (PISA), né, tanto meno, ai singoli studenti

• non possono sostituire le rilevazioni nazionali• possono però fornire modelli e metodologie per le

rilevazioni nazionali

hanno offerto un setting di riferimento all’introduzione delle prove standardizzate esterne per la valutazione delle scuole e degli studenti (PISA è stato, in Italia, l’apripista della valutazione esterna)

LIMITI

DELLE INDAGINI INTERNAZIONALI


Raccomandazioni esperti OCSE all’Italia – 1997

Istituire un sistema di valutazione indipendente che definisca parametri di valutazione per mettere le scuole in grado di autovalutarsi, sviluppi test e fornisca consulenza per la allocazione delle risorse

Istituire un ente indipendente che svolga ricerche in materia di istruzione

Creare un sistema di testing per valutare gli alunni in determinati momenti del corso di studi

Mettere i risultati a disposizione dei genitori e della comunità in forma di media di scuola

IL SISTEMA DI VALUTAZIONE IN ITALIA


DPR 275/99 Regolamento per l’Autonomia

Art. 10 - Per la verifica del raggiungimento degli obiettivi di apprendimento e degli standard di qualità del servizio il Ministero fissa metodi e scadenze per rilevazioni periodiche...

… finalizzate a sostenere le scuole per l'efficace raggiungimento degli obiettivi attraverso l'attivazione di iniziative nazionali e locali di perequazione, promozione, supporto e monitoraggio.

DL 258/99 Riordino del CEDE INVALSI

Valutare l’efficacia e l’efficienza del sistema di istruzione

Studiare le cause dell’insuccesso e della dispersione scolastica

Valutare la soddisfazione dell’utenza

Valutare gli effetti delle iniziative legislative

Valutare gli esiti dei progetti di innovazione

Assicurare la partecipazione italiana ai progetti di ricerca internazionale



INVALSI - Cosa si valuta?

Decreto Legislativo 286/2004 “Istituzione del Servizio nazionale di istruzione e di formazione”

INVALSI effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli allievi e sulla qualità del sistema educativo di istruzione e formazione

Valutazione di sistema che intende misurare l’efficienza e l’efficacia del sistema scolastico globalmente inteso

Ha valore statistico ma può costituire uno spunto di riflessione per le singole scuole



Art. 1, c. 5, Legge 25 ottobre 2007, n. 176:

Dall’anno scolastico 2007/08 il Ministro della Pubblica Istruzione fissa con direttiva annuale gli obiettivi della valutazione esterna condotta dal Servizio nazionale di valutazione in relazione - al sistema scolastico - e ai livelli di apprendimento degli studenti per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della scuola secondaria di I grado e alla seconda e alla quinta classe del secondo ciclo (…).



Direttiva triennale n. 74 – 15 settembre 2008

Direttiva MIUR all’INVALSI per l’a.s. 2009-2010n. 76 – 6 agosto 2009

Provvedere alla valutazione degli apprendimenti tenendo conto delle soluzioni e degli strumenti già adottati per rilevare il valore aggiunto prodotto da ogni singola scuola in termini di accrescimento dei livelli di apprendimento degli alunni:

II e V classe scuola primaria

I e III classe scuola secondaria di 1°grado; per la III classe prova nazionale all’Esame di Stato

rilevazione in italiano e matematica

La direttiva n.74 del 15/09/2008 chiede all’INVALSI di portare a regime il sistema nazionale di valutazione

nel corso di un triennio


DECRETO LEGGE 7 SETTEMBRE 2007 N. 147convertito in Legge n. 176 25 ottobre 2007

L’Esame di Stato comprende anche una prova scritta, a carattere nazionale, volta a verificare i livelli generali e specifici di apprendimento conseguiti dagli studenti.

LA SITUAZIONE IN ITALIA



INDAGINI NAZIONALI

Progetti Pilota: PP1, PP2, PP3

2004-2005 e 2005-2006 Rilevazione Nazionale degli Apprendimenti su base censuaria

2006-2007 Valutazione degli apprendimenti su base campionaria (II e IV primaria, I secondaria primo grado, I e III secondaria secondo grado)

2007-2008 Valutazione degli apprendimenti su base campionaria (II e V primaria, I e III secondaria di primo grado, II e V secondaria secondo grado)

2008-2009 Scuola primaria (classi II e V): Rilevazione censuaria a livello di scuola, campionaria a livello di studente


V SNV

IV

III

II SNV

I

III P.N. P.N. SNV , PN SNV , PN

II

I SNV SNVV SNV SNV SNV

IV

III

II SNV SNV SNVI

2007-08 2008-09 2009-2010 2010-2011

seco

da

ria

II

gra

do

Seco

nd

ari

a I

gra

do

Pri

ma

ria


UN POSSIBILE PERCORSO OPERATIVO

Come utilizzare

Quadri di riferimento

per mettere a fuoco gli obiettivi dei

percorsi di insegnamento acquisire consapevolezza delle

caratteristiche del nostro insegnamento

individuare alcune competenze chiave quali esiti attesi alla fine del percorso formativo

Prove

per costruire percorsi di

apprendimento costruire prove di

accertamento migliorare i processi di

valutazione avere riferimenti esterni in

aggiunta e quelli interni

Risultatiper

riequilibrare le diverse componenti dei percorsi di insegnamento e dei processi di apprendimento,

migliorare i processi valutativi


RIFERIMENTI SITOGRAFICIQuadri di riferimento, prove rilasciate, rapporti nazionali ed internazionali sono disponibili sui siti:

PISA:

http://www.invalsi.it/invalsi/ri/pisa2006.php?page=pisa2006_it_05

PIRLS:

http://www2.invalsi.it/Ri/Pirls2006/pagine/documentazione.htm

TIMSS:

http://www.invalsi.it/ric-int/timss2007/index.php

INVALSI SNV:

http://www.invalsi.it/snv0809/

INVALSI PROVA NAZIONALE:

http://www.invalsi.it/esamidistato0809/

Per approfondimenti:

http://old.irrelombardia.it/valutazione/

http://old.irrelombardia.it/valutazione/va_00_pisa_fw_00.php

http://www.irrelombardia.it/Progetti/Progetti-in-ordine-alfabetico/Padronanza-della-lingua-italiana

Documents

Le tendenze internazionali e il sistema di valutazione in Italia Nadia Colombo Milano 26-2-2012