Garuti 13 12 12 Merano2 - provincia.bz.it · s_schleicher_use_data_to_build_ better_schools.html ... pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo

AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Landes-Evaluationsstelle für das italienischsprachige Bildungssystem

Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana

L’interpretazione e l’uso dei risultati INVALSI da parte delle scuole

Rossella Garuti

[email protected]

Merano 12 dicembre 2013


��1. L1. L’’accountability: il accountability: il ““ render contorender conto ””

��2. La valutazione nazionale: le prove INVALSI2. La valutazione nazionale: le prove INVALSI

��3. I dati di scuola: cosa viene restituito, come 3. I dati di scuola: cosa viene restituito, come

leggerli e come utilizzarlileggerli e come utilizzarli

��4. Utilizzare i dati per migliorare la didattica: 4. Utilizzare i dati per migliorare la didattica:

strumentistrumenti

Schema della presentazione


1. Il bisogno di 1. Il bisogno di ““ render contorender conto ””

Le domande:• Come valorizzare i risultati della scuola?

• Come verificare che gli investimenti fatti stiano andando nella giusta direzione?

• Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi?

• …………….

La risposta:� Disponibilità di dati confrontabili a livello nazionale ed

internazionale



Un video interessanteAndreas Scleicher (direttore della ricerca OCSE- PISA)

http://www.ted.com/talks/andreas_schleicher_use_data_to_build_better_schools.html

remember: Without data, you are just another person with an opinion



E’ necessario confrontarsi per poter ragionare in modo laico su una serie di pre-giudizi:

� “piccolo è bello”

� “più tempo-scuola= migliori risultati”

� “più danaro = migliori risultati”

� ……


II primaria

6-7- maggio

V primaria 6-7 maggio

I secondaria di primo grado

III sec. di I gradoProva Nazionale

19 giugno

II secondaria di secondo grado

13 maggio

il piano delle rilevazioni 2013-2014

2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI


Quadro di riferimento

per la valutazione

Quadro di riferimento per i curricoli

Quadri di riferimentoper le valutazioni

internazionali

Esiti delle rilevazioniprecedentiPrassi scolastica



� La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe.

�Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.



Produzione delle domande da parte degli autori

Selezione e classificazione

Costruzione dei fascicoli per il

pre-test

Prova sul campo

Analisi statistica Analisi didattica

Fascicolo definitivo

2. La costruzione dei fascicoli INVALSI 2. La costruzione dei fascicoli INVALSI


VERSIONE PRE-TEST: un esempio

D24. Il nonno Andrea e sua nipote Marta stanno camminando vicini lungo un sentiero. Ogni due passi che fa il nonno Marta ne deve fare 3 per restare affiancata al nonno. Dopo che il nonno Andrea ha fatto 40 passi quanti passi ha fatto Marta?

A. □ 40

B. □ 60

C. □ 80

D. □ 120


Versione finaleVersione finale


Aspetti significativi

del QDR

Fascicolo definitivo

Aspetti misuratori

Ultima revisione del testo per eliminare al massimo le ambiguità di tipo linguistico

SOMMINISTRAZIONE



3. La lettura dei risultati INVALSI3. La lettura dei risultati INVALSI

1. A livello di sistema scolastico

2. A livello di Istituto Scolastico

3. A livello didattico

1. Decisori politici (MIUR, Intendenza, CSP,…..)

2. Dirigente Scolastico, referente,commissione

3. Docenti e Dipartimenti


3. La lettura dei risultati di scuola3. La lettura dei risultati di scuola

Percorso di autovalutazione

Potenziamento e miglioramento

dell’azione didattica

istituto e singola classe

DATI INVALSI



� Perché la valutazione riguarda tutte le classi e non è a campione, come

avviene in tanti altri paesi?

� Chi può vedere/utilizzare i risultati delle prove?

� Perché il presidente del consiglio di istituto potrà vedere alcuni risultati?

� Le prove si estenderanno anche alle classi terminali? Quali aree

disciplinari?

�Quali informazioni sulla formazione delle classi?

�Come sono collegati i risultati delle prove con i voti degli scrutini?

�Come utilizzare i risultati nel consiglio di classe?

�……….



L ’ INVALSI restituisce ad ogni singola scuola dati sull’andamento:

�complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell’Italia, dell’area geografica e della regione di appartenenza (nel caso di Bolzano della provincia);

�delle singoli classi nelle prove di italiano e di matematica nelloro complesso;

�della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.


I risultati della provincia di Bolzano (l.it.)I risultati della provincia di Bolzano (l.it.)

livello ITA MAT Media TRENTO

Media NORD-EST

2012-2013

II primaria

201 204 Ita 211 Mat 210

Ita 203 Mat 202

++

V primaria

197 199 Ita 207 Mat 211

Ita 204 Mat 205

==

I sec. I gr. 205 209 Ita 202 Mat 210

Ita 204 Mat 207

++

III sec.I gr.

201 205 Ita 212 Mat 213

Ita 209 Mat 210

-=

II sec.II gr.

210 211 Ita 218 –Mat 226

Ita 207 Mat 213

+++


ITA – I secondaria di primo grado

�


MAT – I secondaria di primo grado

�


ITA – III secondaria di primo grado

�


MAT – III secondaria di primo grado

�


3. La lettura dei risultati di scuola: uno sguardo 3. La lettura dei risultati di scuola: uno sguardo dd’’ insieme insieme

Schermata iniziale


2 Insieme di anomalie che alterano gli esiti della prova. L'effetto delcheatingè misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato èmediamente da attribuire alle predette anomalie.

3 L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello delbackgrounddello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche.La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole conbackgroundsocio-economico-culturale (ESCS) più simile a quello della classe/scuola considerata.

4 I livelli del backgroundsono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.

5 La frecce rivolte verso l'alto e verso il basso indicano una differenza rispettivamente positiva e negativa statisticamente significativa, ossia con una probabilità superiore al 95% di verificarsi anche nella popolazione e non solo nel campione.Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.

Punteggio medio-

Cheating=

Punteggio medio della classe

Italiano


+11,5

-1,8

Una diversa visualizzazione dei risultati complessivi


�Ci sono andamenti diversi fra le classi? Perché?

�Ci sono differenze fra MAT e IT?

� Le differenze fanno riferimento a “tipologie diverse(tempo pieno, …)? A “vissuti” diversi?

�L’indice di status socio-economico-culturale ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono diverse tra loro? Se sì, perché?

3. La lettura dei risultati di scuola: uno 3. La lettura dei risultati di scuola: uno sguardo dsguardo d ’’ insieme insieme


3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà

ESCS: il questionario studenti


� I risultati delle classi (punteggio) sono omogenei all’interno della scuola?

� Le classi sembrano “ben formate”?

� Lo status socio-economico-culturale è omogeneo tra le classi?

� E’ in linea con il dato nazionale?

� ….




Situazione di relativo equilibrio: confronto LIV.05 e Liv.06



Situazione di relativo «squilibrio» nei punteggiITA- Liv. 10

Ist. Tecnico

MATE- Liv. 10Ist.Tecnico



ITA- Liv. 10 Liceo

MATE- Liv. 10Liceo

Situazione di relativo «squilibrio» nell’ESCS



Classe II primaria, come per la PN (LIV.08) non c’èESC perché non c’è il questionario studenti


3. La lettura dei risultati di scuola: i livelli3. La lettura dei risultati di scuola: i livelli

13

45

2

Dal + BASSO…………………………………………al + ALTO

Risultati < 75% media nazionale

<75%Risultati < 95% media nazionale

<95%Risultati < 110% media nazionale

<110%Risultati < 125% media

nazionale

Risultati > 125% media nazionale



Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?


15 12

6

23

6

447

1420

Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità

Discrepanza fra ITA e MATE


Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità

Sostanziale equilibrio fra ITA e MATE


� La distribuzione per livelli nelle singole classi èequilibrata?

� Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove?

� Quanti sono gli studenti i cui risultati sono molto diversi?

� Ci sono differenze significative fra le due discipline?

� Quali ipotesi si possono fare?

� …



3. La lettura dei risultati di scuola: correlazioni3. La lettura dei risultati di scuola: correlazioni

Voti di scuola e punteggi INVALSI: nelle classi e tra le classi



�Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI?

�Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa?

� Ci sono differenze nei “metri” di valutazione degli insegnanti della scuola? �Ci sono differenze fra primaria e secondaria? Fra primo ciclo e secondo ciclo?

�………………….



Liceo -Bologna

Il range del voto medio di scuola è tra il 6 e il 7!


3. La lettura dei risultati di scuola: un grafico u tile3. La lettura dei risultati di scuola: un grafico u tile

Media Nazionale

Media Nazionale dei soli studenti

italiani

Media nazionale

Media di una scuola con ESCS

simile

XXXXXXXXX

40


50,0

55,0

60,0

65,0

70,0

75,0

80,0

85,0

90,0

PN 2011/2012

Risultato della prova di Italiano rispetto alla cittadinanza

Risultati della prova di Italiano (o Matematica) rispetto a …

40,0

45,0

50,0

55,0

60,0

65,0

70,0

75,0

PN 2011/2012

Risultato della prova di Matematica rispetto alla regolarità del percorso di studi

SCUOLA

SCUOLA

SCUOLA

Studenti italiani

Studenti stranieri I

generazione

Studenti stranieri II generazione

SCUOLA

SCUOLA

SCUOLA

50,0

55,0

60,0

65,0

70,0

75,0

80,0

RMMM208009_M Lazio_M Centro_M Italia_M RMMM208009_F Lazio_F Centro_F Italia_F

PN 2011/2012

Risultato della prova di Matematica rispetto al genereStudenti regolari

Studenti anticipatari

Studenti posticipatari

SCUOLASCUOLA

MASCHI

FEMMINE

Cittadinanza

Regolarità

Genere


3. La lettura dei risultati di scuola: cittadinanza , 3. La lettura dei risultati di scuola: cittadinanza , regolaritregolarit àà, genere, genere

I dati possono servire per sfatare alcuni pregiudizi



I dati possono servire per sfatare alcuni pregiudizi


�Quanti stranieri S1 e S2 ci sono? Sono un numero significativo?

�La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani? E rispetto agli studenti S1 eS2?

�Ci sono differenze fra matematica e italiano? Se sì, perché?

�� I dati possono farci riflettere sulle «bocciature»?



4.Usare i dati per migliorare la 4.Usare i dati per migliorare la didattica: strumentididattica: strumenti



4.Usare i dati per migliorare la didattica: strumen ti4.Usare i dati per migliorare la didattica: strumen ti

% risposte corrette

% scelta distrattori


PN 2013


Classificazione item


Commento dalla Guida:






First we have data…

It is a capital mistake to theorize before one has data.

( Sherloch Holmes, A Study in Scarlett, Arthur Conan Doyle)

ConclusioniConclusioni

Documents

Garuti 13 12 12 Merano2 - provincia.bz.it · s_schleicher_use_data_to_build_ better_schools.html ... pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo