I DATI DI SCUOLA-IC MACHERIONE-CALATABIANO-RIMETTERE · livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali:

LA VALUTAZIONE DEGLI APPRENDIMENTI :I DATI DI SCUOLA

Aurelia Orlandoni

11/04/2017 1AURELIA ORLANDONI

Partecipazione alle prove Invalsi 2015 e 2016 classi quinte primaria

11/04/2017 AURELIA ORLANDONI 2

Distribuzione dei punteggi nelle prove Invalsi 2015 ITALIANO


Distribuzione dei punteggi nelle prove Invalsi 2015 MATEMATICA


I DATI DI SCUOLA

• Cosa ci dicono i dati generali sulla scuola?

• Come leggere i dati di «disciplina» e «di classe»? Cosa ci possono dire?

• Le novità nella restituzione del 2016• Cosa c’è dietro ai fascicoli di prove? Chi le prepara? In base a cosa?

• Quali riflessioni sulle prassi didattiche?


I dati restituiti alle scuole


I DATI DI SCUOLA

I dati sono riferiti agli allievi che hanno svolto la prova standard.Non si riporta il dato relativo alle classi con un numero di studenti assenti superiore al 50%.

Non viene riportata l'informazione a livello di scuola per quelle istituzioni per le quali i dati validi si riferiscono a meno del 50% delle classi.

IL CHEATING

Le scuole, anche quest’anno, hanno ricevuto i dati sia al lordo che al netto del

cheating

PROCEDURA DI CORREZIONE 2013:1. analisi dei dati grezzi sulla base di 4 indicatori che danno una prima

misura

2. Stima di valori “plausibili” di media e variabilità dei risultati per quella classe

3. Si applica una procedura che stima un punteggio medio della classe corretto

4. I passi precedenti sono effettuati separatamente per prova (IT e MAT) e livello


Funziona su L02 e L05, qualche falso positivo su L10

Problemi in alcune aree per la Prova Nazionale (L08)

Elevata percentuale di risposte corrette

Bassa variabilità della percentuale di risposte corrette all’interno della

classe

Bassa variabilità nelle modalità di risposta a ciascun item

Basso tasso di mancate risposte

I dati restituiti alle scuole


LA RESTITUZIONE DEI DATI DI SCUOLA


DATI DI SCUOLA: VARIABILITA’

L02

10AURELIA ORLANDONI11/04/2017

DATI DI SCUOLA: VARIABILITA’

L05

I risultati delle classi sono omogenei all’interno della scuola?

Le classi sembrano “ben formate”?

Lo status socio-economico è omogeneo tra le classi?

Quali ipotesi si possono fare in caso di variabilità diversa nei punteggi conseguiti nelle due prove?

Quali ipotesi si possono fare se ci sono discrepanze fra gli andamenti della variabilità rispetto ai risultati e rispetto all’ESCS?

……………………….


VARIABILITÀ DENTRO E TRA PUNTEGGI/ESCS


PROVA PRELIMINARE DI LETTURA L02 2016


Italiano L02

Matematica L02100

100media del punteggio al netto del cheatingPunteggio grezzo

cheating in percentuale

AURELIA ORLANDONI11/04/2017 14

L02

Italiano

Matematica


Italiano L05

Matematica L05 100100

m ed ia d e l p u n tegg io a l n e tto d e l ch ea tin gP un teg g io g rezzoch ea tin g in p ercen tua le

AURELIA ORLANDONI11/04/2017 16

L05

Italiano

Matematica


Italiano L08

Matematica L08


L08

Italiano

Matematica

Perché ci sono andamenti diversi fra le classi?

Perché la differenza fra MAT e IT? I risultati della prova preliminare di lettura sono coerenti con quelli in ITA e MAT?

Fanno riferimento a “tipologie diverse (tempo pieno, …)? A “storie” diverse?

Lo status socio-economico ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono molto diverse tra loro? Se sì perché?

………


CONFRONTO FRAI I DATI DI CLASSE


ITALIANO

L02

L05


MATEMATICA

L02

L05


L08

ITALIANO

MATEMATICA

Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI?

Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa?

ci sono differenze nei “metri” di valutazione degli insegnanti della scuola?

………………….


CONFRONTO VOTI/PUNTEGGI


ITALIANO CITTADINANZA

L02

L05 L08


MATEMATICA CITTADINANZA

L02

L05 L08

Ci sono differenze significative fra i risultati ottenuti dagli studenti italiani e quelli degli studenti stranieri?

Ci sono differenze significative fra i risultati ottenuti dagli studenti stranieri di prima generazione e quelli degli studenti stranieri di seconda generazione?

la presenza di studenti stranieri nella scuola è in linea con quella regionale? Se è più alta come influisce sui risultati?

………………….11/04/2017 26AURELIA ORLANDONI

CONFRONTI PER NAZONALITA’

Restituzione dei dati per distribuzione nei cinque livelli ITA E MATE L02Risultati < 75% media nazionale

<75%Risultati < 95% media nazionale



Risultati > 125% media nazionale


ITAM

ATE

Restituzione dei dati per distribuzione nei cinque livelli ITA E MATE L05Risultati < 75% media nazionale




Risultati > 125% media nazionale


ITAM

ATE


Restituzione dei dati per distribuzione nei cinque livelliITA E MAT L08


NUMEROSITÀ NEI LIVELLI MATEMATICA E ITALIANO

L08

L05

L02

31

Restituzione dei dati per distribuzione nei cinque livelli

11/04/2017 AURELIA ORLANDONI

Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove?

Quanti sono gli studenti i cui risultati sono molto diversi?

Ci sono differenze significative fra le due discipline? Se sì quali sono le cause?

Quali ipotesi si possono fare sugli andamenti? Questi andamenti corrispondono alle aspettative degli insegnanti di classe o no?

Si osservano polarizzazioni?

…………….

32

I DATI DI PRIMA SECONDARI DI PRIMO GRADO: ITA



I DATI DI PRIMA SECONDARI DI PRIMO GRADO: MATE

34

Restituzione dei dati per distribuzione nei cinque livelli



NOVITA’


Alcune novità dal 2015:

1. accesso unificato alle prove nazionali e internazionali

2. i risultati del questionario studente (V primaria e II secondaria di II grado);

3. nuova classificazione degli esiti delle prove di Matematica 2015 (Dimensoni).4. gli esiti degli ultimi tre anni scolastici (dal 2012-13 con i relativi confronti territoriali;

5. un file excel con le risposte dei singoli alunni e…..(microdati);

6. Punteggi in ingresso per la I secondaria di I grado e la I secondaria di II grado

7. un file .pdf con la selezione delle principali tavole e dei grafici più importanti d’ausilio alla predisposizione del RAV.

Novità dal 2016

1. Acesso unificato ai dati degli ultimi tre anni2. Tavole dei punteggi a distanza3. Valore aggiunto4. Percentuali partecipazione e copertura background5. Tutorial aggiornato


MICRODATI• Microdati_5_cnt contesto

• Microdati_5_ita risposte

• Microdat_5_mat risposte

• Microdati_5_pnt punteggi

• Microdati_5_qst questionario

• Microdati_5_tracciato legenda

Codice studente

Punteggio grezzo Punteggio %

Punteggio normalizzato

(200)


Seguire nel tempo i risultati di ogni studente (Liv.02-05-08)

Matematica: individuare gli studenti in difficoltà e correlare

con alcuni item «pivot» (item sulla linea dei numeri)

Italiano: collegare la decodifica delle parole (prova

preliminare di lettura liv.02 con dati interni alla scuola)

Contesto: individuare per alcune categorie di allievi le parti

di Italiano o Matematica dove ci sono difficoltà o eccellenze

Questionario studente: collegarlo al Contesto

………..

A che cosa possono servire i microdati?


Andamento negli ultimi tre anni: ITALIANOL02

L08

L05


Andamento negli ultimi tre anni: MATEMATICAL02

L05

L08


ANDAMENTO DELLA SCUOLA NEGLI ULTIMI TRE ANNI

Ci sono stati cambiamenti?

Si notano miglioramenti rispetto ai risultati nelle prove? Dove? Perché?

Si rilevano aree di criticità? In entrambe le discipline o in una sola?

…….


LE NOVITA’

• EFFETTO SCUOLA …. Una parentesi

• PUNTEGGI A DISTANZA


EFFETTO SCUOLAL05 ITALIANO


EFFETTO SCUOLAL05 MATEMATICA


EFFETTO SCUOLAL05


EFFETTO SCUOLAL05


EFFETTO SCUOLAL08 ITALIANO


EFFETTO SCUOLAL08 MATEMATICA


EFFETTO SCUOLAL08


EFFETTO SCUOLAL08


PUNTEGGI A DISTANZA


PUNTEGGI A DISTANZA


PUNTEGGI A DISTANZA

Perché misurare

Scopo delle misurazioni: Le prove INVALSI hanno lo scopo principale di misurare i

livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della lettura e la matematica.

La letteratura dimostra che la conoscenza in alcune discipline fondamentali (lettura, matematica) ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società

gli ambiti oggetto di misurazione delle prove INVALSI non esauriscono di certo i saperi e le competenze prodotte dalla scuola.

NON Valutare!!!


• La composizione di una prova standardizzatarivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe.

• Una prova standardizzata nazionale deveessere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.


Prove standardizzate

Alla base delle rilevazioni

Quadro teorico di riferimento: definisce gli ambiti, i processi cognitivi e i compiti oggetto di

rilevazione, delimitando quindi il campo rispetto al quale sono costruite le prove.

permette di definire e circoscrivere il valore informativo delle prove che in base ad esso vengono costruite, chiarendone la portata e i limiti.

Costituisce il documento fondamentale per: gli autori delle prove gli esperti che ne curano la revisione i docenti che sono chiamati a interpretare i risultati dei loro allievi gli stakeholder che utilizzano i risultati delle rilevazioni standardizzate

nazionali per valutare i livelli di apprendimento garantiti dal sistema educativo nel suo complesso.


La struttura del Quadro di Riferimento

Quadro di riferimentoper la valutazione

Quadro di riferimento per i curricoli

Quadri di riferimentoper le valutazioniinternazionali

Esiti delle rilevazioniprecedentiPrassi scolastica


STRUTTURA del Quadro di Riferimento (Matematica)

AMBITI NumeriSpazio e figureRelazioni e funzioniDati e previsioni

DIMENSIONIConoscereRisolvere problemiArgomentare

INDICAZIONI NAZIONALI E LINEE GUIDA


GLI AMBITI

11/04/2017 59

QdRINVALSI

Indicazioni per il curricolo

OCSE‐PISA(idee chiave)

TIMSS(domini di contenuto)

Numeri Numeri Quantità Numero

Spazio e figure

Spazio e figure

Spazio e forma

Geometria

Relazioni e funzioni

Relazioni e funzioni

Cambiamenti e relazioni

Algebra

Dati e previsioni

Misure, dati e previsioni

Incertezza Dati e caso

AURELIA ORLANDONI

DETTAGLI MATEMATICA: DIMENSIONI

Per comprendere la scelta fatta da INVALSI la nozione di competenza è fondamentale

Tali considerazioni su cosa significa e come si realizza la padronanzadegli oggetti matematici si sono sviluppate in parallelo, e spesso ininterazione, con le ricerche nelle scienze dell'educazione che hannoprogressivamente sottolineato le competenze come "unità" diconoscenze, e capacità e intenzione di farne uso per affrontarecompiti (a partire dall'analisi delle competenze necessarie peraffrontare compiti professionali specifici, negli anni '70, fino adinvestire in seguito anche i sistemi di formazione, inclusa la scuola, delcompito di sviluppare e accertare competenze e non soloconoscenze). Arzarello & Boero, 2015 (documento interno)



CON ↔ PS&ARG

Conoscere (CON), Risolvere problemi (PS), Argomentare (ARG)

Si delinea una struttura complessa, le cui componenti sono

fortemente intrecciate.

E’una “struttura dinamica di base”, nella quale esiste un

intreccio fra conoscenze strumentali e il PS intrecciato con

l’ARG.

Il messaggio forte che si vuole mandare riguarda il significato

del «fare matematica» in classe: le attività matematiche di

PS&ARG si sviluppano intrecciandosi grazie a reciprochi feed-

back con le competenze strumentali (CON) generando la

struttura dinamica di base CON ↔ PS&ARG11/04/2017 AURELIA ORLANDONI 61

DETTAGLI MATEMATICA: DIMENSIONIUn esempio: CONOSCERE

CONOSCERE (CON) scuola primaria01. L’alunno si muove con sicurezza nel calcolo scritto e mentale con i numeri naturali e sa valutare l’opportunità di ricorrere a una calcolatrice

02. Riconosce e rappresenta forme del piano e dello spazio, relazioni e strutture che si trovano in natura o che sono state create dall’uomo.

03. Descrive, denomina e classifica figure in base a caratteristiche geometriche, ne determina misure, progetta e costruisce modelli concreti di vario tipo

04. Utilizza strumenti per il disegno geometrico (riga, compasso, squadra) e i più comuni strumenti di misura (metro, goniometro...).

10. Riconosce e utilizza rappresentazioni diverse di oggetti matematici (numeri decimali, frazioni, percentuali, scale di riduzione, ...).

CONOSCERE (CON) scuola secondaria di I grado01. L’alunno si muove con sicurezza nel calcolo anche con i numeri razionali, ne padroneggia le diverserappresentazioni e stima la grandezza di un numero e il risultato di operazioni.

02. Riconosce e denomina le forme del piano e dello spazio, le loro rappresentazioni e ne coglie lerelazioni tra gli elementi. .

09. Utilizza e interpreta il linguaggio matematico (piano cartesiano, formule, equazioni, ...) e ne coglieil rapporto col linguaggio naturale.


Tabella scuola primaria

https://invalsi-areaprove.cineca.it/docs/file/Integrazione_QdR_Matematica.pdf



Un esempio: Argomentare (scuola secondaria di I grado)

ARGOMENTARE (ARG)07. Produce argomentazioni in base alle conoscenze teoriche acquisite (ad esempio sa utilizzare i concetti di proprietà caratterizzante e di definizione).

08. Sostiene le proprie convinzioni, portando esempi e controesempi adeguati e utilizzando concatenazioni di affermazioni; accetta di cambiare opinione riconoscendo le conseguenze logiche di una argomentazione corretta.


Tabella scuola secondaria di I grado

https://invalsi-areaprove.cineca.it/docs/file/Integrazione_QdR_Matematica.pdf


La costruzione di un fascicolo di Matematica

Produzione delle domande

Selezione e classificazione

Costruzione dei fascicoli per il pre‐

test

Prova sul campo

Analisi statistica Analisi didattica

Fascicolo definitivo

La costruzione delle prove


STRUTTURA del Quadro di Riferimento (Italiano)

67

Competenze di padronanza linguistica

Ambiti

Testi

Processi cognitivi ‐ aspetti della

lettura

Grammatica

Oggetti linguistici specifici

Le competenze di lettura nel Quadro di riferimento INVALSI

Per competenza si intende nel Quadro la capacità di

selezionare, far interagire ed elaborare conoscenze per la comprensione e la valutazione di un testo: continuo, non

continuo, misto.

• Testuali• Grammaticali• Lessicali

Le competenze di lettura verificate nella prima sezione

della prova sono quelle:

Competenza pragmatico-testuale: capacità di ricostruire, a partire dalla lettura del testo e da conoscenze enciclopediche, l’insieme di significati che il testo veicola, assieme al modo in cui essi sono veicolati

Competenza lessicale relativa alla lettura: capacità di individuare il significato, pertinente a un determinato contesto, di un vocabolo (anche non conosciuto) e le relazioni di significato tra vocaboli in vari punti del testo.

Competenza grammaticale relativa alla lettura: capacità di individuare le strutture morfosintattiche della frase e le strutture interpuntive in funzione della loro pertinenza testuale, cioè dal punto di vista del loro apporto alla costruzione dei significati del testo.

Definizione dell’ambito

Classificazione quesiti QdR INVALSI: aspetti della lettura

Luglio – settembre 2013

Luglio: scuola autori 2013 ‐ 95 docenti di matematica


I gruppi di livello selezionano le domande, le rivedono e compongono due fascicoli per il pretest.Preparano una prima griglia di correzione


ottobre – dicembre 2013


ottobre – dicembre 2013


settembre – dicembre 2014

FIT alto(1,09): l’andamento osservato della domanda non si adatta completamente al modello teorico ipotizzato (accettabile 0,9-1,1)Domanda difficile (1,3) e poco discriminante (0,11) – buono se > 0,25-Problemi di significatività dei distrattori (il terzo)


settembre – dicembre 2014

Probabilità di rispondere correttamente in funzione dell’abilità. Critico!!


settembre – gennaio 2015Il contenuto matematico del quesito è rilevante . Quindi viene cambiata in modo da ridurre le criticità rilevate.• si cambiano i contenitori• si cambiano i distrattori NUOVA


Fit migliorato (da 1,09 a 1,03)Discriminatività (Item‐Rest Cor) da 0,11 a 0,25Difficoltà sulla scala di Rasch da 1,3 a 1,66 (più difficile) ma da 9,77% a 19,58%


9 luglio 2015

DETTAGLI DELLE PROVE: MATEMATICA


DETTAGLI MATEMATICA L05


DETTAGLI MATEMATICA L08



LE GUIDE ALLA LETTURA : L02







E ora …… un esempio di lettura dei dati item per item ovvero ….

…..l’elettrocardiogramma!


DETTAGLI MATEMATICA L05 419031570501










ANDATA BENE


ANDATA MALE!!!

LE DOMANDE ANDATE PEGGIO



PEGGIORE L02


PEGGIORE L05


Peggiori L08


RIFLETTIAMO SUI PROTOCOLLI!!


La risposta è corretta: siamo soddisfatti?


D3 - L06 2013

D22 – L06 2013


Punti critici della didattica

Analisi delle risposte aperte degli studenti


Alcune risposte degli studenti• Giulio ha ragione perché già si capisce dalla parola, ma anche perché

l’unità di misura è di 1 cm

• Giulio ha ragione perché se un lato dell’ottagono è di 1 cm, l’ottagono ha 8 lati, quindi è di 8 cm

• Giulio ha ragione perché i lati sono 8 e sono tutti uguali

• Giulio ha ragione perché il lato di ogni quadrato è di 1 cm e dato che le diagonali misurano come il lato il perimetro di 8 cm

• Giulio ha ragione perché ha 8 lati e ogni lato misura 1 cm (anche i lati che tagliano il quadratino come una diagonale, perché essendo un quadrato misura uguale)

• Giulio ha ragione perché visto che il quadrato è uguale di diagonale basta vedere i suoi bordi quanti quadretti sono

• Giulio ha ragione perché anche i pezzetti tagliati a metà sono 1 cm11/04/2017 AURELIA ORLANDONI 103


http://www.invalsi.it/invalsi/statapp.php?page=progetto

http://www.gestinv.it/

gestinv: uno strumento per la didattica

Tutte le domande che fanno riferimento alla dimensione 3 ARG per il livello 08

Per ogni domanda: testo, risultati e curve caratteristiche


E … il decreto sugli esami di Stato cosa cambiaTERZA MEDIA:• Prove fuori dall’esame ma requisito per l’ammissione

• Descrizione del livello raggiunto in Italiano, Matematica e Inglese

• Inglese: livello A2: ascolto, lettura e Use of English

• Prova CBT

QUINTA SUPERIORE:• Prove fuori dall’esame ma requisito per l’ammissione

• Descrizione del livello raggiunto in Italiano, Matematica e Inglese

• Inglese: livello B2: ascolto, lettura e Use of English

• Prova CBT

Inglese anche in quinta primaria: livello A1 e prova cartacea


Documents

I DATI DI SCUOLA-IC MACHERIONE-CALATABIANO-RIMETTERE · livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: