La sperimentazione Sivadis: il valore aggiunto del monitoraggio Seminario di Formazione SIVADIS 3 28 Novembre-02 Dicembre 2005 Genny Terrinoni

La sperimentazione Sivadis:La sperimentazione Sivadis: il valore aggiunto del monitoraggio il valore aggiunto del monitoraggio

Seminario di Formazione SIVADIS 3

28 Novembre-02 Dicembre 2005

Genny Terrinoni

La sperimentazione Sivadis:La sperimentazione Sivadis: il valore aggiunto del monitoraggio il valore aggiunto del monitoraggio

Soggetti coinvolti

Aspetti consolidati nelle opinioni

Aspetti critici

Lavoro di analisi

Classificazione

Avvio analisi multivariata

Aspetti consolidati nelle opinioni e Aspetti consolidati nelle opinioni e negli atteggiamentinegli atteggiamenti

L’importanza della partecipazione al progetto viene motivata con:

la voglia di confrontarsi e di mettersi alla prova

occasione per migliorare le proprie capacità professionali

come un’occasione di formazione e aggiornamento

Anche le motivazioni meno frequenti indicano un atteggiamento decisamente costruttivo nel merito e nelle finalità del progetto, evidenziando altresì la percezione di un ruolo formativo dell’operazione


• Procedura di confronto-condivisione tra valutatore e/o team e dirigente scolastico

• Giudizio ampiamente positivo, caratterizzato come “utile e costruttivo” congruentemente con l’atteggiamento nei confronti della propria partecipazione alla sperimentazione

• Interazione come una dimensione complessa ma dinamica da governare attraverso un coinvolgimento costruttivo


Il fascicolo individuale riscuote apprezzamenti più positivi rispetto allo scorso anno sia nella struttura complessiva che nelle singole sezioni

• soddisfazione per l’accoglimento delle indicazioni e suggerimenti dei soggetti che hanno messo su campo il modello

Utilità delle informazioni ricevute sul progetto

informazioni e strategie sono ritenute significativamente più utili rispetto a quanto espresso nello scorso anno


Team di Valutazione e Componente DS nel Team

la costituzione di team riscuote un largo consenso da parte dei DS più critica e articolata la posizione dei valutatori (problemi di risorse, tempi, organizzazione, selezione) presenza componente DS nel ruolo di valutatore riscuote un ampio consenso dai DS più debole il consenso e più critico il giudizio dei valutatori

Obiettivi pluriennali

la stragrande maggioranza dei soggetti coinvolti considera più adeguata una valutazione su obiettivi pluriennali motivandola con il rapporto: complessità obiettivi- tempi più distesi per una loro attuazione e adeguata valutazione

Dati questionari e focus group

Aspetti problematici nelle opinioni e Aspetti problematici nelle opinioni e negli atteggiamentinegli atteggiamenti

Informazioni e strategie informative

scarsa tempestività scarsa o quasi nulla estensione delle informazioni sul progetto che, secondo il giudizio di molti DS generano:

rinforzo delle percezioni di diffidenza ed esclusione alimentano atteggiamenti pregiudizialmente negativi nei confronti del sistema valutativo frenano altresì consapevoli aperture alla partecipazione

Tempi di attuazione

inadeguati alla complessità del lavoro (avvio tardivo) non corrispondenza con l’inizio delle attività dell’anno scolastico



Adeguatezza dello strumento (giudizio valutatori) Lo strumento in sé va bene ma:


Esigenza di pervenire ad una valutazione valida e attendibile


Viene rilevata la presenza di gradi di eccessiva arbitrarietà

Viene rilevata la presenza di gradi di eccessiva arbitrarietà

Elaborazione di strumentazione di accompagnamento/ supporto alla strumentazione predisposta che guidi le fasi procedurali della valutazione (raccolta di informazioni, osservazione)

Elaborazione di strumentazione di accompagnamento/ supporto alla strumentazione predisposta che guidi le fasi procedurali della valutazione (raccolta di informazioni, osservazione)


Adeguatezza dello strumento (giudizio dirigenti scolastici) Lo strumento in sé va bene ma:


Perplessità sulla capacità del solo strumento di consentire una rappresentazione sostanziale della complessità del proprio lavoro

Perplessità sulla capacità del solo strumento di consentire una rappresentazione sostanziale della complessità del proprio lavoro

Visite più frequenti e più sistematiche del valutatore nella scuola per favorire una lettura ed una comprensione “di ciò che accade realmente nella scuola”

Visite più frequenti e più sistematiche del valutatore nella scuola per favorire una lettura ed una comprensione “di ciò che accade realmente nella scuola”

Rischio di produzioni cartacee formali

Rischio di produzioni cartacee formali




Formulazione obiettivi e indicatori


Cresciuta la percentuale di ds che dichiarano modifiche degli ind nel corso del colloquio

Cresciuta la percentuale di ds che dichiarano modifiche degli ind nel corso del colloquio

Stabili le esigenze formative di natura metodologica, confermate dall’analisi dei fascicoli

Stabili le esigenze formative di natura metodologica, confermate dall’analisi dei fascicoli

Percentualmente identiche le indicazioni sulle richieste di supporto fatte al valutatore: formulazione ob ma soprattutto ind

Percentualmente identiche le indicazioni sulle richieste di supporto fatte al valutatore: formulazione ob ma soprattutto ind

Percentualmente basse le difficoltà segnalate nella formulazione di ob e ind

Percentualmente basse le difficoltà segnalate nella formulazione di ob e ind

Esiti dell’analisi dei Fascicoli Esiti dell’analisi dei Fascicoli individuali di Valutazione individuali di Valutazione

L’analisi formale e di contenuto, attuata sulla base di criteri scientifici, dei materiali valutativi contenuti nei 176 fascicoli individuali (contesto, obiettivi, azioni e indicatori) offre:

una descrizione esaustiva e affidabile

riduce l’estrema variabilità ed eterogeneità dei materiali ad un numero limitato di tipologie

salvaguarda la pluralità, la ricchezza e la rappresentatività delle effettive pratiche valutative

Elementi di progresso nella Elementi di progresso nella formulazione degli obiettivi formulazione degli obiettivi

I risultati dell’analisi evidenziano un processo in corso di lenta ma progressiva condivisione semantica e concettuale:

consistente riduzione di obiettivi generici e/o pluriconcettuali minore ambiguità semantica riduzione del numero di categorie di contenuto entro le quali sono

codificabili lettura più immediata e riduzione di operazioni interpretative

Tale processo sembra essere stato positivamente influenzato da due fattori: la riduzione e la ridefinizione interna delle aree valutative (da

cinque a quattro) operata nel secondo anno di sperimentazione l’ampio uso (anche se non sempre rispettoso delle indicazioni

metodologiche ad esso connesse e della chiara indicazione sulla sua natura empirico-descrittiva e non normativa) del repertorio elaborato dall’INVALSI a conclusione del primo anno di sperimentazione

Elementi di progresso nella Elementi di progresso nella formulazione degli obiettivi formulazione degli obiettivi

Tutti questi aspetti, insieme all’adeguamento della strumentazione, sono particolarmente interessanti in quanto costituiscono le basi fondamentali per:

descrivere correttamente l’oggetto della valutazione

predisporlo alla lettura e dunque alla sua valutazione

creare condizioni affidabili per il governo della intersoggettività

elaborare un lessico comune per rendere comparabili i dati valutativi

Elementi di progresso nella Elementi di progresso nella formulazione di obiettivi e indicatori formulazione di obiettivi e indicatori

Difficoltà permanenti nella formulazione degli obiettivi:

un numero abbastanza consistente di obiettivi che non corrisponde ancora a criteri basilari di corretta formulazione

obiettivi semanticamente ambigui e/o incomprensibili

Elementi di progresso nella formulazione degli indicatori:

una formulazione che consente il riconoscimento più immediato del contenuto/oggetto di misurazione e della tipologia di misura, dunque, una loro più facile classificazione

una formulazione che consentirebbe, se ulteriormente affinata in termini di criteri, strumenti e procedure, l’identificazione più immediata e più precisa dei criteri di misurazione e/o di verifica intersoggettiva in essi contenuti

Elementi di progresso nella Elementi di progresso nella formulazione di obiettivi e indicatori formulazione di obiettivi e indicatori

Difficoltà permanenti nella formulazione degli indicatori:

un numero abbastanza consistente di indicatori non consente di comprendere l’oggetto/i che in concreto vorrebbero misurare e le modalità connesse all’operazione di misura

Indicatori SempliciIndicatori Semplici

CategoriaCategoria FrequenzaFrequenza % sul totale delle % sul totale delle codifichecodifiche

Quantità Partecipanti fra il Personale ScolasticoQuantità Partecipanti fra il Personale Scolastico 229229 11,4 %11,4 %

Quantità di Risorse FinanziarieQuantità di Risorse Finanziarie 225225 11,2 %11,2 %

Quantità di Incarichi Assegnati al PersonaleQuantità di Incarichi Assegnati al Personale 153153 7,6 %7,6 %Quantità di Riunioni / Incontri tra il Personale Quantità di Riunioni / Incontri tra il Personale ScolasticoScolastico 144144 7,2 %7,2 %

Quantità di ProgettiQuantità di Progetti 140140 7 %7 %

Quantità di ConvenzioniQuantità di Convenzioni 126126 6,3 %6,3 %

Quantità di Strutture Predisposte e AttivateQuantità di Strutture Predisposte e Attivate 119119 5,9 %5,9 %

Presenza e Corrispondenza nel POFPresenza e Corrispondenza nel POF 110110 5,5 %5,5 %

Quantità Partecipanti tra gli AlunniQuantità Partecipanti tra gli Alunni 9595 4,7 %4,7 %

Quantità di Corsi di FormazioneQuantità di Corsi di Formazione 4949 2,4 %2,4 %

Elaborazione PortfolioElaborazione Portfolio 3030 1,5 %1,5 %Quantità di Alunni Promossi, Inscritti, con Quantità di Alunni Promossi, Inscritti, con Insufficienze, Debiti, etc...Insufficienze, Debiti, etc... 2525 1,3 %1,3 %

Rispetto dei TempiRispetto dei Tempi 1616 0,8 %0,8 %Utilizzo ore per Attività Scolastiche, Extra-Utilizzo ore per Attività Scolastiche, Extra-Scolastiche, aggiuntiveScolastiche, aggiuntive 1212 0,6 %0,6 %

Totale Indicatori: 4693 su 176 Fascicoli Individuali

Indicatori ComplessiIndicatori Complessi

CategoriaCategoria FrequenzaFrequenza % sul totale delle % sul totale delle codifichecodifiche

Livello di Soddisfazione (Senza Soggetti Livello di Soddisfazione (Senza Soggetti Specificati)Specificati) 7575 3,7 %3,7 %

Livello di Condivisione del Personale ScolasticoLivello di Condivisione del Personale Scolastico 6565 3,2 %3,2 %Verifica, Rilevazione degli Apprendimenti degli Verifica, Rilevazione degli Apprendimenti degli AlunniAlunni 5858 2,9 %2,9 %

Livello di EfficaciaLivello di Efficacia 4747 2,3 %2,3 %

Grado Positività Immagine della ScuolaGrado Positività Immagine della Scuola 4646 2,3 %2,3 %

Grado Positività Clima nella ScuolaGrado Positività Clima nella Scuola 4444 2,2 %2,2 %

Livello di Soddisfazione del Personale ScolasticoLivello di Soddisfazione del Personale Scolastico 4040 2 %2 %

Livello di Responsabilità del Personale ScolasticoLivello di Responsabilità del Personale Scolastico 3333 1,6 %1,6 %

Livello di Soddisfazione degli AlunniLivello di Soddisfazione degli Alunni 2424 1,2 %1,2 %

Livello di Soddisfazione delle FamiglieLivello di Soddisfazione delle Famiglie 2424 1,2 %1,2 %

Livello di Soddisfazione degli UtentiLivello di Soddisfazione degli Utenti 2424 1,2 %1,2 %

Livello di Motivazione degli AlunniLivello di Motivazione degli Alunni 2424 1,2 %1,2 %

Livello di Motivazione senza Soggetti SpecificatiLivello di Motivazione senza Soggetti Specificati 1717 0,8 %0,8 %

Livello di Collegialità tra il Personale ScolasticoLivello di Collegialità tra il Personale Scolastico 1212 0,6 %0,6 %

Totale Indicatori: 4693 su 176 Fascicoli Individuali

Elementi di interesse nella descrizione Elementi di interesse nella descrizione del contesto del contesto

La focalizzazione più precisa [1] dei punti di forza e di debolezza del contesto risulta particolarmente interessante in quanto:

mette in evidenza dati di lettura individuale del contesto che, al di là degli strumenti e dei metodi attraverso i quali tale lettura viene attuata, esprime le priorità che il dirigente scolastico, in prima persona, individua e pone come base delle sue scelte operative

l’analisi di questi dati risulta altresì interessante per un reperimento (tanto a livello autovalutativo che valutativo) di legami di congruenza, significatività e pertinenza tra contesto scolastico, obiettivi e azioni individuali che il dirigente scolastico intende elaborare e perseguire

[1] Grazie al radicale cambiamento della sezione del fascicolo dedicata alla rilevazione dei dati di contesto

Elementi di interesse nell’analisi delle Elementi di interesse nell’analisi delle azioniazioni

Sul piano specificamente formale le azioni dichiarate presentano spesso:

una formulazione che, di fatto, è la ripetizione pedissequa dell’obiettivo/i correlato/i

una scarsa definizione in termini di operazioni e comportamenti osservabili

l’associazione di identiche azioni (la differenza risiede solo in una diversa formulazione linguistica) ad obiettivi diversi dichiarati nelle quattro aree valutative; in particolare, le azioni dell’area 1 e dell’area 2 sono praticamente sovrapponibili

La classificazione di tutti i materiali offre una descrizione esaustiva e affidabile che:

riduce l’estrema variabilità ed eterogeneità dei materiali ad un numero limitato di tipologie

salvaguarda comunque la pluralità, la ricchezza e la rappresentatività delle effettive pratiche valutative

un repertorio descrittivo delle aree di attività e delle azioni professionali del DS

una lettura interpretativa, su base semantica, delle azioni dichiarate ed un loro raggruppamento

una sintesi delle azioni più frequenti raggruppate attorno a categorie/funzioni che delineano un profilo empirico del dirigente scolastico

Classificazione dei materiali Classificazione dei materiali dell’analisidell’analisi

La lettura degli esiti suggerisce di procedere ad una loro analisi che permetta l’accesso ad aree semantiche più significative.

Ciò è possibile attraverso l’approccio dell’analisi relazionale che consente di lavorare ancora sui dati classificati per:

esplorarne, più in profondità, aree semantiche più significative

rilevare l’organizzazione dei dati in una rete di connessioni reciproche

sistematizzare i dati nell’ottica di restituire il messaggio nei suoi aspetti o caratteri fondamentali

Sviluppi possibiliSviluppi possibili

Obiettivo dell’analisi delle azioni:

reperire un significato unitario di capire se le eterogenee descrizioni delle azioni, potessero essere ricondotte all’interno di alcune tipologie capaci di rappresentare i caratteri e le funzioni emergenti dell’operato dei dirigenti scolastici

definire in qualche modo una sorta di suo profilo di ruolo empirico non si è tenuto conto degli specifici obiettivi cui sono associate né

dunque del legame di pertinenza congruenza con essi perché, dalla lettura comparata dei singoli fascicoli, risulta abbastanza evidente che le azioni costituiscono “la vera peculiarità individuale del dirigente scolastico” in quanto esse non risultano mai meccanicamente associabili a specifici obiettivi [1] bensì ad una pluralità di essi, anche appartenenti ad aree valutative differenti

Il legame chiaramente riscontrabile è tra azioni e contesto ma spesso dipendono più strettamente da variabili del contesto specifico (dall’urgenza, dai costi, dalle risorse disponibili, ecc)

[1] Nei fascicoli analizzati è molto più frequente l’associazione tra azioni diverse ad un identico obiettivo che non stesse azioni ad uno stesso obiettivo

Lettura interpretativa delle azioniLettura interpretativa delle azioni

I verbi e le aree di contenuto nell’analisi delle AzioniI verbi e le aree di contenuto nell’analisi delle Azioni

Verbi Verbi

Favorire (100)* Promuovere (69) Coinvolgere (53) Individuare (45) Creare (43) Attivare (35) Gestire (31) Organizzare (31) Utilizzare (31) Sviluppare (29) Predisporre (27) Motivare (25) Migliorare (24) Monitorare (22)

Area di contenuto dell’azioneArea di contenuto dell’azione

Ricerca conoscitiva (100)* Delega incarichi (65) Formazione del personale (60) Rapporti con enti territoriali (35) Organizzazione dei tempi (30) Costituzione gruppi di lavoro (27) Individuazione/utilizzo risorse finanziarie (26) Individuazione/valorizzazione competenze(25) Definizione protocolli d’intesa (22) Elaborazione di contenuti nel P.O.F. (21) Predisposizione di strumenti informatici (16) Condivisione delle scelte (15) Circolazione delle informazioni (15) Motivazione allo studio alunni (13) Manutenzione/gestione risorse strutturali (13) Documentazione a vari livelli (10)

**Indice (100= verbo (100= verbo più frequentepiù frequente1= verbo meno 1= verbo meno frequente)frequente)

* * Indice (100= azione più (100= azione più frequente 1= azione meno frequente 1= azione meno frequente)frequente)

E’ stato condotto un triplo livello di categorizzazione:

il primo ha considerato i verbi più frequentemente utilizzati per esprimere le azioni e i sostantivi (oggetti) esplicitati e/o più frequentemente associati ai verbi

Il secondo ha considerato i verbi coniugati in modi diversi dall’infinito e spesso associati ai verbi che esprimono l’azione che fa fatto emergere due grandi modalità organizzative delle azioni: comunicativo/relazionale e organizzativo/strutturale

il terzo ha considerato l’aspetto specificamente semantico dei verbi-azione categorizzati e dei rispettivi oggetti; tale aspetto ha suggerito le tre funzioni:

1. management educativo2. management delle risorse3. management delle relazioni esterne



Promuovendo incontri e seminariPartecipando in prima personaSeguendo con attenzione le iniziative culturali organizzateContattando e dialogando con tutti i soggetti del territorio

Coinvolgimento ufficializzato di istruzioni esterne per sostegno finanziarioOttimizzando l’uso delle risorse, rendicontando…Intervento puntuale professionisti esterni esperti per supporto azione pilotata dalla scuolaStipulando convenzioni e individuando espertiCollaborazione e cooperazione, condivisione responsabilità di progettazione e valutazione Promuovendo scambio di risorse economiche, strutturali e professionali

Sviluppo motivazione e clima

Rilevando bisogni e atteseRendendosi sempre disponibile al dialogo Riconoscendo potenzialità e risultati impegnoIncoraggiando e supportando i docenti

Definendo ruoli Fissando obiettiviStabilendo criteri e regoleDelegando incarichiInvestendo quote sulla formazioneMettendo a disposizione materiali e strumenti

Management Educativo

Management Relazioni Esterne

Azioni del DSManagement del Personale

Costruzione cultura comune

Intercettando e interpretando le domande e le atteseAscoltando e dialogando con tuttiRicercando il contatto individuale e/o collettivo con gli studenti

Organizzando e predisponendo strutture laboratoriali di varia tipologia

Aprendo canali e modalità di counicazioneOrganizzando momenti di riflessione e dibattito allargati

Sviluppo partecipazione studenti

Ricercando il contatto individuale e/o collettivoIndividuando attese e problemiIncoraggiando l’impegnoMettendo a disposizione strumenti e serviziAmpliando l’offerta formativaPredisponendo percorsi ed opzioni per l’utenza debole

Sviluppo motivazione docenti

ObiettivoMigliorare rapporti con il

territorio

ObiettivoMigliorare rapporti con il

territorio

Rafforzare rapporti con enti territoriali Rafforzare rapporti con enti territoriali

Formare il personale scolastico

Formare il personale scolastico

Promuovere/migliorare i rapporti

con famiglie

Promuovere/migliorare i rapporti

con famiglie

Esempio analisi esplorativeEsempio analisi esplorative

Azioni

Istituti comprensivi

Punti ForzaBuon raccordo tra

scuola del territorio

Punti ForzaBuon raccordo tra

scuola del territorio

Buona attivazione e gestione dei

progetti

Buona attivazione e gestione dei

progetti

Buon funzionamento del

personale

Buon funzionamento del

personale

Adeguatezza della continuità educativa Adeguatezza della

continuità educativa

Punti DeboliDebole raccordo tra scuola del territorio

Punti DeboliDebole raccordo tra scuola del territorio

Inadeguate risorse finanziarie

Inadeguate risorse finanziarie

Resistenza a modalità di lavoro collettivo

Resistenza a modalità di lavoro collettivo

Inadeguate risorse struttural

Inadeguate risorse struttural

Scarsa apertura verso l’innovazione didatticaScarsa apertura verso l’innovazione didattica

La probabilità che le associazione con l’obiettivo siano dovute al caso è minore del 5% . P<0,05

Documents

La sperimentazione Sivadis: il valore aggiunto del monitoraggio Seminario di Formazione SIVADIS 3 28 Novembre-02 Dicembre 2005 Genny Terrinoni