Da Roars di Redazione Roars
L’Accademia Nazionale dei Lincei è un’istituzione di rilevanza storica e culturale, considerata “la più illustre nella storia fra le moderne accademie d’Italia e d’Europa”. Sul sito dell’Accademia se ne può ripercorrere la storia: i lincei, dal nome del felino dallo sguardo acuto, simbolo della compagnia di studiosi – Federico Cesi, Galileo Galilei, Quintino Sella, Giovanbattista della Porta, per citare i più illustri – coltivarono e promossero fin dal ‘600 una rinnovata visione delle scienze, fondata sull’indagine libera e sperimentale, opposta a qualsiasi vincolo di tradizione e autorità.
L’Accademia di oggi promuove ed organizza un Convegno nazionale dal titolo “Problemi sulla valutazione scolastica” (qui il programma). Ottima idea, pensiamo. Di “Problemi sulla valutazione scolastica” ce ne vengono in mente parecchi. Sfogliamo il programma. Tra diversi nomi, più o meno noti, ritroviamo alcune vecchie conoscenze.
Primo tra tutti: il presidente INVALSI, Roberto Ricci, che racconterà in apertura le sfide della scuola del futuro, viste attraverso i dati dei test INVALSI.
-il professor Matteo Viale, linguista, che tra le sue attività istituzionali annovera quella di esperto e consulente INVALSI, con cui condividemmo un interessante scambio di informazioni su chi e come vengono corretti i test computerizzati (vedi qui)
-il professor Giorgio Bolondi, matematico, storico esperto e collaboratore, in diverse tipologie di ben remunerati incarichi, dello stesso istituto INVALSI.
Non mancano le voci di insegnanti: alcuni collaboratori a vario titolo con l’istituto (la professoressa Savioli o l’insegnante e formatrice Notarbartolo), altri no.
Si annuncia un dibattito, che – siamo certi – vista l’importanza e la storia dell’Accademia, sarà aperto, scevro da qualsiasi soggezione politica e rappresentativo della pluralità delle posizioni nel dibattito pubblico. Quale occasione migliore allora per interrogare l’Ente che ha ridisegnato la gestione del sistema di istruzione? Anno dopo anno, INVALSI ha visto accrescere le sue funzioni. È sufficiente menzionare il ciclo di miglioramento, la valutazione delle professionalità scolastiche, la didattica, la manualistica, le nuove “palestre digitali”, la forma stessa dei contenuti insegnati, i finanziamenti – con i progetti PNRR indicizzati agli esiti dei test – e, last but not least, le credenziali educative individuali di tutti gli studenti italiani con tanto di schedatura dei fragili e curriculum digitale individuale. Le domande, come diceva quel tale, sorgono spontanee!
E allora eccole qua, le nostre domande: sia mai che qualcuna trovi risposta nel dibattito del prossimo convegno linceo.
Per cominciare, due domande di carattere generale.
1) Certificazioni individuali Invalsi
Il tema della valutazione è centrale a scuola. Crediamo che sia importantissimo continuare a ragionare e studiare di valutazione. Ricordiamo tuttavia che dal 2018 i test INVALSI hanno assunto valore certificativo per tutti gli studenti italiani che sono obbligati a svolgere i test per accedere agli esami di fine I e II ciclo. Gli esiti di quei test acquisiscono valore di “certificazione delle competenze individuali” in Italiano, Matematica e Inglese, in aggiunta alle credenziali pubbliche (diplomi). Gli esiti INVALSI entrano inoltre (Decreto PNRR del 19 marzo 2024) a pieno titolo nel curriculum digitale dello studente, accessibile tramite la nuova piattaforma Unica.
La posta in gioco associata ai test dunque si alza:
- per gli studenti, che rischiano di vedere certificati bassi livelli di competenza (alcuni rischiano l’etichetta di “studente fragile”, ma ci torneremo);
- per le scuole, che rischiano di risultare meno efficaci rispetto ai “benchmark” territoriali, forniti anno dopo anno nei documenti del ciclo di valutazione (ad esempio il RAV, rapporto di autovalutazione, elaborato dall’INVALSI stesso), il che le “squalifica”, in un certo senso, rispetto alle scuole “concorrenti”. Il confronto tra scuole è reso pubblico sulla piattaforma “Scuola in Chiaro”.
Ragionare di valutazione educativa e formativa in un quadro istituzionalmente competitivo ci pare o una distopia o un’impostura. Il test standardizzato non può essere uno strumento di valutazione delle competenze del singolo studente. La valutazione standardizzata “di Stato” fagocita qualsiasi valutazione formulata nella relazione didattica, formativa o sommativa che sia. Cosa ne pensano i lincei e gli studiosi presenti?
2) Teaching to the test
Sappiamo da oltre 40 anni (Legge di Campbell) che quando un indicatore numerico (ad es. l’esito dei test di una scuola) viene utilizzato per guidare processi organizzativi e didattici (ad es. tramite i procedimenti di valutazione di istituto, o gli obiettivi di incarico dei presidi) finirà inevitabilmente per “corrompere” quegli stessi processi. E’ ciò che accade con il cosiddetto “teaching to the test”, l’addestramento ai test INVALSI, più o meno ufficiale e più o meno indotto, che si svolge nelle nostre scuole, direttamente in classe o in progetti extrascolastici, con testi ad hoc o “palestre digitali” (ovviamente, a pagamento). Oppure, più subdolamente, è ciò che accade con altri tipi di comportamenti opportunistici: ad esempio imbrogliando nelle risposte, o selezionando ove possibile gli studenti che svolgono i test. Ma oltre a barare per far bella figura, c’è dell’altro: la trasformazione silenziosa della didattica, dei contenuti dell’insegnamento e delle modalità di verifica, progressivamente più simili alla forma-test. Batterie di domande, risposte multiple, a completamento, testi sempre più brevi, a carattere informativo, “matematica del cittadino”, scomparsa del metodo dimostrativo proprio della geometria euclidea o di testi letterari più complessi. L’idea di base è che ogni contenuto sia scomponibile e “invalsizzabile”, ossia smontabile e verificabile con quesiti a scelta multipla o con brevi produzioni personali, da imparare a scrivere, preferibilmente, con linguaggio semplice e codificabile da un’Intelligenza Artificiale.
Cosa ne pensano i Lincei o gli studiosi presenti? Va tutto bene?
Veniamo ora a qualche domanda più specifica.
3) I contenuti dei test non sono pubblici
Test INVALSI individuali, dicevamo: certificazioni delle competenze di ogni singolo studente.
I test sono svolti al computer (CBT), su una piattaforma informatica, a partire dalle scuole medie (secondarie di primo grado), anche se l’INVALSI intende passare alle prove CBT anche alle scuole primarie (vedi scheda progetto CBT gr 05: € 2.792.166,67).
Perché i quesiti proposti agli studenti durante le prove INVALSI non sono pubblici, ma esistono solo pochi esempi di domande disponibili? Perché l’intera banca dati delle domande non è accessibile e verificabile?
4) Chi (e come) corregge i test Invalsi
A partire dalla banca dati dell’INVALSI, secretata, ogni prova viene assemblata algoritmicamente e corretta in maniera centralizzata: la codifica delle domande aperte è di tipo automatizzato-supervisionato (vedi INVALSI 49/2020). Ma l’Istituto ha in previsione l’impiego di algoritmi di Intelligenza Artificiale per ridurre le ore/lavoro e velocizzare il rilascio dei risultati (vedi “Automated correction of Open Ended question of INVALSI test”).
Chi collabora alle operazioni di codifica?
Esiste una società coinvolta nelle operazioni di correzione dei test, vincitrice di una gara d’appalto pubblica? Come si chiama? Gli amministratori di questa società intrattengono rapporti di tipo scientifico o istituzionale o commerciale con gli esponenti (vertici, collaboratori) dell’Istituto INVALSI?
Quali algoritmi di Machine Learning verranno utilizzati per correggere in maniera automatizzata le risposte di tutti gli studenti? Chi li ha sviluppati?
5) Diritto alla verifica dei risultati individuali
La certificazione individuale che ogni studente riceve dall’INVALSI si esprime in forma numerica, mediante l’indicazione di un “livello di competenza” (in matematica, italiano, inglese) su una scala da 1 a 5. Ma il “voto INVALSI”, a differenza di qualsiasi valutazione “umana”, non è verificabile dallo studente o dalla famiglia dello studente. Non si ha accesso alla prova, non si conosce l’algoritmo che produce l’esito del test, non si conosce nemmeno la procedura né il responsabile della codifica e correzione.
Come verificare la correttezza e la logica dell’attribuzione dell’esito INVALSI, in nome del diritto al controllo e all’eventuale rettifica in caso di errore? Non dovrebbero valere almeno gli stessi diritti che valgono per i sistemi di intelligenza artificiale in virtù dell’Art.86 (Right to Explanation of Individual Decision-Making) dell’Artificial Intelligence Act dell’EU?
6) La schedatura dei “fragili” Invalsi
Con il PNRR, a partire dal 2022, vengono attribuite alla scuole risorse aggiuntive in funzione di un nuovo indicatore, denominato indicatore di fragilità, che “conta” il numero di studenti che nei test non raggiungono il livello considerato come “adeguato” (l’Istituto considera “fragili” gli studenti che guadagnano un “livello 1” e “livello “2; il “livello 3 “ è considerato “a rischio fragilità”). Le risorse sono vincolate al raggiungimento di precisi traguardi e destinate alla progettazione di interventi didattici. Le scuole ricevono dall’archivio INVALSI l’elenco in formato elettronico dei profili pseudoanonimizzati degli studenti fragili, che dall’INVALSI passano alle segreterie scolastiche, tramite le nuove funzionalità dei registri elettronici. A tali studenti, con nome e cognome e in carne e ossa, i dirigenti scolastici e i docenti indirizzeranno attività di recupero e potenziamento.
Schedare gli studenti in funzione del risultato dei test in fragili, quasi fragili, adeguati o eccellenti, e progettare interventi didattici differenziati ci sembra non solo un grave errore dal punto di vista scientifico, ma anche dannoso dal punto di vista educativo. Se infatti è vero che i dati INVALSI colgono solo un aspetto limitato della complessità del percorso di uno studente, è vero anche che il loro utilizzo futuro, le eventuali aggregazioni con altri tipi di dati, la loro azione sul mondo reale sono indipendenti dalla qualità della rappresentazione che essi forniscono. Quei dati rappresentano gli studenti e a partire da essi è possibile costruire una narrazione che li riguarda e che è fuori dal loro controllo, o attivare processi anticipatori che acuiscono disuguaglianze e segregazione scolastica.
I Lincei sono d’accordo con la schedatura dei “fragili”? La reputano un effetto di ordine secondario, magari trascurabile? Come possiamo ottenere la cancellazione dell’indicatore di fragilità? Se è previsto che “entro il 2025, al più tardi, tutti gli Stati membri dell’EU garantiscano il diritto all’oblio oncologico, è giusto che una fragilità INVALSI sia “per sempre”?
7) Dati degli studenti e tutela della privacy
Proprio a partire dal caso del bollino di fragilità INVALSI, nella primavera scorsa 20 associazioni (tra cui l’Associazione Roars) avevano indirizzato al Garante della Privacy un reclamo con cui chiedevano il divieto di tale trattamento, che si “configura come una schedatura impropria in quanto non controllabile, non verificabile né revisionabile per via umana, ovvero non automatizzata”.
Nel maggio scorso, l’Autorità garante per la protezione dei dati personali ha richiesto una serie di informazioni all’istituto INVALSI, in particolare sull’integrazione dei punteggi dei test nel curriculum dello studente. L’istituto doveva rispondere entro 20 giorno.
Noi saremmo curiosi di sapere cosa è stato risposto al Garante e a che punto siamo. C’è qualcuno dei Lincei che è interessato alla questione come noi?
8) Invalsi e intelligenza artificiale: la valutazione predittiva
L’uso dell’Intelligenza Artificiale e del Machine Learning è una prospettiva di ricerca che si fa strada in diversi progetti e attività dell’Istituto INVALSI: l’obiettivo è individuare i predittori di successo e insuccesso volti alla prevenzione della fragilità scolastica. Nello studio del 2022 intitolato “A predictive model of school failure” , ad esempio, l’istituto propone “un approccio algoritmico basato sul machine learning supervisionato per identificare gli studenti a rischio di fallimento scolastico”. L’INVALSI assicura che l’algoritmo “consente con buon livello di accuratezza di prevedere il rischio di insuccesso scolastico”. L’idea che si fa strada è insomma che gli esiti dei test, correlati alle informazioni di contesto dei singoli studenti, possano consentire “identificazioni precoci” o guidare “azioni preventive”. I dati INVALSI non sono più usati come semplici indicatori di accountability ex post, ma oggi diventano indicatori di policy, da utilizzare ex ante, come nel caso delle politiche PNRR di riduzione dei divari. I dati garantirebbero l’allocazione ottimale delle risorse per attivare azioni differenziate. Il problema è che gli indicatori INVALSI non sono indicatori ISTAT: non stiamo parlando di dati di tipo demografico, sociale o materiale, ma di etichette che qualificano persone, studenti per lo più minorenni, classificati in funzione di presunte fragilità cognitive. Una sorte di classifica dell’intelligenza.
Noi pensiamo che accreditare questo uso dei dati, dell’indicatore di fragilità, o della dispersione implicita, ignorando o minimizzando le implicazioni legate all’uso dell’Intelligenza Artificiale nella valutazione dei profili dei singoli studenti, siano tutt’altro che effetti trascurabili in vista di un obiettivo più rilevante (meglio una valutazione imperfetta, che nessuna valutazione). No: significa contribuire a individualizzare problemi complessi, depoliticizzare le questioni scolastiche, favorire il tracking educativo. Nel film di fantascienza Minority Report “Basandosi sulle premonizioni di tre individui dotati di poteri extrasensoriali di precognizione amplificati, detti Precog, la polizia riesce a impedire gli omicidi prima che essi avvengano e ad arrestare i potenziali “colpevoli”.
Cosa ne pensano i Lincei di questo uso dei test INVALSI come Precog educativi?
9) L’Invalsi e la misura delle soft skills
Qualche anno fa avevano destato sensazione alcuni quesiti del questionario studente che l’INVALSI proponeva contestualmente ai test. In particolare quella che la stampa aveva ribattezzato “la domanda sui soldi”, con cui si chiedeva, a partire dai bambini di 10 anni, di immaginare il proprio futuro: avrebbero trovato un buon lavoro? Sarebbero riusciti a comprare ciò che desideravano? Avrebbero avuto abbastanza soldi per vivere?
Il quesito sulle “aspettative future”, insieme ad altri (la percezione di sé, il supporto genitoriale, la motivazione intrinseca..) serviva all’INVALSI per delineare profili più completi degli studenti e per collocarli all’interno di “categorie” potremmo dire “di maggiore o minor rischio”, a partire dalle quali costruire correlazioni con dati cognitivi (vedi lavoro INVALSI “Targeting students with high risk of dropping out of school”, 2021). Quelle domande rappresentavano un primo tentativo di misurazione di alcune di quelle che oggi chiameremmo competenze non cognitive, soft skills o character skills.
L’INVALSI nel 2019 sosteneva che sarebbe stata possibile di lì a poco una misurazione su larga scala di alcune competenze “trasversali”: pensiero creativo, problem solving e problem solving collaborativo (vedi qui).
A che punto siamo e cosa dobbiamo aspettarci da questa profilazione di massa dei futuri cittadini e lavoratori?
10) INFINE…ESISTE o NON ESISTE la SPERIMENTAZIONE SUI BABY TEST?
Nel 2018 avevamo denunciato l’esistenza di un progetto pilota che l’INVALSI aveva condotto, denominato VIPS, Valutazione Iniziale della Prontezza Scolastica e all’apprendimento: batterie di test standardizzati a bambini delle scuole d’infanzia di 4-5 anni. Nonostante diversi riscontri dell’esistenza di tale progetto (non trascurabile un rapporto del CNEL del 2014 curato dagli stessi responsabili INVALSI) l’Istituto di Valutazione aveva pubblicamente replicato con una nota stampa di “non [aver] avviato alcuna sperimentazione” né di avere in programma test standardizzati su bambini di quell’età.
Tuttavia, a dispetto di quella nota, alcuni dubbi persistono. La sperimentazione la cui esistenza viene negata, è infatti tuttora riportata in un articolo scientifico sulla rivista Italian Journal of Sociology of Education a firma della Ricercatrice INVALSI C. Stringher (Stringher C., Assessment of learning to learn in early childhood: an italian framework, 2016) che fa riferimento proprio al progetto VIPS. (Si veda anche qui). Questo stesso articolo è parte della “bibliografia essenziale” INVALSI del RAV- Rapporto di autovalutazione per la scuola dell’infanzia. E la stessa autrice-ricercatrice INVALSI continua a riportare nel proprio curriculum la seguente attività: “Dal 2014 responsabile del progetto INVALSI Valutazione Iniziale della Prontezza scolastica e all’apprendimento (VIPS) dei bambini nella transizione dalla scuola dell’infanzia e alla primaria.”
Non sarebbe ora di fare chiarezza su questo punto, anche in nome dell’integrità scientifica e della trasparenza delle istituzioni pubbliche?
Le nostre domande terminano qui: saremmo lieti che qualche linceo le facesse sue e le formulasse in occasione del futuro convegno sulla valutazione, o- chissà- del prossimo dibattito al fianco dell’INVALSI. Non è la prima volta che l’Accademia dei Lincei invita l’INVALSI nelle sue giornate di studio. Siamo certi che non mancheranno altre occasioni.