Primavera, stagione di Prove INVALSI. Già dallo scorso anno scolastico le prove della secondaria (per la classe terza della secondaria di primo grado e la seconda della secondaria di secondo grado) si svolgono al computer; quest’anno si è aggiunta anche la prova della quinta secondaria di secondo grado.
Il passaggio alla somministrazione computerizzata (CBT, computer based testing, in gergo) ha portato con sé alcuni importanti cambiamenti, soprattutto per quanto riguarda la correzione. Primo, la correzione non viene più fatta manualmente dagli insegnanti; secondo, la correzione avviene centralmente, e questo garantisce una maggiore omogeneità e coerenza della valutazione.
Una domanda molto naturale che molti si sono posti è quindi: ma chi corregge le Prove INVALSI? Si tratta di un numero impressionante di prove – oltre mezzo milione di studenti – in cui ci sono domande a risposta chiusa e domande a risposta aperta.
Le domande a risposta chiusa, in cui lo studente sceglie una risposta tra quelle proposte o realizza degli accoppiamenti o risponde a un cloze, vengono ovviamente codificate in automatico dal sistema. Un discorso diverso va fatto per le domande a risposta aperta, sia quelle a risposta “univoca” (per esempio: quanto fa 6×3?) sia quelle a risposta articolata, come quelle in cui si chiede un calcolo, un procedimento, un’argomentazione.
Va subito detto che l’INVALSI non è partito da zero: c’è un’ampia letteratura scientifica, basata su esperienze fatte da sistemi scolastici di tutto il mondo e dalle agenzie internazionali, sulla correzione centralizzata di prove di valutazione su larga scala. Come in queste esperienze, la correzione delle domande aperte delle Prove INVALSI è fatta manualmente, da persone fisiche, secondo procedure che sono validate scientificamente e condivise internazionalmente.
Come avviene, nel dettaglio, questa correzione?
L’operazione inizia in realtà molto prima del momento in cui i ragazzi rispondono alle domande delle prove. Tutte le domande delle Prove INVALSI affrontano, negli anni precedenti alla propria “uscita sul campo”, una fase di pretest, in cui vengono somministrate a campioni molto ampi di studenti. Il pretest, fondamentalmente, ha diverse funzioni: è uno stress test (per usare un termine di moda oggi) per controllare le caratteristiche di formulazione e vedere come gli studenti leggono e interpretano la domanda; permette di verificare le caratteristiche misuratorie di ogni item (in particolare la difficoltà); consente di raccogliere, nel caso delle domande a risposta aperta, una prima casistica di possibili risposte degli studenti.
Sulla base di queste centinaia, talvolta migliaia, di risposte, gli esperti dell’INVALSI elaborano le griglie di correzione. Chi volesse avere un’idea di come vengono strutturate queste griglie a livello internazionale può trovare esempi molto significativi nel Compendio in cui sono raccolte molte domande rilasciate dall’OCSE-Pisa (http://www.invalsi.it/invalsi/rn/odis/doc/Compendio_prove.pdf) o nei documenti delle indagini TIMSS e PIRLS condotte dall’IEA (International Association for the Evaluation of Educational Achievement, https://www.iea.nl).
La prima fase della correzione consiste quindi nella classificazione e categorizzazione delle risposte date dagli allievi che hanno partecipato al pretest. Vengono aggregate le risposte considerate equivalenti e creati dei repertori, organizzati anche in base alle frequenze.
Queste griglie e questi repertori sono gli strumenti sulla base dei quali inizia il lavoro dei correttori delle prove vere e proprie. I correttori sono tutte persone in possesso di titoli qualificati, rigorosamente selezionati e adeguatamente formati. Seguendo una procedura analoga a quella delle grandi rilevazioni internazionali, ogni domanda viene assegnata a un gruppo di correttori, che operano con assistenti alla codifica, sotto la guida di un table leader. Questi è responsabile della omogeneità della correzione di quella domanda e controlla in continuità il flusso del lavoro su quella domanda. Quotidianamente ogni table leader si confronta con il responsabile scientifico delle correzioni, il quale a sua volta sottopone tutti i casi che non rientrano nelle griglie e nei repertori ai responsabili del gruppo di esperti e insegnanti che hanno preparato le prove.
Questo sistema di correzione e codifica a più livelli garantisce omogeneità e correttezza, nonché coerenza con il question intent originale della domanda. Alla fine della procedura di correzione di tutte le domande, quando tutte le codifiche vengono riassemblate, viene effettuato un ulteriore controllo per eliminare eventuali errori materiali di codifica e inserimento.
Già l’esperienza dello scorso anno ha portato, tra gli altri, un risultato collaterale molto importante. Poter vedere in una cornice comune le risposte date da decine di migliaia di studenti a una stessa domanda ha permesso di acquisire informazioni estremamente dettagliate sugli apprendimenti dei nostri allievi. Ogni insegnante, nella propria carriera, arriva a conoscere al massimo alcune centinaia di allievi; in alcuni casi forse un migliaio o poco più, scaglionati lungo alcuni decenni: ogni domanda fornisce quindi una massa di informazioni che va molto al di là dell’esperienza di qualunque insegnante. Sulle domande rilasciate si sono già sviluppate diverse ricerche scientifiche, che hanno avuto impatto a livello internazionale. Fatto forse ancora più importante, questo ha permesso di mettere a fuoco nuove modalità di formulazione e nuove opportunità per valutare in maniera efficace gli apprendimenti degli allievi.
La correzione centralizzata delle Prove INVALSI CBT rappresenta quindi un salto di livello importante, che potrà contribuire a restituire informazioni sempre più precise e utilizzabili in chiave formativa sugli apprendimenti dei nostri allievi.