Ma chi corregge le prove INVALSI?

08/05/2019

Primavera, stagione di Prove INVALSI. Già dallo scorso anno scolastico le prove della secondaria (per la classe terza della secondaria di primo grado e la seconda della secondaria di secondo grado) si svolgono al computer; quest’anno si è aggiunta anche la prova della quinta secondaria di secondo grado.

Il passaggio alla somministrazione computerizzata (CBT, computer based testing, in gergo) ha portato con sé alcuni importanti cambiamenti, soprattutto per quanto riguarda la correzione. Primo, la correzione non viene più fatta manualmente dagli insegnanti; secondo, la correzione avviene centralmente, e questo garantisce una maggiore omogeneità e coerenza della valutazione.

Una domanda molto naturale che molti si sono posti è quindi: ma chi corregge le Prove INVALSI? Si tratta di un numero impressionante di prove – oltre mezzo milione di studenti – in cui ci sono domande a risposta chiusa e domande a risposta aperta.

Le domande a risposta chiusa, in cui lo studente sceglie una risposta tra quelle proposte o realizza degli accoppiamenti o risponde a un cloze, vengono ovviamente codificate in automatico dal sistema. Un discorso diverso va fatto per le domande a risposta aperta, sia quelle a risposta “univoca” (per esempio: quanto fa 6×3?) sia quelle a risposta articolata, come quelle in cui si chiede un calcolo, un procedimento, un’argomentazione.

Va subito detto che l’INVALSI non è partito da zero: c’è un’ampia letteratura scientifica, basata su esperienze fatte da sistemi scolastici di tutto il mondo e dalle agenzie internazionali, sulla correzione centralizzata di prove di valutazione su larga scala. Come in queste esperienze, la correzione delle domande aperte delle Prove INVALSI è fatta manualmente, da persone fisiche, secondo procedure che sono validate scientificamente e condivise internazionalmente.

Come avviene, nel dettaglio, questa correzione?

L’operazione inizia in realtà molto prima del momento in cui i ragazzi rispondono alle domande delle prove. Tutte le domande delle Prove INVALSI affrontano, negli anni precedenti alla propria “uscita sul campo”, una fase di pretest, in cui vengono somministrate a campioni molto ampi di studenti. Il pretest, fondamentalmente, ha diverse funzioni: è uno stress test (per usare un termine di moda oggi) per controllare le caratteristiche di formulazione e vedere come gli studenti leggono e interpretano la domanda; permette di verificare le caratteristiche misuratorie di ogni item (in particolare la difficoltà); consente di raccogliere, nel caso delle domande a risposta aperta, una prima casistica di possibili risposte degli studenti.

Sulla base di queste centinaia, talvolta migliaia, di risposte, gli esperti dell’INVALSI elaborano le griglie di correzione. Chi volesse avere un’idea di come vengono strutturate queste griglie a livello internazionale può trovare esempi molto significativi nel Compendio in cui sono raccolte molte domande rilasciate dall’OCSE-Pisa (http://www.invalsi.it/invalsi/rn/odis/doc/Compendio_prove.pdf) o nei documenti delle indagini TIMSS e PIRLS condotte dall’IEA (International Association for the Evaluation of Educational Achievement, https://www.iea.nl).

La prima fase della correzione consiste quindi nella classificazione e categorizzazione delle risposte date dagli allievi che hanno partecipato al pretest. Vengono aggregate le risposte considerate equivalenti e creati dei repertori, organizzati anche in base alle frequenze.

Queste griglie e questi repertori sono gli strumenti sulla base dei quali inizia il lavoro dei correttori delle prove vere e proprie. I correttori sono tutte persone in possesso di titoli qualificati, rigorosamente selezionati e adeguatamente formati. Seguendo una procedura analoga a quella delle grandi rilevazioni internazionali, ogni domanda viene assegnata a un gruppo di correttori, che operano con assistenti alla codifica, sotto la guida di un table leader. Questi è responsabile della omogeneità della correzione di quella domanda e controlla in continuità il flusso del lavoro su quella domanda. Quotidianamente ogni table leader si confronta con il responsabile scientifico delle correzioni, il quale a sua volta sottopone tutti i casi che non rientrano nelle griglie e nei repertori ai responsabili del gruppo di esperti e insegnanti che hanno preparato le prove.

Questo sistema di correzione e codifica a più livelli garantisce omogeneità e correttezza, nonché coerenza con il question intent originale della domanda. Alla fine della procedura di correzione di tutte le domande, quando tutte le codifiche vengono riassemblate, viene effettuato un ulteriore controllo per eliminare eventuali errori materiali di codifica e inserimento.

Già l’esperienza dello scorso anno ha portato, tra gli altri, un risultato collaterale molto importante. Poter vedere in una cornice comune le risposte date da decine di migliaia di studenti a una stessa domanda ha permesso di acquisire informazioni estremamente dettagliate sugli apprendimenti dei nostri allievi. Ogni insegnante, nella propria carriera, arriva a conoscere al massimo alcune centinaia di allievi; in alcuni casi forse un migliaio o poco più, scaglionati lungo alcuni decenni: ogni domanda fornisce quindi una massa di informazioni che va molto al di là dell’esperienza di qualunque insegnante. Sulle domande rilasciate si sono già sviluppate diverse ricerche scientifiche, che hanno avuto impatto a livello internazionale. Fatto forse ancora più importante, questo ha permesso di mettere a fuoco nuove modalità di formulazione e nuove opportunità per valutare in maniera efficace gli apprendimenti degli allievi.

La correzione centralizzata delle Prove INVALSI CBT rappresenta quindi un salto di livello importante, che potrà contribuire a restituire informazioni sempre più precise e utilizzabili in chiave formativa sugli apprendimenti dei nostri allievi.

In «INVALSI»

Il Rapporto nazionale sulle Prove INVALSI 2019: il commento di Giorgio Bolondi

15/07/2019 da Giorgio Bolondi

Mercoledì 10 luglio l’INVALSI ha presentato i risultati delle prove di Matematica, Italiano e Inglese che si sono svolte nell’anno scolastico 2018/19. Il giorno successivo, tutti i giornali, le trasmissioni radio e televisive e i forum degli insegnanti si sono riempiti di commenti e discussioni, per la maggior parte focalizzati sugli aspetti critici messi in luce dalle prove: il divario tra Sud e Nord, l’alta percentuale di studenti che non dimostrano competenze fondamentali, il livello nelle prove di Inglese… Ormai, la validità delle prove e dei metodi utilizzati per elaborare e analizzare i risultati non viene messa in dubbio quasi più da nessuno...

leggi

Quale INVALSI per l’ultimo anno di scuola secondaria di secondo grado?

19/09/2018 da Giorgio Bolondi

L’Esame di Stato conclusivo del secondo ciclo di istruzione – la Maturità, per usare il termine comune e familiare – vive da alcuni anni un periodo in cui regna l’incertezza. Una prima ipotesi di buon senso voleva che l’Esame venisse riorganizzato (ridisegnato?) nel momento in cui la prima coorte di studenti che aveva frequentato fin dall’inizio il secondo ciclo riformato, con i nuovi indirizzi, le nuove Indicazioni Nazionali e le nuove Linee Guida, fosse giunta al termine del percorso...

leggi

INVALSI sì o INVALSI no?

10/09/2018 da Giorgio Bolondi

Una premessa doverosa: questo articolo doveva uscire alcuni giorni fa, immediatamente dopo la pubblicazione, da parte dell’INVALSI, di alcuni importanti documenti, teorici e operativi:  Presentazione Prove INVALSI –  classe V scuola secondaria di secondo grado  La Prova INVALSI di Inglese al termine del secondo ciclo di istruzione  La Prova INVALSI di Italiano al termine del secondo ciclo di istruzione  La Prova INVALSI di Matematica al termine del secondo ciclo di istruzione  Organizzazione delle Prove CBT – classe V scuola secondaria di secondo grado Il primo definisce il quadro generale delle prove per la V secondaria, partendo dai documenti di legge che le hanno introdotte e disciplinate, presentando anche le scelte tecniche effettuate sulla base dei pretest che l’INVALSI ha realizzato in questi anni (pretest che hanno coinvolto decine di migliaia di studenti)...

leggi
© 2015-2019 De Agostini Scuola - P.IVA 01792180034 - De Agostini Scuola S.p.A. è certificata UNI EN ISO 9001 da RINA