bravi studenti e buone scuole

cortesia di NeONBRAND

Osservando una squadra di pallacanestro si può misurare rigorosamente che i giocatori sono decisamente più alti della media dei loro coetanei. Ma se il genitore di un ragazzo non particolarmente alto volesse iscrivere il suo ragazzo a tale attività sportiva sperando che inserito lì dentro possa avere migliori risultati di crescita in altezza dovremmo forse moderare le sue aspettative.

da l’Adige del 22 novembre 2019
Come gli scorsi anni, Eduscopio ha pubblicato l’annuale classifica delle scuole superiori, per provincia e tipo di istituto, in base ai voti degli studenti all’esame di maturità e ai successivi risultati degli esami del primo anno di studi universitari.

Ho letto alcuni insegnanti esprimere critiche al vetriolo verso questa indagine, sostenendo (la sintesi brutale delle argomentazioni è mia) che il ruolo del docente, in quanto teso al raggiungimento di valori immateriali, non sarebbe suscettibile di alcuna valutazione quantitativa. Non voglio entrare nel merito di questa specifica argomentazione, limitandomi a dire che ritengo questa posizione destinata a soccombere di fronte alla richiesta, sempre più pervasiva nell’epoca degli algoritmi e dei big data, di indici numerici per misurare ogni aspetto della vita economica e sociale.

Per me invece l’articolo di Maria Prodi, pubblicato sull’Adige, centra magistralmente il fulcro della questione: la fallacia delle premesse e delle conclusioni che si attribuiscono all’indagine. Per usare le sue parole: siamo sicuri che un ragazzo che si iscrive a una scuola con punteggio migliore troverà una scuola migliore, o semplicemente una scuola in cui si sono iscritti ragazzi scolasticamente migliori? Avevo espresso lo stesso concetto tempo fa ma l’esposizione di Maria Prodi è davvero illuminante. Per questo invito a leggere integralmente il suo articolo.

Vorrei aggiungere qualche considerazione in merito alla domanda principale: quanto conta un istituto nel successo dei suoi studenti?

Cominciamo col dire che la scuola non è l’unico fattore a incidere sul voto dell’esame di maturità dei suoi studenti. Posso citare, tra gli altri: a) il contesto territoriale; b) il contesto famigliare; c) il livello scolastico di partenza; d) il contesto dell’istituto; e) l’insieme dei docenti; f) la commissione d’esame.

Si tratta di elementi diversi ma correlati tra di loro: in una zona ricca è più facile trovare una famiglia di buono status socio-economico; in genere una famiglia di questo tipo offre più stimoli ai propri figli; i ragazzi che sono stimolati tendono a far bene a scuola; chi riesce bene a scuola di solito si iscrive a un istituto quotato, che attira anche gli insegnanti più ambiziosi. Forse l’elemento più casuale è proprio l’ultimo.

In ogni caso per valutare il ruolo di una scuola nel raggiungimento delle competenze dei suoi studenti occorrerebbe misurare il suo contributo al netto degli altri fattori. Gli addetti ai lavori sanno che solo Invalsi (l’Istituto Nazionale di Valutazione del Sistema di Istruzione) è strutturato per un compito del genere (peraltro l’adozione del punteggio della prova Invalsi nella classe quinta come misura delle competenze acquisite dagli studenti delle scuole superiori al posto del voto all’esame di maturità avrebbe il vantaggio di una maggiore obiettività, anche perché non dipende dall’ultimo fattore). Almeno in teoria.

Scrivo così perché secondo una ricerca appena pubblicata negli Stati Uniti, gli insegnanti contribuirebbero allo sviluppo delle competenze matematiche e linguistiche dei loro studenti tanto quanto alla loro crescita in altezza. Più che paradossale (ovviamente gli adolescenti crescono a dispetto delle azioni dei loro insegnanti e anche dei loro genitori, o di chiunque altro) lo scopo dei ricercatori era dimostrare come sia arduo misurare il valore aggiunto del lavoro dell’insegnante nei progressi degli studenti.

E, analogamente, della scuola. Forse perché il segnale (il contributo del fattore) è debole rispetto al rumore (la variabilità dei dati). O forse perché è debole proprio in termini assoluti.

In ogni caso questo tipo di analisi è fuori della portata di Eduscopio, che dispone solo dei risultati degli esami di maturità per istituto e dunque li attribuisce in toto a questo fattore.

Insomma, per dirla con le parole del suo logo, il valore di Eduscopio è conoscitivo (confronto), ma non può essere prescrittivo (scelgo) o esplicativo (scelgo quindi studio). La sua indagine offre una fotografia dell’esistente: in che percentuale gli studenti di ogni scuola ottengono voti buoni ed eccellenti, in che percentuale si distribuiscono nelle facoltà universitarie o trovano lavoro al termine degli studi secondari; tuttavia è velleitario pensare essa che possa indirizzare le scelte e produrre in tal modo carriere migliori.

A questo proposito, riprendo ora un paio di passaggi dell’articolo che ritengo utile approfondire.

Se i ragazzi che giocano a pallacanestro sono alti è soprattutto perché vanno a iscriversi a pallacanestro quelli che sono già alti, e inoltre quelli troppo bassi tendono a essere scartati via via dalle squadre migliori.

Se gli studenti di una scuola hanno avuto buoni esiti al primo anno di medicina, per esempio, ma solo uno su dieci era riuscito a iscriversi, la prospettiva cambia.

Scrivendo così l’autrice evidenzia tre fenomeni che contribuiscono suriettiziamente a sopravvalutare il merito degli istituti che figurano ai primi posti della classifica:

• gli istituti più ambiti attraggono gli studenti migliori;
• gli studenti che arrancano troppo, dopo la loro iniziale iscrizione, migrano verso istituti meno selettivi
• gli studenti che falliscono i test di ammissione verso le facoltà più prestigiose non sono conteggiati nelle statistiche

Il primo fenomeno, il più rilevante, è un classico caso di distorsione da selezione, che si ha quando un particolare sottoinsieme viene formato o si forma spontaneamente in base a comportamenti o attitudini che lo porta ad avere una profilo diverso da quello dell’insieme generale cui appartiene.

Per esempio, un sondaggio realizzato intervistando i passanti che si incrociano fuori da una tabaccheria sovrastimerebbe la percentuale dei fumatori in città; mentre un questionario somministrato online rileverebbe molto probabilmente un uso più diffuso dei social media rispetto a un questionario cartaceo distribuito per posta (che può essere compilato anche da chi, per esempio anziano, non ha ne computer ne smartphone).
Nel caso in esame, gli studenti che si iscrivono a un istituto prestigioso hanno generalmente una valutazione in ingresso superiore a quella degli iscritti a tutte le scuole superiori e ciò spiega in larga misura la differenza tra la media dei punteggi ottenuti agli esami di maturità, perché è chiaro che livelli individuali di partenza e di arrivo sono tra loro correlati.

Gli altri due fenomeni sono esempi di una particolare distorsione da selezione nota con il nome di distorsione da sopravvivenza, che si verifica quando gli elementi più fragili sfuggono all’osservazione finale, nascondendo così il peso degli insuccessi.
Nel nostro caso, gli studenti che cambiano scuola o si ritirano dagli studi o non superano i test di ammissione a una facoltà a numero chiuso contribuiscono indirettamente a migliorare la classifica del loro (ex) istituto perché se fossero arrivati in fondo non avrebbero probabilmente brillato agli esami di maturità e/o nel loro percorso universitario.

Prima, durante, dopo: tutto concorre a gonfiare risultati confondendo le cause con gli effetti.