WILL – Educare al Futuro. Le sei fasi della valutazione sperimentale*

La sperimentazione di WILL – Educare al Futuro è stata avviata nel 2019 con la finalità di introdurre e valutare un programma di contrasto alla povertà educativa basato sul meccanismo del risparmio incentivato. La valutazione dell’efficacia del programma, che si concluderà nel 2023, è realizzata mediante un disegno sperimentale controllato. L’esperimento randomizzato controllato è considerato il metodo più consolidato per valutare l’efficacia di un intervento, poiché, grazie alla randomizzazione, consente di costruire due gruppi, il gruppo di trattamento e il gruppo di controllo, perfettamente comparabili. Tuttavia la sua conduzione non è priva di insidie: prima, durante e dopo la randomizzazione ci sono diversi passaggi critici che vanno presidiati. La sperimentazione di WILL, consente di identificare le fasi principali e di derivare alcune raccomandazioni pratiche.

Formulare la domanda di valutazione

Il primo passaggio critico riguarda la formulazione della domanda di valutazione che permetta di identificare in modo chiaro la popolazione di riferimento, il trattamento e l’outcome (o variabile risultato). Nel caso di WILL, la domanda di valutazione può essere formulata come segue:

“Per gli studenti provenienti da famiglie a basso reddito [popolazione di riferimento] partecipare al programma di risparmio incentivato Will [trattamento] aumenta le chance di completamento con successo delle scuole secondarie superiori [outcome]?

Costruire la teoria del cambiamento

La domanda di valutazione deve essere supportata da una teoria del cambiamento, che obbliga il valutatore ad identificare e collegare tra loro input, output e outcome, permettendo di: i) chiarire, su un piano logico e teorico, se il programma allo studio è il programma adeguato per incidere sugli outcome studiati; ii) valutare se è realistico attendersi un determinato cambiamento dato il contesto, il tempo e le risorse a disposizione; iii) definire se e come il cambiamento ipotizzato sia empiricamente misurabile (pertanto definendo il piano dell’analisi).

Elaborare e condividere il protocollo

Una volta definite domanda di valutazione e teoria del cambiamento, il passo successivo consiste nell’elaborare il protocollo della valutazione. Si tratta di un documento che pianifica tutte le attività di valutazione che saranno effettuate e ha almeno tre finalità principali: a) individuare e definire tutti gli elementi necessari allo svolgimento della ricerca valutativa; b) condividere con i partner e lo staff di implementazione l’intero processo di ricerca; c) rendere esplicito e trasparente all’esterno gli obiettivi e i metodi della ricerca.

Reclutare i partecipanti

Un passaggio imprescindibile è quindi quello di identificare e raggiungere la popolazione target, ossia quell’insieme di individui e/o famiglie che si ritiene essere bisognosi dell’intervento proposto e/o responsivi agli incentivi forniti. In WILL le potenziali famiglie beneficiarie sono state raggiunte e contattate attraverso una specifica campagna di comunicazione e reclutamento, definita a livello centrale e poi condotta sul campo dai singoli partner attraverso promozioni mirate e comunicazioni dirette. Al fine di raggiungere le famiglie target, la campagna di reclutamento è stata messa in atto in contesti territoriali svantaggiati facendo leva sull’azione e le conoscenze pregresse da parte dei partner locali.

Raccogliere i dati

La qualità dei dati è un elemento cruciale per la qualità della valutazione. Il tipo di dati e le procedure di raccolta sono aspetti che vanno pianificati prima dell’inizio del progetto e che devono essere strettamente connessi alla domanda di valutazione e alla teoria del cambiamento. La scelta del tipo di dati utilizzare deve tenere conto degli outcome di interesse. Questi possono essere fattuali, come nel caso di WILL lo sono i risultati scolastici, oppure basati su opinioni e/o atteggiamenti, come ancora nel caso di WILL lo sono, per esempio, le aspettative e le aspirazioni educative.

Randomizzare e monitorare l’integrità dell’esperimento

Vi sono diverse procedure per assegnare in modo casuale i soggetti ai diversi gruppi sperimentali. Nell’esperienza di WILL, la randomizzazione è stata eseguita all’interno di strati, definiti dall’incrocio di tre variabili: la realtà territoriale (Sud Sardegna, Firenze, Teramo, Torino), il titolo di studio più alto dei genitori (almeno diploma, meno di diploma) e il luogo di nascita del genitore/tutore che ha compilato la domanda (Italia, altro paese).

Analizzare e comunicare i dati

La stima degli effetti del trattamento è il nucleo centrale di una analisi di valutazione di impatto, ma non è l’unico tipo di analisi dati che viene condotta. È fondamentale anche condurre un’analisi di implementazione, che è finalizzata a descrivere il modo in cui l’intervento disegnato è stato concretamente attuato e a rilevare eventuali criticità. In WILL, l’analisi di implementazione si basa su microdati amministrativi relativi ai risparmi e alle spese dei partecipanti che permettono di costruire indicatori quali la percentuale di soggetti che hanno avviato il risparmio o le spese, i valori medi e gli andamenti temporali. L’analisi degli effetti di breve termine è invece realizzata sui dati della prima follow-up survey, in cui genitori e studenti sono stati intervistati 48 mesi dopo l’inizio del programma durante il secondo anno della scuola secondaria di primo grado.

*Davide Azzolini e Loris Vergolini.

Foto di Free-Photos da Pixabay