È in libreria con il suo ultimo lavoro, Tra possibilismo e valutazione. Judith Tendler e Albert Hirschman (Rubettino, 2022, 198 pgg.), Nicoletta Stame, tra le decane degli studi sulla valutazione delle politiche in Italia.
Sociologa ed esperta di valutazione, Nicoletta Stame ha insegnato nelle Università di Paris X, Messina, Bari e Sapienza di Roma. Già Presidente dell’Associazione Italiana di Valutazione (AIV) e della European Evaluation Society (EES), è attualmente Vicepresidente dell’A Colorni-Hirschman International Institute (AC-HII).
Relatrice in numerose occasioni di riflessione promosse dall’INVALSI, in collaborazione con il gruppo di ricerca del Progetto PON Valu.E è intervenuta con un Editoriale su L’INVALSI e la valutazione pluralista (2019) ed ha collaborato alla realizzazione del volume collettaneo In between tra notizia e rivista. Valutazione e innovazione: un anno di divulgazione scientifica per la ricerca educativa (a cura di D. Poliandri, et. al., FrancoAngeli, 2020, 262 pgg., in Open Access).
Il Coordinatore Editoriale di Valu.Enews Mattia Baglieri ha avuto il piacere di incontrare la Professoressa Stame in occasione della pubblicazione del suo ultimo libro in una conversazione su obiettivi e metodi di una valutazione pubblica innovativa.
Nicoletta Stame, quando parliamo di innovazione nella valutazione abbiamo l’innata tendenza a pensare a qualcosa che ancora non sia stato trovato, inventato. Il suo libro invece ci ricorda quanto la valutazione possa essere ispirata anche dalla lezione di alcuni suoi precursori, seppure involontari. Come contemperare innovazione e ricerca sulle fonti della disciplina valutativa?
«Il lavoro della ricerca valutativa può, a mio parere, dirsi paradossalmente innovativo nel momento in cui ripercorre le idee di alcuni precursori e anticipatori, che con il proprio originale percorso intellettuale, hanno anticipato la comprensione di problemi con cui poi i valutatori si sono scontrati successivamente. Pensiamo, per esempio, ad Albert Hirschman e Judith Tendler: si tratta di due autori che hanno impresso un contributo fondamentale agli studi economico-politici, non di valutatori di professione. E non volevano essere considerati tali, anche se Hirschman – un economista che si è occupato in prima persona di progetti e programmi di sviluppo – alla fine degli anni Sessanta ha pubblicato un libro che è utilissimo ai valutatori, dal titolo Development Projects Observed (1967), e Tendler per molto tempo è stata consulente di prestigiose agenzie internazionali di sviluppo, come l’USAID, l’Inter-American Foundation e la Banca Mondiale, per le quali svolgeva anche valutazioni. Il mio libro suggerisce ai valutatori di recepire la lezione del lavoro di questi due autori, che hanno anticipato – se vogliamo anche in modo involontario – alcuni sviluppi recenti della valutazione. Tra i loro contributi principali, in particolare, penso al loro porsi in modo indipendente rispetto alle stesse organizzazioni con cui essi collaboravano, favorendo il dialogo costante tra attuatori e beneficiari di quei progetti di sviluppo di cui si occupavano. Dobbiamo loro molto: ancora ricordo il momento in cui Hirschman mi introdusse a una sua allieva, proprio Judith Tendler, allora docente presso il dottorato di Urban Studies and Planning presso il Massachusetts Institute of Technology (MIT), dopo avere concluso una esperienza ventennale di consulente presso le agenzie internazionali di sviluppo. Hirschman e Tendler, con i loro preziosi consigli e la loro aspirazione democratica, hanno guidato molti di noi ricercatori sociali, anche ospitando nei percorsi di dottorato offerti dalle proprie università, alcuni laureati delle nostre interessati a lavorare su questi temi – come fece Judith con diversi studenti che si erano laureati con Luca Meldolesi alla Federico II di Napoli».
In che modo si intrecciano gli interessi intellettuali dei due studiosi?
«Se il contributo di Hirschman si situa maggiormente nell’alveo dell’economia – ma anche “trespassing to politics and beyond” come titola un suo libro – pur con significativi, sebbene rari momenti di lavoro valutativo diretto, al contrario il percorso di ricerca di Tendler, anch’essa economista, ha condotto all’introduzione di notevoli innovazioni in ambito valutativo. Tendler, infatti, ha pubblicato numerosi rapporti di valutazione di progetti, sia in ambito rurale che urbano, per lo sviluppo e ‘l’alleviamento della povertà’, con una impressionante mole di materiale di analisi e proposta nell’ambito di ciascun progetto che la vedesse coinvolta. È proprio laddove Tendler si dedicava a riflettere sui progetti in cui lavorava in prima persona, che le pagine dei suoi contributi di ricerca finiscono per assumere anche la valenza di indicazioni in grado di oltrepassare la specificità dei singoli progetti, con l’occhio rivolto alle agenzie internazionali di sviluppo, alla società civile e al settore pubblico, e in generale alle opportunità di sviluppo.
Avendo lavorato nel Piano Marshall – il programma di ricostruzione postbellica dell’Europa –, Hirschman si propose di studiare quali lezioni da quel Piano fosse possibile applicare anche al contesto dei paesi in via di sviluppo, assumendo, su incarico della Banca Mondiale, un ruolo da consigliere economico e finanziario del Consiglio per la pianificazione in Colombia. L’impostazione hirschmaniana avvertiva la necessità di un’economia dello sviluppo attenta alle esigenze dei Paesi beneficiari, sovvertendo i modelli calati dall’alto e lontani dal contesto di realizzazione effettiva delle politiche e dalle esperienze di quei Paesi. Nella prospettiva indicata da Hirschman, infatti, lo sviluppo è legato alla capacità di mobilitare quell’insieme di risorse umane e materiali “disperse, nascoste e mal utilizzate” che sono reperibili in ogni contesto, pubblico o privato, e più in generale nella società. Quando poi svolse quella ricerca su una decina di progetti della Banca Mondiale, il rapporto di interlocuzione non fu facile, perché Hirschman si rese ben presto conto che i progetti presentavano aspetti di complessità e incertezza che richiedevano una indagine sugli effetti collaterali, di cui le valutazioni condotte dalla Banca Mondiale non tenevano conto, anche perché non si avvalevano del contributo che avrebbe potuto essere offerto da un dialogo con gli operatori locali e con gli stessi fruitori delle risorse.
La lezione hirschmaniana venne fatta propria e sviluppata anche nel metodo di lavoro di Tendler che condivideva con Hirschman la necessità di redigere dei rapporti di ricerca interessati ad approfondire anche gli aspetti plurali e creativi dell’implementazione dei programmi complessi. Questi autori distinguevano tra progetti come blueprint, ossia documenti dalla natura rigida, preparati spesso da ingegneri consulenti, che fondamentalmente non lasciavano nessuno spazio all’incertezza per la loro messa in pratica, e progetti concepiti come particelle privilegiate di sviluppo, la cui implementazione si rivelava essere un viaggio di scoperta di processi politici, sociali, economici e tecnologici».
Quali sono le parole chiave che hanno caratterizzato il sodalizio di ricerca di Hirschman e Tendler?
«Si tratta di due autori senz’altro innovativi e che possono contribuire a dare un sostegno teorico più solido al modo di lavorare del valutatore: guardare altrove, creatività e sorpresa sono le caratteristiche principali del loro metodo di lavoro. Saper guardare dove di solito non si guarda: apprezzare la “mano che nasconde” le difficoltà che si potrebbero incontrare nella proposta e nella realizzazione dei diversi interventi, così da poter lasciare spazio alla creatività con cui i soggetti possono trovare soluzione ai problemi incontrati. La tendenza corrente in valutazione è ancora spesso ancorata agli esiti finali prestabiliti, mentre l’indicazione principale che proviene da Hirschman e Tendler è quella di non sottrarsi a un’analisi attenta dei processi, a guardare altrove. Vengono così ‘ribaltate’ le domande di valutazione, aggiungendone continuamente di nuove, basate su ciò che era stato osservato: Tendler chiedeva sempre “che cosa ti ha sorpreso?”. Tutto ciò comporta un superamento della tensione tra analisi qualitativa e quantitativa, nella necessità di un lavoro di ricerca capace di cogliere anche quei dettagli di un progetto a prima vista marginali. Fare riferimento alla concretezza dei processi che il ricercatore osserva, significa promuovere l’analisi attenta dell’impatto che i singoli progetti manifestano sui diversi attori coinvolti, superando una lettura deterministica delle politiche di sviluppo: l’osservazione ha proprio il compito di rimanere aderente al progressivo compiersi degli interventi proposti, anche qualora gli esiti finali sembrino allontanarsi dalle aspettative iniziali. Da un imprevisto – ci dicono i due autori – possono nascere possibilità a cui non si era pensato in prima battuta, mentre una troppo rigida ricerca di corrispondenza alle ipotesi iniziali potrebbe non trovare riscontro reale, e quindi portare alla percezione di un fallimento progettuale, e fare abbandonare il progetto: ciò che Tendler considera uno ‘spreco’ nel modo di valutare delle agenzie internazionali. È il tema della sorpresa, che si lega al titolo del mio libro, ovvero Tra possibilismo e valutazione. Potremmo dire che il possibile è l’evoluzione originata dall’inaspettato. Quell’inaspettato che fa maturare e ampliare l’orizzonte delle conoscenze: una presa di consapevolezza impensabile se si considera l’imprevisto come di per sé negativo. I due autori propongono, insomma, una filosofia della sorpresa, una sorpresa che spinge sempre ad ulteriore riflessione, come è nella pratica del reflective practitioner di Donald A. Schön, che Tendler impersonava così bene».
Judith Tendler
Un altro polo di tensione è quello tra assessment ed evaluation. In italiano traduciamo entrambi i termini con valutazione, ma Hirschman e Tendler ne approfondiscono a più riprese le differenze…
«Ampliare la prospettiva fondata sull’assessment rappresenta un altro importante contributo dei due autori. La differenza tra assessment ed evaluation è simile alla differenza tra la parte e il tutto: l’assessment fa riferimento all’analisi di costi e benefici, allo studio degli indicatori per obiettivi e all’analisi della corrispondenza tra indicatori e risultati, condotta prevalentemente con metodi desk. È una concezione che rimanda alla linearità. L’evaluation, invece, comporta un’analisi delle dinamiche innescate dai progetti, delle potenzialità di sviluppo anche impreviste. Tendler distingueva tra assessment e studi che consentono di fare delle comparazioni tra situazioni diverse e sosteneva la necessità di condurre questi ultimi. A ciò si collega la questione dei metodi: la valutazione richiede un insieme di analisi sia qualitative, condotte sul campo, che quantitative. Alla base del possibilismo c’è l’idea di osservare, e anche per questo è necessario andare sul campo, perché è lì che possiamo effettuare raffronti e comparazioni, ma soprattutto essere sul campo favorisce l’acquisizione di dati di ricerca che, come Tendler argomentava, è bene non vadano mai sprecati. Per Tendler questa diventa una preoccupazione primaria: nessuna agenzia può permettersi di sprecare conoscenze, specie se ottenute sul campo».
Come mai, anche pensando a questi contributi di Hirschman e Tendler, la valutazione è ancora caratterizzata da pregiudizi?
«Oltre che da un aspetto di diffidenza, sia da parte di chi deve essere valutato sia da parte di un’opinione pubblica che ancora considera la valutazione come qualcosa di lontano dalla concretezza e dal pragmatismo dei processi, lo stesso lavoro valutativo manifesta delle tendenze che nell’ottica dei due autori sarebbe bene superare. Penso ad alcune pagine che Tendler ha pubblicato sotto il titolo di Consigli ai valutatori, e in cui troviamo un compendio della teoria possibilista consegnato a chi svolge il lavoro valutativo.
Primo consiglio, l’attenzione al contesto: il contesto come pluralità di fonti informative su un progetto.
Secondo consiglio, favorire la partecipazione: a parità di condizioni, la diffusione di risorse e conoscenze all’interno delle comunità di riferimento va fortemente incentivata come modello pluralistico e democratico di superamento di una logica elitaria di gestione delle risorse. La teoria valutativa potrà allora proporsi come strumento di sostegno alla politica democratica, all’insegna di un profondo richiamo morale finalizzato alla partecipazione, specie delle donne e dei giovani, alla cosa pubblica.
Terzo consiglio: la venerazione per il successo. Un elemento lontano dalla ossessione per il fallimento, cui oggi spesso si assiste, quanto piuttosto una chiave per il superamento del pregiudizio. Abbiamo visto che, in un ambito che critica la linearità, incoraggiando piuttosto la creatività, alcune tra le conoscenze più utili derivino anche dagli imprevisti. Allo stesso modo, è importante superare pregiudizi e generalizzazioni tipici della vulgata. Hirschman per esempio esortava a prestare la massima attenzione alla fallacia delle convinzioni riguardo alle precondizioni e agli ostacoli. Tante volte – come metteva in evidenza – si tende a insistere su una lettura mainstream dei progetti secondo cui determinate precondizioni siano sempre necessarie al cambiamento, e lo stesso dicasi di taluni ostacoli ritenuti per lo più insormontabili per migliorare le cose. E invece: ecco il potere dell’inatteso, per cui si scopre che ci può essere sviluppo anche senza quelle precondizioni, e che certi cosiddetti ostacoli non sono insormontabili, e talvolta possono pure favorire lo sviluppo.
E ancora: richiedere agli enti committenti che la valutazione si svolga sul campo significherà anche, nei fatti, contrastare tutta una serie di stereotipi come quelli sull’inefficienza del settore pubblico. Tendler, al contrario, riconosceva che un certo numero di interventi da lei studiati avessero goduto di particolare successo in termini di promozione sociale proprio nella misura in cui essi fossero sostenuti dagli enti pubblici, smentendo il tipico stereotipo della “pigrizia” dei funzionari pubblici: lei aveva conosciuto professionisti preparati e responsabili dei cui giudizi bisognava tenere conto. Un ragionamento simile è di questo tipo: “gli ospedali e le scuole non funzionano: è un’impresa trovare infermieri e insegnanti che sappiano fare il proprio lavoro”. La venerazione per il successo, nell’ottica di Tendler come consiglio dato al valutatore, deve spingere a concentrarsi il più attentamente possibile su quello che succede nelle strutture pubbliche in cui invece le cose funzionano: se ci sono gli infermieri o gli insegnanti, chiedersi come possa essere accaduto. Quali cambiamenti gestionali-amministrativi o di allocazione delle risorse permettono al personale sanitario di sentirsi valorizzato e al personale docente di essere a scuola in orario e di proporre programmi formativi di qualità? Studiare quello che ha funzionato, significa per la Tendler anzitutto sfatare il mito che i buoni esiti non esistano; e poi secondo lei le buone pratiche si possono ripetere anche in situazioni analoghe, pur se non identiche, a patto che il ricercatore riesca a comprendere in che modo una messa a sistema di un certo tipo abbia potuto determinare esiti positivi. Hirschman e Tendler osservano quindi con grande interesse i momenti particolari in cui una costellazione di circostanze imprevedibili può dare origine al successo di un progetto, facendo davvero la differenza. Si tratta, peraltro, di alcuni temi che Tendler affrontava nell’ambito dei corsi universitari da lei tenuti, con un’ultima raccomandazione: l’ascolto delle parole, e anche del modo di esprimersi, dei beneficiari. Se ci pensiamo è lo stesso arricchimento teorico proposto dall’approccio di Hirschman in Development Projects Observed alla Banca Mondiale, perché nel momento in cui il ricercatore compie una ricerca sul campo, egli lavora fianco a fianco con gli operatori locali ascoltando più voci possibile e provando a capire cosa stia succedendo davvero e quali scelte vengano via via operate. Se lavora in questo modo, chi valuta può rendersi conto che a volte anche quello che a prima vista potrebbe sembrare un fallimento, può invece innescare una crisi a cui corrisponderà una risposta imprevista da parte dei beneficiari, configurandosi come una diversa soluzione».
Quando pensiamo alle politiche educative e alla loro valutazione, quale lezione possiamo trarre dall’insegnamento di questi autori?
«È bene proporsi di superare il pregiudizio che caratterizza la valutazione della scuola, considerata una attività astrusa e equidistante sia dalla pratica che dalla teoria. E invece, rimanere aderenti al contesto educativo, ma soprattutto puntare alla formazione di valutatori che sappiano lavorare con l’approccio democratico e possibilista favorito da questi autori, saper andare oltre una mera logica di assessment, coniugare indicatori e metriche con la ricerca su quei processi che innescano in via pratica il cambiamento. E poi, quando analizziamo un risultato positivo, sarà bene non considerarlo solo un esito previsto, ma da quel risultato imparare a risalire a ritroso – è l’ambito del cosiddetto process-tracing – per comprendere cosa abbia prodotto quella determinata evoluzione. Questo modo di ragionare presuppone la complessità di tanti fattori che si muovono insieme e di tante possibili traiettorie da percorrere, da contemplare in una prospettiva aperta. Penso, per esempio, alle Prove INVALSI come a uno strumento fondante per studiare l’apprendimento degli studenti anche in relazione al cambiamento scolastico, insieme ad altri importanti strumenti comparativi e di analisi dei processi, per osservare da vicino i comportamenti e le motivazioni di docenti, studenti, personale scolastico, e ambiente di riferimento: si tratta di un insieme di conoscenze utili per capire lo stato della scuola e la sua predisposizione al miglioramento. Del resto pensare al miglioramento significa tenere a cuore anche una prospettiva morale: una prospettiva che si prefigga sempre di aumentare e mai di limitare la partecipazione e che favorisca lo sviluppo di tutti gli strumenti democratici. Ricordarsi di quanto Tendler fosse una convinta sostenitrice del contributo che poteva venire dal settore pubblico e della necessità di un dialogo incessante con chi è sul campo. Quando penso all’INVALSI, in particolare, penso ad un ente pubblico di ricerca che non ha pregiudizi nei confronti dei professionisti del mondo della scuola, come gli insegnanti. Oggi si parla molto di intelligenza artificiale e di big data, ma da questi autori giunge un monito instancabile a continuare a parlare in modo diretto e non mediato con tutte quelle persone che ogni giorno sono le vere protagoniste dei processi di cambiamento».
All’insegna di un binomio tra innovazione della ricerca e accesso libero alla stessa considerato sempre più inscindibile da parte delle istituzioni di ricerca, l’A Colorni-Hirschman International Institute (AC-HII) ha deciso di rendere fruibile ai ricercatori una Library in Open Access che offre una bibliografia ragionata sulle principali opere del gruppo intellettuale che fa riferimento all’insegnamento di Colorni e Hirschman.
Oltre ad una raccolta di Dossier dal titolo «Long is the Journey», che si ispirano alla metodologia di ricerca politico-sociale promossa da Albert O. Hirschman e portata avanti dai suoi allievi, una sezione molto ricca dal punto di vista documentale è legata alla figura di Judith Tendler.
L’Istituto ha raccolto in Open Access anche ampia parte della documentazione di ricerca raccolta da Tendler nel corso della carriera, organizzando il materiale in sezioni storiche che attraversano un arco temporale di più di cinquant’anni, dal 1965 al 2018, quando, a due anni dalla sua morte, l’Istituto ha promosso la pubblicazione di un volume in Open Access sui contributi più significativi della Tendler, dal titolo Beautiful Pages by Judith Tendler (Nicoletta Stame, Ed., Italic Digital Editions, Roma, 250 pg.). Il volume raccoglie una scelta di introduzioni e conclusioni dei rapporti di valutazione pubblicati da Tendler nell’ambito del proprio lavoro di consulenza per le agenzie internazionali di sviluppo governative e non governative.