La valutazione del 2° pilastro della PAC: la luce e la chiave

In questo articolo proseguiamo la discussione relativa all’utilizzo delle nuove tecniche di abbinamento statistico per la valutazione degli impatti della politica agricola estendendola agli impatti degli interventi di sviluppo rurale. L’articolo di Esposti pubblicato nel numero 25 di Agriregionieuropa (Esposti, 2011), ha evidenziato come la valutazione della riforma del primo pilastro risulti ancora problematica. In questo articolo discuteremo come nel caso del secondo pilastro, invece, le nuove tecniche statistiche sembrano rappresentare una soluzione efficace e relativamente facile ai problemi di identificazione di osservazioni controfattuali e di stima dell’impatto. Riprendendo il linguaggio figurato utilizzato nell’incipit dell’articolo di Esposti possiamo dire che se lo studioso del primo pilastro è ancora lontano dal trovare la chiave che apre la porta alle soluzione del problema di valutazione, invece chi indaga gli impatti del secondo pilastro ha già trovato il suo mazzo di chiavi e sta ora cercando quella che gira meglio!

La valutazione della politica di sviluppo rurale

La principale novità della programmazione 2007-13 degli interventi di sviluppo rurale riguarda l’introduzione del cosiddetto approccio strategico che comporta, tra le altre cose, il rafforzamento delle attività di monitoraggio e valutazione oltre ad un’armonizzazione dei principi e delle procedure adottate per la valutazione degli effetti.
A tal fine, il regolamento 1698/05 all'art. 80 ha introdotto il Quadro Comune di Monitoraggio e Valutazione (QCMV) che, oltre a chiarire e descrivere i temi e i tempi del processo di monitoraggio e valutazione, individua alcune tipologie di indicatori (Reg. 1698/05 art. 81) da utilizzare nel processo di programmazione, quali strumenti necessari per conoscere i progressi, l'efficienza e l'efficacia dei Programmi di Sviluppo Rurale (PSR).
Il QCMV definisce cinque tipi di indicatori che corrispondono alla gerarchia degli obiettivi implicitamente definita nel regolamento. Dopo gli indicatori iniziali, utilizzati per per realizzare l'analisi SWOT e per definire la strategia del programma, la "gerarchia degli indicatori comuni" prosegue con gli indicatori di risorsa, riferiti alle risorse finanziarie o di altro tipo assegnate da utilizzarsi per monitorare l'andamento dell'impegno (annuale) in rapporto ai relativi costi ammissibili.
Al secondo posto nella gerarchia si trovano gli indicatori di prodotto. Questi misurano le attività realizzate direttamente nell'ambito dei programmi. Ad esempio, il numero dei corsi di formazione organizzati, il numero delle aziende agricole che ricevono sostegni agli investimenti, il volume totale di investimenti.
La gerarchia prosegue con gli indicatori di risultato che misurano gli effetti diretti e immediati dell'intervento e forniscono informazioni sui cambiamenti riguardanti, ad esempio, il comportamento, la capacità o il rendimento dei diretti beneficiari; si misurano in termini fisici o finanziari. Ad esempio, il numero lordo di posti di lavoro creati, gli esiti positivi delle attività di formazione.
Al vertice della gerarchia si trovano gli indicatori di impatto. Questi si riferiscono ai benefici del programma nella zona interessata al di là degli effetti immediati sui diretti beneficiari. Gli impatti sono di solito espressi in termini "netti", tralasciando gli effetti non attribuibili all'intervento (doppi conteggi, effetti inerziali) e prendendo in considerazione gli effetti indiretti (dislocazione ed effetti moltiplicatori).
Il quadro comune per il monitoraggio e la valutazione prevede sette indicatori comuni di impatto globale (crescita, occupazione, produttività, biodiversità, zone di alto pregio naturale, acque e cambiamento climatico) che riflettono esplicitamente gli obiettivi stabiliti dal Consiglio e dagli Orientamenti strategici per lo sviluppo rurale. Il set degli indicatori comuni di impatto dovrebbe essere completato da indicatori supplementari specifici per i programmi, che tengano conto dell'intera gamma di obiettivi e sotto-obiettivi a livello del programma e delle priorità nazionali Il regolamento sullo sviluppo rurale si concentra in modo particolare sulla quantificazione dell'impatto rispetto alla situazione di partenza per la cui stima viene suggerita una procedura dal basso verso l'alto:

• in una prima fase il valutatore del programma dovrebbe stimare l'impatto diretto e indiretto a livello dei beneficiari;
• in una seconda fase si dovrebbe stimare l'impatto a livello di zona del programma.

Nel paragrafo che segue ci concentriamo sul primo punto, ovvero su alcune metodologie statistiche disponibili per stimare l'impatto a livello dei beneficiari.

La stima dell’impatto netto e il controfattuale

La prima questione che emerge affrontando un’analisi di impatto, in generale, è la valutazione dei cambiamenti che una determinata variabile dipendente oggetto di interesse subisce a seguito di un intervento pubblico (trattamento). Poiché la differenza osservata nella variabile d’interesse tra prima e dopo l’intervento può dipendere anche da fattori esterni al trattamento, compito dell’analista è quello di identificare l’effetto causale dell’intervento sulla variabile d’interesse. L’effetto causale corrisponde quindi alla differenza tra ciò che osserviamo a seguito dell’intervento e ciò che avremmo osservato, per la stessa unità d’interesse e nelle medesime condizioni, in assenza di intervento. Questo implica che l’impatto netto consiste nella differenza tra il valore della variabile d’interesse dopo l’intervento e il valore della variabile d’interesse che si sarebbe osservato in assenza di intervento (controfattuale). Tale differenza individua l’effetto medio del trattamento (average treatment effect, ATE). Nei fatti, almeno per le scienze non sperimentali, il controfattuale non è osservabile, e compito dell’analista valutatore è quello di stimarlo mediante inferenza statistica. (Caliendo, 2006) In questi casi, si suole identificare il controfattuale con un’unità che non sia stata oggetto d’intervento. In altre parole l’effetto causale è misurato come differenza tra il valore della variabile d’interesse dell’unità trattata con quello della non trattata.
Tale differenza misura l’effetto medio del trattamento sull’unità trattata (average treatment effect on the treated, ATT).
Tale procedura non è esente da problemi. Infatti, le unità trattate e non trattate tendono a differire nella distribuzione delle proprie caratteristiche, in conseguenza del fatto che la partecipazione all’intervento non è casuale ma tende a determinarsi in virtù di tali caratteristiche. In termini statistici ciò dà luogo al noto problema della distorsione da selezione (selection bias) nella stima dell’impatto del trattamento.
Gli approcci utili a definire il controfattuale sono molteplici e tendono a dividersi tra approcci sperimentali (random assignment) e non sperimentali. All’interno dei metodi non sperimentali si identificano due categorie principali: gli stimatori before-after e gli stimatori cross-section.
Nell’approccio before-after si compara il risultato post-intervento con quello pre-intervento delle unità trattate: la differenza tra i valori delle variabili d’interesse misura l’ATT. In questo caso è necessario avere a disposizione dati longitudinati o cross-section ripetute. Su una logica simile si basano i noti stimatori difference-in-difference (DID), per cui l’ATT è misurato dalla differenza delle differenze before-after di trattati e dei non trattati. Le ipotesi chiave per l’impiego di tali stimatori sono: trend comuni dei gruppi considerati, effetto-tempo uguale in entrambi i gruppi ed eterogeneità non-osservata fissa nel tempo. Ciò implica che gli stimatori DID permettono di prevenire eventuali distorsioni delle stime imputabili alla presenza di eterogeneità non osservata fissa nel tempo.
Tra gli stimatori cross-section, recentemente, hanno assunto grande rilevanza i metodi di abbinamento statistico (matching), attraverso i quali ad ogni unità trattata è abbinata un a o più unità estratte dal gruppo dei non trattati che abbia una distribuzione di caratteristiche il più simile possibile a quella della trattata.
In altri termini, tale approccio, di tipo non parametrico, consiste nell’individuare un gruppo di controllo tanto più simile, nelle caratteristiche osservabili, al gruppo di trattamento, in cui la misura dell’impatto dell’intervento è dato dalla differenza tra le medie delle variabili d’interesse dei due gruppi. Un’ipotesi fondamentale di tale metodo è la Conditional Independence Assumption (CIA) (o unconfoundedness condition) per cui è possibile ottenere una stima non distorta di ATT condizionando il trattamento su un insieme di covariate (X) adatte a rimuovere le differenze sistematiche nell’outcome dei non trattati. Tale pratica permette di rimuovere le distorsioni da selezione imputabili alla differenze pre-trattamento tra gruppo di trattati e gruppo di controllo. Un limite di tale metodo, consiste invece nell’impossibilità di tener conto di fattori non osservabili che possano distorcere i risultati. In questo caso è utile testare la robustezza dei risultati con lo strumento della sensitivity analysis (si veda Nannicini, 2007).
I risultati del matching sono ritenuti tanto più credibili quanto più ampia è la gamma di variabili di controllo di cui si tiene conto nell’effettuare l’abbinamento. D’altra parte, al crescere delle variabili di controllo, diminuisce la probabilità di individuare un’unità non trattata abbastanza simile alla trattata. Un importante risultato per risolvere questo problema è stato individuato da (Rosenbaum e Rubin, 1983), che proposero il propensity score matching (PSM). Tale risultato consiste nel fatto che abbinando i due gruppi sulla base di un indice (propensity score) che riflette la probabilità di partecipazione al programma (stimata con modello probit o logit), permette di ottenere stime consistenti dell’effetto causale allo stesso modo dell’abbinamento basato sulle singole variabili di controllo. In altre parole, in questo caso, l’abbinamento tra unità trattate e non trattate è basato sulla similarità del propensity score piuttosto che su un lungo elenco di variabili.
La bontà della stima dipende da elementi quali:

• appropriatezza del gruppo di controllo: i gruppi considerati debbono essere confrontabili. In caso contrario, lo stimatore che si ottiene si definisce fragile.
• variabilità dell’impatto tra i trattati: non solo l’impatto medio ma anche la sua variabilità è importante nella valutazione complessiva dell’intervento. La stima dell’impatto è tanto più attendibile quanto minore è la sua variabilità.
• la selezione degli elementi di controllo può determinare a sua volta fenomeni di distorsione, in ragione dei valori soglia scelti per discriminare tra unità incluse e non nel gruppo di controllo.

Tale approccio soffre tuttavia di ulteriori limiti:

• la capacità di abbinamento tra i due gruppi è legata al numero di caratteristiche osservabili;
• la generalizzabilità dei risultati è limitata alla popolazione con caratteristiche simili a quelle dei soggetti abbinati;
• non è sempre possibile trovare unità non trattate sufficientemente simili a quelle trattate, perché il numero dei non trattati può essere marcatamente inferiore alla numerosità del gruppo sottoposto all’intervento.

Più recentemente (Heckman et al., 1998) nell’ambito dei problemi di valutazione è stato introdotto un metodo che combina DID con il PSM, e che viene indicato con conditional difference-in-difference (CDID). Il pregio di tale procedura è di sfruttare i vantaggi dei metodi di matching, che risolvono i problemi da distorsione da selezione, con quelli del DID che invece permette di tener conto della presenza di fattori non osservabili. Nello specifico la procedura di stima è identica a quella utilizzata nel PSM, ad eccezione del fatto che la variabile di risposta considerata consiste nella differenza before-after degli outcome dei due gruppi piuttosto che nel livello dell’outcome post-trattamento.

Le criticità nella stima dell’impatto dello sviluppo rurale attraverso l’abbinamento statistico

Di seguito si presentano alcune considerazioni derivanti dall’applicazione delle tecniche di abbinamento statistico ai dati RICA per la stima degli impatti a livello di beneficiari degli aiuti per lo sviluppo rurale (Salvioni, Sciulli 2011).
In primo luogo, l’utilizzazione dei dati RICA implica che la valutazione si limiti agli impatti delle misure di sviluppo rurale in cui i beneficiari siano aziende agricole, ovvero principalmente gli schemi del primo e secondo asse orientati rispettivamente all’aumento della competitività e della sostenibilità ambientale della produzione agricola. Non possono invece essere oggetto di valutazione gli impatti di programmi del terzo asse –qualità della vita- che vanno a beneficiare anche soggetti non agricoli, in quanto non oggetto di rilevazione da parte della RICA.
Per poter applicare le tecniche di abbinamento statistico ai fini della valutazione di una misura di politica rurale è necessario:

• che il trattamento sia identificabile e osservabile e, in secondo luogo;
• che sia disponibile una variabile risultato (outcome) attraverso la qual misurare il conseguimento degli obiettivi del trattamento;
• devono essere disponibile informazioni che consentano di dire cosa sarebbe successo alle unità trattate se non avessero subito il trattamento.

Rispetto al primo punto, a differenza degli interventi del primo pilastro (Esposti, 2011), nel caso degli schemi di sviluppo rurale il trattamento è facilmente identificale e corrisponde alla partecipazione alla misura e, quindi, al fatto che l’azienda abbia beneficiato di aiuti finanziari durante uno specifico periodo di programmazione. Sulla base di questa informazione è facile costruire una variabile binaria attraverso la quale identificare le aziende trattate e non.
Il secondo punto ovvero l’identificazione di variabili risultato pone invece qualche problema. Gli obiettivi generali della politica di sviluppo rurale sono l’aumento dell’occupazione e della crescita economica oltre al consegimento di una maggiore sostenibilità ambientale nelle aree rurali. A livello di azienda beneficiaria, però, i risultati attesi possono essere molto diversi da misura a misura. Nel caso degli interventi del primo asse, orientati all’aumento della competitività, ci si attende che le aziende beneficiarie degli aiuti finanziari (sussidi agli investimenti, aiuti alla qualità, ecc.) migliorino la propria performance economica e in particolare la capacità di remunerare le risorse aziendali. Di conseguenza il risultato dell’intervento può essere valutato attraverso l’analisi delle variazioni intervenute nella redditività aziendale oltre che nella produttività delle risorse impiegate. L’obiettivo crescita economica è ovviamente connesso a quello di aumento di occupazione, di conseguenza si può controllare se si registrano impatti sulle unità di lavoro, totali e familiari, occupate nelle aziende. Nel caso degli interventi del secondo asse (pagamenti agroambientali e per le aree svantaggiate) l’obiettivo generale è piuttosto quello della sostenibilità ambientale della crescita. In questo caso l’identificazione di variabili risultato è complicata dal fatto che la base di dati RICA è di natura contabile e, quindi, non contiene informazioni a carattere ambientale.
L’impatto ambientale dei processi produttivi agricoli può essere comunque approssimato da variabili quali la densità degli allevamenti e l’intensità d’uso di prodotti intermedi in particolar modo quelli chimici (fertilizzanti e agrofarmaci).
Infine, il terzo punto da affrontarsi in vista della stima dell’impatto netto, è quello dell’individuazione, accanto alle osservazioni trattate, di osservazioni non trattate comparabili, ovvero l’individuazione del controfattuale. Tali osservazioni sono utilizzate per stimare cosa sarebbe accaduto alle variabili risultato delle unità trattate qualora non fossero state trattate. L’utilizzo di tecniche di abbinamento può fornire una risposta a questo problema (Pufahl, Weiss 2009). Di fatto, però, nel caso dell’impatto dei programmi di sviluppo rurale sono stati osservati vari ordini di problemi. In primo luogo queste tecniche abbisognano di un ampio volume di dati e questo costituisce un problema soprattutto quando si intende focalizzare l’attenzione sull’impatto di uno specifico schema di intervento o in un ambito territoriale ristretto.
A titolo di esempio si consideri che la RICA fornisce informazioni su un campione molto ampio di aziende, più di 10000. Quando però si costruisce il cosiddetto campione costante, ovvero il panel di aziende presenti in più anni, la numerosità si riduce all’aumentare del periodo temporale considerato. Quando da questo campione costante si estraggono i sottocampioni relativi alle aziende ammissibili alle singole misure e ancor più quelli relativi alle aziende che hanno partecipato spesso si rimane con una numerosità insufficiente a garantire stime affidabili. Qualora poi si riesca ad avere un campione sufficientemente ampio rimane il problema della rappresentatività dello stesso. Una soluzione a questi ultimi due problemi - numerosità e rappresentatività del sottocampione- consiste nell’integrazione del sub-campione di aziende beneficiarie RICA con aziende beneficiarie appartenenti agli archivi amministrativi in corso di sperimentazione presso l’INEA (Cisilino, Zanoli 2011).

Conclusioni

Le considerazioni fino a qui presentate mettono in evidenza come le tecniche di abbinamento statistico possano rappresentare un utile ausilio nella valutazione ex post degli impatti della politica di sviluppo rurale. La facilità nell’identificare il trattamento nel caso dei programmi di sviluppo rurale rappresenta uno dei motivi principali che hanno portato all’applicazione di queste tecniche alla valutazione di interventi con riferimenti a programmi del secondo pilastro della PAC.
Le esperienze maturate fino a questo momento hanno tuttavia fatto emergere alcune problematicità. L’ambiente della ricerca ha tuttavia cominciato a lavorare per risolvere i problemi emersi e si stanno registrando sperimentazioni che potrebbero in un futuro non troppo lontano rendere queste tecniche facilmente utilizzabili e, soprattutto, capaci di fornire risultati affidabili e rappresentativi.

Riferimenti bibliografici

• Cagliero R., Cisilino F., Scardera A. (2010). L’utilizzo della RICA per la valutazione di programmi di sviluppo rurale. Rete Rurale Nazionale, Roma

• Caliendo M. (2006). Microeconometric evaluation of labour market policies. Springer: Berlin

• Cisilino F., Zanoli A. (2011). Principali metodi statistici per l'analisi d'impatto: il ruolo della RICA e del campione satellite. Lavoro presentato alla Conferenza della Rete Rurale Nazionale "La RICA come strumento per la valutazione". Roma 29 marzo 2011

• Esposti, R. (2011). La chiave e la luce: perché valutare la riforma del primo pilastro della PAC è difficile. Agriregionieuropa 7(25): 9-13

• Heckman, J.J., Ichimura H., Smith J., Todd P., 1998. Characterizing selection bias using experimental data. Econometrica 66: 1017-1098

• Nannicini T. (2007). Simulation-based sensitivity analysis for matching estimators. Stata Journal, vol. 7(3): 334-350

• Pufahl, A., Weiss, C.R. (2009). Evaluating the Effects of Farm Programmes: Results from Propensity Score Matching. European Review of Agricultural Economics, 36(1): 79–101

• Rosenbaum, P., Rubin, D. (1983). The central role of the propensity score in observational studies for causal effect, Biometrika, 70: 41-50

• Salvioni C., Sciulli D. (2011). Farm level impact of rural development policy: a conditional difference in difference matching approach. Lavoro presentato al 122° EAAE Seminar, Ancona, 17-18 Febbraio, 201