Governare la valutazione dello sviluppo rurale

Agriregionieuropa anno 5 n°18, Set 2009
Governare la valutazione dello sviluppo rurale
  Rete Rurale Nazionale

La valutazione come strumento per migliorare l’azione amministrativa

L’attuazione di politiche di intervento pubblico richiede che le Istituzioni assumano importanti responsabilità amministrative con riferimento alle comuni regole del gioco, come le procedure pubbliche di selezione, i controlli, i regimi sanzionatori. Esistono tuttavia responsabilità più generali che una amministrazione che implementa una politica deve assolvere, come:

  • rispondere attraverso gli strumenti di intervento ai reali e diversi fabbisogni della società;
  • essere efficiente ed efficace nel raggiungimento degli obiettivi fissati;
  • essere trasparente, sia rispetto alle procedure che mette in essere, sia rispetto ai risultati che si conseguono.

Proprio in questa direzione la valutazione può dare un contributo rilevante, favorendo lo sviluppo di una “buona politica”. La valutazione è, infatti, un importante strumento di supporto alla gestione delle politiche pubbliche a livello comunitario, nazionale e regionale. La sua funzione è essenzialmente di assicurare la produzione di un flusso informativo continuo sullo stato di avanzamento degli interventi, in modo da garantire la trasparenza della spesa pubblica e consentire l’individuazione e la soluzione di eventuali difficoltà nell’attuazione; tutto ciò al fine di supportare il processo decisionale e la programmazione attraverso l’analisi dei risultati e degli impatti ottenuti, individuandone i principali fattori di criticità e fornendo gli strumenti per ripensare all’intero processo in chiave critica (Monteleone, 2005; Sotte, 2009).
Da questo punto di vista, la politica di sviluppo rurale rappresenta il luogo ideale per innovare e sperimentare l’utilizzo della valutazione. Qualità, efficacia e trasparenza dell’azione pubblica sono principi fondamentali che trovano sempre più spazio all’interno delle amministrazioni responsabili dell’attuazione della politica di sviluppo rurale, anche alla luce della progressiva crescita del complesso sistema di relazioni che si instaurano tra Amministrazioni comunitarie e nazionali, tra queste e quelle regionali, con i beneficiari degli interventi e con la società civile.
E’ stata, in primo luogo, la stessa Commissione europea a stimolare un approccio nuovo, non più esclusivamente indirizzato all’accountability, ma più orientato alla valutazione come strumento per favorire percorsi di apprendimento sul funzionamento e sugli effetti delle politiche. Tale approccio è individuabile già nel Reg. 1698/2005 sulla politica di sviluppo rurale che propone alcune interessanti novità, poi riprese dal Quadro comune di monitoraggio e valutazione (Qcmv). Il Qcmv è finalizzato non solo a individuare una metodologia comune di riferimento, ma anche a suggerire le principali modalità organizzative, un set minimo di indicatori e domande valutative applicabili a ciascun programma. A conferma di questo approccio “positivo” vi è poi l’istituzione di una rete europea sulla valutazione dello sviluppo rurale (la European Evaluation Network for Rural Development), finalizzata in primo luogo allo scambio di esperienze tra esperti dei diversi Stati membri.
A livello nazionale, il Mipaaf ha a sua volta contribuito prevedendo nel Piano strategico nazionale e nella Rete rurale nazionale (Rrn) la costituzione di un “Sistema nazionale di monitoraggio e valutazione” per le politiche di sviluppo rurale, con l’obiettivo di migliorare i risultati della valutazione e favorire il loro utilizzo sia dalle strutture responsabili della programmazione e gestione dei Psr, sia da parte del partenariato e della società civile. Il Mipaaf propone, in sostanza, di accrescere la qualità delle valutazioni attraverso un approccio più consapevole e responsabile delle Autorità di gestione (Adg) e supporta il sistema con azioni finalizzate alla crescita della capacità valutativa.
Uno dei primo passi delle attività del Sistema nazionale è stato quello di elaborare un documento di “linee guida” sull’organizzazione della valutazione in itinere dei Programmi di sviluppo rurale (Mipaaf, 2008), che orientasse le fasi di avvio della valutazione da parte delle Adg regionali.

L’approccio nazionale alla valutazione delle politiche di sviluppo rurale

L’approccio nazionale alla valutazione delle politiche di sviluppo rurale è stato costruito intorno ad alcuni principi generali: responsabilità, trasparenza, partecipazione, coordinamento della valutazione degli interventi sul territorio, che spetterà tuttavia alle singole Regioni finalizzare nei propri modelli organizzativi, funzionalmente alle loro esigenze organizzative e conoscitive.

La responsabilità

L’obiettivo della valutazione è ottenere un valore aggiunto in termini conoscitivi, in particolare con riferimento agli effetti generati dagli interventi finanziati. Solo così è possibile che i processi di gestione delle politiche si arricchiscano di informazioni utili per migliorare efficienza ed efficacia della loro azione. E’ fondamentale, quindi, che le Adg dei programmi, responsabili per la conduzione della valutazione, abbiano un approccio più consapevole, superando l’idea che la valutazione sia solo un obbligo formale e imparando sostanzialmente a governarla.
Governare la valutazione significa assumere una serie di scelte in termini di:

  • organizzazione, individuando le strutture interne ed esterne necessarie allo svolgimento dell’attività e creando le condizioni per assicurare la qualità del processo e dei prodotti della valutazione;
  • domanda di valutazione, che deve esprimere il fabbisogno conoscitivo del committente;
  • rapporto con il valutatore.

Riguardo all’organizzazione, un compito assai delicato e al tempo stesso fondamentale per le Adg è il processo di strutturazione del proprio sistema di valutazione, che rappresenta il presupposto per garantire la qualità di tale attività. Funzionale a un buon governo della valutazione è la costituzione di strutture responsabili per la gestione tecnico-amministrativa e per la gestione dei rapporti con il valutatore. In questo senso sarebbe auspicabile prevedere la creazione di una Unità di monitoraggio e valutazione del Psr (Umv) composta da funzionari dell’Adg e di un Gruppo direttivo della valutazione (Gdv) del Psr, la cui composizione (responsabili di programma, parti sociali, esperti di valutazione) può variare a seconda del ruolo che la struttura assume, più legato alla gestione tecnica e all’interlocuzione metodologica con i valutatori o più al coinvolgimento e alla cooperazione delle parti interessate alla programmazione.
La definizione di una domanda di valutazione chiara e autonoma è responsabilità dell’Adg. L’ideale è che sia aggiuntiva rispetto a quella richiesta dal Qcmv, rispondendo alla necessità di approfondire e acquisire risposte conoscitive aggiuntive su temi di particolare rilevanza strategica per la Regione, peculiari al territorio su cui si interviene e aspetti meno noti all’amministrazione. E’ altrettanto importante che le autorità responsabili per la valutazione siano consapevoli che il soddisfacimento delle proprie esigenze conoscitive passa attraverso la richiesta al valutatore di risposte robuste dal punto di vista metodologico, comprensibili e utilizzabili.
Le “linee guida” nazionali incoraggiano i committenti delle valutazioni ad esprimere richieste su una serie di aspetti di processo e di prodotto della valutazione, in maniera più puntuale, già attraverso il bando di selezione del valutatore (Mipaaf, 2008).
Un ingrediente chiave del successo della valutazione è pertanto l’organizzazione del rapporto tecnico-amministrativo tra committente, responsabili della valutazione e valutatore, tale da permettere un confronto lungo tutto il processo.
Speculare è la necessità che il committente metta il valutatore nelle condizioni di condurre al meglio le proprie attività, assicurandogli domande valutative chiare, assistenza sul piano metodologico, ma soprattutto condivisione dell’informazione (contatti, documentazione amministrativa anche di natura finanziaria, dati di monitoraggio, dati amministrativi) e risorse adeguate, sia umane che finanziarie. Anche se non è garanzia assoluta di qualità, il finanziamento disponibile è uno dei punti critici riguardo alle risorse rispetto a cui pianificare la valutazione.

La trasparenza

Un aspetto cruciale nella valutazione è la diffusione e l’utilizzazione dei suoi risultati. Un processo di valutazione è completato solo se prevede un adeguato spazio alla disseminazione dei risultati all’interno dell’amministrazione e anche all’esterno. La rendicontazione agli attori ed alle istituzioni nel territorio dei risultati parziali e finali degli interventi in modo ampio, articolato e con linguaggio non tecnico, accresce il senso di appartenenza delle politiche alla comunità, migliora i rapporti tra l’amministrazione e i cittadini e contribuisce a creare un dialogo che arricchisce sia il territorio che l’amministrazione.
Per questo, nel predisporre le attività valutative è necessario che chi gestisce le valutazioni rifletta sulle modalità più appropriate per favorire la comunicazione più ampia dei risultati delle valutazioni. Oltre alla produzione di rapporti sintetici e chiari dove dare conto dei principali risultati della valutazione e delle metodologie adottate, il piano di comunicazione potrebbe essere arricchito prevedendo la produzione di depliant e di bollettini, la pubblicazione di newsletter, la creazione di spazi dedicati nei siti web delle Regioni e l’organizzazione di meeting e seminari. Anche per questo tipo di attività, l’amministrazione può coinvolgere il valutatore.

La partecipazione

L’approccio promosso dalla Rrn incoraggia la partecipazione dei portatori d’interesse nel disegno e nella gestione delle attività valutative dei Psr sin dal momento della definizione delle domande di valutazione. I vari attori coinvolti hanno infatti specifiche e originali esigenze conoscitive riguardo all’attuazione delle politiche, che dovrebbero essere adeguatamente raccolte dall’Adg e concorrere a formarne la domanda di valutazione, anche in modo tale da riflettere la complessità dello sviluppo dei territori, e ove possibile superando la compartimentazione imposta dalla divisione per Fondi.
Il coinvolgimento degli attori è essenziale nella fase di svolgimento della valutazione ed è la stessa Adg che deve individuarli nel proprio Piano di valutazione, dando anche una indicazione per il valutatore del loro grado di coinvolgimento nei processi di valutazione e, possibilmente, con quali modalità.
Infine, gli altri decisori politici interessati alla programmazione ai livelli locale, regionale e nazionale e le parti sociali presenti sul territorio coinvolte nell’attuazione delle politiche e/o toccate dai loro impatti sono i destinatari privilegiati delle attività di comunicazione e diffusione dei risultati della valutazione. Questa fase, spesso sottovalutata, è invece pre-requisito fondamentale perché la valutazione produca un feedback nei processi decisionali e contribuisca pertanto concretamente al miglioramento della politica.
Restringendo il campo alla comunità scientifica a vario titolo coinvolta nella valutazione delle politiche di sviluppo rurale, c’è una grande ricchezza e diversità di esperienze che potrebbe utilmente aggiungersi a quella della ristretta cerchia di valutatori. La committenza, da questo punto di vista, può favorire processi di apertura e partecipazione importanti, ad esempio specificando nei bandi di affidamento dei servizi di valutazione una composizione ampia ed articolata per specifiche competenze settoriali del gruppo di lavoro e anche coinvolgendo ricercatori, esperti, università nei Gdv.

Il coordinamento della valutazione degli interventi sul territorio

Per quanto la Commissione richieda che la valutazione di un Psr sia finalizzata a verificare il valore aggiunto comunitario dello specifico strumento è importante, tuttavia, impostare tale attività con uno sguardo più ampio agli altri interventi che si muovono sul territorio. In particolare, rispetto alla politica regionale unitaria esistono comuni esigenze conoscitive che possono essere di supporto alla necessità di avere una visione complessiva degli effetti delle diverse politiche sul territorio. Per questo motivo, la Rrn partecipa alle attività del Snv. Il Snv, istituito dal Qsn 2007-2013, è un impegnativo quanto stimolante tavolo di dialogo, collaborazione e integrazione tra tutte le strutture pubbliche impegnate nella valutazione della politica regionale nazionale e comunitaria, nel rispetto delle specificità del quadro normativo e istituzionale dei vari Fondi coinvolti (Feasr, Fesr, Fse).
In questo quadro, i percorsi di accompagnamento metodologico e organizzativo delle Adg dei vari Fondi nel processo della valutazione sono costruiti dalle rispettive strutture di supporto in modo coordinato, così da far crescere anche nelle amministrazioni centrali e regionali coinvolte la consapevolezza dell’integrazione delle politiche che insistono su uno stesso territorio e allo stesso tempo favorire, attraverso il dialogo fra le diverse amministrazioni, la coerenza dell’intero quadro programmatico e la nascita di sinergie fra le politiche.

Una prima analisi dei bandi per l’assegnazione dei servizi di valutazione

Le Regioni hanno avviato il percorso di affidamento dei servizi della valutazione in itinere, predisponendo e pubblicando i relativi bandi di avviso pubblico. Ad oggi, quindici Regioni e le due Province autonome hanno pubblicato il bando e dieci di esse hanno completato le procedure di affidamento, tra queste anche la Regione Piemonte che, con un approccio innovativo,ha optato per l’affidamento in house del servizio, incaricando il suo Nucleo regionale di valutazione degli investimenti pubblici. L’analisi dei contenuti dei bandi pubblicati permette una prima panoramica per analizzare come siano state recepite dalle Adg le indicazioni operative fornite dalla Rrn e contenute nelle linee guida. Un primo sguardo alle risorse messe a bando evidenzia un accresciuto interesse delle Adg a investire nella valutazione rispetto alla programmazione 2000-2006, con un tendenziale aumento delle risorse a disposizione del valutatore (Tabella 1).

Tabella 1 - Importi stanziati per l’affidamento dei servizi di valutazione


Fonte: bandi pubblici di affidamento dei servizi di valutazione dei PSR
Note alla tabella:
(1)Spesa pubblica totale
(2)Valore massimo stimato, comprese le opzioni per ripetizione di servizi analoghi EUR 3.200.000 IVA esclusa.
(3)Il bando del Friuli Venezia Giulia affida il servizio di valutazione per la durata di 3 anni a - partire dalla data di registrazione del decreto di impegno relativo al contratto.
(4)Valore massimo stimato, comprese le opzioni per ripetizione servizi analoghi: Euro 1.850.000,00 IVA esclusa.

La lettura dei contenuti dei bandi rivela inoltre la tendenza a fare proprio il concetto di “governo” della valutazione da parte dell’Adg sia in termini della formulazione di una domanda di valutazione autonoma che della gestione dei rapporti con il valutatore. Riguardo al primo aspetto, quasi tutti i bandi finora usciti contengono riferimenti espliciti sia alla domanda di valutazione contenuta nel Qcmv che ad una domanda espressa dalla Regione in relazione alle proprie esigenze conoscitive, che sia stata definita in precedenza nei Piani di valutazione unitari o che sia in via di definizione (in taluni casi anche coinvolgendo il valutatore). La gestione dei rapporti con il valutatore lungo tutto il processo sembra egualmente essere percepita dalle Adg come una componente importante ed è quasi sempre oggetto di richiesta esplicita al valutatore, sebbene con diversi gradi di approfondimento.
Le linee guida suggerivano alle Regioni di inserire nei bandi dei riferimenti alla necessità di interagire con il Gdv e alle modalità auspicate. Questo aspetto compare con meno frequenza nei bandi pubblicati sinora (6 su 17). In questi, si ricorda la composizione e il ruolo del Gdv, della conformità al Piano di valutazione, e in un caso anche dei metodi e delle fonti. Il fattore tempo può aver giocato un ruolo importante nel determinare la scarsa presenza di riferimenti a meccanismi di presidio della qualità nei bandi quale l’istituzione di un Gdv. Alcune Regioni stanno infatti procedendo con maggiore lentezza nella predisposizione delle strutture per la valutazione di quanto abbiano fatto per la stesura dei bandi, e stanno avviandosi alla costituzione dei Gdv a bando concluso.
Riguardo al requisito della trasparenza, le Adg hanno ampiamente recepito l’importanza del contributo che può fornire il valutatore per agevolare la fruibilità dei risultati della valutazione. Quasi tutti i bandi specificano che tra i prodotti attesi della valutazione ci sono non solo i rapporti relativi alle incombenze regolamentari, ma anche sintesi non tecniche, presentazioni e altro materiale a carattere divulgativo. In alcuni bandi la chiarezza espositiva e la comprensibilità sono criterio di giudizio della qualità dei rapporti di valutazione. Inoltre, il valutatore è sollecitato a partecipare a incontri scientifici e/o divulgativi su iniziativa dall’Adg. Anche nel caso del contributo alle attività di divulgazione, tre bandi fanno richieste più stringenti chiedendo al valutatore di proporre modalità di comunicazione che saranno oggetto di valutazione in sede di gara.
In ultimo, pochi bandi tra quelli attualmente disponibili (9 su 17) contengono delle richieste precise al valutatore rispetto al coordinamento delle sue attività con quelle della valutazione della politica regionale afferente ad altri fondi (Fesr, Fse, Fep, Fas), con riferimenti a volte vaghi alla opportunità di integrare il percorso valutativo con quello delineato nei Piani regionali della valutazione unitaria. Occorre sottolineare però che l’analisi dei bandi non permette un giudizio esaustivo riguardo il recepimento delle indicazioni su tale coordinamento che richiederebbe l’analisi dei Piani regionali della valutazione unitaria.

Conclusioni

L’obiettivo della valutazione è il miglioramento dei processi di programmazione a qualsiasi livello. Il suo utilizzo è però strettamente connesso alla consapevolezza di ciò da parte degli amministratori delle politiche e del loro sentire come propria tale attività.
Le linee guida nazionali, che includono concetti e soluzioni operative per migliorare il governo della valutazione rappresentano, quindi, solo il punto di partenza di un percorso di sostegno alle attività di valutazione regionali attraverso: la realizzazione di attività formative e informative, la partecipazione a gruppi direttivi regionali, il coordinamento con le attività di valutazione realizzate nell’ambito della politica di coesione, lo sviluppo di nuove metodologie di valutazione e la sperimentazione di valutazioni tematiche, lo scambio di buone prassi nel campo della valutazione, lo stimolo al dialogo tra Adg, valutatori, portatori di interessi, mondo della ricerca e alla comunicazione dei risultati della valutazione.

Riferimenti bibliografici

Tematiche: 
Europa e PAC
Sviluppo rurale
Rubrica: 
Approfondimenti