La sfida della valutazione  

Manila Bonciani, Paolo Belardi, Ilaria Corazza, Fabio Manenti e Milena Vainieri

Lo sviluppo di un sistema di valutazione della performance dei servizi sanitari distrettuali  e ospedalieri in tre paesi africani: Etiopia, Uganda e Tanzania.

Nei paesi a risorse limitate una buona governance dei sistemi sanitari risulta strategica per la garanzia della copertura sanitaria universale, che, pur essendo un obiettivo centrale di salute pubblica, essenziale per una piena promozione di benessere e sviluppo umano dei cittadini, risulta non essere sempre pienamente affermata in questi contesti[1]. Seppur ambizioso, infatti, la copertura sanitaria universale può essere un obiettivo raggiungibile se le scelte operate nella gestione dei servizi sanitari contribuiscono a rafforzare in modo sistematico la capacità di rispondere ai bisogni della popolazione, considerando però come prerequisito un sistema che sia adeguatamente finanziato e modalità di finanziamento che non creino diseguaglianze all’accesso ai servizi sanitari.

In questa direzione, la ricerca costituisce uno strumento centrale a supporto di tali scelte, riconosciuto da tempo per sostenere lo sviluppo ed il rafforzamento dei sistemi sanitari dei paesi a risorse limitare, perché permette di rispondere a un’ampia gamma di interrogativi su come sia possibile raggiungere la copertura sanitaria universale, fornendo risposte per il miglioramento della salute, del benessere e dello sviluppo umano[2,3]. In questo senso, è stata messa in evidenza con forza l’esigenza di sviluppare la ricerca finalizzata a generare conoscenze sugli stessi aspetti di governance, sui sistemi di management e sulle modalità di erogazione dei servizi e, soprattutto, sui risultati in termini di performance e di salute che queste modalità permettono di raggiungere[4]. Tra gli esempi concreti di attività di ricerca a sostegno dei processi di miglioramento della governance rientra l’esperienza realizzata dal Laboratorio Management e Sanità (MeS) dell’Istituto di Management della Scuola Superiore Sant’Anna, in collaborazione con Medici con l’Africa CUAMM (CUAMM), per lo sviluppo di un sistema di valutazione della performance dei servizi sanitari distrettuali ed ospedalieri in tre paesi africani: Etiopia, Uganda e Tanzania. Questa esperienza infatti coniuga l’elevata competenza di ricerca e analisi relativa al management sanitario di una realtà universitaria del Laboratorio MeS, che da quasi vent’anni si occupa della valutazione dei sistemi sanitari nel contesto italiano ed europeo, con la pratica di cooperazione sanitaria che il CUAMM ha consolidato da settanta anni in Africa a supporto dei sistemi sanitari locali e per la tutela e promozione della salute delle popolazioni africane. Il risultato che deriva da questa collaborazione rappresenta, in termini di processo, un esempio di partnership efficace tra il mondo dell’accademia e quello delle organizzazioni non governative volto alla produzione di valore per la società in cui queste operano e, in termini di risultato, la messa a disposizione di uno strumento che può essere di aiuto per la gestione dei servizi sanitari locali in un’ottica sistemica, offrendo così il suo contributo all’obiettivo della qualità assistenziale e della copertura sanitaria universale.

Il sistema di valutazione della performance dei servizi sanitari territoriali e ospedalieri in Etiopia, Uganda e Tanzania

Il disegno, lo sviluppo e l’implementazione del sistema di valutazione della performance in Etiopia, Uganda e Tanzania si ispirano alla metodologia con cui il Laboratorio MeS ha sviluppato il sistema di valutazione della performance in regione Toscana e successivamente nell’ambito del Network delle Regioni italiane[5,6].

Il sistema sviluppato ha l’obiettivo di valutare e mettere a confronto la performance delle attività ospedaliere e distrettuali dei seguenti quattro sistemi sanitari territoriali supportati da CUAMM:

• L’ospedale Luke – Wolisso e cinque “Woredas” nella regione Oromia in Etiopia.
• L’ospedale di Tosamaganga (Tosamaganga District Designated Hospital) e il relativo distretto di Iringa District Council nella regione di Iringa in Tanzania.
• L’ospedale Kizito di Matany e il relativo distretto di Napak nella parte nordorientale dell’Uganda.
• L’ospedale di Pope John XXIII – Aber e il relativo distretto di Oyam nella regione settentrionale dell’Uganda.

Complessivamente sono stati raccolti 117 indicatori per gli anni 2017, 2018 e 2019. Tra questi, 78 indicatori sono stati calcolati a livello ospedaliero e 39 a livello distrettuale. La ricchezza delle informazioni deriva dalla valorizzazione di un discreto spettro di fonti informative, che possono essere raggruppate in due categorie:

• A livello ospedaliero, dai registri amministrativi e sanitari in formato sia cartaceo che digitale.
• A libello territoriale, dai District Health Information System (DHIS) di ciascun Paese coinvolto nello studio.

Con l’obiettivo di offrire una valutazione multidimensionale della performance sanitaria, gli indicatori sono stati costruiti sulla base di otto dimensioni di analisi: strategie sanitarie regionali, efficienza e sostenibilità, comunicazione e personale, emergenza-urgenza, governo e qualità dell’offerta, materno infantile, malattie infettive, malattie croniche. Queste dimensioni sono poi state a loro volta suddivise in 23 aree di valutazione.

Dei 117 indicatori definiti, 48 sono stati ritenuti idonei per essere valutati attraverso l’identificazione di cinque fasce, considerando la distribuzione statistica dei valori degli indicatori. Le fasce di valutazione sono state costruite sulla base di standard internazionali, quando disponibili, di standard già applicati dai sistemi di valutazione italiani o del confronto dei dati delle quattro realtà analizzate. I punteggi di valutazione sono stati costruiti attraverso un algoritmo che associa a ciascuna fascia un valore compreso tra 0 e 5, corrispondente ad un valore tra rosso e verde scuro.

Tutti gli indicatori valutati sono stati utilizzati per costruire e popolare il bersaglio, che ha l’obiettivo di fornire una rappresentazione di sintesi chiara e intuitiva dei punti di forza e di debolezza del sistema sanitario territoriale.

[Figura 1: un esempio di bersaglio sviluppato PDF: 650]

I pallini bianchi del bersaglio rappresentano la performance degli indicatori e sono ordinati seguendo le dimensioni di analisi sopra elencate. Gli indicatori con un’ottima performance si localizzano al centro mentre quelli con una performance molto scarsa sono collocati all’esterno del bersaglio.

Inoltre, il sistema di valutazione restituisce la performance di alcuni percorsi assistenziali attraverso la rappresentazione grafica del pentagramma[7]. Se il bersaglio sintetizza la performance dello specifico setting assistenziale, il pentagramma è stato realizzato per offrire una visione integrata e continua della performance tra differenti setting assistenziali, facilitando così la valutazione dell’integrazione tra i diversi attori che sono coinvolti lungo tutto il percorso di cura e assistenza. I percorsi assistenziali sviluppati per i contesti africani sono: il percorso della salute materno infantile, i percorsi infettivologici relativi alla tubercolosi e alla gastroenterite e il percorso cronico/infettivologico relativo all’HIV/AIDS. Questi ultimi sono stati definiti grazie la collaborazione con il Dipartimento di Ricerca Traslazionale e delle Nuove Tecnologie in Medicina e Chirurgia dell’Università di Pisa.

[Figura 2: un esempio di pentagramma relativo alla salute materno infantile PDF: 271Kb]

Nel rapporto complessivo, dove viene illustrato il metodo e sono presentati i risultati della prima applicazione del sistema di valutazione elaborato, è possibile prendere visione dei bersagli, dei pentagrammi e dei singoli indicatori e confrontare la performance di ciascun contesto analizzato[8].

La presentazione del rapporto si è svolta in occasione di un seminario tenutosi a Pisa il 17 ottobre, in cui sono stati anche invitati esperti di organizzazioni internazionali e enti nazionali coinvolti nella cooperazione sanitaria internazionale a commentare l’attività di ricerca effettuata e le potenzialità dello strumento realizzato per la governance del sistema sanitario nei paesi a risorse limitate.

Riflessioni emerse dal seminario di restituzione dei risultati

Le potenzialità del sistema

Intraprendendo questo progetto, abbiamo accettato la sfida di confrontare i sistemi sanitari di tre diversi paesi dell’Africa Subsahariana, al fine di migliorarne la performance nel lungo termine, con la consapevolezza della solidità del metodo di lavoro, ma anche della difficoltà di applicarlo in questi contesti e della conseguente necessità di adattarlo e di interpretare gli indicatori proposti proprio a partire da queste realtà.

Per perseguire il nostro obiettivo, siamo partiti ex-nihilo applicando le logiche di un sistema di valutazione della performance sanitaria già sviluppato e implementato con successo, ma cercando di modulare gli stessi paradigmi della valutazione al contesto di riferimento. Un esempio lampante della specificità del contesto e della necessità di tenerlo in considerazione nell’analizzare i risultati è data dall’interpretazione sui tassi di ospedalizzazione. Un tasso di ospedalizzazione relativamente basso può assumere, infatti, una connotazione positiva laddove esso sia segnale di una efficiente presa in carico territoriale, ma nelle realtà analizzate che presentano diverse caratteristiche dell’organizzazione dei servizi esso può rappresentare un sintomo di vuoto d’offerta o barriere all’accesso ed utilizzo dei servizi ospedalieri.

L’approccio proposto dal sistema di valutazione che è stato costruito per questi contesti africani mantiene tuttavia la capacità di offrire una facile modalità di interfacciarsi con i policy-maker a livello regionale e nazionale, così come con i donatori e la vasta gamma di stakeholder convolti nel sistema sanitario nei paesi a risorse limitate, grazie a strumenti di rappresentazione dei risultati intuitivi e di immediata comprensione.

Più in generale, può essere un valido strumento per analizzare il sistema sanitario nella sua complessità, ed individuare possibili aree di intervento e miglioramento. Pertanto, è fondamentale promuovere tra i decisori e responsabili locali dei servizi sanitari la sua utilità ed utilizzo per identificare le aree che necessitano di maggior rafforzamento e al tempo stesso valorizzare le aree con buone o ottime performance.

Fra i fattori che possono facilitare l’utilizzo efficace, continuo e sistematico del sistema di valutazione come strumento di governance nei contesti locali sono state menzionate alcune strategie di rilievo:

• la pianificazione di un programma formativo con i manager sanitari, le autorità sanitarie locali e gli stakeholder decisori;
• la revisione periodica della performance coinvolgendo regolarmente il personale che opera localmente nella definizione mirata degli indicatori e nell’interpretazione dei risultati;
• la promozione di un senso di responsabilità sociale del dato, anche ospedaliero, che influenza le scelte strategiche e le politiche di sostenibilità da parte delle autorità locali nonché le priorità dei donatori.

Le prospettive e le sfide future

È evidente che, per una piena realizzazione di queste strategie a supporto dell’utilizzo del sistema, la strada da percorrere è ancora lunga, ma le prospettive per il futuro sono positive. Ad esempio, con riguardo alla questione della qualità dei dati, che costituisce certamente un limite per la solidità degli indicatori, è stato riconosciuto che l’implementazione stessa del meccanismo di valutazione della performance possa rappresentare uno strumento per lo sviluppo di competenze e capacità nell’analisi e nell’interpretazione dei dati raccolti. Di conseguenza, questo processo virtuoso può ridurre progressivamente la sostanziale carenza della “cultura del dato” che comporta difficoltà nella comprensione e utilizzo dei dati per prendere decisioni con una visione manageriale e strategica in una logica di miglioramento continuo.

Altri ostacoli che dovranno essere superati per un suo utilizzo efficace, continuo e sistematico sono rappresentati dalle resistenze dei soggetti locali ad entrare nel processo valutativo, sia come diffidenza da parte delle autorità locali, che come mancanza di interesse o contrarietà ad essere valutati e messi a confronto, e nella notevole difficoltà ad armonizzarsi con l’approccio più rigido alla valutazione proprio dei donatori, che utilizzano infatti sistemi di valutazione propriamente donor-oriented e non con una visione di sistema come quello proposto. Anche in questo caso il processo di condivisione dell’approccio, che non è interessato a stilare classifiche, bensì ad essere di supporto nella programmazione e realizzazione degli interventi nell’ambito sanitario, aiuterà ad innescarne una progressiva appropriazione da parte dei soggetti locali.

Se da una parte quindi è chiara la constatazione di aver raggiunto un grande risultato nel giro di pochi mesi, consolidando i contatti esistenti e valorizzandoli per la raccolta di una notevole quantità di dati, arrivando così a costruire indicatori di osservazione e valutazione specifici, con percorsi assistenziali ad hoc, dall’altra non viene meno alla nostra attenzione che la disponibilità di una grande quantità di dati generi un cospicuo ammontare di informazioni che, a loro volta, pongono degli interrogativi tutt’ora aperti. Quanto incidono le modalità di finanziamento sui risultati raggiunti nei diversi distretti ed ospedali analizzati? Quanto influisce l’appartenenza a specifici gruppi etnici nell’accesso ed utilizzo dei servizi sanitari? Queste sono alcune delle domande emerse da questa prima applicazione del sistema di valutazione, che abbiamo certamente intenzione di approfondire.

Ed infatti al seminario di restituzione dei risultati è stato annunciato che l’attività di ricerca e sviluppo del sistema di valutazione attualmente disponibile continuerà in futuro, grazie al proseguimento della collaborazione tra il Laboratorio MeS e CUAMM, proprio per rispondere alle domande rimaste in sospeso ed indagare ulteriormente i possibili sviluppi del sistema stesso. Sono stati ipotizzati, infatti, nuovi ambiti da integrare nel sistema di valutazione, sia come aree assistenziali da analizzare  (quali ad esempio i servizi diagnostici o la prevenzione e presa in carico della malnutrizione), sia come necessità di approfondire il ruolo della cultura locale sulla variabilità della performance sanitaria, peculiarità della grande ricchezza di gruppi etnici presenti sul territorio in termini di comportamenti, saperi e strutture sociali, sia anche come introduzione di indicatori di equità, che permettano di valutare quanto la copertura sanitaria universale sia condizionata da determinanti sociali e culturali, piuttosto che l’impatto di determinate modalità di finanziamento.

Tra gli auspici futuri che sono stati condivisi è che progressivamente il sistema possa essere esteso al network delle organizzazioni no profit che operano nei contesti analizzati, per una sempre maggior lettura dei risultati di performance nell’ottica di sistema, così come ad altri servizi o strutture sanitarie nei territori limitrofi, ma anche ad altre realtà distrettuali ed ospedaliere africane per avere una maggiore possibilità di benchmarking in assenza di standard di riferimento e quindi di interpretazione degli indicatori di valutazione dei risultati dei sistemi sanitari locali.

Cosa ci ha insegnato questa esperienza?

Forse è ancora presto per poter dire se il risultato del lavoro svolto darà i frutti sperati. Pur consapevoli delle limitazioni del modello da superare e delle difficoltà che restano ancora da affrontare, possiamo affermare al termine di questo primo anno di collaborazione tra Laboratorio MeS e CUAMM di aver piantato un seme con un grande potenziale di crescita, e faremo tutto il possibile affinché possa germogliare e prosperare.

Intanto, continueremo ad affrontare l’attività di ricerca con una prospettiva aperta, pronti ad assaporare il gusto della scoperta e sempre attenti a non essere condizionati da pregiudizi, riconoscendo quanto anche nei paesi a risorse limitate si raggiungano risultati di performance estremamente positivi, da cui è possibile attingere delle lezioni anche per i nostri sistemi sanitari.

Inoltre, nuove idee stimolano ad andare avanti nell’ottica di contribuire a costruire un sistema che serva sia a programmare che a gestire, che coniughi aspetti epidemiologici ed aspetti organizzativo-manageriali, e che ci permetta anche di sviluppare sistemi informativi integrati.

Se quindi anche al momento del seminario di restituzione dei risultati sia stata condivisa la soddisfazione per quello che è stato raggiunto, è ancora più forte l’entusiasmo di proseguire questo viaggio tra il Laboratorio MeS ed il CUAMM per affinare ulteriormente il nostro lavoro, e apportare un impatto ancora più tangibile per la copertura sanitaria universale e per lo stato di salute della popolazione africana per le sue generazioni attuali e future.

Manila Bonciani, Paolo Belardi, Ilaria Corazza, e Milena Vainieri, Scuola Superiore S. Anna, Pisa

Fabio Manenti, Medici con l’Africa Cuamm

Risorsa 

Belardi P, Corazza I, Bonciani M, Manenti F, Vainieri M. 2020. Performance Evaluation System of hospitals and health districts in Ethiopia, Tanzania and Uganda.

Bibliografia

1. World Health Organization, 2019. Primary Health Care on the Road to Universal Health Coverage. Global monitoring report. Conference edition.
2. World Health Organization, 2013. Research for universal health coverage: World health report 2013.
3. World Health Organization, 2008. The Bamako call for action on research for health. The Lancet 2008; 372 (9653): 1855.
4. Tediosi F. Ricerca sui sistemi sanitari dei paesi poveri) … quella sconosciuta. Salute Internazionale, 2009
5. Nuti S, Seghieri C, Vainieri M. Assessing the effectiveness of a performance evaluation system in the public health care sector: some novel evidence from the Tuscany region experience. Journal of Management & Governance 2013; 17(1), 59-69.
6. Nuti S, Vola F, Bonini A, Vainieri M. Making governance work in the health care sector: evidence from a ‘natural experiment’in Italy. Health Economics, Policy and Law 2016; 11(1), 17-38.
7. Nuti S, Noto G, Vola F, Vainieri M.  Let’s play the patients music: a new generation of performance measurement systems in healthcare. Management Decision 2018; 56(10), 2252-2272.
8. Belardi P, Corazza I, Bonciani M, Manenti F, Vainieri M. 2020. Performance Evaluation System of hospitals and health districts in Ethiopia, Tanzania and Uganda.