Valutazione degli eventi formativi - Simel

Che cos’è la valutazione e cosa sipuò e/o si deve valutare?Come individuare gli indicatori per la valutazioneCome sono valutate le attività di formazionecontinua?Migliorare gli strumenti di valutazione significaveramente migliorare la qualità della formazione?E’ possibile utilizzare i risultati della valutazione perriprogettare un corso?La formazione continua è vantaggiosa per iprofessionisti,per il servizio sanitario e per icittadini?

ECMEtica e deontologia della formazioneMantenere aggiornate le conoscenze emigliorare le competenze professionalicostituisce un fattore imprescindibile perogni Professionista della Salute, al fine digarantire ai cittadini la tutela della salute,assicurando l’efficacia e l’appropriatezzadelle cure erogate.La continuità di questo percorso per tutta lavita professionale risponde al concetto dieticità, trasparenza ed assunzione diresponsabilità nei confronti dell’utente.

Per garantire trasparenza etica ai processiformativi è necessario un sistema diaccreditamento delle attività formativeefficiente ed efficace, tale da rispondere acriteri di obiettività, premiando la qualitàprogettuale degli eventi formativi e ancor più,misurandone le ricadute (outcome) sui livellidi assistenza e cura.

L’accreditamento corretto degli eventi formativinon è un problema di facile soluzione per lasproporzione tra il numero degli eventi proposti equello esiguo di veri competenti in termini tecnici epedagogici.L’avvento dell’ ECM non ha trovato sul campo, siain termini quantitativi che qualitativi, professionistiesperti di progettazione e realizzazione diFormazione Continua.

Un percorso che risponda a criteri di eticitàdovrà quindi essere “ben progettato”, ovveropartire da bisogni formativi “reali”, dichiararei propri obiettivi formativi e stabilire adeguatemetodologie didattiche che si colleghino inmodo coerente con strumenti di valutazioneche permettano di documentare ilconseguimento delle attività previste.

La spirale educativa (J.J. Guilbert)BisogniFormativiObiettiviEducativiMetodo diapprendimentoMetodo divalutazione

Tutti gli elementi della spirale educativa siinfluenzano reciprocamente e non si puòraggiungere un obiettivo educativo se nonsi è condotta una analisi dei bisogni, se nonsi è programmato il modo migliore perraggiungerlo dal punto di vista dellametodologia didattica ed infine se non si è ingrado di verificarne l’apprendimento.

Se l’educazione dell’adulto viene vista come unprocesso di apprendimento e comprensione, ilcontenuto è meno importante, mentre sonoimportanti le modalità con cui il discente vieneincoraggiato ad apprendere e gli vengono forniteabilità e strumenti per farlo.(Peters Jarvis – 2004)

Indipendentemente dal ruolo e dal livello professionale,gli adulti sono motivati ad apprendere se l’attivitàdidattica:• è percepita come rilevante;• è basata e costruita sulle precedenti esperienze;• coinvolge direttamente i discenti e ne consente lapartecipazione attiva;• è basata su problemi (problem-based learning);

• permette di responsabilizzare il proprioapprendimento (self-directed learning);• consente immediatamente di applicare quantoappreso;• prevede cicli di azioni e riflessioni;• è basata sulla fiducia e sul rispetto reciproci (sia tradiscenti, sia tra docente e discenti).

Abilità e strumenti per apprendereDefiniti i bisogni formativi e i relativiobiettivi educativi, verificandone lapertinenza ai compiti professionali deidiscenti, e scelti i contenuti “il formatoredeve decidere le strategie didattiche, ossial’insieme dei metodi e delle tecnichedidattiche da adottare affinchè i discentipossano aumentare le loro conoscenze e leloro abilità fino a conseguire le competenzenecessarie per l’espletamento ottimale delleloro performance professionali” (Ventriglia2003)

Metodo didattico(modalità con cui ildiscente affrontail processo formativo)Tecniche didattiche(il mezzo con cuisi cerca di raggiungeregli obiettivi formativi)Auto-apprendimento,apprendimentoin grande gruppo e in piccologruppo, apprendimento consupporto tutorialeLezione, role playng,caso didattico, ecc

Elementi facilitanti l’apprendimento dell’adultoppppI bisogni e le peculiarità individuali devono essere rispettati edeve essere data importanza alle esperienze accumulate nellavita professionaleI discenti devono essere coinvolti attivamente nelle attivitàdidattiche, evitando le lunghe lezioni frontali e curando almassimo le opportunità di scambio e di confronto reciproco econ i docentiEsercitazioni ed esperienze devono essere finalizzate asostenere la teoria con riferimenti precisi alla praticaLe attività didattiche devono avere un ritmo accettabile e gliobiettivi da raggiungere non devono essere né troppoambiziosi né troppo sottodimensionati

Più alto sarà il numero dei partecipanti e piùfacilmente si sarà costretti ad adottare tecnichedidattiche teacher-centred in cui il discente sitroverà in posizione passiva nei confronti delprocesso di apprendimento, con un decadimentoimportante dell’efficacia dell’intervento.Il lavoro in aula plenaria, definibile come lavoro ingrande gruppo”, o quello “in piccolo gruppo”vengono influenzati fortemente dall’attività diconduzione da parte del docente-facilitatore.

La valutazione degli eventi formativip Perché valutare?p Cosa si deve valutare?p Come e quando si valuta?p Qual è il seguito della valutazione?

Nel regolamento applicativo dei criteri oggettivi di cui all’AccordoStato-Regioni del 5 novembre 2009 e per l’accreditamento approvatodalla Commissione nazionale per la formazione continua il 13 gennaio2010 si enuncia che :1 “La valutazione della qualità percepita da parte dei partecipantiè obbligatoria…….2 “La valutazione dell’apprendimento costituisce anche unavalutazione della partecipazione al programma e dell’efficaciaformativa.3 “La valutazione può essere effettuata con diversistrumenti………..

1 “La valutazione della qualità percepita da parte deipartecipanti è obbligatoria…….Questo parametro deve essere rilevato mediante una schedache includa:- la rilevanza del programma rispetto ai bisogni formativi e alruolo professionale;- la qualità formativa del programma;- utilità della formazione ricevuta;………..i tempi di svolgimento e la eventuale percezione daparte dei partecipanti di interessi commerciali nel programmaECM.Regolamento applicativo dei criteri oggettivi di cui all’Accordo Stato-Regionidel 5 novembre 2009 e per l’accreditamento approvato dalla Commissionenazionale per la formazione continua il 13 gennaio 2010

3. “La valutazione può essere effettuata condiversi strumenti:quesiti a scelta multipla o a risposta aperta, esame orale,esame pratico, produzione di un documento, realizzazione diun progetto, etcche devono,tuttavia, essere coerenti con gli obiettivi formatividichiarati ed avere caratteristiche paragonabili per i diversiprogrammi in modo da creare condizioni standard divalutazione. Se vengono utilizzati i quesiti, essi dovrannoessere standardizzati in almeno 4 quesiti per ogni credito ECMerogato ( a scelta quadrupla con una sola risposta esatta se si usano quelli ascelta multipla)RegioniRegolamento applicativo dei criteri oggettivi di cui all’Accordo Stato-del 5 novembre 2009 e per l’accreditamento approvato dalla Commissionenazionale per la formazione continua il 13 gennaio 2010

Valutazione della qualità del sistema formativosanitario: il Disegno del sistemaI criteri, le procedure, gli strumenti e gli obiettivi deiprocessi di verifica e valutazione delle attivitàformative saranno oggetto di uno specifico manualeper la valutazione delle attività formative ECM,curato dalla Commissione Nazionale ECM eperiodicamente aggiornato sulla base delleesperienze maturate al fine di un miglioramentocontinua della qualità ed efficacia del sistema diformazione continua nazionale, regionale e delleprovince autonome.

Valutazione della qualità del sistema formativosanitario: il Disegno del sistema.La Commissione Nazionale e le Regioni Autonome. Il livello istruttorio, di verifica, ispettivo e dimonitoraggio. Osservatorio Nazionale qualità formazione. Osservatori Regionali sulla qualità della Formazione. Il sistema di Auditor per la qualità formativa. Oggetto della valutazione. Strumenti e procedure per la valutazione

Documento della segreteria ECM (in collaborazione con Agenas –azienda nazionale per i servizi sanitari regionali- e il Ministero delLavoro della Salute e delle Politiche Sociali)…..elemento particolarmente curato deldocumento riguarda un sistema robusto divalutazione della qualità, dell’appropriatezzae dell’indipendenza dell’apprendimento.

Lo scopo fondamentale di un percorsoformativo è quello di ottenere che ipartecipanti acquisiscano le abilitànecessarie a esercitare la propriaprofessione in modo ottimale.Un “buon” progetto formativo dovrebbe quindipuntare a una precisa valutazione degli outputprevisti dagli obiettivi didattici definiti a monte;ovvero predisporre gli strumenti adatti a misurare sei discenti abbiano realmente acquisito le competenzedesiderate.

Misurare adeguatamente le performance didattichepermette infatti di prevedere con buonaapprossimazione i livelli di qualità delle performanceprofessionali che saranno poi agite nel contestoreale.La valutazione dell’effettiva capacità delcorso di incidere positivamente sui processiassistenziali (outcome)risulta particolarmente complessa, essendo influenzata damolteplici variabili, e chiedendo tempi diversi per rendereevidenti gli effetti dell’intervento formativo.

Valutazione di output e di outcomenell’ECMLa valutazione degli esiti delle attività formative silimita spesso alla compilazione da parte dei discentidi un questionario multiple choice per definire laquantità di nozioni apprese e di un questionario tesoa raccogliere le opinioni dei singoli partecipantisull’utilità e validità dell’esperienza formativa che siè appena conclusa.In realtà la valutazione degli esiti dei percorsiformativi è un processo ben più complesso, da cui sipossono ricavare informazioni rilevanti in grado diindirizzare positivamente lo sviluppo delle attività intermini sia di contenuto, sia di processo.

Misurare quanto è stato fatto secondo i criteridi efficacia fornisce informazioni preziose a:p i docenti e progettisti dell’intervento formativo,permettendo loro di evidenziare i punti deboli e dieliminarli in esperienze futurep I professionisti partecipanti, che così acquisisconocoscienza del percorso fatto e di eventuali ulterioriobiettivi da svilupparep I committenti dei corsi, che sarebbero in grado diorientare i loro investimenti futuri a favore deipercorsi più efficaci

La formazione, l’aggiornamento, l’addestramento ela ricerca sono approcci importanti.Essi aiutano gli operatori sanitari, gli utenti e igestori dei servizi sanitari ad assumere decisioniutilizzando, ad esempio, linee-guida, basate sullemigliori evidenze possibili.

Nella definizione della qualità dell’OMS vienesottolineato il valore che assumono le conoscenzeprofessionali.E’ noto , però, che non è sufficiente il “sapere” ed il“Saper essere” perché bisogna “saper fare” (in altreparole bisogna essere competenti.Sono molte le criticità , nelle varie fasi dellaformazione, presenti nell’area sanitaria..

Quando si parla di valutazione dellaformazione si fa riferimento al modelloclassico di Donald Kirkpatrick (1994) usatointernazionalmente e recentemente riadattatoda Curran and Fleet *(2005)* Curran VR, Fleet L. A review of evaluation outcomes of Webbasedcontinuing medical education. Med. Educ. (2005) 39;561-567

Modello classico di Donald Kirkpatrickriadattato da Curran and FleetLivello 1. GradimentoSoddisfazione dei partecipantiLivello 2. ApprendimentoCambiamenti nelle conoscenze e nelle abilità deipartecipanti valutate con strumenti validatiLivello 3.Trasferimento sul lavoroCambiamento dei comportamenti dei partecipantianalizzati nel setting professionaleLivello 4. Risultati di businessMiglioramento dello stato di salute dei pazienti

Il punto 2 si riferisce agli outputformativi valutabili alla fine del corso.Il punto 3 e 4 agli esiti a distanzadell’intervento formativo, cioè aglioutcome

LA VALUTAZIONE DELL’EFFICACIADEGLI INTERVENTI FORMATIVIEnd - point Oggetto della valutazione StrumentiReazione Gradimento dell’iniziativa Questionari digradimentoformativaApprendimentoConoscenze e competenzeacquisiteTest (iniziale e) finale,prova praticaAttitudini Comportamenti professionali Clinical auditEsitiEsiti assistenziali (clinici,economici, umanistica)Ricerca sui servizisanitari

Valutazione di outputLa valutazione degli eventiformativi in ambito ECMha la finalità di definire seal termine del percorsoformativo si siaeffettivamente verificatoun certo apprendimento, omeglio se il docente abbiaraggiunto i livelli didatticiche si era proposto.L’Educazione Continua in Medicinaa cura di Luciano Vettore

Valutazione formativaValutazione certificativaValutazione qualitativa

Problemi ……….“Tracciabilità” del proprio percorso disviluppo professionale grazie ad un controlloperiodico da parte delle aziende???? O piùallargato!!!????Controllo della qualità dei contenuti, inquanto esiste la possibilità di accumularecrediti ECM poco attinenti alla crescitaprofessionale!!!!!!!

E’ grave che il professionista scelga in modosuperficiale gli eventi a cui parteciparedimenticando di essere il primo responsabiledel proprio cammino di self directed learningma qui bisogna sempre aggiungere laresponsabilità di chi crea e di chi autorizzasia gli eventi che la partecipazione di figureprofessionali ad esse.

Valutazione di outcomeLa valutazione degli outcome della formazione(outcome evaluation) in ambito ECM prevede diindagare e di analizzare eventuali cambiamentipositivi verificatisi nei servizi in seguito ai processiformativi.A livello mondiale è in corso un ampio dibattito sullericadute reali che l’ECM comporta sul sistemagenerale delle cure.

La domanda a cui occorre rispondere è:“ la formazione incide positivamente suiprocessi assistenziali?”Per indagare questi aspetti che riguardano il terzo equarto livello occorre valutare i cambiamenti deicomportamenti dei partecipanti analizzandoli nelsetting professionale, ma anche i miglioramenti dellostato di salute dei “pazienti”.

Valutazione di outcomeMisurare l’entità del cambiamento deicomportamenti professionale richiede cheprima del corso di formazione venganodefiniti in maniera rigorosa gli standardideali e un set di criteri di valutazione.Il processo di valutazione inizia primadell’intervento , quando si definiscono leattese, le scelte valoriali e le conseguentimodalità dei esecuzione del progetto.Se manca il quadro dei cambiamenti attesi ecome ottenerli, non sarà possibile fare unavalutazione di efficacia (ma anche diefficienza) del tipo prima-dopo o valutare laqualità complessiva del processo formativo.

La verifica può essere di varia natura e riguardaogni aspetto della situazione definita comeproblema e certamente una riduzione dellarealtà perché si basa su semplificazioni, cioèindicatori, che proprio per la loro natura diosservabilità e misurabilità segnalano l’esitoraggiunto in termini numerici.

INDICATORI DI QUALITA’“A PRIORI” DEGLI EVENTI ECMq Obiettivi didattici specifici “pertinenti”, coerenti congli obiettivi generali/intermedi nazionali e regionaliq Metodologie didattiche adeguate (per lo piùinterattive), coerenti con gli obiettiviq Predisposizione di prove di verifica dell’apprendimentocoerenti con gli obiettivi e i metodi, ecapaci di valutare non solo le conoscenze, ma anchecompetenze e abilitàq Setting, numero di partecipanti e tempi formativiadeguati per garantire l’efficacia didattica

INDICATORI “A POSTERIORI” DI QUALITA’DELL’APPRENDIMENTOq Risultati dei questionari di gradimento deipartecipanti agli eventiq Risultati di eventuali prove collegiali in itinere, cheverifichino l’appropriatezza del processo formativo(per es.: testi di sintesi, progetti...)q Risultati dei test di verifica a breve terminedell’apprendimento individuale (output)q Ricadute a distanza di tempo (outcome):- test di mantenimento delle conoscenze- performance delle competenze e delle abilità- miglioramento degli esiti di salute(indicatori di impatto)

Miglioramento/cambiamentoL'apprendimento degli individui, per portare beneficiall'organizzazione, si deve tradurre in unmiglioramento/cambiamento nello svolgimento delleattività operative.Valutare il "trasferimento sul lavoro" significadeterminare quali cambiamenti nel comportamentolavorativo sono derivati dalla formazione, ovveromisurare l'effettivo utilizzo nel contesto lavorativodella conoscenza, delle capacità e degliatteggiamenti che sono stati acquisiti durante leattività formative.Non sempre a fronte di un elevato livello disoddisfazione e di apprendimento segue un buonlivello di applicazione sul lavoro di quanto appreso.

lLivello 3: trasferimento sul lavoroLe tecniche di misurazione a questo livelloconsistono in un "assessment" prima dell'interventoformativo e 3-6 mesi dopo, prestando attenzione adutilizzare scale di giudizio basate su aspetticomportamentali (BARS).I risultati della valutazione della trasferibilità sullavoro consentono di rivedere e ritarare l'interventoformativo per facilitare i cambiamenti dicomportamento finalizzati a un miglioramento nelleprestazioni delle risorse formate.

Livello 4: Risultati di businessLa valutazione all'ultimo livello è la più complessa.Per "risultati di business" si intende l'impattosull'organizzazione in termini di riduzione dei costi,miglioramento dell'efficienza, incremento dellaproduzione, riduzione dei tassi di turnover,miglioramento del clima aziendale. I benefici aquesto livello si traducono in miglioramentodell'efficacia degli investimenti nella formazione,miglioramento della performance organizzativa eaumento della credibilità della funzione formazione.In alcuni casi la valutazione può comprendere lastima dei costi e dei benefici dei programmi formativiper arrivare a calcolare l'indice sintetico ROI (Returnon Investment).

Matrice dei livelli di valutazione di KirkpatrickTempo Componenti Descrizione LivelloDurante l'attivitàformativaValutazione della qualitàdella formazione da partedei partecipanti.Apprezzamento dellaformazione da parte deipartecipanti.GradimentoDurante l'attivitàformativaMisurazione deiprogressi o deicambiamenti che hannoavuto luogo.Verifica dell'avvenutaacquisizione diconoscenze, abilità eatteggiamenti.ApprendimentoDurante la performancesul lavoro dopo l'attivitàformativaMisurazione dell'usodella conoscenza e delletecniche acquisite.Cambiamento nelcomportamento enell'approccio dopo laformazione.Trasferimento sul lavoroEfficacia a livelloorganizzativoMisurazione delcambiamento nei risultatidell'organizzazione.Progressi fatti a livelloorganizzativo.Risultati di business

Applicazione del modello di KirkpatrickNella realtà le organizzazioni valutano la formazioneprincipalmente a livello di gradimento e in misuraminore al livello 2 (apprendimento). Trovare luoghi dilavoro dove si arriva a misurare l'efficacia fino allivello 3 (trasferimento sul lavoro) e 4 (risultati dibusiness) è raro. La ragione principale èriconducibile a due fattori:1. "culturalmente" le organizzazioni non sonoabituate a misurare l'efficacia/efficienza delle azioni,che pur intraprendono, per conservare, migliorare esviluppare il proprio know-how in termini dicompetenze e crescita del capitale umano;

Applicazione del modello di Kirkpatrick.2. l'attività stessa di valutazione è di per sé complessa,poiché richiede conoscenza del metodo, definizione diun processo strutturato e risorse dedicate.Date queste oggettive difficoltà di applicazione, l'avviodi un processo di monitoraggio deve essereprogettato in modo graduale e selezionando per qualicorsi è possibile e, soprattutto, utile valutare l'efficaciae a quali livelli.

Un approccio alternativo per misurare i risultatirelativi all 4° livello (business) è quello dellaBalanced Scorecard, proposta da Kaplan e Norton.La scheda di valutazione bilanciata (spesso citatacon l'acronimo BSC), è uno strumento di supportonella gestione strategica dell'impresa che permettedi tradurre la missione e la strategia dell'impresa inun insieme coerente di misure di performance,facilitandone la misurabilità

La struttura del Balanced ScorecardppppIl Balanced Scorecardsuggerisce di guardarel’organizzazione da quattrodifferenti prospettive:la prospettiva dei clienti;la prospettiva dei processiinterni di gestione;la prospettiva dei processi diapprendimento e di crescita;la prospettiva finanziaria.

La misurazione avviene attraverso l’individuazionedei fattori critici di successo per ciascuna delleprospettive considerate.Nella scheda di valutazione bilanciata dunque,partendo dalla definizione di una strategia misuratada una serie di indicatori, vengono definite una seriedi azioni migliorative dei processi.A questo fa seguito una fase di raccolta e analisi deidati che vengono confrontati con i valori-targetprecedentemente determinati nella fase diformulazione della strategia.Si crea così un processo correttivo di tipo ricorsivoche genera valore aziendale.

Oggi la scheda di valutazione bilanciataconosce una rapida diffusione in tutti isettori, sia privati che pubblici, in particolarmodo nel mondo anglosassone e nei paesidel nord Europa. Interessante anche la suaestesa applicazione alle realtà di tiporicettivo sia di tipo sanitario che non.Studi recenti ne stanno testandol'applicabilità anche a realtà più diffuse ineconomie capillari come quella italiana.

In Italia, lo strumento è stato spesso interpretato nellasua accezione originale di strumento di misurazione, ilche ha contribuito a sminuirne la portata e a rallentarnela diffusione.Tuttavia, lo strumento riscuote un’attenzione crescentenel settore pubblico come metodo per megliorappresentare gli obiettivi strategici, articolarli all’internodella struttura organizzativa, misurarne l’attuazione esperimentare una nuova forma di democraziapartecipata.^ Prospettive per le piccole e medie imprese italiane: il Balanced Scorecard come attuatorelineare di crescita dimensionale e sviluppo qualitativo, Tommaso Cecchini, 2009.^ Pianificazione strategica e Balanced Scorecard negli Enti Locali - Verso la democraziapartecipata, Valentina Bach, Patrizia Ravaioli.

ConclusioniAnche gli eventi formativi meno pragmatici possonoinfluenzare, indirettamente e/o marginalmente, lericadute nella pratica.Va anche considerato che anche le miglioriesperienze acquisite da operatori sanitari che hannofrequentato corsi eccellenti possono avere unoscarso impatto sul gruppo in cui abitualmentelavorano, a causa delle difficoltà di disseminare etrasmettere le loro acquisizioni ai colleghi di lavoro.

In sintesi, la formazione continua dovrebbe:p identificarsi con tutte le iniziative che portano ad unmiglioramento della pratica professionale compresa lapartecipazione a progetti di MCQ (qualità dell’assistenzasanitaria);p essere prevalentemente orientata alla qualità professionale (ein subordine alla qualità organizzativa) e quindi strettamentecollegata con le attività di MCQ;p formare il personale nei principi del MCQ, facendo però inmodo che dalla formazione originino progetti di valutazione emiglioramento;p basarsi non esclusivamente sulla partecipazione a corsi econvegni: occorre anche e soprattutto osservare e discuterecriticamente quello che si fa per imparare lavorando;p attivare nel campo della formazione progetti di valutazione emiglioramento.

Non mancano esempi interessanti che hanno evidenziato comesoprattutto workshop e meeting interattivi hanno ottenutoalcuni cambiamenti nella pratica professionale e come uncoinvolgimento multidisciplinare nell’ambito delle UO einiziative di MCQ abbiano consentito di migliorarel’appropriatezza dell’utilizzo di strumenti………In genere risultano più validi gli interventi plurimi cheaffrontano contemporaneamente diversi ostacoli alcambiamento. Il fatto certo è che le conoscenze e lecompetenze acquisite durante i periodi di formazione hannouna emivita relativamente breve per cui uno dei più importantiobiettivi è mantenere, aggiornare e migliorare le competenzedei professionisti della sanità.

E’ ragionevole prevedere che in un futuro nontroppo lontano gli eventi ECM più efficaci saranno informato “blended”, cioè con fasi di formazione:pppp“in presenza” per contestualizzare gliobiettivi cognitivi della formazione“sul campo” per l’acquisizione dellecompetenze e delle abilità“a distanza” (e-learning) perl’aggiornamento delle conoscenzequando possibile multi-professionali

L’INVESTIMENTO CHE GARANTISCELE MIGLIORI RICADUTE DELL’ECMPER LA SANITA’ ITALIANA E’ ILMIGLIORAMENTO DELLA SUAQUALITA.’

PROFESSIONALITÀECMQUALITA’APPROPRIATEZZADELLE CUREcreditiSALUTE

NON C’È QUALITÀ SENZA VALUTAZIONE!

GRGRAZIE PER L’ATTENZIONE