manuale di tecniche di indagine - Istat

manuale di tecnichedi indagine6 - il sistema di controllo dellaqualità dei datiistituto nazionaledi statisticanote e relazionianno 1989 D. 1

La preparazione del Fascicolo e il coordinamento redazionale dei testi sono stati curatida Mauro Masselli.Autore:- dei Capitoli: 1, 2, 3, 5, 6, 8, Mauro Masselli4 Fernanda Panizon7 Marina Signore~ell' Appendice 2 del Capitolo 2Giovanna D'Angiolini- dell'Appendice 1 del Capitolo 5Domenico SabatiniEditing diMario Nanni e Claudio Antonio pajerPRESENTAZIONEINDICECAPITOLO 1. LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DEL·L'INDAGINE1. Introduzione ........................•.•.......•......•........•.•.•..•..Pagina11132. La qualità dell'informazione statistica .•.•..•...........•...••.•••.••..••.. 13L'lstat autorizza la riproduzione parziale o totale del contenuto del presente volumecon la citazione della fonte.3. L'errore totale ..................•.....•.......•..•...........•..••.....• 16Distorsioni ed errori variabili - L'errore campionario e non calJ1pionarlo - La misuradell'errore totale4. L'indagine come processo di produzione .......• ;.......................... 235. Gli errori non campionari ..•....•• ~ . • . . • • . . • . . . • . . . . . • • . . • . • . • . • • . . • . . • • . • 276. Gli effetti dell'errore non campionario sull'affidabilità delle stime •.. _ . . . . . . • . . 31Presenza della sola distorsione· Effetti dell'aumento della varlanza • Effetti con·giunti .7. Il sistema di controllo ...•...•.•.••...••.••........••••...••••..•.•. '.' .. _. 36La prevenzione dell'errote - La correzione dell'errore - La stima dell'erroreSupplemento all'Annuario Statistico Italiano8. L'archivio di qualità ......•...................••...............•...••••.. 40Riferimenti Bibliografici ... '- _ . . . . . . . . . . . . . . .. . • . . . . . • . . . . .. . . .. . . . . .. • . . ..• . . • • • 43CAPITOLO 2. LA PROGETTAZIONE DELL'INDAGINE1. La fase di progettazione ....•..............•..•....••.•.•............•••• 452. La progettazione concettuale .............•................••.•.•.....•••. 48ISSN: 0035·9856abete grafica s.p.a .. Roma· Contratto n. 14762 del 6-8·1988 . copie 3.0003. La redazione del questionario •.... . . . . • • . . . . . . . • . . .. . • . . . . . • • • • . . . . . . . . . . • 49Le variabili di studio -I codici identificativi- Le variabili di controllo dell'intervista- I quesiti retrospettivi· Le risposte proxy

6 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATIINDICE7Pagina4. Il controllo del questionario .............................................. 575.6.La progettazione concettuale - La diagrammazlone del questionario - /I giudiziodegli esperti e le tecniche di laboratorio - /I pre-test del questionario - /I test dialternativeL'Indagine pilota ....................................................... .I modelli ausiliari ....................................................... .Appendice:1. Esempi di diagrammazione del questionario ... " ........................... .2. Il sistema dei codici identificativi ......................................... .616264663.4.5.6./Prevenzione dell'errore di registrazioneCampi fissi e campi a serrareControllo amministrativo e statistico. L'errore totale - I record erratiIl controllo a campione ..................................................L'effetto «cluster" - Se l'errore è casuale - Se l'errore è sistematicoDefinizione degli standard di qualità ...................................... .Byte errati - Record errati - Byte e record erratiPagina117119121124Riferimenti Bibliografici ...................................................... .777.Piani di campionamento singolo per attributi ............. : ................ .127CAPITOLO 3. LA RILEVAZIONE SUL CAMPO1.2.La fase di rilevazione sul campo ......................................... .Gli errori di rilevazione ed i loro effetti .................................... .Gli errori di selezione e di lista - Le mancate risposte totali - Le mancate risposteparziali - Gli errori di codifica - Gli errori di identificazione79798.9.Metodo dell'approssimazione binomiale -Metodo delle tavole Mi/itary Standard 105DTest sequenziali ........................................................ .Analisi dei risultati campionari ........................................... .Analisi statistica degli errori - Test preliminari10. Metodi per la ricerca degli errori sistematici1351371383.4.La prevenzione degli errori .............................................. .Controllo ed assistenza agli organi periferici - La pubblicizzazione dell'indagineIl controllo degli errori .................................................. .La stima dell'errore totale di misura - La stima dell'effetto proxy e dell'effetto ricordo- Gli indicatori di qualità - Gli indicatori dell'errore di lista e di mancata rispostatotale - La stima del/a copertura del censimento -Gli indicatori di mancatarisposta parziale - Gli indicatori dell'intervista - Gli indicatori dell'identificazionedelle unità - Le caratteristiche strutturali6666Appendice:1. Un metodo per la ricerca degli errori sistematici sui record2. Test sulla matrice di transizione .......................................... .3. Esempio sul piani di campionamento semplice per attributi .................. .Riferimenti BibliograficiCAPITOLO 5. LA REVISIONE1391401441475. La correzione degli errori ..........................................•...... 108Le mancate risposte parziali - Le mancate risposte totali -Gli errori di identificazione1.2.La fase di revisione .................................................... .La procedura di controllo e correzione .................................... .149150Riferimenti Bibliografici ...................................................... . 1133.Le unità ............................................................... .152CAPITOLO 4. LA REGISTRAZIONE1. Introduzione 115I tipi di errore4.5.I legami tra le unità .................................................... .I controlli quantitativi ....................................................Gli strati, i comuni, le aree, i rileva tori e I modelli - Le unità di analisi -/I calcolo di indicatori1521542. La perdita di informazione dovuta all'errore di registrazione ................. . 1156.I controlli qualitativi .................................................... .159Incidenza dell'errore - Errori sui codici identificativiLa verifica delle informazioni raccolte - L'errore sistematico

8IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATIINDICE 97.8.Paginai programmi di compatibilità e correzione ••.•.•...•..•..•.•••..•...•...•..• 164Le regole di compatibilità· I criteri di correzione· I criteri deterministici· I criterida donatore· I criteri di regresslone • Il test sul piano di compatibilità· Le infor·mazioni desumibili dal/"elaborazione del piano di compatibilitàIl controllo dei legami tra unità ........................................... 186Appendice:1. Programmi generalizzati per compatibilità e correzione automatica........ ... .. 1882. Analisi delle prestazioni di un programma di compatibilità. . . . . . . . . . . . . . . . . . . . 1923. Analisi degli effetti di un piano di compatibilità ......•... . • . . . . . . . . . . . . . . . . . • 1954. Schemi di tavole di controllo per la fase di revisione ......................... 200Riferimenti Bibliografici ......................•.•.........•.................... 2036.PaginaIl metodo della compenetrazione del campione ....... . . . . . . . . . . . . . . . . . . . . . . 247Appendice:Stima della varianza totale· Stima della varianza campionaria· Stima della com.ponente correlata· Problemi operativi1. Applicazione del metodo della compenetrazione del campione all'indagine Istat su.gli sport e vacanze ....................................................... 254Riferimenti Bibliografici ....................................................... 259CAPITOLO 8. L'ARCHIVIO DI QUALITÀ1. Il patrimonio informativo dell'indagine ..................................... 263CAPITOLO 6. L'ELABORAZIONE FINALE E L'ANALISI DEI RISULTATI1. I controlli nella fase di elaborazione e di validazione dei risultati ..•........•..I controlli di quadra tura delle tavole ·11 controllo della singola tavola ·11 controllotra tavole· La selezione delle tavole· La validazlone de; risultati· La descrizionesintetica del piano di tabulazione2052. L'Archivio di qualità .................................................•... 264L'archivio delle variabili· L'archivio della rete· L'archivio delle fasi· L'analisi del.l'archivioAppendice:1. Il sistema di controllo dell'indagine sulla salute 1983 ... .. .. . ... .. .. . .... .. ... 268Riferimenti Bibliografici .......•............................... ,............... 213Riferimenti Bibliografici o •••••••••••• o •••••••• 0 ••••••••• 0 ••••••••••••••••••••••271CAPITOLO 7. LA STIMA DELL'ERRORE GLOBALE DI MISURA1. Descrizione dell'errore di misura. . . ... .. . ...... . ........ . . . ... .... . .. ..... 2152. Quadro concettuale di riferimento .................................•...•... 218Valore vero individuale· Valore di risposta atteso· Condizioni essenziali di un'in·dagine . Errore di misura individuale3. Un modello matematico per lo studio degli errori di misura. . . . . . . . . . . . . .. . . . . 221Componenti dell'errore di misura individuale· Effetti degli errori di misura sullastima della media di una popolazione· Effetti di una distorsione costante· Effettidi errori di misura incorrelati • Effetti di errori di misura correlati .4. Metodi di stima degli errori di misura ....................... . . . . . . . . . . . . . . . 2355. Il metodo della reintervista ............................................... 237Stima della distorsione· Stima della varianza di risposta totale· Stima della va·rianza di risposta semplice· Stima della componente correlata· Stima della va·rianza campionaria· Stima dell"indice di inconsistenza· Problemi operativi

PRESENTAZIONEIl Manuale di tecniche di indagine la cui preparazione è stata curata dal RepartoStudi dell'Istituto, si configura come gUida per la razlonalizzazione delle operazionidi rilevazione ed è stato pure concepito quale strumento didattico da utilizzareai fini della formazione dei funzionari dell'lstat. Poiché nell'effettuazione diindagini statistiche sono Impegnati molti altri organismi pubblici e privati, si ritieneche esso possa costituire uno strumento' utile anche per l'attività di questi organismi,In particolare di quelli che hanno un qualche ruolo nel sistema informativosocio-economico del Paese.Il Manuale prende in esame i vari segmenti del ciclo produttivo nei quali si sviluppanormalmente ogni indagine statistica cogliendo aspetti che vanno dalla costruzionedel disegno campionario al controllo della qualità dei dati, dall'analisidelle caratteristiche delle varie tecniche di indagine alla definizione di criteristandardizzatiper la presentazione dei risultati. Pensato inizialmente per le indaginicondotte con il metodo del campione, in particolare per quelle sulle famiglie, nellasua definitiva articolazione esso detta norme valide per fasi di lavoro riscontrabilinelle rilevazioni totali ed allarga pertanto il suo campo di applicazione che finisceper comprendere le generalità delle indagini.~ sua impostazione riflette il desiderio di colmare il divario fra il libro di testoed il manuale operativo. Se da un lato infatti non si rinuncia al rigore della formalizzazionee si introducono spunti di innQvazione sul piano metodologico, dall'altrosi tengono ben presenti le esigenze del lavoro sul campo e risulta quindi ampiolo spazio riservato alle esemplificazioni.Il Manuale consta dei seguenti fascicoli:1. Pianificazione della produzione di dati2. Il questionario: progettazione, redazione, verifica3. Tecniche di sommlnistrazlone del questionario4. Techine di campionamento: teoria e pratica5. Tecniche di stima della varianza campionaria6. Il sistema di controllo della qualità dei dati7. Le rappresentazioni grafiche di dati statisticiIn ogni caso va precisato che il Manuale non è da considerarsi completato inquanto è previsto che ai fascicoli programmati se ne aggiungano altri mano a manoche l'attività di ricerca avrà portato a termine l'esplorazione di aspetti per orasolo individuati.

14 li. SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP.'1 • LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE15III) i metadàtl.ovvero le informazioni di carattere qualltativo eloquantitativo riguardanti le diverse operazioni effettuate.Il loro complesso costituisce l'informazlone statistica derivantedauna rilevazione; ed è per tale ragione (e per evitare qualsiaSiambiguità) che è preferibile fare riferimento alla qualità dell'informazione.piuttosto che alta qualità del dati.In questa ottica, è necessario aSSUmere una definizione diqualità che si. adatti a ciascuno dei suddetti livelli dell'informaziolleprodottà:Nell'accezione più ampia. si definisce qualità di un prodottol'adeguatezza del medesimo all'uso per il quale è slato realizzato,ovvero la capacità di un prodotto di soddfsfare le proprietàgarantite dal produttore (0, Arkhipoff. 1986).In un processo di produzione manifatturiera, le proprietà garantiteimplicitamente od esplicitamente dElI produttore possonoessere suddivise in due insiemi:a) garanzie di progettazione ovvero i requisiti del bene prodotto(ad esempio, forma, dimensione, potenza e durata media divita di. una batteria elettrica);b) garanzie di tolleranza. ovvero i limiti entro cui determinati requisitipossono variare (ad esempio, la durata minima di vitagarantita per una batteria elettrica).Analogamente. possiamo definire e specificare le proprietàdi qualità di unà indagine statistica, in riferimento sia alle proprietàcomplessive dell'indagine, sia all'accuratezza dei risultatiforniti. In particolare. assumeremo che le proprietà di proget-. tazione sono quelle che si riferiscono alla capacità dell'indaginedi soddisfare la domanda proveniente dall'utenza, mentre quelledi tolleranza riguardano il processo di misurazione del fenomenoin studio.Cosicché possiamo identificare come garanzie di progettazione:a) la tèmpestlvità,b) la ri/evanza teorica,c) la ri/evanza effettiva,d) la trasparenza.e quali garanzia di tolleranza,e) la precisione campionaria.f) la precisione non-campionaria.La rilevanza teorica denota il raggiungimento degli obiettiviprefissati.ovvero l'adeguatezza dell'informazione prodotta allenecessità informative. mentre la rilevanza effettiva fa riferimentoa quanto dell'informazione prodotta viene effettivamente utilizzato;essadipende dalle modalità di elaborazione e di diffusionedei dati. La. trasparenza indica la possibilità, per l' utente.di accedere a tutte le informazioni relative agH strumenti d'indagineutilizzati (definizioni, classificazioni, rete di rilevazione. qua,stionario, piano ed errori di campionamento, indicatori di qualitàetc.). necessarie ad un uso corretto dei dati. La tempestivitàsi riferisce al periodo di tempo che intercorre tra la nascita delleesigenze informative e la disponibilità dei risultati; minore è talelasso di tempo. maggiore è la validità e l'utilità delle informazioniprodotte.La tolleranza riguarda la precisione dei risultati; la precisionepuò essere definita in termini di distanza tra il valore vero ela stima ottenuta. Tale differenza può essere dovutaI) all'uso della tecnica campionaria, ovvero al fatto che le stimesono calcolate solo su una parte delle unità costituentil'universo indagato, oppure .Il) alle discrepanze,che si verificano nella pratica. tra l'indagineideale e quella reale. cioè tra le operazioni programmatee quelle realizzate.Si possono. quindi, caratterizzare le garanzie di tolleranza intermini di precisione campionaria e di precisione non campionaria;alcuni autori definiscono precisione la prima ed accuratezzala seconda.I vari àspetti della qualità, pur logicamente distinti, sono difatto interdipendenti; ad esempiO. controlli minuziosi sulla rile,vazione e sulla produzione di dati incidono sulla tempestività del­I·informazione. Di fatto, gli aspetti tecnici della rilevazione (le garanziedi tolleranza) sono, in buona misura, subordinati alla politicadell'informazione (le garanzie di progettazione) ed all'organizzazionedel lavoro stabilite dal produttore di dati statistici.Il presente volume si limiterà a trattare i primi aspetti. ed inparticolare quelli connessi alla prevenzione, misura e correzionedegU errori non campionari, lasciando ad altre pubblicazionil'approfondimento dei temi connessi ai secondi.Misurare la qualità complessiva di una .indagine non è un compitoagevole. Teoricamente, la qualità può essere definitiva mediantevn vettore di garanzie ex ante G = (a .... f), cui è associato,ex POSt, un vettore delle realizzazioni G' = (a' ... .f.), e da un vettoredi qualità M = m(G-G') che sintetizza le differenze riscontrate.lnpratica, tuttavia, non è possibile quantificare le componenti

16 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 - LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE 17dei suddetti vettori, cosicché la valutazione si basa su un insiemedi indicatori, quantitativi e qualitativi, ciascuno dei qualt riferitoad un solo aspetto della qualità.Inoltre, il richiamo a concetti quali produttore, prodotto edutilizzatore, nella definizione di qualità, fàperdere alla stessa o~nipossibile carattere di assolutezza, evidenziandone, al contrano,gli elementi di relatività: le garanzie non vengono determinateda standard teorici, bensì sono fissate in funzione dei costi/beneficiderivanti dall'informazione prodotta da una determinataindagine.3_ L'errore totaleNel caso delle garanzie di tolleranza, la qualità assume il significatodi precisione che può essere espressa come funzioneinversa dell'errore statistico; tanto minore è l'errore, tanto maggioreè la precisione dei risultati ottenuti.-Poiché l'errore è definito come differenza tra valore osservatoe valore vero, il concetto di precisione si fonda sull'esistenzadi quest'ultimo; il valore vero di una variabile può essere semprepostulato, ma il significato che gli si attribuisce determinal'estensione del campo degli errori non campionari_Per tal une variabili, infatti, (Hansen Hurwitz & Madow, 1953)è possibile definire precisamente il valore vero (ad esempio il sessodi una persona), mentre per altre lo si può individuare in relazioneagli obiettivi dell'indagine (ad esempio la riduzione ad unascala discreta di misurazioni di una variabile continua); quandonon si verificano tali situazioni (basti pensare a variabili attitudinalio di opinione), è ancora possibile definire il valore vero,ma solo come risultante del complesso delle operazioni necessarieall'effettuazione dell'indagine. Queste ultime, le condizionigenerali di svolgimento dell'indagine, riguardano tanto l'eventualedisegno campionario (criteri di selezione delle unità campionee stimatori utilizzati) che il trattamento delle informazionirilevate (definiZioni, classificazioni, norme di rilevazione, di codifica,di revisione e di elaborazione). .Una definizione puramente operativa, oltre a rendere difficilel'attribuzione ad una variabile di un unico significato (questi, infatti,varierebbe a seconda delle condizioni generali) esclude dall'analisigran parte degli errori, fino al caso limite in cui il valore osservatocoincide con quello vero solo per effetto della definizione.AI contrario, considerare il valore vero indipendente dalle condizionigenerali, può portare ad estendere oltre misura, rispettoagli obiettivi, il concetto di errore; ad esempio, dovremmo con-siderare errato un valore discreto, relativo ad una variabile continua,anche se l'approssimazione è adeguata per gli scopi dell'indagine.Gli errori sono usualmente classificati in due categorie: distorsionied errori variabili. Per poterli caratterizzare, e quindi formalizzarein un modello, si ipotizza che l'indagine sia ripetibilesotto le medesime condizioni generali; in questo caso, si assumeche gli errori variabili sono distribuiti casualmente, con medianulla, e variano in ciascuna delle ipotetiche ripetizioni dell'indagine.Le distorsioni, invece, sono il risultato di fattori sistematici,dipendono dalle condizioni generali, sono costanti in tuttele ripetizioni ed hanno uno specifico «segno» rispetto al valorevero; distorsioni di tipo diverso possono presentare segni diversie si sommano algebricamente.Gli errori possono verificarsi sia nei microdati, ovvero in unao più delle variabili afferenti alla singola unità statistica, sia nelcalcolo di loro aggregazioni, ovvero nelle stime dei parametri dellapopolazione di studio (ad esempio I consumi medi'nell'indaginesui bilanci di famiglia od il totale della popolazione nel censimento).Nel primo caso la discrepanza tra il valore della generica variabileYi osservata sulla i-esima unità ed il valore vero VI realmenteposseduto dalla medesima, è imputabile al complesso delleoperazioni di rilevazionie e trattamento dei dati (questionario,intervista, codifica, registrazione ed elaborazione dei dati); talierrori vengono definiti non-campionari o di misura (in senso lato).Essi si ripercuotono nelle stime (i macrodati), mediante le operazionidi aggregazione dei microdati, necessarie al loro calcolo,ovvero mediante la funzione di sintesi f(y" Y2' ... Yi ... Y n ) delleinformazioni elementari (media, frequenze relative ed assoluteetc.). L'operazione di aggregazione viene effettuata sulle n unitàrilevate, il cui numero può coincidere (rilevazioni totali) o meno(rilevazioni campionarie) con quello, N, della popolazione. In presenzadi errori, la stima risulta diversa dal valore che si sarebbeottenuto dai valori veri del.le medesime.unità, f(V" V 2 , ... Vi'" V n ).Tuttavia, questa non è l'unica ragione per la quale la stimadifferisce dal parametro di interesse, g(V" V 2' ... Vi ... V N)' calcolatosulle N unità della popolazione, dove quest'ultimo è statoindicato con il simbolo g(.) per evidenziare che la funzione di sintesidei dati osservati, t(.), può anche non coincidere con quelladel parametro (ad esempio lo stimatore rapporto utilizzato perla stima totale).Distorsioni ed errori•• riablllL'error. campionario• non campionario

18 IL SISTEMA 01 CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED IL SISTEMA 01 CONTROLLO DELL'INDAGINE 19Tale differenza, infatti, può essere generata:I) dall'errore variabile di campionamento, dovuto all'utilizzo dellatecnica campionaria, per cui la stima differisce per effettodel «caso- dal valore vero nella popolazione;Il) dalla d/storslone dél/o stlmatore, ovvero dall'adozione di unostimatore non corretto, la cui media, nell'universo dei campioni,non coincide con il parametro da stimare; formalmenteE [f(.)] ;

20 IL $ISTEMA Dt. CONTROLLO DELLA QUAUTÀ DEI DATICAP. 1 • LA QUAUTÀ DEI DATI ED IL SISTEMA DI CONTRQLLO DELL'INDAGINE 21Sostituendo la (1.2) nella (1.1) si ottiene:(1.3),;Dalla (1.3), possiamo misurare l'errore totale dello stimato rey, mediante una qualsiasi funzione della differenza {Y:-Y}; usual·mente si ricorre alla amedia quadratica-:ponenti relative al disegno di campionamento, permangono glieffetti degli errori non campionari.Della (1:5) può essere data una rappresentazione geometri.ca, Figura 1.1, scomponendo l'errore totale mediante la succes·siva speCificazione della parte variabile e della distorsione diII·velli di errore via via pi(J analitici (Kish, 1965; Sln,gh e Chaddur·ray, 1986). Per semptlflcare la rappresentazione, sono stati utl·lizzatl vettori ortogonali, Ipotizzando qUindi covarianze nune; valendointrodurreipotesi differentI; sarà necessario cambiarel'angolo di incidenza dei relativi vettorI.MSE(y) = E (y - V):= E [v + b + y* - E(y*) + E(y*) - Yf= E [vY + [y* -'E(y*>Y+ [B+ D]2 + 2 cov(v,y*)= VNe + ve + (B +' O)I +2 cov(v,y*) (1.4)3~ilDISTORSIONEcamPionaria:l~ _no_n-ca_m_pl_on_a_rl_a_~~, ' ìr .Idove con D si è indicata la distorsione dovuta allostimatore utl·IIzzato. ' ,.",Nella (1.4) si è quindi espresso l'erroretotalEi in funzione de·gli errori variabili non campionario (VNC) e campionario (VC); denadistorsione dello stimatore (D) e non campfonaria'(B), della covarianzatra l'errore variabile non campionario e la stima.Se si ipotizzano diversi tipi di errore, dovuti alle diverse ope·razioni dell'indagine {Intervista, supervisione, registrazione, re·visione, elaborazione ecc.) e si considera quello dovuto al dise·gno di campionamento uno di tali errori, la (1.4) può essere geoneralizzata nella (1.5):(1.5).. .iO'La (1.5), rappresenta l'errore totale come somma di distorsioni"varianze e covarianze derivanti dalle differenti fonti; in partlco·lare, le covarianze che vi appaiono possono essere di tipo diver·so:'tra le misurazioni, tra queste ed il livello delle variabili, trale fonti di errore etc.'La (1.5) costituisce, in forma del tutto generale, una rappresentazionedell'idea corrente che gli errori generati nelle diver·se fasi si sommano, si elidonq e $i combinano per confluire infi.ne nei risultati finali. Essa è valida sia per indagini campionarieche censuarie; per queste ultime, infatti, pur annullandosi le com-2" atadioFigura 1.1 • Scompoalzione dell'errore totalein genere si può assumere che distorsioni ed errori variabilinon campionari siano presenti In tutte le caratteristiche rilevate,:anche se Con peso diverso.

22 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE23Le distorsioni non campionarie possono essere dovute (Kish,1965) sia al rispondenti, (ovvero valori rilevati e sistematicamenteerrati), sia ai non rispondenti, (ovvero le distorsioni indotte d~lIamancata risposta ai queslUo all'intera intervista); le distorsionicampionarle possono essere classificate in quelle relative all'usodi uno stlmatore non corretto ma consistente ed In quelle dovuteastlmatorl non correttt e non consistenti. Nel primo casola distorsione si annulla quando la diménsione del campione èsufficientemente elevata o nel caso dei censimenti (ad esempiolo stimatore rapporto), mentre, nel secondo, permane anche nelcaso di Indagini totali (ad esempio la mediana come stimatoredella media in distribuzioni asimmetriche). In questo modo la distorsionedello stimatore dovuta alla dimensione dell'indagine,viene distinta da quella indipendente dal numero di unità rilevate.La (1.5) ha un valore puramente descrittivo ed è stata ottenutasenza far ricorso, esplicitamente, a un modello di errore individuale...Il riferimento ad un tale modello è, invece, necessario peresprimere l'MSE in termini analitici e quindi per ottenere gli stimatoridelle varie componenti dell'errore totale; nel Capitolo 7,il modello viene sviluppato con riferimento alla stima della media(e quindi della percentuale e del totale}.Attraverso la speCificazione del modello di errore è possibileadattare l'analisi e la stima degli errori, al livello di complessitàdesiderato. Ad esempio, se consideriamo un modello in cui l'erroredi misura è dovuto solamente all'effetto rllevatore-rispondente(ipoteSi sempliflcatrlce, ma reàlistica in quanto le esperienzeeffettuate hanno dimostrato che tale fonte è causa di granparte degli errori non campionari), è possibile esprimere l'MSEdello stimatore media in funzione di quattro componenti:1) la varianza campiOnaria VCNn, .2) la varlanza semplice di risposta VSR/n, ovvero quella dovutaagli errori di misura dei singoli individui intervistati;3) la varianza correlata di risposta (n-1)*VCR/n ovvero l'effettodel rilevatore;4) la distorsione non campionaria B.MSE(y) = VCA/n + VSR/n + (n-l).VCR/n + B 2 (1.6)Nella (1.6) non appare la distorsione D, dovuta al disegno campionario,poiché la media è uno stimatore corretto; la simbologiautilizzata mette in evidenza che mentre la varlanza campionariae quella semplice di risposta dipendono dall'ampiezza delcampione, la componente correlata è Indifferente a tale parametro,essendo praticamente uguale a 1 il rapporto (n-1)/n nelleindagini di medie/grandi dimensioni.Ciò comporta che aumentando la dimensione del campionesi riesce a ridurre l'errore di campionamento e quello semplicedi misura ma non la componente. correlata che rappresenta lagran parte dell'errore non campionario. .'L'MSE(y), od alcune sue componenti, esplicitate in funzionedelle principali fonti di errore, possono essere stimati utilizzandoopportllni stimatori e tecniche di ritevazione (cfr. Capitolo 7).4. L'indagine come processo di produzioneUna indagine statistica puÒ essere assimilata ad un processoproduttivo manifatturiero, in quanto, come questo, è costituitada un insieme di fasi ed operazioni interrelate; la produzionefinale consiste nell'informazione statistica, come precedentementedefinita, e la materia prima nell'informazione disponibile pressole unità di analisi. Quest'ultima può essere considerata come unflusso produttivo che viene trasformato nelle diverse fasi di lavorazione.Tale flusso ed i legami logici intercom~nti tra le differenti operazioni(ad esempio tra la predisposizione del questionario e delpiano di registrazione, tra questo e le procedure di compatiblJj~tà e correzione e l'elaborazione finale) definiscono la sequenzalogica e temporale delle fasi.La qualità defl'informazione prodotta dipende dal controlloche si riesce ad esercitàre sulle operazioni e, quindi, considerarel'indagine come processo produttivo, facilita la classificazionee l'indlviduazione degli errori e fornisce una dimensione operativaed organizzativa alloro controllo mediante Il collegamentoalle differenti fasi di lavoro.Il processo di produzione dell'indagine può essere suddivisoa vari livelli di aggregazione e complessità; nello schema adottatosi è cercato di considerare contemporaneamente gli aspettiorganizzatlvi, di contenuto, di sequenza logica e temporale. Pertanto,si considerano come fasi dell'indagine:• la progettazione• la rilevazione• la re.glstrazione su supporto informatico• la revisione e la codifica «centralizzate» del materiale grezzo• l'elaborazione dei dati

24 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE25• la validazione dei risultati• la diffusioneNella fase di progettazione, si mette a punto il «disegno dell'indagine.,ovvero, sulla base delle risorse organizzative e fInanziariee delle conoscenze .. a priori. del fenomeno indagato, si programmanole operazioni inerenti a tutte le successive fasi:I) si definiscono gli scopi, I contenuti Informativi, l'universo distudio, la tecnica e le unità di rilevazione, le unità di analisie l'eventuale disegno campionario;Il) si articolano gli obiettivi nel questionario, nelle definizionie nelle classificazioni~III) vengono assunte tutte le decisioni riguardanti le successivefasi e si approntano i relativi piani di lavoro e di controllo;IV) si verificano, con limitate indagini sul campo, i principaliaspetti dell'indagine e si controlla la coerenza logica del pianidi lavoro relativi alle successive fasi.Nella fase di rilevazlone sono Incluse tutte le operazioni chehanno per oggetto o sono effettuate dalla rete periferica: la selezionee l'istruzione dei rllevatori e dei supervlsori, l'istruzioneed i contatti con gli organi periferici, la pubbliclzzazione localedell'Indagine, la compilazione dei documenti aggiuntivi di rilevazione,la selezione delle unità campionarie, l'intervista, la revisionee la codifica effettuate in loco.Il risultato di tale fase è costituito dal dati rilevati, o grezzi,generalmente presenti su supporto c,artaceo (II questionario); essi,nella successiva fase di registrazione, sono trasferiti su supportoinformatico e diventano quindi elaborabill.La fase di revisione del materiale, consiste nella verifica, quantitativae qualitativa, e nell'eventuale correzione dei dati grezzi;la sua posiZione nel processo produttivo e l'estensione delle operazioniad essa afferenti, sono strettamente connesse all'orga·nizzazione del lavoro e alle risorse che supportano l'indagine. Sipossono, pertanto, delineare due situazioni estreme. Nella prima,il materiale raccolto su supporto cartaceo viene controllatoe corretto manualmente da «esperti-; in questo caso la fase direvisione precede logicamente e temporalmente quella di registrazione.Nel secondo caso tutte le operazioni di revisione e codificasono svolte automaticamente da procedure informatichee, quindi, la revisione segue la fase di registrazione. L'organizzazioneconcreta delle indagini si situa in modi diversi tra taliestremi; tuttavia poiché la tendenza è quella di una sempre maggiorecompenetrazione tra lavoro di esperti e procedure Informa·,-----.. ----;obl eH 1111r1 ~e"'il:lone -+conosce":. a p~'ori,fonti esterne~.----.---~'Imor., tor.99'odel l. f .. SlleJ",ve"so di studiO -~J",t.' di ..... 1>51 -.r,ab,llI1IPI.: tr'"1 t,.;a v.,.,a.b 111 ...ggr.~tl 5t;atlst Ici -e .. od.llta'-dI ,.. 1 • ."a.lon.'Ques ti onar 'o-def,nlz,onl •L_ Il' I CI:::::, ::::~::u510ne! l 1 1 Lu)I----L-,,,.no di c."Pl0namento, ~~ r-~_cr_1 t_IP_r"l_d_' _5..numerOSlt" ,str.tlric.ZIO ..st .. d,e_1e_=_'o_ne __.......f, Còluone5t, .... tO ...pl.no di,. •• ·151on.Ccorre: Ionele"),ndilgl"' di contr'olll ".lld.ZlonlPcontrollo nell .. f .... di lhl19J progel t ..:lone~",.. r-elntervlsta. §"". test QLlestl.onarlOOIIIp&netr.z Ione Ind;ag,n. pllot.del cam,noneverI FIe. di coe"en~.dls&gn, . diti .' tr. I pI.nlspenment.ll controllo dali. llst.Figura 1.2· Processo produttivo e sistema di controllo dell'indagine

26 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE27Cal...rilltvilzio_Cels.l.zio_ unita' c:anaiorw --!:::;,==:+_--.•• 1 ft io_ e l.t run orerilllViltor l • suparvisoriistruzione organi rilevazioneintervistapri ... reviSIon •• cochflC. -=::;.===t.-~sltnsibilizzilzione.rispondentiCblI microclati...registrazionelsu supporto inform.ticol--contrOllO dai valori a/lllll.sibi~.i --+---+----l. .--(O;) LcamPIone di controllo ==-=-==+-==1revlSiOjl'1ll! .~cor::::~lnt.rattive(d)proc:edure ilU tomatiche... cal CD lo pesi corretti vielaboraZIone datI~calcolo errori campionilricampionarloaltn supporti di diffusione~elaborazione tavole.--.--.--==!::;;:j:::::J:=!--.:-~ed analisi stahstiche.---_==:;-.--.J C hl ---..1-...--- vali dazion. ---+-+--0---1"------'data bilsem icroda tietc.indagini dicontrollo(t') _ diffusione informazione statist ica L-(g)segue Figura 1.2· Processo produttivo e sistema di controllo dell'Indagine\tiche, nel Manuale si farà riferimento ad una accezione lata dellarevlsion~, in cui sono incluse tutte le operazioni manuali odinformatiche, di verifica e correzione dei dati. Da questo puntodi vista I programmi di compatibilità e correzione rientrano nellafase di revisione, mentre a quella di elaborazlone.è delegato soloIl compito di predisporre tavole, Indicatori ed analisi statistichedal mlcrodatl definitivi.'I macrodatl, sotto forma di tavole od Indicatori statistici, sonovalldatlsulla base della loro coerenza Interna, dell'analisi dell'eventualeserle storica o mediante confronto con fonti esterne.I macrodati, i metadatl (Inclusllrlsultatl dei controlli effettuati)ed eventualmente gli stessi mlcrodatl, possono quindi esserediffusi agII utlllzzatori finali.Nello schema adottato non è stata prevista una fase di controllo;tale funzione, Infatti, verrà considerata come un Insiemeorganico di operazioni, inserite nelle altre fasi, che affianca il complessodell'indagine e ne costituisce il supervisore.Il processo produttivo sopra descritto, fà riferimento ad unaindagine -tIpo»; nelle situazioni concrete possono verificarsi deicambiamenti nello schema utilizzato (ad esempio, nelle Indaginl.telefoniche,la registrazione si fonde'con la rllevazlone dei dati),che però non ne inficiano la logica di fondo.5. Gli errori non campionariIn ciascuna delle fasi e delle operazioni dell'Indagine possonoessere generati errori non campionari, che è pOSSibile classificarecon riferimento alla fonte dell'errore.In realtà, date le Interazlonl tra operazioni e tra soggetti, l'erroreè spesso dovuto aUa combinazione di piO fattori (ad esempiogli errori, nella fase di revisione, commessi dai revisori possonoessere dovuti anche ad una insufficiente specificazione dellenorme e'del questionario). Tuttavia, pur essendo un modellosempliftcato,la classiffcazione che segue è sufficiente ad Impostare,iil termlnroperatlvl ed organlzZativl, I controlli del principalierrori non campionari:1) fase di progettazione• errori nella deflnlzionà degli obiettivi;• errori nella definizione del campo di rllevazlone;• errori nella detinlzionedelle unità di rllevazlone e di analisi;• errori nella formulazione del questionario, delle definizionie delle classitlcazloni;• errori nelle norme del piani di lavoro;• errori nel coordinamento tra plani di lavoro;• errori di .rllevanza».

28 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 - LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE.292) fase di rilevazione• errori dovuti ad insufficiente istruzione e assistenza alla retedi rilevazione;• errori nelle liste di selezione;• errori commessi nelle procedure di selezione delle unitàcampionarie;• errori dovuti ai rispondenti;• errori dovuti ai non rispondenti;• errori dovuti alla tecnica di indagine prescelta (nelle indaginidirette, al rilevatore ed al contesto dell'intervista);• errori dovuti ai supervisori;3) fase di registrazione• errori dovuti agli operatori;4) fase di revisione• errori dovuti ai revisori;• errori dovuti alle procedure informatiche; .5) fase di elaborazione finale dei dati• errori nei programmi di calcolo;• errori di rilevanza effettiva;6) fase di validazione• errori di coerenza nelle tavole e negli indicatori;7) fase di diffusione• informazioni agli utenti non rilevanti, non trasparenti e nontempestive.Gli errori generati nella fase di progettazione, di elaborazionee di diffusione si riflettono sostanzialmente sulla «rilevanza ..dell'indagine; tuttavia deficienze e discrepanze nella stesura delquestionario, delle norme e dei differenti piani di lavoro influenzanole operazioni successive e quindi danno luogo ad errori di«precisione .. , che sono propri delle altre fasi dell'indagine.Per le indagini condottedall'lstat, in particolare quelle sullapopolazione, nel Prospetto 1.1 sono sintetizzate le principali operazionicon le relative fonti e tipo di errore.Data la natura di flusso del processo produttivo, gli errori chehanno origine in una operazione si trasmettono a quelle successivesommandosi, combinandosi od elidendosi; nella Figura 1.3è rappresentato tale procedimento per le operazioni e gli errori'più rilevanti di una indagine.Prospetto 1.1: operazioni dell'indagine, fonti e tipo di erroreoperazioniscelta delle variabili,delle definizioni, delleclassificazioni, delleunitàdefinizione delquestionariopiano di diffusionepiani di lavoroselezione PSU (")selezione SSU t'lformazione elenchi edassegnazionirilevazione sul camporegistrazionerevisione e correzionestime (·1elaborazionee validazione deirisultatidiffusione(') solo per indagini campionariefontimodello concettualestrutturalunghezzavocabolarioquesiti retrospettiviproxycodificabase $tatislicabase statisticalistasupervisorisupervisoririlevatorisupervisoririlevatorlrispondentioperatorirevisoriprocedure automaticheelnterattivebase statisticaprogrammitipo di errorerilevanza teoricaerrori di misurarilevanza effettiva etrasparenzaerrori di misuracalcolo probabilità diinclusionecalcolo probabilità diinclusione ed errori dicoperturaidentificazione delleunitàmancate risposte totalie parziali, incongruenze,errori di misura,effetto proxy, effettoricordoerrori di misuraerrori di misura, erroridi identificazionecalcolo fattori diespansioneerrori di c'alcolorilevanza effettivatempestività

30 Il SISTEMA DI CONTROllO DELLA QUALITÀ DEI DAnCAP. 1 • LA QUALITÀ DEI DAn ED Il SISTEMA DI CONTROLLO DELL'INDAGINE 31solo sull'errore commesso, ma anche sulle relazioni tra modelloconcettuale utilizzato e realtà.6. Gli effetti dell'errore non campionario sull'affidabilità dellestimeNelle indagini campionarie su larga scala possiamo giovarci,per l'inferenza statistica sui principali parametri di studio (medi,totali, frequenze relative ed aSSOlute), del teorema del limitecentrale: esso ci assicura che la loro distribuzione, per n sufficientementeampio, è approssimata dalla distribuzione normale.In base a tale teorema, possiamo calcolare gli intervalli di confidenzadella stima ottenuta in funzione di prefissate probabilità;i limiti dell'intervallo vengono determinati nell'ipotesi di stimatorinon distorti ed affetti dal solo errore campionario.La presenza di errori non campionari, inducendo nei risultatidelle distorsioni eIa un aumento della variabilità, conduce ad unaerronea valutazione del livello di fiducia attribuito ad un determinatointervallo.sti ..Figura 1.3· Trasmissione degli errori tra le fasi elo le operazioni di una Indagine campionariaRiguardo all'errore non campionario c'è, infine, da considerareuna sua peculiarità; se da un lato esso costituisce un fattoredi «disturbo» da rimuovere, dall'altro può essere consideratofonte di «informazione» sul complesso dell'indagine. Infatti, poichéqualsiasi rilevazlone statistica è un modello a priori della realtàesaminata (imposto mediante le definizioni, Il questìonario,la codifica e le operazioni di correzione), l'errore non campionariocontiene in sé una ambiguità: può essere sia «errore», nel sensoproprio del termine, sia il rilevatore di una inadeguatezza nellaformulazione del «modello implicito». Per tale ragione i risultatidei controlli possono divenire una fonte di informazione nonSupponiamo infatti che lo stimatore utilizzato sia distorto; alloralo stimatore il avrà media pari a E@), diversa dal valore vero l'.La differenza B = p. - E@) rappresenta la distorsione dellostimatore.Se si ignora l'esistenza eIa l'entità della distorsione, si calcoleràl'intervallo di confidenza, allivello di fiducia, stabilito, comese fosse centrato su l', mentre esso è, in realtà, centrato su E@).In termini formali, si farà, in maniera non corretta, la seguenteasserzionePr ~ - t 4 /2 uii S p. s ii + t 4 / 2 Uii] .= l -mentre l'asserzione corretta sarebbe:Pr [il - tU;, s E(ii> s il + tu;,]a/2 r a/2 ral-aNella prima relazione, a risulta sovrastimata e deve esseresostituita da a' = {3 + 'Y, dove {3 e 'Y sono le probabilità corrispondentiall'intervallo centrato su l', (cfr. figura 1.4.).Presenza della soladistorsione

32 IL SISTEMA 01 CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE33Esprimendo a' in funzione di a, (3 e -yper la simmetria e l'unimodalità della funzione normale, si hane risulta che a'> a e quindi1 - a'

34IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE35EIIetII ... • ......... 10del ......... ..Se si ipotizza che gli errori non campionari determinano soloun aumento della variabilità, ma non la distorsione dello stimatore,si può, con analogo procedimento, determinare a in funzionedel rapporto tra le due varlanze.Sia mU~ la varianza di iL affetta da errore di misura e:,.,.uà / muà = k < l ovvero up. = Kmup.Nella Tavola 1.2, si è espresso il livello di confedenza a' infunzione del rapporto k,in corrispondenza ad un prefissato a paria 0.05, calcolato mediante la (1.9) e la (1.10). .Tavola 1.2 - Valori di a', in corrispondenza di a = 0.05, in funzionedel rapporto· kk p,y a' l-a ,SI avrà quindifJ = l lm exp [-

36 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED Il:' SISTEMA DI CONTROLLO DEU.'INDAGINE37'La figura (1.6) illustra, graficamente, le relazioni tra la probabilitàpresunta e quella corretta dell'asserzione sull'Intervallo diconfidenza. ' -7. Il sistema di controlloL'analogia tra indagine e processo di produzione manlfattu~riero non ~omporta, meccanicamente, l'applicazione delle tecnichedel controllo statistico di quallt" utilizzate In quest'ultimoambito, al sistema di controllo dell'Indagine. Tali metodi, Infatti,~l ba,sano sulla rlproduclbllità e sulla serlalltà del SingolO«pezzo., !a~dove, In una rIIevazlone statistica In campo economicoo SOCiale, l'Informazione raccolta è, In realtà, unica e nonriproduciblle sotto le medesime condizioni. L'lndividuazione dell'errw,eneUap~uzioÌ'lemanl(atturl.a è im~iata. essendo predet~rmlnat().il PI"9d~tto tipq, eia Varlab",tà riscontrata è att{lbulblleunicamente al prQCesso; scopo del controllo è la riduzione,entro termini accettabili, di detta variabilità. AI contrarlo, inun'Indagine statistica, il valore vero non è conosciuto a priori ela variabilità è Inslta nel fenomeni Indag,tl; ciò complica l'Individuazionee l'eliminazione dell'errore. - ,,-Il controllo statistico di qualità viene perCiò definito diversamentenel due casi, (U.S. Department of Commerce, 1978):I) metodo per controllare la qualità di un prodotto manifatturierodi larga scala; esso si prefigge di determinare ed eliminarele variazioni sistematiche o di rldurle ad un livello accettabile,dovuto al caso. Quando questo si verifica, Il processo risultasotto controllo.Il) osservazione e procedura utilizzata In ciascuna operazione diuna indagine per prevenire o ridurre l'effetto dell'errore noncampionario.Secondo la definizione sopra riportata, l'oggetto del controllostatistico di qualità dr una Indagine è limitato all'errore noncampionario; del resto la sostanziale diversità del due tipi di errore~I riflette nel diversi strumenti c:il controllo e, persino, In unadifferente possibilità di attuarlo. Il produttore dell'Informazionestatistica, Infatti, ha la possibilità di controllare l'errore campionarioe di mlnimlzzarlo, date le risorse disponibili, mediante lascelta della numerosltà del campione, dello stlmatore, delle tecnichedi stratlflcazione é stadificazlone.rrcontrollo e la riduzionedell'errore non campionariO, che dipende, invece, dall'operatodi una pluralità di soggetti, si presenta complesso e pone delicatiproblemi di competenze, di responsabilità e di potere dllnterventodell'Istituto.Date le Interrelazloni tra le operazioni dell'Indagine e, di conseguenza,tra gli errori da esse generati, è opportuno InquadrareI .slngoli controlli In un Insieme coerente ed organico; è convemente,perciò, considerare un «slstema!t di controlli che affianchi.llflusso produttivo e ne attui li mgnltoracHIlo. Le Informazlomderivanti da quest'ultimo, potranno essere utilizzate permigliorare Il sistema di produzione dell'Indagine (se ripetuta), perI~ programmazione dllndaglrli simili e Per: fornire valutllZionl qua­IItatlve e quantltatlve suU'attendll;llUtàdel rlsultatlfJnall~Rispetto al momento In cui awlene ~ al fini per c::,,1 si effettua,.Il controllo può essere conslde{ato preventlvo,_ $8 prec::edela rllevazlone sul campo ed ha lo sqopo di verificare e migliorarela programmazione dell'Indagine; conteriJpofatJ80, se attuato durantele operazl~nl di rilevazlone, revisione ed elaborazione conl'obiettivo dllndiViduàre e correggere l'errore; successivo se flnaUzzatoalla predlspQslzlone del profilO deWerrore od alle analisidelle singole fasl~, '_ " . ' "Cosi definito, Il «sistema del controlli dell'Indagine. ha peroggetto l'errore non campionario e per obiettivi: - ,I) la prevenzione dell'errore;Il) la correzione dell'errore;III) Il mC)nltoragglo della fasi del prOCeSSO di formazione del da--to e la stima dell'efl'oretotale.' ,." 'Elementi costitutivi del sistema sono l'indlvlduazlone delle.cause d'errore .e la definizione del. livelli di controllo; la predlspos~zlonedelle fonti e l'org,anlzzazlone dell'Informazione: I metodidi analisi e di correzione. '" ,,-I -Iivem. costituiscono un sottoinsieme delle fonti di erroreowero le operazioni e gH'operatori (adea: Il rllevatore,lI comu:ne, la registrazione etc.) che sOno effettivamente sottoposti a verifica.", .,' -' -In questo contesto, si prèclsa la distinzione tra livelli e fasi:la fase rappresenta, nel flusso loglco-temporale dellaproduzlone,Il punto In cui è possibile o conveniente effettuare Il controllo(si potrebbe dire lI-quand08), mentre Il livello è l'operazionesulla quale Il controllò viene esercitato (II -dove.). Cosicché Ilmedesimo livello può essere controllato In fasi dlffèrenUe In ciascunafase possono essere controllati pia livelli. ; _,Per ragioni organizzatlve e di costo,non è, generalmentepossibile sottoporre la singola rllevazlone all'insieme del controtltsu tutte le fasi e su tutte le possibili fonti di errore. Il nume~ed il tipo dei controlli da effettuare, owero Il sistema di controllodella singola Indagine, devono, quindi, essere selezionati Infunzione delle risorse disponibili, del tempi di esecuzione dell'indaginee del livello accettabile di errore.

42 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 1 • LA QUALITÀ DEI DATI ED IL SISTEMA DI CONTROLLO DELL'INDAGINE43bili e, poiché esse costituiscono la memoria storica della rilevazlone,per la valutazione degli interventi correttivi, effettuati inprecedenti occasioni.Mediante l'archivio di qualità, per le indagini ripetute e perquelle in cui può essere ipotizzata la «portabilità» degli Indicatori,i controlli successivi della singola rilevazione assumono ilruolo di controlli preventivi per la nuova rilevazione.RIFERIMENTI BIBLIOGRAFICIARKHIPOFF O. (1986), Laquallté de'/'information et sa preclslon, Colloquedel'lSEORBAGLIONI P.(1983), Livelli di produzione e"dl utilizzazione delle informazionistatistiche: aspetti generali e considerazioni speclffche sullaquallt4 del dati ai fini dèllaprogrammtUlonè reglònale, in Atti dellaIV Conferenza Italiana di Scienze Regiol'laH, Firenze,BAlLAR B.B. (1985), Erròrproflles: usèS aridabuses InirStatlstlcal mèthodsand the Imprbvement of data qualltylt, Edlted by T. Wrlght,Academlc PÌ'es&, New Yark. 'BAlLAR B.B. (1985), Quallty Issues In measurement, Internattonal StatlsticalRevlew. "BIGGERI L:'COLOMeQ B., (1991), Re/azlonesu1l'attivlt4 dells,CommlssloneSèlent1fl~'aélel1a SJ.S. sulla quallt4 del dati, Bollettino della S.I.S.n. 22, aprllè 1991. , " ," ' "BRooKs C.A., BAlLAR B.B. (1978), Anerror proflle: employment as measuredbythe current popolatlonsurvey, Statlstical Pollcy WorklngPaper n. 3,U.S. Departrnentof Com merce - Offlce for FederaLStatlsticalPollcy,and ,Standards, Washlngton D.C. - U.S. GovernmentPrinUng Office. 'COCHRAN W. (1977), Sampllng Technlqués, cap, 13,J. Wiley & Sons, NewYork. " " ,','CoLOMBO B.(1979), SuJ(loncetto di quallt4 delle statistiche ufficiali, in"Studi ,di statistica e,di economia in onore di L Lenti», Universitàdegli Studi di Milano, Pavia e L Bocconi, Milano.COLOMBO B. (1983), La quallt4 del dali statistici In Atti del Convegno1983 della S.I.S., Trieste.CORTESE A. (1991), Linee direttive per l'Illustrazione di contenuti e qua-1It4 del dati statistici, Bollettino della S.I.S. n. 22, aprile 1991.CORTESE A., GIOMMI A. (a cura di) (1991), Bibliografia di autori Italiani, Bollettinodella SJ.S. n. 22, aprile 1991.DALENIUS T. (1983), Errors and other Ilmltations of survey, in .Statlstlcalmethods and the Improvement of data quallty., Edlted by T. Wrlght,Academlc Press, New York.GIOMMI A. (a cura di) (1991), Glossarlo del prIncIpali termIni su: "la qua-1It4 del dati statIsticI", Bollettino della S.I.S. n. 22, aprile 1991.GOTTARDO G. (1983), Alcune considerazioni sulla valutazione della qualitàdei dati provenienti da un'Indagine campionaria In campo sociale,In Atti del Convegno 1983 della S.I.S., Trieste.I.N.S.E.E. (1985), Rapport sur la quallté des travaux statistlques, documentoInterno, ParigI.KISH L (1965), Survey sampUng, cap. 13, J. Wlley & Sons, New York.MANICA~DI G., VENTURI M. (1988), Analisi Integrata di dati e funzioni nelSistemi Informativi Statistici, documento Interno, Istat.MASSELLI M. (1985), La qualità del dati nelle rllevazlonl statistiche, RivistaItaliana di Economia, Demografia e Statistica, VoI. 40.

·.'·1'·.·.44 IL SISTEMA DI CONTROLLO DELLA QUAUTA DEI DATIMASSELU M., SIGNORE M. (1989), Il sistema di controllo delle Indaginicampionarie de//'istat: linee di ricerca e principali contributi de/ Pr0-getto Quallt~ del Dati, relazione alla Giornata sul campionamentostatistico, Istat, Annali di Statistica, Serle 9-, Vol. 10, Anno 120.MASSEW M. (1991), Il profilo degli errori nell'Indagine sulle fotze dllavoro,Bollettino della S.I.5. n. 22; aprile 1991. .MONTINARO M. (1988), Un modello per la determlnazionedeU'erTOr proflledelcommen:/o con l'estero, In Atti deDa XXXIV Riunione selentltlcadellaS.I.S., Siena.MONTINARO M. (1991), Il profilo d(l/I'errore ne/Pl"daglne statlst/ca delCommercio con l'Estero, Bollettino dellaSJ.S. n. 22, aprile 1991.OtIrRATA E., CHINNAPPA N. (1989), Generai survey functlon design atStatlstlesCanada, Proceedlngs of· the47'" ~slon ot IS" ParigI.PARENTI G. (1983), Sulla quallt~ del dati statistici, In Atti dfJl CQnvegno1983 della S.I.S., Trleate. _ ,QUINTANO C" CALZARONI M., DINI P., MAsSELU M., POUTI M:, TACCINI P.(11:)87), Una ricognizione dell'errQr proflle, dell'Indagine flui prodottolordo, In -Attendibilità e tempestlvltAdelie sUme di. contabllitAnazlonale_, Il cura di U~ Trivellato, CLEUP Padova~'RYrE!tI.,J. (1988), ElIOl'$ln forelgQ tratlft statlstics, In Survey Methodology,Volume 14, n. 1,June 1988,'" . , , . . .SI"GH D.; CHAUDHARY F.S; (1988), Th80Ty and analysJs ofsample surveydesign, J. Wlley & Sons; New York." ,. "Statlstlcs Canada, (1976), A compendlum al inethods of erroì' evaluatlonIn censufles and surveys. . . .,TERRA ASRAMI V. (1989), Manualè di tecniche di Indagine: Pianificazionedella produzione del dati, Note e Relazioni, n. 1, ISTAT.U.N. (1982), Natlonal household survey capabllltY programme, NonsampllngellOfS In househOId surveys: sources, 'assesmentand control,New Yorl

46 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 2· LA PROGETTAZIONE DELL'INDAGINE47Data la sua complessità, il progetto d'indagine, generalmente,si configura come un processo iterativo che procede per verifichesuccessive. A tale scopo è posslbileutHizzare alcune tecnichespecifiche: la Progettazione Concettuale, I test del questionario,l'indagine pilota e la verifica di coerenza del progetto.La Progettazione Concettuale è. contemporaneamente unatecnica di controllo ed una operazione del processo prOduttivo;il metodo produce un-modello concettuale. internamente coerenteche genera un questionario la cui struttura è anch'essa coerente.plano didiffusione'--__.....-__proge t t az ioneconce t t ualepI.no dIcampioname ntoplano dinlevazionepiano diravisiOf"ltpiano dielaborazionepiano deicontrolliesigenzeinform.ti VI!_ ~ ____ I progettaziOl'1l!conce t t u.al.definizionevariabili .universo,unita' di .nalisie di rilev.ziOl'1l!quest I onariodef i nl Z ionic lassi ficazioni..;classl Ficazionianal isi diC 0&I'"&n2 aFigura 2.1 • La sequenza del controlli nella fase di progettazioneproget taz ioneconce ttualepre- tl!StgIudizIO espertitest Oli ternat i vediagranmaZloneLa coerenza è un prerequisito, ma non è sufficiente a garantirela buona riuscita del questionario. Per altri aspetti (II vocabolario,le domande retrospettive, i quesiti delicati, il numero ela sequenza delle domande ecc.) è necessario ricorrere a differentitecniche di controllo: il test sul campo, il giudizio degli espertied il test di alternative.Il test del questionario può essere inserito nell'indaglne pi~lota; quest'ultima, però, ha come obiettivo principale, la verificasul campo della pratlcabilità delle norme e del protocolli di tutte,o le più importanti, operazioni progettate per l'Indagine «madre».L'analisi di coerenza dàl progetto d'Indagine, consiste, in unaverifica logica, effettuata dal responsabile d'indagine, dei singolipiani di lavoro e dei reciproci legami.La sequenza del controlli da effettuare nella fase di progettazione.rispecchiala sequenza logica ed I legami tra le operazioni;essa è riportata nella Figura 2.1.Nel diagramma, la Progettazione Concettuale appare piO volte,per indicare le possibiU applicazioni di tale tecnica; in realtà, unavolta utilizzata per tradurre le esigenze informative in variabili distudio e per definire le entità coinvolte nell'indagine, diviene automaticala derivazione del questionario. Inoltre, gli schemi derivatidalla Progettazione Concettuale possono essere, utilizzatiper la predisposizione del piano di diffusione.Tale piano, poiché, in ultima analisi, costituisce la «specificazioneoperativa. degli obiettivi, precede logicamente ed influenzala formulazione degli altri protocolli. "legame più owio è quellocon il piano di elaborazione, ma anche il plano di rilevazlone edi revisione ne sono Influenzati; ad esempio nella procedura dicompatibilità e correzione, o nelle norme di rilevazlone per raccomandareparticolare attenzione verso alcune variabili consideratestrategiche per la tabulazlone.Qualora non venga utilizzata la Progettazione Concettuale,và còmunque predisposta una completa documentazione, riguardantele suddette operazioni, In cui siano specificati I nessi fo"gicl e i motivi delle scelte effettuate.Il questionario gioca un ruolo centrale nelle progettazione dell'indaginepoiché è collegato con tutti i piani di lavoro, anzi necostituisce in gran parte Jr «prlus. logico; la sua verifica deve quindiprecedere la predisposizione delle altre operazioni.La validità delle norme e delle procedure, predisposte in. viaprowisoria, sarà sottoposta a test, direttamente sul campo, mediantel'indagine pilota; infine, la verifica di coerenza c()stitulscel'indispensabile controllo prima della rllevazione sul campoe delle fasi successive.

48 IL SISTEMA DI CONTROLLO DELLA QUAUTA DEI DATICAP. 2· LA PROGETTAZIONE DELL'INDAGINE49Se i risultati ottenuti dai suddetti controlli, portano a modificarele operazioni oggetto della verifica, sarà anche necessariocambiare i protocolli dei piani di lavoro ad esse collegati (cfr. Figura2.2).plAno ditIccntrolli1.-.l!-= ......,-!1 ........!I .....l ....q»st io .... no;I ......II .......!i ......;l''''''! ......l .......piAno di di Husiorw mAc,.odIlti! _ PlAno di c.mpio .... mantoIi! i ...... pi.no di ... ilevuier.-I I, ;1'. ~ piAna ~i registruiCII'WI Il' I:'" I piAno di ..-.visier.-. I II...... i...... I _ '...... piAno di .1Aborazier.-Figura 2.2· Relazioni tra le operazioni della fase di progettazione2. La progettazione concettualeLa specificazione degli obiettivi in variabili e. nelle loro relazioni,il passaggio da queste ai quesiti ed alla struttura del questionario,l'identificazione della POPOlazione di riferimento e delleunità di rilevazione e di analisi, non è. altro che la costruzionedi un modello della realtà esaminata.Erròri di rllevanza possono sorgere se tale modello npn vieneesplicitato ed enunciato per tale, ma risulta definito solo implicitamenteed imperfettamente dalle operazioni di cui sopra.L'uso di un modello concettuale che costringa a definire inmaniera chiara e precisa i concetti coinvolti, aiut.a a preveniretali errori.Mediante la metodologia denominata Progettazione Concettuale,i contenuti infprmativi di unarHevazione statistica possonoessere individuati e rappresentiiti in maniera formale, indipendentementedalle specifiche problematiche; la tecnicapermettedi definire le relazioni tra entità, gli attributi delle stesse é lestrutture gerarchiche tra entità .•La documentazione sulle definizioni e la rappresentazione formaledegli schemi concettuali dostituiscono il patrimonio informativodell'Indagine e permettono il controllo della rllevanza, teoricaed effettiva, deU.'informazione prodotta.Inoltre, poiché attraverso il modello concettuale è pOSSibilerappresentare le relazioni tra le diverse entità ed i loro attributi,gli schemi prodotti possonO essere utilizzati per la stesura delquestionario e per definire una parte delle regole di compatibilità,mediante le quali vengono determinate le incongruenze logichenei dati raccolti.L'uso delle tecniche di progettazione concettuale è diffusamentetrattato nel Manuale per la progettazione concettuale didati statistici Istat 1987.3. La redazione del questionarioSotto Il termine di questionario si intende qualsiasi strumentoutilizzato per la raccolta del dati presso l'unità di rilevazione.In questo contesto sono, quindi, considerati questionari anchei modelli per la raccolta di informazioni amministrative, lo schemadi domande per le indagini telefoniche o di quelle effettuatemediante I computer portatili.Un'adeguata formulazione del questionario è cruciale nel prccessodi produzione, poiché esso è lo strumento mediante il qualei dati rilevati presso le unità vengono trasformati in -informazio·ne- disponibile per le successive elaborazioni.La predisposizione del questionario può generare errori di rilevanzae di misura, in modo particolare in funzione:• del vocabolario utilizzato• della sequenza dei quesiti• delle norme di compilazione• dei quesiti retrospettivi• di risposte proxy• di quesiti' particolarmente. delicatiI problemi connessi alla predisposizione, alla somministrazioneed al test sul questionario sono analiticamente trattati nelFascicolo 2 del Manuale di tecniche di Indagine; nel presente capitoloci si limiterà a richiamare bevemente le considerazioni piùrilevanti ai fini del controllo di qualità.In termini generali il contenuto di un questionario può esse·re distinto in tre parti:1. quesiti per la rilevazione delle variabili di studio2. codici Identificativi3. ques.iti per il controllo dell'intervista.È opportuno che tale distinzione venga formalizzato nella fasedi progettazione, poiché le tre tipologie giocano ruoli diversi

50IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 2· LA PROGETTAZIONE DEU'INDAGINE51Le verlablll di studioe subiscono trattamenti differenziati nel corso delle fasi successive.Rimandando agli appositi capitoli qui basti citare, ad esempiè,che per i codici. identificativi se ne consiglia una attenta verificanella fase, di registrazione e l'eventuale modificazione solodopp !afase di revisione quantitativa; per i quesiti relativi allaqualità (notizie sull'intervista e sul rilevatore), invece, non devonoessere previste modlficazloni, in quanto comporterebbero perditadi informazione.Estraendo dal modello concettuale un albero, ed eventualmentedei sub-alberi, di aree omogenee di informazione, è possibiletradurre le variabili, precedentemente Identificate, nella strutturae nei quesiti del questionario.La sequenza dei quesiti deve essere resa il più lineare possibire,evltand()I rimandi a domande, o blocchi di domande, precedentie segnalando chiaramente con accorgimenti grafici (colori,frecce ecc.) gli eventuali salti dipendenti da domande filtro.È conveniente che la sequenza rispecchi l'ordine impliCito neilegami logici tra le variabili; nel caso di un questionario particolarmentegravoso, è opportuno che I quesiti strategici venganoposti all'Inizio del modello, perevitare che il decrescente interessedel rispondente incrementi l'errore di misura delle informazionipiù importanti da rilevare..'I quesiti possono dar lu()go a risposte aperte o chiuse; nelprimo caso si accetta qualsiasi risposta fornita dal rispondente,mentre nel secondo lo si costringe a scegliere tra un predeterminatonumero di risposte.Le risposte precodificate hanno il pregio di essere più facilmentee più rapidamente trattablli nelle fasi successive di registrazionee di revisione dei dati e contribuiscono a ridurre l'effettoricordo. Tuttavia esse scontano una.perdita dlinformazioneche è tanto più grave quanto più mancano informazioni a priorisul fenomeno da rilevare. In questo caso l'indagine pilota effettuatamediante questionario con quesiti aperti può costituire unabase di Informazioni per chiudere i medesimi.La precodificazione implica la scelta:- del tipo di classificazione da adottare,- del livello di disaggregazione della codifica.Nell'articolare le classificazioni, soprattutto nella riduzionedi variabili continue a variabili intervallo, occorre tenere presentegli obiettivi per cui le variabili sono rilevate. Se tra di essi viè la costruzione di indici statistici, occorre esplicitarli in una listaanalitica per poter controllare l'adeguatezza della codificaadottata ...È stata richiamata più volte, nel corso etelCapitolo 1, l'importanzadei codici identificativi per ifslstemadlcontrollo; essi infattisono il prerequisito per l'lndividuazlone delle unità e delleloro relazioni (ad esempio, gli individui appartenenti alla medesimafamiglia) e c.ostituiscono

. ......... _-... _------52 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATI2. Identificatori che collegano due o plOiquestlonarllnerenti adunità diverse ma tra le quali è presente una relaztoneloglca(ad esempio Il questonarlo de~l. faìnlglla prh'lcipaleedl quet- .la coabitante); .... '.' '. ~ .. " . . . . .: ... '3. Identificatori Jnternl al modello di ril",azlone per collega.re informazionirelative alla stessa unlt. di analisi In parti diversedel modello (ad esempio levlll'lablll demografiche Individuali,raccolte In una parte. COmun~, ali." rim~m~(lAA Infgrmazlonlpresenti sui f9gllindMc:iuall). .... .< ., ,~ ,L'Identificatore del questionario viene esteso a tutte le unitàcontenute nel medesimo; tuttavia, tale codice può non esseresufficiente al riconoscimento delle unità di ordine Inferiore neldocumenti aggiuntivi di 'rllevazlone o quando trasposte su supportoInformatico. i' " . ," .A{jesemplo la vacanza'attrlbulta adundetermfnato componente,perfettamente rlconosc::lbllesu supporto"carl!lbeo,'pùò nonesserlo piO nel file se non s.lntroduce 'un ulteriore òodlce di identificazioneedl collegà;n."n,o tra 'ali JJnIt~':' '." ..In aggiunta a quelli .sopra~l.t.tl;$fd''{9!lQ.qù,ndl, pre"ederealtri due .gruppl dIIQ"lltificator~ i. . ..... '.," ;, f.', ,":-.- . ~ '- , f'4. Identificatori per la trasposizlone su supporto informatico;5. idenUflcatorl p~l':i modèlli aggiuntivi di rUevazJone.. .Il sistema del COdici deve assicurare a ciascuna unità elementareun unico Identiflòatore che la renda riconoscibile in tuttele fonti di Informazione; In q!Jesto m,~doèpoSSlbi,! Utll1zzare,congiuntamente, Informazioni dIVerse per Il medesimQ livello dicontrollo e calcqlf'" ! relatlvJ IndiQatori di' qù~II~~, . ,. . '.' .Nel questionario di rilevazlOne devono essere raccolte alcuneInfQrmazJonlrlguardantlle modalità di svolglmentodetl'lntervlstà;la scelta del numero e del tipo dl.tall quesiti deve essereparsimoniosa ed efficiente, nel senso che non si deve sovraccaricareIl questionario' con quesiti di cui non sia stata preventlvamentestabilita J'utll~ione. . ,.Le informazioni di cOFltrQllo dell'intervista poSsono ~ suddiviseIn due gruJ)pl: .... . . '.- Informazioni da cui derivare Indicatori di qualità- Informazioni necessarie ad Indagini di controtto (successiveo contemporanee).iIIn termini gener~i, i dati del primo tipo sono quelli riguardantila sltuazlQne dell'Intervista (owero. quanti c;omponentl erano presentl,l'eventualerlspgndente o rlsp,ost, proxy), Il giorno, l'Qrae la duratll. I conteggi riassuntivi delle !,Inltà di analisi; o deglieventi, contenuti nel questionario, le valu~lsuU'accoglimentoe la partecipazione all'Intervista o a parti di essa.I dati necessad per effettuare le Indaglnldl controllo, e, spesso,per analizzarne I risultati, sonp di tipo diverso:I) codici Identificativi di unità gerarchicamente superiori a quellaoggetto di stuc;llQ. .già standard~ti. e pfpentl nel questionario

54 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 2 • LA PROGETTAZIONt: DELL'INDAGINE55nore od uguale al secondo,' se quest'ultimo 'è mobile, mentrepuò essere superiore se il periodo di riferimento è fissato. Adesempio, se si chiedono le spese effettuate in una settimanadi riferimento fissata e l'Intervista awienenella settimana successl\ta~allora il periodo di ricordo può essere anche di duesettimane.Le relazioni tra il periodo di riferImento, fissato e mobile, egli altri due sono illustrati graficamente nella Figura 2.3.A1p." \. odo" cii.ri.r.r\ .. ~t.oI evenlop.riodD di rir.,.i..."to f' iSHto~ri.odo di. r"cordo .vent.o ,!I per i. odo cl\. .."cordo .~.nt.o81 per iccb di riferimanto lII:lbile~r io odo cri. r 1. cordop ... ~odo di. ri.f.ri.ment.oi.nt..rv\..t.~. z·I evenioperloclo cli.\',ndogi.neFigura 2.3· Relazioni tra i periodi di riferimento,d'indagine e di, ricordoIn alcune rilevazlòni Il periodo di ricordo può non essere collegatoal periodi di riferimento dell'indàgine; ad esempio quandosi chiede la data dell'ultimo evento verificatos. invece di chiederese si sono verificati eventi nel periodo stabilito. In questoZIcaso Il periodo di ricordo può variare notevolmente da rispondentea rispondente.Per quanto' coricerne l'omissione degli eventi, le esperienzecondottE! in altri paesi hanno mostrato ché esso è collegato, daun lato, al periodo di ricordo e, dall'altro, all'Importanza dell'eventoper il rispondente. .Per prevenire tale errore si dovrebbe ridurre il periodo di ricordoe quindi anche il periodo di riferimento; in tal modo peròsi riduce il numero degli eventi rilevàbili ed aumenta l'errore campionariodelle stime basate su un nUmero fisso di interviste. Èquindi conveniente diversificare i periodi di riferimento in funzionedella frequenza degli eventi,·Gli errori nella collocazione temporale di un evento possonoriguardare sia uno spostamento all'indietro che uno in avanti (effettotelescopio), rispetto al momento reale in cui si è verificato;essi possono causarne o l'erronea'collocazione temporale all'internodelperiodo, owero l'esclusione di un evento, oppure la presenzadi un evento precedente o successivo net periodo stesso.Lo spostamento all'interno del periodo di riferimento può nonprodurre effetti sul numero complessivo degli eventi ma può produrnerelativamente ad eventuali domini di studio temporali; adesempio, può verificarsi che il numero e l'ammontare delle spesein un anno sia stimato correttamente, ma i dati relativi ad intervallimensili siano distorti.Negli altri casi, invece, può verificarsi una distorsione dellestime: una sovrasti ma se l'effetto telescopio è predominante, unasottostlina nel caso contrario.'In termini generali, si può coinunqueaffermare che periodidi riferimento El di tlcordo più brevidiminuiscol'1Ogli errori di omissione;essi, però, possono causare maggiori errori di collocamentotemporale,se il periodo non è chiuso, ed un aumento dell'erroredi' campionamento delle stime.,Per prevenire e ridurre gli errori non campionàrl relativi aiquesitiretrospettivi si ricorre a tecniche differenti.Riguardo agli errori dovuti alla collocazione temporale dell'evento,si dovrebbe limitare. la possibilità degli spostamentl, ovverochiudere gli estremi del periodo di riferimento rispetto al passato;ad esempio, l'intervallo corrispondente alla vita dell'intervistatofino al momento dell'intervista èun intervallo chiuso. UnperiodO di riferimento fissato, invece, ha entrambi gli estremi aperti,mentre uno mobile (ad esempio la settimana precedente l'intervista)ha solo l'estremo, inferiore aperto.Una tecnica per chiudere gli estremi dell'Intervallo consistenell'uSare un periodo di riferimento mobile e di reintervistare, dopoun certo periodo, i rispondenti, in-merito agli eventi verificattsinell'intervallo tra due interviste.

56IL sl~m;~ QI CONTflQLLO DELLA QUALITÀ DE.1 DATICAP. 2· LA PROGUTAZIONE DELL,'INDA~IN!:51,Per prevenire l'omisslcme di eventi, si ricorre ili nwtodQ, notonella letteratura come aiuto alla lnemorla;esSQ ccmsistaneJlostimolare. Il ricorc;io e'#.ltanqq domllflPe aperte', tQrnendo lina listadelle possibili risposte' oq~~~$~elle Inçnc~lo!,I, clJla,v~_ AdesemplQ, In una Indaglo@ $Ulle lettM,te, è p[efer~ne non porre Ilquesito nella forma quan'rlvist~ ò quòtldlanl ha lètto neJrùltijn8setfjmana, mll presentlil,rt? III rl~pondente un eteO:cO, c"i~endodi segnalare qU1l1l letture ha fatto nel perlodQ c;11 nferimento, Talemetodo riduce gli errori di omissione, ma può causare un effettotelescopio.' ,.' ,'" ' ,'., ..• ' , .... ' .... ,Per aumentare l'affidabilità delle Informazlorn rileVaté, si puòadottare la tecnica dI'chiedere al rispondente di riportare sologli eventi documentati (ad esempio mediante scontrini fiscali,conti correnUecc.). Tale metodo consente, tra l'altro; di eliminaregli errori di collocazione mediante la data riportata sui documenU,ma .non garantisce rispetto all'omissione degli eventi.Quanto detto evidenzia come la scelta del periodi dlrlferlmentosia piuttosto delicata 'e richieda sperimentazloni ad hoc cheforniscano informazioni, sulle distorsioni associate a periodi didiverso tipo e di diversa lungheZla" .Laddove, Invece, per mancanza di inforJTIazione o per reticenza,\I valore rilevato diverge da quello che avrebbe forl1itQ l'unitàdeslgfli~.ta, viene generato un errQre non campionario, che è funzionedel. tipo dl.variabile indaglita (affettQ proxy),.La scelta di una delle ~~rategie sopra riportate, deve essereattentamente valutata. ricorrendo nel caso ad una verifica ,sulcampo. esaminllndo I relativi vant"ggl; e svantaggi,Ad esempio, non accettare, del tutto ocUn parte, le risposteproxye prevedere dei ritorni, presenta Il vantaggio di. aumentarel'affidabilità dei dati raCColti, ma dilata i tempi della rllevazlone,aumenta Il carico di lavoro degli intervistatori (e quindi Il costo).produce un incremento deU'errore campionario e di quello noncampionarlo, dovuto alla mancata Intervista di una quota delleunità designate.Tuttavia, Il rifiuto delle risposte fornite da altre unità. dipende,In ultima analls~. dagli scopi dell'indagine, ovvero di quantopreminente sia l'interesse aduna rilevazlone accurata nel casodi caratteristiche notevolmente soggette all'effetto proxy.Lerl ..... proxyAI momento dell'imervistll, pUòilccadere che le informazioni,riguardanti l'unità designlil,ta. presente od .Ilssente, venganofornite da altra unità. Ad esempio, nelle iÒdaglnllstat sulla popolazione,generalmente basate su, Interviste Jndlviduall a tuttii mem~ri d,ella famiglia' campione, In assen:?:8 di uno di essi, èprevisto che le notizie che lo rlguard~nQ venga,no ,"ornite daaltrocomponente; oppl,lre può ac,cadere che un componente si s0-stituIsca, nella: rlsp,òsta .. talunl q\ieslti delicati, al familiare intervistato.'.,' .' ',' , '.Deve, quindi, essere stabilita la regola di comportamento dell'lntervistatoredi fronte alla possibilità di risposte proxy. dove.con tale espressione si Intende l'accettazione di informazioni nondal rispondente designato ma da altra unità. ' 'Quattro sono le possibili alternative:~ - ;- non accettare la risposta proxy...., accettarla per tutti· l' quesiti.;.... accettarla limitatamente ad alcuni' quesiti...., accettarla solo dopo, un certo numero di ritorniIn questo ultimo caso devono essere fissati il numero (In generenon superiore a tre) e le modalità d,el ritorni (ad.es.lntervistadirett. o telefonica),L'accettare le risposte proxy si fonda sul. presupposto chele unità vicine siano in possesso di not~ie attendibili riguardantiil rispondente~ , '~, . ''- . .4. Il controllo del questionarioNumerose sono le scelte che devono essere effettuate, comesi è detto nel paragrafo 1. prima di arrivare alla redazione de-­flnitiva del questionario. Tali scelte possono essere suffragateda esperienze effettuate precedentemente per la medesima indaglne'opedndaginl slmlhlrl; tuttavia. è sempre opportuno, ancheneicasi piO semplici, condurre una verifica sperimentale sùuna oph'tverslonl provvisorie del modellodlrllevazlone. 'A tale scopo si rlc9rre a dlfferentit~cnlche: la ProgetUizloneConcettuale; ti giudizio degli Elspertl, la val.ld~l()ne qualltatlvain laboratorio.. la dlagrammllZjone del. qUElstlonarl(), il pre-test sulcampo, cono senza reil1tervista, e il t$$t di alternative: ..Le varie tecniche si differenziano riguardo agUobiettlvi. ai costieconomici, allelrnPIlC~lonlorganiZl8tlvè, alla tempestivitàed alla complessità d,Herelative metodologle di analisi del risultati:La scelta di uno o pii:! metodi di verifica del questionario. dipende, oltre che dall'obiettivo del controllo. anche dal costi,'in termini sia economici che organiZl8tlvl, In relazione agII obiettiviconoscitivi dell'Indagine ed alla loro rllevanza.. Nel caSo di ristrutturazlOF!e del questionario, prima di pass,a,re alili "eriflpa sul campQ. è c"nvenlente anali~rEl glJ .indlcatori.dimaRca~ risposta parzlàle, del valori fUQrlcampo e delle IncémgrueF!ze.logiche(cfr. Capitolo 3 e 4); tall,informazionl. Infatti,possono fornire utili indicazioni sulla validità del quesrtl utlllZl8ti...

58IL SISTEMA DI CONTRoLLO DELLA QUAUTÀ DEI DATI'.CAP. 2· LA PROGETTAZIONE DELL'INDAGINi!59Il giudizio degliesperti • le tecnichecl 18bonIoIIo~ stato già rIcordato che l'utilizzazione della ProgettazioneConcettuale rief ricavare, da generici obIettivi conoscitivi, .Ia definizionedel' modelld concettuale' e da quest'ultimo it questionario,ne garantisce la coerenza della struttura (definizioni, clas~slfh::azlohl; unità di ànalisi e di rlleVazlone e loro relazioni).Derivare Il modello di rllavazlone dagli schemi prodotti, costituiscel'uso plll efficiente di taletèCnrea; tuttavia, questa puòanche essere utmzzata per verificare la strutturazione di un questionariogià predisposto.'Esempi di applicazione della suddetta metodologla a questionarigià predisposti, sono contenuti nel citato Manuale di progettazioneconcettuale di dati statistici.'la diagrammazione del questionario può essere applicata tantoal controllo di versioni provviSOrie Che quale ultima verificadella redazione definitiva. la tecnica consiste nella rappresentazionedella sequenza dei quesittmedlanteun diagramma di flusso,sostanzialmente dello stesso tipo di quelli utilizzati nell'ambitodell'elaborazione dati; la visualizzazione delle relazioni, cosiprodotta, permette di verificare la linearlt~ della struttura delquestionario e di determinare l'eventllale presenza di norme contraddittorieo lacunose.Il controllo che-viene.esercitatoj quindi, ~del ~uttoforma/ee nonen,ra nel me~lto di altri aspetti delquesiionario,(vocabolario,lunghezza, quesiti delicati, Ietrospettivl, proxy, ecc.).Per me~ del dlagram!11a, può_essere rappresentato il flus~so dei quesiti, OPPUf8 le selezioni operate dalle domande pet Identificarel'appartenenza del rispondente a particolari subpopolazlonl;nelprlmq caSo le relazioni sono derivate dalle regole di com-.pII azione, contenute nello. stesso model!o o nel manuale di .istru:zlone per I rilevatorl, menfre, nel secondo, da/I'ordinè dei quesitiche viene stabllltoperesp,liclt81'8Iedeflnizlonl. ,'..... "Nel Prltn(j~empléidelbXppèni.née 1, è stato rappresentatoil flusso de,i,qUéS.lti del questlonatlo IndlVIduaieden'indagine forzedi lavoro, derivalo di:lllenorme di complili2:ione; nel secondQ esempio,Invece, è stata diagrammata, esplicit~nè;lo le definizioni, lasequenza delle domandenecessa~ia al calcolo di uno degli aggregati(gli occtipatl).' "Prima dei controlli sul campo, èÒpportuho verificare la redazioneprovvisoria del modello dì rflèvazlone medlanteU giudiziodi espertr di settore, per Individuare eventuali lacune od Imprecisioninel èonténut6 del questloharlo, e di espèrti de/la comunicazione,per scegflere I migliori requisiti formali e di somminf.;.strazlone del questionario: ' .:;1'\1j1.1l liij1In questa fase, inoltre, disponendO di adeguate professionalitàe di un Centro specializzato, è possibile utilizzare:tecnichedi laboratorio che consistono nell'lntèrVlstllré In profondità ungruppo o singoli Individui appartenenti alla 'popolazione oggettodi Indagine. Gli Intervistatorl, esperti nella comunicazione, utilizzerannoun questionario strutturatOjo semplicemente una tracciadi quesiti; e registreranno le reazioni del, rispondentI.

60 .IL SIST~A DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 2 - LA PROGETTAZIONE DELL'INDAGINE 61rio richiede meno interviste della chiusura delle domande, il testsul complesso del questionario o su scale di preferenza, invece,necessitano del. massimo.Anche la scelta del tipc> di rilevatorl da utilizzare per. il pretestdipende dagli obiettlvi.·È. opportuno che un unico, controllodel questionario veng.a condotto con il medesimo personale impiegatonella rilevazione madre, per simulare al meglio le condizionieffettive di rilevazione; è preferibile invece che controlli piùapprofonditi di singoli aspetti siano condotti mediante rilevatoriparticolarmente selezionati o dagli stessi responsabili della redazionedel questionario.L'istruzione del rilevatori dovrà essere particolarmente accurata,poiché viene loro richiesto un lavoro aggiuntivo ed una maggioreattenzione rispetto ad un «normale- rilevatore. Essi, infatti,devono prendere in considerazione e riferire su tuttt quegliaspetti ed impressioni soggettive, che emergono nel corso dell'int~rvista,relatiVe: "- alla completeZza e alla correttezza del questionario rispettoagli obiettivi;- alle difficoltà riscontrate dagli intervistati ed. ~lloroatteggiamentodi fronte all'indagine;aUa semplicit~di gestione da parte dell'intervistatore dellostrumento «question~rio-.Per la raccolta di tali informazioni, che avviene durante o dopol'intervista, possono essere utilizzate tecniche diverse. Nel corsodell'intervista mediante (I) la registrazione della stessa sunastromagnetico, (II) la presenza di un supervisore che compila unquestionario aggiuntivo od un brogliaccio informalesull'andamentodell'Intervista e sulle reazioni del rispondente (III) quesitiriservati all'intervistatore ed Inseriti nello stesso modello di rilevazione;dopo l'intervista, ma a stretto ridosso della stessa, nelcorso di riunioni in cui si chiede agli intervistatori ed ài supervisoridi compilare un questionario o produrre e discutere una relazionesulle Intervistè effettuate.L'analisi· del risultati del pre-test viene condotta mediantel'esame a vista dei questionari, da parte. di esperti· è l'elaborazionedi indicatori di mancata risposta parziale e di incongruenza~gica .Generalmente, tale analisi, indica l'insorgere del problemi, manon fornisce. soluzioni atte a rimuoverli; per quest'ultimo obiettivoè necessario, sulla base dei risultati del pre"test, formularealternative diverse e sottoporle averi~ica !:lui campo, medianteul1 test di alternative.iIIl test consiste nel sottoporre a verifica, su campioni bilan- Il .... di ..-.....ciati, più redazioni, generalmente due, del questionario che differisconoper Un aspetto (ad esempio, la sequenza delle domande,la formulazione di quesiti, i periOdi di riferimento temporali).Le differenti versioni vengono somministrate, con le medesimemodalità, a campioni indipendenti, I quali, però, sono simili, traloro, per la dimensione e, alla popOlazione, perla struttura di alcunecaratteristiche rilevanti per l'indagine (ad esempio la strutturaper sesso e classi di età). Ciò equivale a condurre un esperimento,mantenendo fissi I fattori che influenzano la variabiledi risposta.L'analisi dei risultati verrà condotta mediante la comparazionedel risultati nei subcampionl, sintetizzati con gli indicatori piùopportuni in relazione all'aspetto sotto controllo (ad esempio, lapercentuale di mancate risposte parziali e gli indici di distribuzionedelle risposte per valutare l'efficienza del questionario o di differenticlassificazioni). La dimensione del campione vienestabllitain relazione allivelli di affidabilità desiderati per l'esperimento.5_ ['Indagine pilotaL'indagine pilota si differenziadalpre-test del questionarioIn quanto persegue un obiettivo più ampio di quest'ultimo, ovverola verifica di tutti gli aspetti dellarilevazione.Essa è condotta mediante un campione probabilistlco e costituisceuna versione ridotta dell'Indagine principale; tutte le proceduredevono essere sottoposte a controlli particolarmente accurati,allo scopo di identificare gli eventuali errori.SI può quindi affermare che l'indagine pilota è meno estesa,ma più approfondita rispetto all'Indagine madre; per suo mezzosi raccolgono non solo le caratteristiche oggetto di studio (allOscopo di stimare la variabilità del fenomeni e qundl determinare,in mancanza di altre fonti, la numerosità campionaria) ma anche,e soprattutto, le informazioni concernenti l'organizzazionedell'indagine. A tale scopo è conveniente associare alla pilotaun corpo selezionato di supervisorl e prevedere modelli ad hoce relazioni per il controllo delle procedure ai vari livelli· e fasi.Gli obiettivi dell'indagine pilota possono essere riassunti in:• verifica definitiva del questionario, delle classificazioni e delledefinizioni;• verifica delle definizioni delle unità di rilevazione e dello statodelle liste;• verifica delle modalità deU'intervlsta;

62 IL SISTEMII DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 2 • LA ~OGE1TAZlONE DELL'INDAGINE63• verifica della rete di rllevazlone e del collegamenti tra centroed organi periferici; '.' , '. . .·.·verlflca dei documenti accessori di rllev81lone;.' verlflcEl delle. modaUtà di selezione dei rilevatorl e dei supervlsori.e del relativi manuali enorme di istruzione;.• vedflça,del, cEllendarlo dlrllevazlone;,• verifica dei plElnl dl.codlflca, reglstrazlone~revislone ed elaborazionedati; ,• verlflca·del sistema di Identificazione deUe un"à e della completezza,.rispetto agII obiettivi fissati, delle fonti per Il sistemaInformativo statistico; '. .. .• stima della varlabllltàdeUenomenl oggetto dlstudlo.per determinarela nur:nerosità campionaria. ...8. I m.od.m ausiliari'i·In tale categoria sono Inclusi tutti i modelli compilati dagliorgani periferici come ausilio alle operazioni di rilevazlone sulcampo: le assegnazioni del rllevatorl, gli elenchi deirllevatorl,I questionari sul rilevatore, gli elenchi dene unità campione, glielenchi delle unità non rispondenti, ecc.Tali documentlhannon.compit~ di agevolare Il compito degliorgani- periferici, ma costituiscono anche una fonte di informazioneper Il.calcolo di indlcator' di qualità;'Essi, quindi, vanno Inseriti tra·lefC)Jltì informative del SistemadlControlloLnet Predlsporll si dovrà tenere conto della loroutilizzazione Il fin! statistlcl~>, . '>.Tra I suddetti modelli, assumono particolare Importanza, perle InformazJonl contenute, gli elenchi delle unità non rispondenti.In esSi deve essere prevista la causa della mancata cbllaborazionee le prlnclpaU caratteristiche dell'unità, se disponibili dafonte diversa daWlnter,vlflta(ad esempio nel caso delle famiglie,Il numero, n sesso e l'età del compOnenti risultanti nella schedaanagra,lca) •. · ;' '"'. > .'Le mot~vazlonl della mancata Intervista, riportate nel succi-. tato. dOCumento dl rUevazlone,.devonoessere esplicitate In funzlonedegllIndicatori che si Intende. calcolare: per analizzare Ilfenomeno (vedtCapltolo-3) e della posslblJltà di raccogliere sulcampo le informazioni necessarie. Inoltre, per assicurare l'ornogeneitàdeidati rlievatl,I'lndlvl.duazlonedelie possibili fonti e lemodalità della richiesta delle Informazioni devono essere espressamentee chiaramente riportate nelle Istruzioni del rilevatore.Tranne che per i rifiuti, le Informazioni necessarie per Individuarela motivazione delta mancata intervista devono essere rl-chieste ad altri, ad esempio I vicini di casa, la persona trovataall'indirizzo, il portiere dello stabile eCc_ ~ tuttavia improbabile,soprattutto nelle grandi città, che l'lntervlstatore riesca a classificareIn maniera analitica le unità non Intervistate; è quindiopportuno limitare la classificazione standard a poche, ma accertabili,modalità:A) unità presenti all'Indirizzo riportato sull'assegnazione del rllevatore.At) che rifiutano l'Intervista (rifiuti);A2) con le quali non è stato possibile stabilire alcun contatto(riòn a casa);B) unità Irreperibili all'indirizzo.Per uno studio piil analitico del fenomeno, eventualmente daprogrammare per cicli di rilevazlonl con un partiCOlare addestramentodegllintervistatori e dei supervlsorl, si suggerisce di suddividerela modalità .irreperiblle» all'Indirizzo nelle seguenti:B) unità non presenti all'indirizzoB1) per decessoB2) per trasferimento nello stesso comuneB3) . per trasferimento fuori del comune (eventualmente distinguendotra estero. ed altro comune Italiano)B4) per altre cause, voce reslduafe In cui confluiscono le unitàche non è stato possibile classificare altrimenti (adeempio indirizzo errato, persona sconosciuta all'Indirizzo,ecc.).Nella classificazione sopra riportata, la distinzione tra trasferimentidentro e·fuorl dello stesSo comune, ha lo_~copo di accertarel'appartenenza dell'unità alla popolazione oggetto di rllevazlone,poiché, nel caso delle indagini Istat sulla popolazione,Il comune rappresenta Il livello territoriale di selezione dellefamiglie residenti. Tuttavia, nel caso che il disegno di campionamentopreveda, come penultimo stadio, una diversa unità, itrasferimenti dovrebbero essere riferiti a quest'ultima.Nell'eventualftà che vengano previste sostituzioni delle unitànon rispondentI-, deve essere riportato nel modello un codiceidentificativo, che permetta di Istituire un legame tra unità sostitutivae sostituita; Inoltre, nel questionario, le famiglie sostitutivedevono essere Identificate mediante un codice, per rendernepossibile l'indlvlduazlone In sede di elaborazione del dati.~ opportuno riportare su supporto informatico, I documentiaggiuntivi, per facilitare I controlli nella fase di revisione quantitatJvae per il calcolò degli Indicatori dr qu.alltà: . . .

64 IL SISTEMA DI CONTROLLO DELLA'QUAUTÀ DEI DATICAP. 2 - LAPROGmAllO~E DELL'INDAGINE" 65APPENDICE1. Esempi di dlagrammazlone del qU8.tlonarlo.IlIu_ito 9.quesito 10.1quesi to 10.2-lalq .... ito 131 lca.oesito 11.1~-tq .... ito 13.2 ICLftito 11.2-,quesito 133 ICL_Ho 11.3ITIIIlUBSito 1:3 4 lauesito 11.4q .... ito 11.~Iquasi to 11 (,~ito 12(bIQUesito 14.2QUesito 14.3Jquesito UFfiCiOI' colloc .._ntoquesito 14 1.... t.." 41"'··"\· " ..qUiqu .... ,,·o ss.'.41 101 •• "\0 ss .•qu_ .... o H •• q ..... ""o 'I .• q"' •• \\.o .t. .•41\1_ .... • .......... • ,.11qu ....... H.II qu ••\.\. q"' •• i.\o "i- .,qu_;,\o l •••qu ••,,\.o '1.7411,1· ... 1.· Si."Cl":·""\.O sa.QUesuto 14.4QUeSito 14 :5QU_lto 14. (,QUeSito 14.7quesi to 14.8-,... I.t,o\.~ c-ol.l. ",'.Ii.ci.,~, ,~ol.~.••• i.on. S4••• i.on. sII ••• i.on • SS",••• i.on. s.,- .,'. ••• ·••• "0". i4.. 0".; , .(clqJlKHo 1:; 1Iquesito 15 2(dl. 1quesito' 15.3auesito 16fineFigura 2.4 - Diagramma della sequenza del quesiti per il questionario Individuai. dell'Indagineforze di lavoro . .t ,.~.'.:.,.',1''1Figura 2.5 - Dlaaramma della ieqllèi1Za del queSltlnec-.rta per !ndlvld",are la. çondlzlone di -occupato»nell'Indagine fOrze di lavoro '. , " . .' •.

66 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 2· LA PROGETTAZIONE DELL'INDAGINE67A titolo di esempio si riporta, nella figura 2.4, la diagrammazionedel flusso dei quesiti del questionario individuale utilizzatonell'indagine sulle forze di lavoro 1988.La rappresentanzione, nella suddetta forma, delle relazioniInterne del modello, permette di individuare alcune incongruenzenella stesura del questionario:(a) non esiste un rimando diretto dal quesito 10.2 al quesito 13;Il salto è specificato solo in quest'ultima domanda;(b) nei quesiti 13.1 e 13.2 si rimanda al quesito 14, cosicché nonè chiaro se la domanda relativa all'ufficio di collocamentodebba o meno rimanere escluso dalla sequenza;(c) non esiste un rimando diretto dal quesito 14.7 alla domanda15; Il salto è possibile solo dopo la lettura delle avvertenzeal quesito 14.8; ,(d) esiste un'apparente contraddizione tra l'avvertenza al questito15.1 (se "SI .. rispondere sia al 15.2 che al 15.3) ed il rimandoalla domanda 16 dopo la 15.2; tale contraddizione viene rimossasolo dall'avvertenza al quesito 15.3Nella figura 2.5, invece, la diagrammazione riguarda Il flussodei quesiti che caratterizza la condizione di OCCUPATO; schemisimili possono essere ottenuti per le altre condizioni indicatedalle «uscite» B e C.2. Il sistema dei codici identificativiIl sistema dei codici identificativi, associato ad una rilevazionestatistica, ha lo scopo di permettere la ricostruzione del contenutoinformativo dell'indagine stessa; nell'ambito del Sistemadi Controllo, è alla base dei controlli quantitat/Vi nella fase di revisione(cfr. Capitolo 5).Il controllo quantltativodel materiale raccolto riguarda nonsolo la consistenza quantltativa in senso stretto (ad es., il fattoche in ciascun comune sia stato intervistato un numero di famiglieuguale a quello previsto) ma anche la ricostruibilità dei legamitra informazioni di natura diversa (ad es., in un'indagine sullefamiglie e sui loro componenti, che le notizie relative ad ogni componentesiano associabili alle notizie relative alla famiglia di appartenenza).La mancata esecuzione di questo secondo tipo dicontrollo, infatti, renderebbe difficoltosi i successivi controlli logici(ad es., che ogni famiglia abbia un capofamiglia).La controllabilità di entrambi questi aspetti dipende dal modoin cui è definito il sistema del codici associato al file conte-nente, i dati provenienti dall'indagine, una volta posti su supportoinformatico.Nel seguito ci soffermeremo su come vengono definiti tali cadici,a partire dalla considerazione dei codici che compaiono sulmateriale cartaceo (in pratica, sulmodellodi rilevazione), descrivendoprima l'insieme dei codici che pOssono teoricamente esseredefiniti, e quindi illustrando come la rappresentazionefisicaadottata per i dati su supporto informatico determini "insiemedei codici praticamente presenti nel materiale registrato.Come è noto" in un'indagine statistica a ciascuna unità di rilevazlonedi un dato tipo (ad es., a ciascuna famiglia, o aciascunaimprEilsa) corrisponde un modellodi.rllevazione (ad ,es;, il fogliodi famiglia). In ogni modello compaiono uno o più codici iden.tificativi, COITI posti generalmente di sottocodlci: ad esempio, inun modello potrà comparire un codice cosi composto: codice Istatcomune +numefO d~ordine del questionario, ed eventualmenteun secondo codice: codice Istat comune + codice area di circolazione+ codice rilevatore + numero,d'ordine del questionario.Scopo di questi codici è:identificare IIsiog,olo modello, permettendO di conteggiarele unità rilevate (ad esempio le famiglie);permettere l'associazione tra unità rilevate e loro raggruppamentisignificativi, definiti nella fase di progettazione dell'indagine:strati o grappoli diunità definiti nel piano teorico dicampionamento (è, Il caso di associazioni comefamiglia-comune,comune-strato di, comuni), raggruppamenti territoriali(ad es., famiglia-sezione di cenSimento), raggruppamenti d'interesseper le successive analisi statistiche sul dati;- associare al modello il rilevatore e altri organi della rllevazione.Come già osservato, nei dati registrati sono presenti altri codici,oltre ai codici' associati a ciascun modello di rilevazione,ai quali è affidata la ricostrulbilità dell'informazione complessivamenteportata dal modello.Il modello di rllevazione, Infatti; contiene informazioni su unao piÙ unità di analisi (ad es., componenti della famiglia), ed eventualmentesu uno o più fenomeni osservati (ad esempio le vacanze,o j ricoveri ospedalieri) che, dopo la fase di registrazione,si trovano organizzate in uno o più file. Generalmente nei pianidi elaborazione dei dati vengono definiti diversi tipi di file, ciascunoriportante informazioni di tipo diverso. Ad esempio, un'indaginesui consumi delle famiglie potrà dare luogo dal punto divista informatico a tre file: dati sulle famiglie,sulle persone, sullespese mensili delle famiglie. In tal caso, le informazioni contenutein ciascun modello si troveranno suddivise su più record:

68IL SISTEMA DI CONTROLLO DELLA QUAUTA DEI DAnCAP. 2 • LA PROGETTAZIONEDELL·INDAGINEGH .nelemi clInfarmulonlCOIIIpCHItInUun· .............. Ucanell'esemplO;clascunmodeUo relativo al consumi di'una famigliacorrisponderà a tre Insiemi di record del tre tipi suddetti: unrecord COn t dati aulla famiglia, 'alcuni record con I dati su ciascunapersona, altri ècm I, daU'su ciascun capltofé!tdl spesa.La rlcostruzlonedell"lnformazione contenutanell'lntéro mc>dello'èiposslbllesoIo'assaciaildo'traforoIdlversl'record medianteI codici presenti sudi essl~cl6 rende determlmmte fesatta definizione,e Il 'controllo dHalt CodicI; i', i"• , i _o,; , ,; :~. ;; ,- "'"I ~ 1.", ." . "1; ". c":I distinti tipi di file che possono essere definiti per ciascunaindagine. corrispondono a ben, IdentlftèablU sottolns1eml' delle Informazioniraccolte nelmodelto, e'precisamente agO Insiemi di 'Informazioni relatM a distlnteunltà'd'anallsle fenomenI; I codici,che dovranno essere defintl dlpenderannoperCtò danegamilogici' sussistenti tra tan sottolnslerm dJ: Informazioni."', Quantodettoevldenzié come, per poter deflnlre Uslstema delcodici, devono esserelmllvlduatle deseritti.tuttl gli Instemldlinformazioni cOReettualment .. distinti che compongonol'lndaglne,e' legami logici tra di essi. ,', ,!n pratica si tratta di individuare, per ciascuna Indagine:a)' le aggregazioni d'interesse delle unUàrilevate, che determinanola composizione del/del codici' di, modello;;;"b) I sottolnsleml distinti di Informazioni logicamente Individua·bili nel modellO, che potranootrovarsl distinti ,fisicamente, dalpunto di vista informatico, In'dlverslflle"a clascuoo del qualicorrisponderà un codice- dipendente datcodice dI 'modello;c) i legami tra tutti questUlpl di unità, che potranno trovarsi rappresentatifisicamente da codici di corrispondenza presentisul diversi record. ' , ," ." .;".Questa attività deve essere svolta dal responsabile dell'Indaginenella fase di progettazione della stessa, e sarà facilitata dall'usodi metodologle dt progettazione concettuale già in tale fase.Nella progettaztone di un~indaglne statistica, vengono definiti:'.', :",.:1 ,. :/ "';" .', "l- il collettivo 01 collettivi che si Intende bsservare(ades., persone,famiglie, imprese). Questi 'definiscOno la/le unltàd'anallslprlnclpalt dell'Indagine. PUÒ avere Interesse; per chi progettal'Indagine, condurre analisi, statlsttehe-sui raggruppàmentidi taHunltà d'analisi: che possiamo considerare unitàd'analisi di tipo aggregato (ad es., famiglie come aggregazionidel'loro componenti). Inoltre; possono.essere definiti uoo opiù fenomeni d'lnteresse,SpéCificodell'lndaglne (ad es'j sporte vacanze degli itaHanl, lavoro);," ';',0- Il piano teorico di rllevazlone, nel quale vengono definiti, aifini della "Ievazione, diversi livelli di raggruppamento di unitàd'analisi: allivello più basso, la/le unità di rltevazlone(ades., famiglie e convivenze po~sonocostltulre unità di rllevazlonerispetto all'unità d'analisi persone), al livelli superioritutti i raggruppamerttl richiesti dar disegno campionario oppuredi tipo territoriale: strati o grappoli di' unità di rllevazione.aree di rllevazlone,sezionl di cenSimento;: ' , ;,- l'organiZzazlonè sut campo, nella quafe .,.ng~ defl!,!ltl gliorgani della i'llevazlonsì al qu.lt è demandata Ileff,ttu~lonepratlcà delleopéraZionl di raccolt,1l ~el dàtl: rltev.tOrl" Cpmuni,UPS, ecc,~,'Qulndl,lnuna generica Indagine si POSSOno Indlviduar8,quattrotipl(lllns/el7J! cltog9fJtti ellumèrBl?l/I: " . ,'," ,1) unlt_, (l'analisi, quelle principali e quelle ottenlbiJI come rlsul­, ta.to di aggreg$Zlòni;2) fenQmenl, o eventi, o$Servatl'3) unità dj'rUevplonf)r; e loro raggruppamffmtl, terrltt;lrlall,e no,che abbiano $Igrllflc~o sJatlstlcq con rJferlmlmt9 al piani teoricidi rlle~aziòne:,stfat/, ~ di r,/ev~/one, stRlon/dl cfins/-mento ',' , ." " "",,' , .,.'4) organi della rll{Jvazlone, che cOI11Pongono l'Qrganl~one sulcampo.Nell'ind~gine:'potranno e~re d~flnlte una o più unità d'analisi,uno opiù,fenomenl oss8rva,tl, una oplù \,Inltà di rllevazlone,uno O pii) organi dallarilevazlone.Martire si, rlrMJlda per un. plù,completa trattazione delle unitàdi rilevaztOne e unità di analisi al cap. 2del Manuale'dl tecniched'Indagine, Fasclcololò è opportuno preclsare,ln questo cont.sto, alcuni concetti:,l •-'con il termine unità di analisi si definiscel'insleme,dl elementiche compone,1I collettivo che Interessa osservare al flnldall'indagine:individui, Imprese, ecc., In pratica Il collettl'lo alquale sooo riferite le notlzie:raçcoltecon"lndaglne}: "',- chiamiamo anzttutto unltàdlrllevazJonel'insjemè'dl' elèmentlsul'quala vengono raccoltJI dati: a ciascun elementO' diqu.stò insieme corrisponderà un modello di rllevazlone (nèllelndaginlsu popolazione e famiglie si tratterà In genere dell'Insiemedelle famiglie; ma potrà In alcuni casi trattarsI' dell'Insiemedegli individui). Nelle rllevazloni a pii':! stadi vengonopoi definiti Insiemi di unità che costituiscono grappoli delle

70 IL SISTEMA DI CONTROllO DELLA QUALITÀ DEI DATICAP. 2 • LA PROGETTAZIONE DELL'INDAGINE71corrispondenti al modello: chiameremo anche questi Insiemiunità di rilevazione. Ad esempio, in un'Indagine campionariaa due stadi. con unità di primo stadio I comuni e di secondostadio le famlgUe,le famiglie costituiscono l'unità dirllevazlone di plI7.J basso livello,corrispondef'!te al modello, esono c()n~lderate; raggruppate In comuni:, In questo caso chiameremounità di rilevazlone tanto le,famlgJle che I comuni.Infine, considereremo, in questo terzo gruppo di Insiemi di og·getti enumerabili anche Mti i raggrupparoElf,lti dellecdlverseunità di rllevazlone che in unadataln,daglneèpossii;)ife definire,e cJoè: strati e, a livello terrìtorlalè,aree di çlrcolazioneo sezioni di censimento. " ,,",'Un Insieme di elementi può essere conteiriporaneamenteunit~ di rllevaz/one e di ~nalis/: se,In un'Indagine su popolaZioneefarnlglle, la flilmlgUa il unità di rllevazione eal tempostesso su di essa vengono rlchlesfènotlzie, 8SSa costi·tulrà anche un'unità di analisi.hl generaìe uno stesso Insle'ine 'diotJgeU/puòc'6mparireIn un'Indagine con diverse funzioni:, Il'cornQlle; ol'llrea di rllevazlone,può comparire tanto tome un raggruppamento di'unità dììtnailsl'(ad es;; di filmfgllè)rllèvàntepér "analisI' sta­'tlsfldai' ~uaht'o come un organo de,hr'rll'evlÌZlolÌé.I'n, questo'caso, il rarativo' còtfìc8''J)uo ct5mpa'rite come cdrnpdnentè didiversi codici di modello. Per quanto detto, a ciascuna unitàdi rllevliZlone'e di analisi; e a clasèun organò dellarflliivazione,corrisponde un Insieme enumerabile di elementi (àdes.,l'insieme del comuni, l'Insieme delle Imprese, o del compo·nentl'lefarnlglre, l'Insieme i:let rllevatotl),> ' ",Pér cleS cM riguardai fenbmenlosservatl; sI fa notare chein alcuni casi il fenomeno osservato in una da'là' indagine èdefinito unleamentécome una caratterlstlcattelle unità di analisi,mentre In altri casi dà luogo ad urteventoche, sia pureosservato sulle unità d'analisi, può ss,eredescrino Et soprattuttoenumerato indipendentemente: un esempio del primocaso è Il lavoro (non può definirsi un evento -lavoro- conteg-, giablle.lndlpendentementedalle.persone}.'esempl'del;secondocaso sono le· vacanze, I rtcover~ ospedalletl, ecc:. Petclò nonIn tutte le Indagini esisteranno classi enumerablU del secondotipo sopra elencato, corrispondenti cioè a fenomeni (eventI).Per ciò che riguarda I/egaml./oglcl che possono esisteretra le,classldi oggetti del dlversttlpl, conviene rappresentar­Il con lo schematismo graficoJ:dottato nella ~eguente Figura2.6. In essa ciascuna classe di oggetti enurnerabillit rappresentatacon un nodo, e I legami di corrlspondeliza,tra lediverse classi di ogget~i con archi che collegano I corrispondentinodi.L'unità di rilevlllZione di plI7.J basso livello, alla quale corrispondeil modello, è indicata con un nodo pieno. Per semplicitànon sono stati Indicati I raggruppamenti di unità dirilevazione e gli organi della rilevazione. Un singolo arco Indicauna relazione 1"n tra Il nodo di sinistra e quellO di destra,un doppio arco una,relazlone m-n. Come si osservanella Figura 2.6, nelle indagini statistiche sono generalmentedefinite catene di relazioni 1-n tra le unità di rilevazione,da queste alle diverse unità d'analisi e da queste agli eventI.Relazioni m-n possono sussistere tra le diverse unità d'analisie tra unità d'analisi ed eventi osservati su una unitàd'analisi diversa.•Questo tipo di rappresentazione è particolarmente utileper visualizzare il meccanismo di costruzione del codici identificativi.I leg"mi logici tra le classi di 09Q~~~l&.numerabili che com·pongono "indagine, determinano il mod() l,h cui è costruito Il codiceidentificativo attribuito agli elemerindi ogni classe di oggetti:la costruzione dei codici Identificativi è basata su un meccanismodi propagazione dei codici che tiene conto di questi legamilogici.In generale, 11 meccanismo di propagazione del codici in un'Indaginestatistica è il seguente: i codici si propagano lungo le catenedirelazionl1-n, rappresentate nella Figura 2.6, e perciò dalraggruppamento di piI7.J alto liveno, a quello di livello piI7.J basso,fino all'unità ,di rilevazlone di plI7.J basso livello, corrispondenteal modello, quindi da questa alle unità d'analisi e da queste aglieventi.Ciò vuoi dire, ad esempio, che ilcodlce identificativo dell'unitàd'analisi sarà composto dal codici identificativi delle diverseunità di rllevazlone(ad esempio, ii'fuWfnd'aglne a due stadisulla popolazione, con unità di rilevàZlone:comuni e famiglie, 'il codice identificativo del singolo indlvlduò dovrà comprendereil codice di comune eli codice della famiglia). Ad ogni pas~saggio lungo I legami ràppresentatl viene aggiunta una componentedel codice di livello pii! basso, che serve a distingueregli oggetti della data classe di oggetti (si tratterà In pratica diun numero d'ordine).A~ esempio si avrà, nella situazione descritta:Codice comune: preso da liste esterne;L ....... logIcIlnIc .... 1 di oggetti •cadici IdenUIlcaUvI

72 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 2 • LA PROGETTI\ZIONE DELL'INDAGINi73Codice famiglia: codice comune + numero d'ordine famiglia (numerodi questionario);Codice individuo: codice famiglia + numero d'ordine individuo·Codice fenomeno: codice famiglia + numero d'ordine fenomeno;oppurecodice individuo + numero d'ordine fenomenosecondo l'unità d'analisi sulla quale è osservato l'evento, famigliaoppure individuo (ad esempio, il fenomeno .spese- sarà osservatosulle famiglie, il fenomeno .ricoverl ospedalleri- sugli individui).Va osservato che tale propagazione è possibile proprio perchéle relazioni .comune-famiglia, famiglia-individuo, etc. sono 1-ntra il membro di sinistra e quello di destra.A ciascuna classe di oggetti potrà essere attribuito più di uncodice, sempre costruito nello stesso modo: ad esempio, la famigliapotrà avere un secondo codice, utile per controllare l'organizzazionesul campo, composto da codice comune + codicerilevatore + numero d'ordine della famiglia.B) d lallra ....... spec:i f'i ca par l'i ndaginli! mul t i scopa.'l....---li.nchv\.dul.'----~ ..... -f .pOI" "Figura 2.6 • Diagramma del meccanismo di propagazione dei codici identificativi inuna Indagine statisticaA ciascuna classe di oggetti enumerabile di uno dei tipi descritticorrisponderà un insieme di dati logicamente distinto, conun proprio codice identificativo costruito come descritto.Dal punto di vista informatico ciaScuno d/questi insiemi didati logicamente distinti potr~ dare luogo o meno ad un file separato.Nel caso positivo avremo un file, e perciò un tipo-recorddifferente, per ogni insieme di un dato tipo: ad es., in un'indaginea due stadi sulle vacanzfit /attettuate dal componenti le famiglie,saranno definiti a livello fisico un file per ICQmunl, uno perle famigliE!, uno per I componenti, uno per le vacanze, .10 casocontrario, in uno stesso tipo-record potrannO trovarslrappresentatiinsiemi di oggettil9gicilmentedistinti: nell'es~mpiò prl:lsentatosopra, uno stesso tlpo-record potrà cQntenerE! le no!izle sullefamiglie e i I.oro co",ponE!nti. o sui compollentUe famiglie e leloro vacanze. .DI conseguenza,gl( insiemi di caglcl effettivamente presentinel materiale regi~trato. sui quali verranno svolti tutti i cQntrolllquantitatlvi, dipendono tanto dalleg,a,lT# laglc/trale diverse classidi dati di ciascuno dei tipi suddetti presenti nella dat.a indagine,quanto dal tipo di rappresentazione fisica adottata per esse alivello informatico" . .. I legami logici che possono esistere tra le classi d'oggettidi vario tipo sono quelli rappresentati schematicamente nelle figureIn allegato e che, come già osservato, determinano il meccanismodi formazione dei codici.Circa la. rappr~ntaz(one fisica adottata per le diverseclassidi oggetti, consideriamo per fissare le idE!e i due casi estremi:ad ogni classe di oggetti corrisponde un tipo-record fisico;tutte le classi di oggetti sono contenute in campi multipli diuno stesso record fisico.

74 IL SISTEMA DI CONTROLLO DELLA QUALITA DEI· DATICAP. 2· LA PROGETTAZIONE DELL'INDAGINE75Nel primo caso, per ogni tipo-record corrispondente ad unadata classe di oggetti, sarà definito un Identificativo compostocome descritto, a livello loglcoj nel paragrafo precedente.Occorre osservare, però, che nelle applicazioni statistiche nonha Interesse, In genere, poter selezionare il singolo record di ciascuntlpo-record. L'unica funzione. degli Identificativi è quindiquella di consentire Il puntamento tra i singoli record di tipi recorddiversi, lungo le catene descritte a livello logico nel paragrafoprecedente: In pratica, poter associare a ciascun recordcorrispondente ad una unità dI· rllevazione J relativi record corrispondentIa unità d'analisi e a questi I record corrispondenti aeventi osservati. Il controllo di questi puntamentl sarà realizzatoattraverso il controllo della corrispondenza tra le diverse componentidei codici nei diversi tipi-record (ad es., codice comunee codice modello dovranl1Q essere gli, stessi sul tipo record «famiglia»e sul tipo record «Individuo»).Va notato che una conseguenza dell'osservazione precedente,sull'lrrilevanza nelle applicazioni statistiche della possibilità diselezione di un singolo record, è che Il tipo-record corrispondentealla classe, di oggettI situata alla fine della catena (tipi~ameot",un evento) può anch~ non avere un Identificativo di più basso'livello (unn!Jmero d'ordine). Lo avràhei caslln:cui è necessariorappresentare Un puntamento tra tipi record indipendente dallacatena di propagazione dei codiCI e cioè una relazione, del tiporappr~$entato nelle figure dal doppio arco, tra ùn nodo unità d'analisie' un nodo fel)omèno: questo caso rlj;lntra nel controllo deipuntamentl Uaclassi di oggetti (vedloitre), , .SI osserva ancora che anche il numero di record, di un certotipo record, effettivamente assOciati ad un altro tipo record dovrebbeesserecont~ollato(nel corso del controllo sui cOdici o,nel caso In cui nOn esistono I numeri d'ordine, mediante conteggiod~i record flslcQ, In tutti I casi nei quali esistono campi cheriportano questa Informàzlone, per esempio a scopo di controt"lo (ad es. esiste nel tipo-record «famiglia» un campo «numero delcomponenti»). '. .Infine, owiamente, tutti i tipi record dovranno avere un identlficatlvo'dlpiO basso livello, da controllarà, in quei casi; eccezionalirispetto alla norma, nel quali Interessa comunque trattarllIndividualmente. ", . .Per quel che riguarda il secondo caso (classi'di oggetti contenutein campi multipli di uno stesso record fisico), una suaesemplificazione concreta si ha quando esiste un unico tipo-recordassociato all'unità di rilevazlone finale, o all'unità d'analisi,all'Interno del quale la classe di oggetti corrispondente all'unitàd'analisi, o, rispettivamente, all'evento osservato è rappre-sentata fisicamente come un campo multiplo. In questo caso èevidente che l'associazione tra classi di oggetti é realizzata a livellofisico, e non è necessario definire Identificatori di piO bassolivello (numeri d'ordine) e controllare puntamenti. Valgono comunqueanche in questo caso le tre osservazioni, fatte In precedenza,circa i casi In cui può darsi la necessità di definire un codiceidentificativo di piO basso livello o comunque di controllareil numero di campi (controllo di puntamenti tra tipi record indipendentidalla catena di propagazione del codici, esistenza dicampi che riportano Informazioni sulla numerosltà di altri campi,interesse per Il trattamento del dato Individuale).Le situazioni reali circa la rappresentazione fisica delle classidi oggetti costituiranno combinazioni delle due situazioni estremesopra descritte, e risulteranno determinati di conseguenzaI tipi di controlli quantltativi da effettuarsI.Come anticipato, può essere necessario in un'Indagine renderepossibili, attraverso la definizione di appropriati codici dicorrispondenza, puntamenti tra classi di oggetti.Può awenire cioè che, Indipendentemente dalla catena di propagazionedei codici sopra descritta, possano esistere altri .Iegamilogici tra classi di oggetti, rappresentati nelle figure condoppi archi perché di tipo m-n: è il caso del legame tra individuie vacanze, «componenti la famiglia che hanno partecipato ad unavacanza». Questi saranno sempre rappresentati a III/elio fisicoda puntamenti, cioè da corrispondenze tra codici associati a tiplrecordo a campi di uno stesso record, qualsiasi sia la rappresentazionefisica adottata per le classi di oggetti collegate. Talipuntamenti tra classi di oggetti dovranno naturalmente esseresempre controllati.

CAP. 2· LA PROGETTAZIONE DELL'INDAGINEnRIFERIMENTI BIBLIOGRAFICIM.W. (1985), Speclal Issue on questlonnalre design, Joumal of Offl·clal Statlstlcs, n. 2, Statlstlcs Sweden.BARCAROU G., FoRTuNATO E., MAGALOTTl A., MANICARDI G., VACCAPI C. (1987),. Manuale per la progettazione concettuale di dati statltlstlcl, Istat.8ARcAROU G., O'ANGIOUNl G. (1988), La progettazione concettuale del si·stemllnformatlvl statistici, Istat, documento Interno.MASSEW M., DE MARCHIS M.A., SIGNORE M., DI PIETRO E. (1988), Obiettivie metodi di controllo dell'Indagine pilota -Indagine sulla storia lavorativa,documento Interno Istat.NARGUNDKAR M.S., PLATEK R. (1989), Qualltatlve methods In questlonna/­re design, I.S.I. Proceedlngs of 47th sesslon, Parls.WORLD FERTIUTY SURVEY (1980), Basic Documentatlon: n. 4.'.:~

CAPITOLO 3 • LA RILEVAZIONE SUL CAMPO1. La fase di rilevazlone sul campoLa fase di rilevazlone sul campo include la raccolta delle in·formazioni presso il rispondente e tutte le operazioni a questaaccessorie, realizzate dall'organizzazione periferica: la manuten·zione e l'approntamento delle liste o di altri moduli organizzatividella rilevazione (ad esempio la suddivisione del territorio In aree),la selezione delle unità, la predisposizione delle assegnazioni deirilevatori e dei documenti ausiliari di rilevazlone, la scelta e ·l'i·struzione dei rilevatori, la pubblicizzazione locale dell'indagine,l'attività di supervislone, la codifica dei quesiti aperti.La caratteristica prinCipale di questa fase, è che essa, al contrariodelle altre, è solo parzialmente sotto Il diretto controllo dell'Istitutoe che non è possibile modificare significativamente, durantelo svolgimento delle operazioni, le procedure prestabilite.Ciò comporta che la quallM dei risultati delle operaZioni sul campo,è strettamente dipendente dalle scelte operate nella fase diprog~ttazione e riguardanti il questionario, le norme, i manualidi istruzione, il càlendario e l'organizzazione; in questa fase, quindi,si rifle~tono le insufficienze derivanti da quella di programmazione.In aggiunta agli erroriimportati dalla fase precedente, quelladi rilevazione ne genera di propri. Essi rappresentano la granparte dell'errore totale e sono imputabili al comportamento del"le unità coinvolte: gli organi di rilevazione e di supervlsione, I rilevatoried I rispondenti.Una parte dei suddetti errori, che possono essere consideratidi misura in senso lato, può essere identificata e corretta nellafase di revisione; una seconda parte, invece, non è individuabilemediante le. usuali analisi del materiale raccolto, ma soloper mezzo di opportune tecniche di stima e non è, .generalmente,suscettibile di correzione.2. Gli errori di rilevazlone ed I loro effettiGli errori che possono verificarsi nella fase di rilevazione sulcampo, sono quelli derivanti dalla tenuta degli archivi e delle liste,dalle operazioni di selezione delle unità campionarie, dallacompilazione dei documenti di rilevazione e dall'assegnazionedi codici di identificazione dalle unità, dalle unità non rispondentie dalla misurazione non corretta dei fenomeni oggetto di studio,

80 IL SISTEMA Di CONTROLLO DELLA-QUAUTÀ DEI DATICAP. 3 - LA RILEVAZIONE SUL CAMPO81Gli enarI di uIuIone• di .....dall'eventuale codifica dei quesiti non precodlficatl. Gli errori dilista, di selezione e di Identificazione delle unità, sono imputabilialle strutture organizzatlveperlferlche, responsabili degli archivie delle operazioni sul campo, mentre gli altri sono ascrivibilial complesso delle relazioni che si Instaurano, al momentodel primo contatto e dell'Intervista, tra intervlstatore e rispondente,nonché al tipo di assistenza -8 di controllo esercitati dal supervisoresul gruppo di rilevatorl affldatogll·· cIn particolare, durante l'Intervista, gll errori possono derivaredal seguenti fattori: l'Influenza del rllevatorl sui. rispondenti,la reticenza, la difficoltà a rlcordare.Jascaf$8 motivazione arispoodere,la 'mancanza di informazJonl del rlsp~en1l, Il condizionamentosu questi e~rcitato dal 'a presenza di terze p,arsone,la raccolta da aUra unità delle Informazioni riguardanti quelladesignata ed, Infine, I, disattenzione e la trascurat8Z2;a nellacompilazione del questionarlQ, " " "Il cPlTlples.sQ degli errori di misura influenza i risultati fln!ili,indu~p'nelle stime, disto~iQnl o va,rlapllltà !lQgluntl~a rispettoa quella propria del fenomeno. "", ."Nel sUcè;:.est$lvl paragfafi, verranno trattati gli effett!, Il con"trollo e la cQÌ'r~loned",i princlpall tra. I sudc:l.ettl tipi di errore.Gli errori der:lvantl dal questt{ ~trosp~ttivi è dalla risposta p~oxysono propri della fase dlrllevazlone sul campo; tuttavia SI èpreferito, In un'ott~ca operativa, trattarll nella fase di progettazione(Capitolo 2), dato che la loro prevenzione richiede tec~lchee regole specifiche nella predlsposlzlone del questlonaflo.Nel paragrafo 4 del presente capitolo, Invece, sono succintamenteriportate le tecniche che ne permettono la stima, che è stata inclusatra I parametri di controllo della fase di rilevazlone sulcampo. .La lista costituisce Il supporto fisico contenente l'elenco delleunità di rllevazlone e le Informazioni necessarie alla loro Indlvlduazlone;per suo tramite è quindi possibile procedere alla selezionedelle unità, nel caso d'Indagine campionaria, ed alla lororllevazlone sul campo.Spesso, la lista funge anche da archivio di informazioni, utilizzatoper Il conteggio delle unità (ad esempio le anagrafi pervalutare la consistenza della popolazione) o per Il loro raggruppamentoIn strati (ad esempio la codifica della circoscrizione amministrativa):".Rispetto alla popolazione obiettivo, definita nella fase di progettazlone,lalista dovrebbe risultare:- completa, owero dovrebbe contenere tutte e solo le unità dirilevazione designate;- aggiornata, owero non dovrebbÉt riportare duplicazioni e ciascunaunità dovrebbe essere distinguibile dalle altre ed indivlduabllesul territorio;- informativa, Qwero dovrebbe contenere per ciascuna unitàle caratteristiche stabilite dal plano.dl rUevazlone o di campionamento(ad esèmplo la dimem~ione della famiglia per procederead una sostituzione o le variabili necessarie alla stratificazion,edei comuni).Per la singola indagine, si può costruire una lista ad hoc, oppurepuò essere utilizZato un elenco di unità preesistente (adesempio I registri anagrafici o le liste elettorali per le famigliee gli Individui).La predlsposizione di una lista, mirata all'lndaglnè ed esenteda errori, o quantomeno con errori casuali e di lieve entità, risultaestremamente dispendiosa In termini economici e di tempo;In pratica si tratterebbe di effettuare un censimento negli ambititerritoriali designati (ad esempio, nel caso tipico di una indaginecampionaria a due stadi sulla popolazione, occorrerebbeeffettuare il censimento delle famiglie nel comuni campione).Risulta, quindi, pl€J economico e pratico utilizzare liste già esistenti,anche se esse raramente si adeguano ai succitati requisiti.In pratica, le liste disponibili vengono agglomate con cadenzeproprie, diverse dalla data di riferimento delle Indagini, e riportanonon solo le unità oggetto di rllevazlone, ma anche duplicazionied unità non incluse nella popolazione di riferimento, men~tre non contengono una quota di quelle designate.Le unità oggetto di rilevazione, sono dette incluctiblll e vengonodesignate mediante un criterio di Includlbllità, che derivadalla definizione della popolazione di riferimento.Gli errori di lista possono causare distorsioni nel risultati finali,In funzione (I) della distribuzione e della quota delle unitàmancanti, (II) dal tipo di indagine condotta (esaustiva o campionaria)e (III) dall'uso della lista come archivio per Il calcolo delcoefficienti di espansione:Il mancato aggiornamento contribuisce alla mancata rispostatotale mediante l'Irreperibilità sul campo delle unità, dovutaad erroneo indirizzo, ed Incrementa le duplicazioni e la quotadeJle unità non IncludibiU Incluse"e di quelle Includlbill non incluse.Le unità includibill mancanti non hanno alcuna possibilità diessere selezionate ed Intervistate; se esse sono distribuite casualmentenella popolazione di riferimento, la struttura della listarispecchierà quella dell'universo, in caso contrario, Invece,

.. ··.'.···82IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 3· LA RILEVAZIONE SUL CAMPO83La_llCllterte ..... teIDI8I'subpopolazioni particolari sfuggiranno alla rilevazione.Tali unitàpossono essere, in pratica, difficilmente individuate, in quantorichiedono od un confronto con altri archivi piO aggiornati odun censimento effettuato sulla medesima base territoriale di riferimentodella lista; a tutti gli effetti, esse possono essere consideratecorne mancate risposte totali.'Le unità non Includlblli incluse, possono essere indivIduateal momento della selezione, depurandò la lista dalle unità chenon rispondono al criterio di Includlbilità, oppure nel corso dellarllevazlone sul campo, esplicitando il suddetto criterio in unquesito filtro del questionario; le duplicazioni possono essere colteverificando la lista o, a posteriori, confrontando le assegnazionidei rilevatorl.Nelle Indagini totali, tali unità possono essere completamenteindividuate, cosicché questi errori non producono alcun effettosui risultati finali.Nel caso delle indagini campionarle, invece, l'lndividuazionesarà limitata alla quota di unità rilevate e ciò non è sufficientead eliminare gli effetti degli errori di lista. Questi si riflettonosulla probabilità di inclusione nel campione e sulla stima dei coefficientidi espansione all'universo, se la lista viene anche utillzzatacomearchivio. Inoltre, se le unità includibili vengono individuatenel corso della rilevazlone, la presenza di unità non ineludibilicomporta la riduzione della numerosità campionarla programmata•. 11 ripristino della dimensione desiderata, può aweniremediante la sostituzione delle unità non includibill, oppuresovradimenslonando Il campione di una quota di tali unità, stimatada fonti esterne.Infine, nelle indagini campionarie, anche l'inosservanza dellenorme di estrazione delle unità, od una loro insufficiente articolazione,può causare distorsioni. Mediante l'operazione di selezionedalle liste, infatti, si assegnano alle unità preflssate probabilitàdi Inclusione nel campione; qualsiasi intervento estraneoalle norme di estrazione (ad esempio la tendenza a saltarele famiglie numerose in favore di quelle di ridotta dimensione),causa una distorsione nel meccanismo probabilistico del disegnodi campionamento.Le mancate risposte totali sono costituite dalle unità di rilevazioneper le quali non è stato possibile raccogliere informa-.zioni nel corso dell'intervista per cause diverse: errori di lista, incapacitàdi convincimento da parte del rilevatore, rifiuto o impossibilitàdi reperimento.Le mancate risposte totali producono, sui risultati finali, dueI .,'.';.: .•...•........···.····,·.:.·I~·.·.'···.-·-~.''~~r~·.-.··I·.·.··· ....... '· .. ·.I .• .• :.·.·.'·effetti: da un lato riducono la numerosità campionarla e quindiincrementano il relativo errore di campionamento, dall'altro induconodistorsioni nelle stime, se il meccanismo che le generaè, come awiene generalmente nella realtà,non casuale.In questo caso, possiamo concettualmente dividere la popolazionein due strati, i rispondenti ed i non rispondenti, di numerositàdiversa e con differenti caratteristiche (ad es. medie, totali,proporzioni etc.); la distorsione è allora funzione della quotadi non rispondenti e della differenza tra i parametri relativi ai dueinsiemi.A titolo di esempio si consideri il caso della stima della mediadella generica caratteristica Y.La popolazione, costituita da N unità con media pari a 'I, puòessere divisa in due strati: quello relativo alle unità non rispondenti,di numerosità NNR' e quello dei rispondenti, di numerositàNR. Siano quindi WR = N~N e WNR = NN~N I pesi delle duesubpopolazioni, 'IRe 'I NR le rispettive medie.L'estrazione di un campione dalla popolazione si riduce, inrealtà, alla selezione di unità appartenenti alla subpopolazionedel rispondenti; la stima YR ottenuta dai dati campionari sarà, allora,corretta ripetto a tale sub universo, owero E(y.J = 'I R' mapresenterà una distorsione, rispetto alla media complessiva, datadalla:(3.1)La (3.1) mostra che la distorsione B è funzione della quotadel rispondenti nella popOlazione e della differenza tra le mediedelle due subpopolazlonl; essa è valida anche nel caso di indaginitotali •L'errore totale dellostimatore media, calcolato mediante la(3.2), è la risultante della somma della varianza dello stimatore,relativo al sub universo dei rispondenti,VR (y.J e del quadratodella distorsione:(3.2)

84 IL SISTEMA DI, CONTROLLO DELLA QUAUTÀ DEI DATICAP. 3 • LA RILEVAZIONE SUL CAMPO'La stima dell'errore di campionamento, basata sul risultaticampionari" è, anch'essa distorta., t," ,', Sia Infatti vRla stima della varianza campionarla"dI Y R ; essasarà corretta, ma solo rispetto al parametro, della popolazionedlrlferlmento"owero: ' ,La distorsione di VR' data dalla,' ,B(v~= E(vR -V) = E(vR - ~iVR:- W~ VNR)"~ (1 - Wi) VR - (l - WR)l VNR= WNR[ (1 +.WR) VR - (l-W~VNRI (3.3)Gli effetti prodotti da tali errorlò sono slmJJJ a quelli dovuti allemancate risposte totflll, riferiti pero al/e slngoievarlabJlldl studio:dlstorsion~, e r~duzlone del,la nurneros," camRI()n~a.In realtl. la~lstlOzlone t~a mancata r!s~~ta"Qt~/e ,e parzialederiva da una dedislone soggettiva del riCercatore, non da parametrioggettivi, validi per qualsiasi rllevaz:lòne. ' ' , , ' ' "La mancata risposta, Infatti, può esàerèconslderata un contlnuùm,I cui limiti sonocostltultl,da unlatò, dallamancatà Intervistae, dall'altro, dal modello correttamente compilato in ognisua parte; la soglia dhlccettabilitàdl un questioli\arlovlene stabilltainfunzlone"deU'utllltà delle· risposte.ornlta per g11\'Obiettlviconoscitivi dell'indagine. ' " "i;;,',"",""Adesempio.l,I/l qU"~tion,,rlo in qui tuUl1

86 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAR. 3· LA RILEVAZIONE SUL CAMPO87- compattare pII) unità in una sola (ad esempio le famiglie didue comuni vengono riferite ad uno solo);- suddrvldere,una unità in due O piO unità e quindi creare unitàfittizie (ad esempio I comp'onentl di una famiglia vengono dl~visi in due unlt~ familiari);- Invalldare Illeg~me tra unità (ad esempio tra Il record dellai famiglia principale ed il record della famiglia coabitante).Tali effetti possono manifestarsi singolarmente; o, più frequentemente,in combinazione tra loro, compromettendo, adesempio, la ricostruzione dell'eventuale struttura 10ngitiJdinale,la stima delle probabilità di inclusione, la conduzione di relntervisteo causando false assegnazioni nelle compenetrazione delcampione.3;. La prevenzione degli erroriUi prevenzione degli errori di rllevezlone deriva, In parte, daun costante lavoro di controllo e di indiriZzo dell'Istituto, in parteè esercitabile al momento della raccolta del dati della singolaIn~aglne. In tal C8$O, I.controlll preventMdévo'nO essere miratialle unità coinvolte: Il controllo e l'assistenza agii organlperlferlcle lapubbllclzzazlone dell'Indagine verso I. dspondenti.Conlnllio ....... ' Il controllo degli organi periferici si attua mediilnte visite ispet-.......... l*IfeIIcI tlve, il cui scopò è verificare che le differenti operazioni sianostate condotte seQondole norme stabilite; esse ~evono, quindi,venireespretate al ,momento in cui, l'operazion~ yiene svolta (adesempio al momeflto della selezione dell~,unJtà campionarie):Un controllo totale, dato il numero di unità Qoinvolte. può risultareperÒ troppo onerOSOj per tale ragione, è. utile compilareuna mappa di rischio ed indirizzare gli sforzi verso quelle realtàche risultano piO sospette.Ladeflnizlone della mappa può ~re basata su Informazionidi tipo sostanzialmente qualltatlvo (come quelle desunte dal rapportidegli ispettori e degli Uffici Regionali), e sull'analisi delleinformazioni quantltatlve, disponibili da rllevazioni precedenti dellastessa indagine o di indagini diverse, cioè sugli indicatori contenutinell'archivio di qualità dell'Indagine e nell'archivio centralizzatodella rete.Dallo stesso archivio è possibile dedurre indicazioni In meritoalle prestazioni del rllevatori, cosicché, laddove sia possibilestante l'attuale normativa, si può Intervenire anche nella fase diselezione degli Intervlstatorl.L'assistenza sul campo viene attuata, In primo luogo, con l'istruzionedel supervisorl, del rilevatorl e degli eventuali codificatori,mediante I manuali precedentemente redatti. Questi, invia generale, possono seguire Il seguente schema:• definizione degli obiettivi dell'Indagine;• definizione dell'unità di rilevazlone e del criteri per la sua identificazione;• la tecnica di primo contatto con l'unità di rllevazione;• la tecnica dell'Intervista;• la struttura generale del questionario;• la struttura di eventuallfògll individuali è del criteri di selezionedei rispondenti;• Il ruolo delle do~ande filtro nel collegamenti tra blocchi;• la presentazione del quesiti, delle loro relazioni In ciascun bloccoo sezionfil di domande;• il controllo delle principali coerenze;• Il sistema di Identificazione;• il ruolo del quesiti di controllo e di quelli sull'Intervista;• uso del documenti accessori di rllevazlone." manuale e le Istruzioni devono essere corredati di numerosiesempi esplicativi' sulle situazioni dubblé prevedlblli.Nelle riunioni dll8trtizibne, inoltre, devono essere previsteesercitazioni pratiche su, questionario e sul documenti accessoridi rnevazrone} In partlcolare-possono essere utilizzati mòdelliprecedentemente compilati con errori, da rintracciare e dadiscutere con I partecipanti alta rluniorìe~Deve essere Infine preVIsto; e comunicato alla rete periferica,l'uftlcloresJ)onsablle dell'assistenza a livello centrale, al qualeè possibile rivolgersi durante il periodo di rilevazlone.La politica dell'Immagine dell'Istituto, realizzata con mezzidi comunicazione di massai quali radiò, televisione e giornali a .... rlnd8g ....diffusione sia nazionale che locale, può contribuire a creare nelpaese un clima genericamente favorevole all'attività dell'lstat.Ta11 effetti si riflettono positivamente sulla singola Indagine,ma è comunque necessario utilizzare mezzi piO mirati alle specificheunità di rilevazione.Le pubbIIcIzzazIon

88 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 3· LA RILEVAZIONE SUL CAMPO89I mezzi di pubblicizzazione possono essere i più vari; tra essisi ricordano:la pubblicità effettuata dagli organi periferici;- il coinvolgimento di organizzazioni od associazioni delle unitàappartenenti alla popolazione oggetto di indagine;- la lettera di presentazione del sindaco o di altra autorità alivello locale;- la lettera di presentazione dell'indag,ine da parte del Presi·dente dell'Istituto.Le informazioni necessarie per la costruzione degli indicatorie per le analisi, sono, generalmente, disponibili dopo l'ela~orazionedei dati dell'indagine principale e di eventuali Indaginidi controllo; ad esempio, le mancate risposte e le Incongruenzelogiche dai risultati della revisione, le stiroe.dell'errore totale dimisura o dell'effetto ricordo e proxy, dalla compenetrazione delcampione o dall'analisi dei risultati di rllevazionl aggiuntive. Nell'attualeorganizzazione delle indagini, quindi, tali controlli nC)nsono contestuali aUa fase di rilevazione, ma si configurano comecontrolli «successivi».4. Il controllo degli erroriIl controllo della fase di rilevazione sul campo, può essereattuato mediante:I) la stima degli errori di misura, effettuata esplicitando modellidell'errore ed utilizzando adeguate tecniche di rilevazione;Il) l'analisi di Indicatori di qualità, ottenuti dalle P'Ocedure standarddell'Indagine.I modelli misurano direttamente la qualità dei risultati, stiman- .do le distorsioni e le variabilità imputabili alle fonti sotto controllo(gli intervistatorl, l'effetto ricordo, l'effetto delle risposteproxy, ecc.). AI contrario, gli indicatori e le analisi delle Informa·zioni provenienti dalle procedure d'indagine (le mancate rispostetotali e parziali, l'errore di identificazione delle unità, la situazionedell'inteJ;Vista), possono es~ereconsiderati come parametriapprossimati per la valutazione dei· daUprodottl.La stima dell'errore di misura necessita di indagini aggiuntivedi controllo, generalmente condotte su di un campione dellarilevazione principale, o di particolari sqhemi di campionamentoche richiedono risorse, f.inanziarje ed organjzzative, aggiuntiverispetto alla rilevazione madre. AI contrario gli indicatori dicui al punto (II) risultano più economici dei precedenti, in quantoil loro calcolo implica solo la razionalizzàzlone delle procedureesistenti. Essi, Inoltre, sono ottenibill per tutti, i livelli di controllocoinvolti nella rilevazione sul campC) (ad esempio gli ufficicomunali ed i rilevatorl), mentre le stime possono essere riferitisolo al campione da cui provengC)no.Infine, il calcolo e l'analisi sono, indubbiamente, più semplicie tempestivi per gli indicatori di qualità che non per le stimedirette dell'errC)re.Come è stato già osservato, l'errore di misura rappresenta lacomponente più rilevante dell'errore totale e, quindi, la sua stimaè indispensabile per conoscere la reale precisione dei risultati.Gli errori che non danno luogo a incongruenza logiche o avalori fuori campo, non sono determinabili sulla base dei soli risultatidell'indagine; la loro Identificazione e quantificazione richiedetecniche particolari.I modelli matematici, gli stimatori, le tecniche ed i problemipratici della loro utilizzazione verranno diffusamente trattati nelCapitolo 7; nel prospetto 3.1, sono, succintamente, riportate lecomponenti dell'errore di misura e le tecniche~necessarle allaloro stima, nel caso, sufficientemente realistico, in cui è ipotlzzabileche esso sia dovuto ai rispondenti, ai rllevatori ed alle lorointerazloni. .A tale riguardo, si ricorda (cfr. Capitolo 1) che l'errore totaleè composto dalla differenza tra la media dello stlmatore (calcolatasull'universo dei campioni) ed Il valore vero, cioè la distor-'sione, e da una parte variabile. Quest'ultima (varianza totale) èpari alla somma della varianza campionaria, della varian,za semplicedi risposta (che misura l'errore dovuto al solo rispondente)e della varianza correlata di risposta (che misura, invece, l'influenzadel rilevatore sulle risposte fornite). La stima di ciascuna componente(o combinazione di componenti) richiede una adeguatatecnica di indagine.La stima della distorsione e quella delle diverse componentidella parte variabile, non possono essere ottenute con lamedesima tecnica: infatti, mentre la prima richiede un processodi misurazione più preciso di quello dell'Indagine originaria,allo scopo di appurare il valore vero, la seconda si basa suuna replicazione indipendente dell'indagine, sotto le stesse condizionigenerali, variando solo il fattore da controllare (il rilevatore)..La reintervista con riconciliazione consiste in un ritorno pressoun subcampione di unità che vengono reintervistate da un ri-La ali .... dell'.."".t""" di misura

90 IL SISTEMA DI CONTROllO DelLA QUALITÀ DEI DATICAP. 3 • LA RllEVAZIONE SUL CAMPO91levatore plCt esperto O dal precedente assistito dal supervlsore;l'lntervlstatore rlpropone I medesimi quesiti (eventualmente utilizzandouna versione plCt dettagllatà del questionario e con unmaggior numero di domande di controllo) avendo a disposizionele risposte precedentemente fomite e,in caSo di discordanza,accerta là risposta vera. Se, InoHre~ si accertano anche le ragionidella differenza, tale metodo perrilette di attribuire al rilevatorèoal rispondente le dlffe",nze riscontrate.La relntervlsta' senza riconciliazione viene condotta con Intervlstatoridiversi da quelli dell'indagine (ti fattore di controllo),ma dello stesso grado di abilità e preparazione; In questo modoci si assicura dell'Indipendenza delle due replicazionl e dell'equivalenzadelle condizioni essenzialI.A differenza del due metodi sopra citati, ìa compenetrazionedel campione non Implica una relntervlsta delle unità; il campionedell'Indagine principale viene casualmente diviso In subcam-Prospetto 3.1 - Componente. dell'errore di misura e relativi me-. todi di stima . .COMPoNENTESTIMATADistorsioneVarlanza totaleVarlanzadi rispostaVarianzadi rispostasempliceComponentecorrelataMETODI DI STIMArelntervlstaconsenzarIconciliazIonesisisicompenetrazionedel campIoneVarlanzacampionaria si si sisisipioni di uguale nurnerosità (ciascuno dei quali costituisce un campionerappresentativo della popOlazione di origine) che vengonoassegnati Il rllevatorl diversi.Nel prospetto 3~ 1 sono riassunti I metodi 'di stima sopra richiamati,In funzione della componente di errore determinabile.Tali tecniche, generalmente, non permettono di stimare "erroredovuto a cause particolari, come l'effetto proxy e l'effettoricordo, per la cui stlrnasono necessari disegni sperlmentaU.Pervatutare l'entità dell'errore dovuto alla risposta fornita daaltri, è necessario programmare un disegno sperimentale, chepreveda il ritorno presso.I'unltà non rispondente (si veda ad es.K.W. Haa~.1972). Talal1'letodopermette, Inoltre, l'analisi del fattoriche influiscono sult'entitàdegll errod (ad esempio la naturadelle domande, le caratteristiche individuali ecc.).Oltre tale metodo possono essere utilizzate altre tecniche perdeterminare e quantificare "effetto proxy:- il confronto:con 'i medesimI dati provenienti da altra fonte erelativi all'unità, non rispondente;.. .indagini condotte su due campioni provenienti dalla stessapopolazione in uno solo dei quali sono ammesse risposteproxy; .' " . " ,- la reintervista con riconciliazione effettuata su di un campionedi unità nonrisponden~i.La stima dell'errore dOVuto'ad omissione, od errata datazionedi eventf, si basa sumod'elll matematici; per maggiori approfondimenti$1 rirrianda ,ad esempio aS. Sudman & N.M. Brandbun,1973. Il modello dei due autori tiene conto dell'effetto congiuntodegli' errori di omissione e di spostamènto in avanti del~'l'evento, che è l'errore di datazione commesso plCt frequentemente;il modello è stato testato con risultati soddisfacenti dal dueautori, confrontando la stima ottenuta con l'errore osservato, calcolatomediante dati esterni, in alcune Indagini.' .La 111_ .... ren.nopIO", • dell'.ffetto11-.10. Gli fndlcatori di qualità sintetizzati in sei Prospetti e le anali~ GO indicatori disi segnalate nel seguito, costituiscono indicazioni generali; è quali"compito del responsablle delt'lndaginescegliere I metodi, I livellidi controllo e la Informazioni piCt adeguati nelle specifiche condizioniorganizzatlve della rllevazlone;Nel Prospetti, per ciascun Indicatore di qualità, sono stateindividuate le fonti cui è Imputabile l'errore esaminato e sulle qualiè, in genere, pOSSibile esercitare direttamente azioni correttive,

92IL SISTEt.'IADI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 3· LA RILEVAZIONE SUL CAMPO93Gli Indicatoridall'errore di lIat •• di.... n ... qrl ...... qtot ..ovvero la rete di rilevazione (comuni e rilevatori) e lemetodologiedell'Istituto (norme, questionario, procedure informatiche ecc.).A tale riguardo, tuttavia, si precisa che la fonte è.stata iden~tificata sulla.base della preponderanza di responsabilità; in realtàla complessità delle interazioni tra cause diverse non permette,in molti casi, di distinguere nettamente le insufficienze dell'organizzazionecentrale e quella periferica, la responsabilità delrilevatore da quella del comune e/o del rispondente.Gli indicatori possono essere utilizzati sia CQma ~ontrollodellefonti di errore cui sono stati riferiti, sia come parametri di quali.tà se calcolati perii complesso delJ!indagine o per: dominirHevantidi studio (strati, regioni, gruppi omogenei dtcomuni orilevatoriecc.).Come parametri di controllo, gli indicatori relativi al rilevatoripossonoessere logicamente· estesi alle unità di ordine superiorecheesercitano attività di supervisione.Il campione od il complesso delte unità (nel caso di indaginitotali) selezionate ed intervistate, rappresentano, a causa deglierrori di lista e dei problemi che sorgono nella. fase di rilevazione,una popolazione diversa da quelJa definita nella fase diprogettazione....Il processo di riduzione dell'universo teorico all'universo effettivo,genera alcune subpopolazioni che assumono, ai fini delcontrollo di qualità, significati diversi e che possono essere classificatein due gruppi: gli errori di lista Et le mancate risposte totali.I primi riducono la nl,lmerosità campionaria (se non è previstala sostituzione delle unità non intervistate), o l'universo indagato(nel caso diindaginia c~attere censuario), e incrementanol'insieme delle mancate risposte totali; queste ultime, comeè stato precedentemepte mostra.to, possono dar luogo a distorsioninei risultati finali.Le unità appartenenti alla popolaziOne teorica, pOSS0l10 o menofar parte della lista; a sua volta quest'ultima può contenereunità non includibili o duplicazioni.L'insieme delle unità includibili non incluse è difficilmentequantificablle poiché sarebbe necessario fare ricorso ad altra lista,possibilmente più aggiornata e precisa di quella utilizzata,o ad un mlcrocensimento~ In questo caso, è pOSSibile stimarel'errore confrontando i dati delle. due fonti; il confronto può essereistituito a livello di singola unità o.di risultati aggregati, infunzione dell'esistenza o meno di un codice identificativo comunealle due liste che ne renda possibile l'accoppiamento.La differenza tra i risultati censuari e la numerosità degli iscrittiin anagrafe, calcolata a ridosso del censimento, e l'indaginedi confronto censimento/anagrafe, condotta nel 1981 sulla basedi un campione di fogli di famiglia e delle corrispondenti Informazionianagrafiche (A. Cortese 1983), costituiscono esempi diapplicazione di tale tecnica. .L'aggregato delle unità non includibili, mediante l'utilizzazionedel criterio di Includibilità al momento dell'intervista o nell'analisiderla lista, può essere stimato o completamente enumerato,a seconda del tipo di indagine (totale o parziale) e del controlloesercitato (se sull'intero archivio o 5010 sulle assegnazioni deirilevatori); la verifica della lista è necessaria anche per determinarele eventuali duplicazionI,Con una parte delle unità sarà possibile stabilire un contattodiretto, a seguito del quale alcune accetteranno mentre altrerifiuteranno l'intervista. Non sarà invece possibile Intervistare leunità che, pur abitando all'indirizzo segnalato, risulteranno irreperibilidopo ripetuti tentativi e quelle a cui corrisponde un indirizzoerrato; queste ultime, a seconda del tipo di errore, possonorisultare o meno, includlbili.Il processo appena descritto ed i metodi per la determinazionedei differenti gruppi di unità sono diagrammati nella Figura 3.1.In particolare, per il documento di rilevazione aggiuntivo, sonostate considerate due situazioni informative.La prima è relativa al caso In cui si suppone di poter ottenere,da altre unità, le informazioni necessarie a classificare quellecon indirizzo errato nei seguenti quattro gruppi, rilevanti perl'analisi delle mancate interviste e. deU'errore di lista: trasferitedentro l/ COl1Jun6. trasferite fur;>ri comull~, dec(#iute,.eirriperjlJ(li.La seconda, invece: rispecchia Il caso (frequente soprattuttonelle città di medie-grandi dimensioni) In cui non si disponedi tali informazioni e quindi le unità con indirizzo errato vengonoassimilate alle irreperibili." suddetto documento fa ormai parte delle procedure standarddell'Indagine; utilizzandone le informazioni, è possibile, inmodo sempliceed"~cpnomlco, calcolare alcuni indicatori di qualità.Rapportando le unità a qualsiasi titolo non intervistate al numeroprogrammato d'interviste, si ottiene l'indicatore -grezzo»dell'errore complessivo della fase di rilevazione; depurandone ilnumeratore dagli errori di lista, ovvero sostituendo la somma delrifiuti e delle unità non a casa, verrà calcolato l'Indicatore .. grezzo»di mancata risposta.Quest'ultimo rappresenta il peso delle interviste non effettuaterispetto al numero -atteso» di interviste e, quindi, include al denomiO,atoreanche gli eventuali errori di lista. Depurando il denominatoreda tale quantità, si ottiene un indicatore .. netto» dimancata intervista,

94IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 3 • LA RILEVAZIONE SUL CAMPO 95( .popol.z io,- di ) ,... tf_im.ntoProspetto 3.2 - Indicatori relativi alle Mancate Risposte TotaliFONTE DI EIIFIOIIEINDICATOIISIGNIFICATOcamuni ri_ ISTATIII,··_·-1I I l l 1_11 ___ 1 __i! 1. .. < t ..... f .... i ti non. c... ...ifiut.I I I fuo ... i del lINI p ...... nti .. 1'int .... vi.t.I· l' camun.) I .1 l '.indi"'iZZCJI I -·(dec.duti)/-

96 IL SISTEMA DI CONTROLLO DELLA QUAutA DEI DATICAP. 3 - LA RILEVAZIONE SUl;CAMPO97Tali Indicatori sono relativi alle prestazioni della rete perifericanel suo complesso e quindi Il livello più adeguato di controlloè quello comunale. Per valutare l'operato del rllevatorl, èconveniente scomporre la mancata, Intervista nelle dUEl COl11ponentldi rifiuto e di non 'a casa e calcolare i relativi tassi netti,utilizzando a denominatore, rispettivamente, Il totale del rispondentie del rifiL(tl e la somma dei rispondenti, del rifiuti e dei nona casa.L'errore di lista è ra,ppresentato dalle unità che presentanol'Indirizzo errato; ra,pportando Il loro numero all'ampiezza del campioneod alla numerosità della lista (per le Indagini totali) si ottieneIl relativo tasso. L'errore può essere ulteriormente analizzato,se si dispone delle necessarie informazioni, in una partedovuta all'aggiornamento, (rappresentato dalle modalità trasferitinel e fuori del comune e deCeduti) ed In una parte residua(modalità IrreperibilI) che approssima la tenuta della lista; I relativitassi (di aggiornamento e di tenuta) avranno come denominatoreIl numero di unità con Indirizzo errato. Sempre utilizzandola medesima disaggregazione, è possibile calcolare un tassodi non includlbllità che presenta al nurneratore la somma del decedutie del trasferiti fuori del com4-fne~~ al denominatore il numeroprogrammato d'Interviste. -Le stesse notizie, invece, non possono costituire (se non IntroducendoIpotesi «fortia sulla distribuzione delle subpoPolazloni nondirettamente determinate) la base Informativa per stimare le quotee le caratteristiche del rispondenti e dei non rispondenti nellapopolazione teorica (secondo lo schema utilizzato nel paragrafo2). Infattl,la rllevazlone sul campo non coglie le unità includlbill nonIncluse nella lista e non è possibile discriminare gli aggregati nona casa e trasferiti nel comune nelle suddette subpopolazlonl;-Inflne,gli irreperibili, non sono classificabili né come rispondenti I nonrispondenti, né come Includiblli I non includlblll_Nel Prospetto (3.2) sono sintetizzati I livelli di controllo ed Irelativi Indicatori sintetici discussi nel paragrafC).:Per qua,nto riguarda le unità, si fa riferimento alle unità di selezione,In genere, per le Indaglnllstat sulla popolazione, le fa·miglie.Oltre al calcolo del tassi per la verifica dell'operato della reteperiferica, le informazioni riportate sul modello'aggluntlvo osul foglio di anagrafe, possono essere utilizzate per condurre analisipiù approfondite riguardo all'ubicazlone e le caratteristichedelle unità non Intervistate e non rispondenti.SI potrà controllare, quindi, che l'omissione di unità non siacorrelata a qualche fattore di distorsione dei risultati; ad esem.pio alla dimensione della famiglia, alla lontananza dal centro cittadinoo alla residenza In zone _dlfflcllla.Studi più analitici sull'elTore di mancata risposta possono esserecondotti analizzando le relazioni tra le caratteristiche delleunità non rispondenti e le modalità di effettuazione dell'Intervista(ad esempio Il giorno della settimana el'ora). In questo modoè possibile determinare le tlpologle delle subpopolazionl maggiormentea rischio e le tecniche di raccolta più efficienti per leunità appartenenti a tali gruppi.Nel caso siano previste sostituzioni di non rispondenti, Il confrontotra le caratteristiche delle unità sostituite e sostltultlve,mediante tabulazlone Incrociata, sottoposta a test di indipendenzae simmetria, permette Il controllo dell'operazione di sostituzione,determinando se essa sia stata eseguita secondo le normeIndicate (ad esempio famiglie della stessa ampiezza o territori almentevicine).Disporre di informazioni sulla consistenza del differenti aggregatidi unità non Intervistate o non rispondenti, è utile nonsolo per una valutazione della qualità dei dati raccolti e dell'attivitàdella rete periferica, ma anche per la programmazione dllndaglnlfuture e per le possibili azioni correttive nella tenuta dellalista.La copertura del censimento costituisce un caso particolaredi mancata risposta totale, caratterizzato dalla non esistenza apriori di numerosltà di confronto; uno degli obiettivi dell'operazionecensuaria è, Infatti, l'aggiornilmento dElgii;_8rGhivl a,nagr,flçl.Per la medeSima ragione, questi nonpe:)ssonò'essere utilizzati,quale liste di selezione, per l'indagine campionaria di controlloeffettuata a strette:) rld08SQ del censimento; si ricorre, q~lndl.ad un campione di aree (sezioni di censimento) in cui si conteggiano,una s,conda volta, tutte le unità in esse' contenute.Nell'Indagine di ce:)ntrollo devonò essere utilizzati l rilevatoripiù esperti, per assicurare una migliore quaUtàdEli dati raccolti,e ciascuno eli lilSSi dElve Elssere impegnato in un'arE18 diversa dallaprecedente, per garantire 1'lndlpenderlZ!l delle QuEI operazion.l.NEllI'anallsl ciel risultati, si possonoconcfilttJ,lalmente suddividerele unità.in quattro sub-unlversl differenti, a seconda dellapresenza od assenza rlElcontrata nelle due rllevazloni; più precisamente:- unità presenti all'Indagine ed al censimento (N 11 )- unità presenti all'Indagine ma non al censimento - (N1~- -uni,tà presenti al cenEllmento ma nOfl all'Indagine (N21)- unità non presenti sia al censimenJo che all'Indagine (N~

98IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 3· LA RILEVAZlONE SUL CAMPO99Mediante il confronto tra l'indagine di controllo ed il censimentoè possibile stimare direttamente la consistenza del primitre gruppi ("'11> "'12' "'21)' ed Indlrettam~nte quella di Nzz ipotlzzandol'indipendenza tra le due operazioni:~22 = ~l:!· ~21) / ~llIn tal modo è possibile stimare N, owero Il numero totale delleunità, come somma delle stime "'II}q = ~ll + ~12 + ~21 + ~22' 'il tasso di copertura del censimento1'. = ~ll + ~21) / ~e la varlanza della stima '"aÀ = ~ • ~n> / ~llmediante la quale determinare l'Intervallo di confidenza per N.Figura 3.2· Classificazione delle risposte all'l-aslmo quesitoGli Indlc8loll cii...--...... tapeni.Durante l'Intervista' le Interaziòni tra questionario, rllevatoree rispondente posson~ determinare, per ciascun quesito, rifiutiod impossibilità a rispondere, risposte non dovute od incongruenzelogiche sulla base delle norme di compilazione del questionario,valori non ammissibili rispetto al campo di variazioneprestablllto'. .La classificazione corrispondente è diagrammata nella Figura3.2.La distinzione tra risposte dovute e non dovute è funzionalealla costruzione di Indicatori che rappresentano i diversi aspettidell'errore e può essere ottenuta In due modi: (I) mediante l'analisidella risposta al singolo quesito, (II) mettendo in relazionele risposte fornite a piiJ quesiti.- , -Nel primo caso oCcorre distinguere l'assenza di risposta derivantedalrifiuti e dal non so da quella per risposta non dovuta;ciò può essere realizzato prevedendo nel questionariO una codicaspecifica per le suddette modalità. Tale metodo assicura ilriconoscimento delle cause della mancata risposta ma può favorirela tendenza a non rispondere.I codici che distinguono la risposta non dovuta dalla mancataunltamente alle Informazioni sul valori fuori campo e alle Inc~ngruenzeriscontrate, forniscono là. base di calcolo per gli indlcatorlriportatlnel Prospetto 3.3.II rapporto tra la somma delle risposte non dovute e di quelleutilizzabili (valori ammissibili e compatibilQ ed Il numero del rispondenti,costituisce l'indicatore della compI/azione del quesito.Rapportando I valori ammissibili e compatibili alle rispostedovute, si ottiene l'Indicatore dell'efficacia dell'intervista; al contrario,la somma, al numeratore, del valori fuori campo, dei rifiutie del codici ammissibili ma Incompatibili, fornisce la misuradella mancata risposta parziale. Il fenomeno rifiuto è misuratodal rapporto tra i rifiuti e le risposte dovute, mentre, Il numerodel codici ammissibili ma rlsultatllncompatibiU su quello del codiciammisslbill. costituisce un Indicatore di incompatibilità.Tali Indicatori vengono, di solito, elaborati dai dati registratisu supporto informatico e, quindi, includono l'errore di reglstrazlone.Essi,tuttavia, non perdono di significato e di efficacia nell'analisise possiamo Ipotizzare(a) che la parte preponderante dell'errore sia attribuibile alla fase.dirilevazione;(b) che l'errore di registrazione sia costante nei diversi IndicatorlcalcolatI.

100 IL SISTEMA DI CONTROLLO DELLA QUALITA DEI DATICAP. 3· LA RILEVAZIONE SUL CAMPO101Prospetto 3.3 - Indicatori relativi alle Mancate Risposte Pa~ialiper la generica variabile - calcolo basato SUI codiciINDICATORI(NNO + No~' NRNQAC' NDSIGNIFICATOFONTE DI ERROREcomuni rilevatorl questionariocompllazionadal quesito - si siefficaciadall·lntervlsta - si si(NQAI + NFC + N.,,!' ND mancata risposta - si siNRF ' Norifiuto - si siNQAI' NQA incompatibilità - si siN. = numero di rispondentiNNO = numero di risposte non dovuteverrà mediante collegamento tra i record relativi alla medesimaunità; a tale scopo deve essere previsto un codice identificativoesatto, ad esempio un progressivo di record apposto medianteprogramma informatico sul materiale proveniente dalla registrazionee conservato immutato in tutte le successive fasi di elaborazionedei dati.L'accoppiamento tra record «sporchi. e «puliti. può dar luogoad una delle sei situazioni riportate nel Prospetto 3.4, e le unità,per ciascuna delle variabili del questionario, rimarranno quindiraggruppate nelle relative sette classi.Prospetto 3.4 - Confronto tra i valori della singola variabile dellagenerica unità nel file sporco e pulitoFILE SPORCOValori non ammissibiliBlankValori significativiFILE PULITOBlank Valori significativiNBBBVBNVBVVVMMNo= numero risposte dovuteNRFNFCNQANQACNo ..= numero di rifiuti= numero di valori fuori campo= numero di valori ammissiblli= numero di valori ammissibili compatibili= numero di valori ammissibili incompatibiliSe non si utilizzano i suddetti codici, si dovrà ricorrere allecorrezioni dovute alle regole formali dei piani di compatibilità che,mettendo in relazione la risposta fornita al singolo quesito conquella presente in altri quesiti, riconoscono la mancata rispostadovuta. -In questo modo, però, la distinzione tra risposta dovuta e no~dovuta viene a dipendere dalla procedura ed è perturbata daglierrori nelle variabili, generati da altre fonti. Il riconoscimento deidiversi gruppi si baserà sulle variazioni intervenute trai! file sporcoe quello pulito, durante la fase di revisione. Il confronto av-Anche i valori diversi da blank e dai fuori campo, possonoessere modificati dai piani di compatibilità e quindi danno luogoa due insiemi: i valori modificati (MM) e quelli immutati (VV).Dal Prospetto 3.4 pOSSiamo riclassificare le unità nei seguentigruppi, significativi per la costruzione degli indicatori sinteticidi qualità, per ciascuna variabile del questionario:I) i valori fuori campoIl) i rifiutiIII) le incongruenzeIV) le risposte dovute netteV) le risposte dovute lordeVI) le risposte nette(NB + NV)(BV)(VB + MM)(BV + VV + MM)(BV + VV + MM + NV)(BB + vV)L'indicatore generico della qualità del materiale disponibile,è dato dal rapporto tra le risposte nette ed il numero delle unitàrispondenti; depurando Il denominatore dai valori fuori campo,si ottiene il medesimo indicatore per il materiale raccolto.Addebitando i valori fuori campo, nei quesiti precodiflcati, allafase di registrazione, il rapporto tra questi ed il numero di unità

102 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 3 • LA RILEVAZIONE SUL CAMPO103rispondenti, costituisce il tasso minimo di errore di reglstrazio­-ne; minimo,. in quanto non sono comprese in esso le modifica·zlonlln valori ammissibili, non identificabili contale tecnica. Taletasso non può quindi sostituire Il controllo della fase di registra· .zlone, ma ne costituisce una verifica basata sul complesso deidati.Il tasso di rifiuto, per il singolo quesito; può essere calcolatorapportando I rifiuti sia alle risposte dovute nette, sia a quellelorde; In questo secondo caso la stima è conservativa, in quan·to addebita l'insieme NV unicamente all'errore di registrazione.I due valori costituiscono quindi gli estremi del campo di varia·zlone del tasso di rifiuto reale.Prospetto 3.5 - Indicatori relativi alle Mancate Risposte Parzialiper la generica variabile - calcolo basato sui rl·sultatl delle procedure di revisioneINDICATORIRN/N~RN I (N~ - VFO)VFC/N~SIGNIFICATOcomuni-FONTE DI ERROREquoatIonarIoquallti malarlaledIsponIbile - sI sIquallti matertaleracCOlto - sI sIerrore mInImoregIstrazIone - - 51INC/RDN Incongruenm - si sIRF/RDN rifIuto (netto) - sI sIRF/RDL rifiuto (lOrdo) - sI sI(RF + INO) I RNefficaciaIntervtsta - sI sI(RF + INO) I RDN efficacIa racCOlta - sI sI(RF + INC + VFO) I N~NB + NVefficaciaIndagIne - sI sIN* uniti rIspondentIR= VFC valori fuori campoBB + VV = RN risposte netteBVi-VV+MM = RDN rIsposte dovute netteBV+VV+MM+NV = RDL risposte dovute lordeBV = RF rifIutIVB + MM = INC IncongruenzeQuale indicatore dell'efficacia della tecnica di raccolta, pOSosiamo considerare il rapporto tra la somma del rifiuti e delle incon·gruenze e le risposte dovute nette; l'efficacia del complesso del·l'Indagine è, invece, data dalla somma del rifiuti, delleincongruenzee del valori fuori campo, rapportata al numero di unità rispondenti.L'analisi dei tassi dei Prospetti 3.3 e 3.5 può risultare difficoltosa,dato il numero delle variabili presenti su di un questionarioad obiettivi plurlmi. Per ridurre la mole dell'Informazioneda valutare, possono essere calcolate delle medie (semplici o ponderatecon il numero delle risposte dovute) sul complesso dellevariabili o su sottoinslemi rllevaDti di esse.Le unità considerate sono quelle acui sono riferite le infor·mazloni da cui sono calcolati I tassi: generalmente gli Individui.I tassi relativi alla qualità del materiale raccolto, ai rifiuti eall'efficacia della raccolta e dell'Indagine, possono essere utilizzatiper il controllo della rete periferica; gli indicatori della qualitàdel materiale disponibile e dell'errore minimo di registrazione,analizzati per tutte le variabili, per domini territoriali o sul complessodei dati raccolti forniscono Indicazioni sull'affidabilità del·le stime ottenute. -A livello totale, inoltre, l'analisi dell'Indicatore dell'efficaciadella tecnica di raccolta, per singolo quesito o gruppi di quesiti,possono rivelare l'esistenza di ambiguità o di errori nella strutturao nelte norme di compilazione del questionario.Sulla mancata risposta parziale possono essere condotte ulteriorianalisi ponendo in relazione i tassi di rifiuto e le caratteristichestrutturali delle unità; sull'efficienza della tecnica di rac·colta mediante l'esame delle relazioni tra gli indicatori di efficaciaed i dati concernenti la situazione in cui si è svolta l'Intervista.Le modalità di intervista, (II numero del ritorni, la durata, ilgiorno e l'ora di effettuazione ed I rispondenti proxy) possonoessere analizzate a fini:- di controllo dell'operato dei rilevatori;- di controllo della reale numerosità campionaria del rlspon·denti;- di analisi delle caratteristiche dei non rispondenti;- di ricostruzione delle tlpologie di situazioni dell'intervista.Il carico di lavoro, la durata media dell'intervista e la percentualedi risposte proxy, calcolate per rilevatore e per ufficio peri·ferico, possono essere utilizzati per il controllo della rete; la per·centuale di rlspondentl.è un indicatore della reale dimensionecampionarla (Prospetto 3.6).'L'analisi delle caratteristiche del rispondenti proxy può ser·vire ad identificare particolari subpopolazlonl per le quali i datiraccolti sono mediati da altre unità; tale Informazione è un indicatoredella possibile esistenza di distorsioni.Gli Indicatoridell'lnt.mata

104 IL SISTEMA DI CONTROLLO DELLA QUAUTA DEI DATICAP. 3· LA RILEVAZIONE SUL CAMPO'105Prospetto 3.6 - Indicatori relativi alle modalità d'IntervistaINDICATORISIGNIFICATOFONTE DI ERROREcomuni d-" ISTATN;/NR proxy - si -Np/NR proxy - al -1-tN;MAlNR/NN;I N'I;!?/NRG./GGb/GNR/(G.+GJN numeroaltà teorica (quastlonarllNR num.ro di unità rispondenti (questionarI)N; numltro di rispondenti proxydlmenalonecampionariareale - si -effettuazioneInt8IYlate(qu .. U~narI) - si -effettuazioneIntlKVlat.Ondlvldul) - al -durata mediaIntervlate - si algloml·ammeasldi Int8lYlate si si algiorninonàmmasaldi Intervlate si al siInt8IYlstegiornaliere si al siNp num_ di questionari CQn almeno un rlapondenta proxyN' numeroaltà taorlca (IndividuI)NA num.ro di unità rlapondanU (IndividuI)D; durata dall'l ... ima IntarvlstaG pttrIodo di riferimento (In giornI)G • numero di giorni In cui I. Intarvlsta sono state affattuste Ontaml al periodo dirlfltrlmento)~ numItrQ di giorni In cui le Intarvlate sono stata effettuate (astaml al pltrlodo dirlfltrlmento)I dati concernenti la situazione in cui si è svolta l'intervista(le relazioni tra unità presenti e rispondenti, quale ad esempiola relazione di parentela, la distribuzione per giorno della setti­. mana e per ora Il rispetto del calendario) possono essere analizzateallo scopo di individuare tlpo/ogie cflntervlsta da cui desumereutili indicazioni per le norme di rilevazloneper la medesimaindagine In tempi successivi o per indagini rivolte allamedesimapopolazione.Nell'attuale organizzazione delle Indagini, la responsabilitàdelle operazioni di trascrizione edi apposizione del codici identificativi,ricade sul supervisorl (gli uffici comunali).Il calcolo degli indicatori di qualità di questo aspetto dellarilevazione, dovrebbe essere, quindi, basato sull'analisi del materialecartaceo, Il solo effettivamente compilato dai suddetti soggetti.Tuttavia, tale verifica è, generalmente, troppo dispendiosa,dal punto di vi.sta organlzzativo e della tempestività, còslcché sipuò ricorrere, per la determinazione degli errori di identificazio.ne, al confronto tra l'identificatore della stessa unità presentenel file proveniente dalla registrazione con quello corretto nellafase di revisione quantltativa. Anche in questo caso, come perl'analisi delle mancate risposte parziali, l'abbinamento dei recordpresuppone un codice di accoppiamento esatto, indipendentedal sistema di identificazione adottato nell'indagine.Il confronto può dar luogo a differenze (errori) o ad uguaglianzetra codici che saranno utilizzate per Il calcolo degli Indicatori delProspetto 3.7, rapportando il numero di unità con codici erratial totale delle unità;Tali Indicatori, tuttavia, risentono delle modalità della registrazione;infatti, i codici Identificativi vengono, generalmente,registrati in duplica e, quindi, un solo errore si ripercuote su tuttele unità cui è riferito l'identificatore. Per tali ragioni, non è possibileipotizzare un errore di registrazione di modesta entità, distribuitocasualmente ed uniformem~mte su tutte le unità rilevate,e, quindi, gli indicatori sovrasti mano l'errore dlldentlflcazlonedovuto alla fase di rilevazione.Ad esempio un errore di regi.strazione commesso sul codice Identificativo del comune,comporta che, nel numeratore dell'Indicatore, compala Il numerodi tutti I questionari del comune In esame, pur essendo valld.JI codici riferiti al questinario. .Per calcolare un parametro, che approssimi l'errore commes~so nella fase di rilevazione, si può'supporre che la sistematlcitàsia collegata solo al codice comunale e calcolare al denominatoreso'amente le differenze riscontrate nell'Identificatore di unadelle unità subcomunall (questionario, area, rllevatore, Individuoo evento).

106IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 3 • LA RILEVAZlONE SUL CAMPO107Le ......... tIchealluHurallI suddett~ Indicatori possono essere calcolati o per il concatenamentodi tutti I codici subcomunall (ad esempio l'identificatorecomposto dal codici di, rilevatore, famiglia; Individuo), oppureper ogni singolo Identificatore o combinazioni di Identificatori;nel primo caso si valuta l'errore complessivo commessosul codici identificativi, mentre, nel secondo, si può valutare ilrischio di errore per ogni singolo o per una determinata combinazionedi codici elementari.La presenza di una doppia chiave di identificazione (come nell'Indagineforze di lavoro dove esiste un codice di famiglia perl'aspetto tl"asversale ed uno per l'aspetto longltudlnale dell'Indagine)Implica "esistenza di una corrispondenza biunivoca trai due Identificatori; In questo caso le mancate relazioni, rapportateal numero di unità rilevate, danno luogo ad un specifico Indicatore.La numerazione progressiva dei questionari, relativi ad un dominioterritoriale (usualmente il comune), comporta che il massimodel progressivi od alrf)eno quello relativo alle unità non sostituite,non può superare la numerosltà campionaria assegnata.t: possibile, quindi, calcolare un tasso di errore, mediante Ilrapporto tra Il numerodl progressivi maggiori della numerosltàcampionaria ed il t6tale delle unità rilevate.'I numeratorl ed i denominatori degli indléatori possono esserecalcoratl facendo riferimento o al questionario (ad esempioil numero di questionari In cui è errato Il codice di rllevatore ol'identificatore di famiglia), owero alle unità elementari di analisi(ad esempio il numero di individui o di eventi). Nel primo caso,si ha una misura dell'errore commesso, In quanto il questionarioè il supporto cartaceo effettivamente compilato nella fase dirllevazlone, mentre nel secondo si ottiene una misura dell'impattodell'errore sul mlcrodatl dell'indagine.Le caratterlstfche strutturali delle unità rispondenti, possonoessere utilizzate per Individuare eventuali distorsioni verificates~nella fase di raccolta sul campo, ad esempio la sottovalutazronedi particolari subpopolazlonl., Per ,le hidaglnlsulla popolazione, ,si può far ricorso ad indicatoridemograflcf(:herISultano: stabili, se la base di calcolo èsufflclèntemente ampl'à, e sul cui livello si hanno Informazionia priori: Il numero medio di componenti pedamiglia, Il rapportodi maSCOlinità, gli indici di dipendenza e di, vecchiaia ecc ..Il confronto tra tali Indicatori ed I corrispondenti deSunti dalcensim'énto, dalle ris'ultanze anagrafiche o dalle previsioni, costituisceuna verifica della rappresentatlvltà dei risultati dellarllevazionerispetto alla popolazione di riferimento.Per le indagini campionarle è opportuno prendere in considerazioneun livello di controllo sovracomunale per assicurareuna numerosità sufficiente e garantire la stabilità dei rapporti.Prospetto 3.7 - Indicatori relativi all'ldentlflCàzlone delle unitàINDICATORINO_' NONO_III I NONO ... I NONO .... I NONU .... /NUNU .... III /NUNU bIu I NUNU .... /NUNO·SIGNIFICATOcomuniA) Errore comm8seoFONTE DI ERROREri_ ldenllllcatoriIdentificatorecompleto si - sisingolo subIdentificatore si - siIdentificatoridoppia chiave si - siIdentificatoriprogreaelvl si - siB) Incidenza dall'errore sul mlcrodatlIdentificatorecomplato si - sisingolo subldantlflcatore si - siidentificatoridoppia chiave si - sildantlflcatorlprogressivi si - si= numero di qusstlonarl corrispondenti alle unltè teoriche di rllavazlonaNO. NU = numero di questionari compilati e reletlve unltèNO,..,. NU ....= numero di questionari con almeno un Identificatore Bubcomunaleerreto Il relativa unltèN .... w NU .... III = numero di qusstlonarl con 1· .... lmo identificatore subcomunale erretoe relative unltèNO .... NU bilt= numero di questionari per I quali non è stata verificata la corrlspGn-, danza biunIVoca nella doppia chiave di codici e relative unltèNO ..... NU .... = numero di questionari con Il codice progreeslYo > NO· e relatMl unltè

108IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DAnCAP. 3 • LA RILEVAZIONE SUL CAMPO109Gli indicatori succitati sono validi per la gran parte delle indaginisulla popolazione; per rilevazionl mirate a particolari subpopolaZioniè necessario costruirne di specifici (ad esempio inuna indagine sulla fertilità è opportuno indagare più approfonditamentesulle classi di età delle donne In età feconda).5. La correzione degli erroriNel primo caso, possiamo applicare le analisi s~atistlch.e standarde viene assicurata la comparabilità delle stime, pOiché lestatistiche sono calcolate sulla stessa base di dati; d'altro cantotale scelta comporta una forte riduzione della numerosità campi~naria,in funzione delle pro~abilità di mancata risposta sullevariabili e del numero delle stesse. Ad esempio, Ipotizzando unaprobabilità di mancata risposta costante, casuale ed Indipendentetra variabili, la riduzione del numero di unità è riportata nellatavola (3.1).Le mancat. rlapoateparzialiDel complesso degli errori derivanti dalla fase dirilevazionesul campo, solo le mancate risposte totali e quelle parziali (intesein senso lato, ovvero comprensive delle incongruenze logichee dei valori fuori campo), possono essere riconosciute ed attribuitealla singola unità di analisi. Gli altri errori possono essereidentificati e quantificati mediante indicatori indiretti, oppure stimati,mediante indagini di controllo, ma solo in riferimento al complessodei dati.La correzione può essere, quindi, apportata solo riguardo aisuccitati errori, in quanto identifica~m senza mutare le condizionigenerali dell'indagine, in tempi e con costi contenuti; ciòimplica che è possibile correggere solo una parte dell'errore totale.La distinzione tra mancate risposte totali e parziali è funzionaleai metodi di correzione: le mancate risposte parziali sonocorrette operando sui microdati nella fase di revisione del materialeraccolto, mentre si tenta di ridurre gli effetti delle mancaterisposte totali o al momento della rilevazione; prevedendo le sostituzioni,o al momento delle stime finali, mediante appositi pesicorrettivi.Possiamo immaginare i risultati dell'indagine, dopo la fasedi rilevazione, come una matrice unità/variabili, divisa In due sottoinsieml:i dati relativi alle unità rispondenti e quelli dei non rispondenti.Per l'analisi di tale matrice sono possibili tre strategie, tenendopresente, tuttavia, che, qualsiasi di esse venga adottata, sisconta una distorsione delle stime, se il meccanismo di generazionedelle mancate risposte non è strettamente casuale:limitarsi all'insieme dei «dati completi». ovvero delle unità chehanno risposto a tutti i quesiti;includere, nell'analisi delle singole variabili, anclie le unitàche, per quelle caratteristiche, hanno fornito una risposta (datidisponibili);- operare una qualche forma di correzione o di imputazione.Tavola 3.1 - Riduzione della numerosità campionaria In funzionedelle probabilità di mancata rispostaPROBABIUTA DIMANCATA RISPOSTANUMERO DELLE VARlABlU- RILEVATE10 20 501% 90% 82% 60%5% 60% 36% 8%Nel caso dei risultati disponibili, si recupera tutta l'informazionecontenuta nei dati, ma le statistiche univaria~e non sono"immediatamente confrontabili, perché ottenute con numero~itàdiverse' inoltre si deve far ricorso a procedure non ~tandard peril calcoio di st~tistiche multivariate (ad es. la matrice dJ correlazione),a meno di non basarsi, in questi casi, solo sui risultaticompleti. "Mediante la correzione dei microdati, si eliminano gli inconvenientidel primi due metodi, poiché tale tecnica fornisce unamatrice di risultati completi per tutte le unità.Data l'importanza dell'argomento, i procedimenti di determinazionee correzione dell'errore, qui classificato come mancatarisposta parziale, sono oggetto di un apposito capitOlO (Capitolo5).Nel caso di indagini esaustive, in cui sono note le variabilistrutturali dell'universo la correzione può essere effettuata, stratificandole unitàrispo'ndenti secondo tali caratteristiche e pesandoi risultati mediante il rapporto tra numerosità teorica enumero di unità' rispondenti. Tale tecnica equivale a sostituirele unità non rispondenti all'unità media di gruppo; in. que~!O modo,però, le distribuzioni risultano a~piattlte su tali medie.L'inconveniente viene superato, utilizzando una seconda teconica, che consiste nel sostituire, a livello di micro dati, le unitàLe mancate rIapcllltetotali

110 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 3· LA RILEVAZIONE SUL CAMPO111non rispondenti con unità tipo, determinate a priori, o da unitàcon le medesime caratteristiche, scelte a caso nello strato di appartenenza;il nomer(), e l'omogeneità degli strati dipendono dallecaratteristiche delle unità, riportate nella lista. Tali tecnichepossono essere considerate come un'estensione dell'applicazionedel piani di compatibilità e correzione al caso in cui tutte levariabili, tranne quelle di collegamento, sono mancanti (cfr. Capitolo5).Per le Indagini campionarie, si può far riferimento a differentimetodologie.Il primo metodo di correzione degli effetti delle mancate rispostetotali è contemporaneo alla rilevazione sul campo: sosti­. tuire le unità non rispondenti con altre precedentemente selezionateIn maniera casuale dalla medesima lista.Tale tecnica ripristina la numerosltà campionaria programmatae quindi la quota dei non rispondenti non influenza l'erroredi campionamento. Tuttavia,· possono permanere effetti distorsivise la subpopolazlone dei rispondenti, cui appartengono leunità sostitutive, presenta caratteristiche differenti da quella deinon rispondenti; continuano, perciò, a rimanere valide le considerazioniriportate nel paragrafo 2.La seconda tecnica, più generalmente usata, consiste nellasuddivisione in strati delle unità campionarie e nella correzionedelle stime, mediante la modificazione delle probabilità di selezionein ciascuno strato.In questo caso, ad esempio, lo stimatore diretto di HorwitzThompson per la media,dove le Y R , sono le medie dei rispondenti nello strato.Per stratificare sia le unità rispondenti che quelle non rispondentisecondo un unico criterio, è necessario che questo sia conosciutoa priori, indipendentemente dalle informazioni raccoltemediante l'indagine. Inoltre, la variabile di stratificazione nondeve essere correlata con i fattori che determinano la mancatarisposta, altrimenti gli strati rlspecchierebbero ancora le popolazionidei rispondenti e dei non rispondenti.La riduzione della distorsione operata dal procedimento è funzionedell'omogeneità delle sub-popolazionl individuate a posteriori.Se sono conosciute le numerosità degli strati nella popolazione,allora si può far ricorso allo stimatore post stratificato che,sotto le condizioni sopra enunciate, risulta non distorto:Un terzo metodo di correzione degli effetti delle mancate risposte,consiste nell'estrarre, dalle n NR unità campionarie nonrispondenti, un subcampione casuale semplice di n' NR unità edottenerne l'intervista con successivi ritorni.In questo caso, la stima può essere ottenuta come combinazionelineare delle due stime, quella dei rispondenti nell'indaginee quella ottenuta dal campione dei non rispondenti, con pesipari ai rapporti delle rispettive numerosità con quella programmata..Ad esempio nel caso dello stimatore media:dove le 'II".} rap·presentano le probabilità di I?elezione dellaj-esima unità nell'i-esimo strato, verrà modificato in:(3.4)Le P.} rappresentano le probabilità di risposta, usualmentestimate CJalla proporzione di unità campionarie rispondenti nellostrato n Fil I n, •Nel caso in cui la probabilità di selezione sia uguale per tuttele unità, la (3.4) si trasforma nella:(3.5)dove YR è calcolata dagli n R rispondenti, mentre YNR è calcolatasulle n NR unita campione selezionate dagli n NR non rispondenti.Lo stimatore Y t sarà non distorto se tutte le unità del campionedei non rispondenti vengono intervistate.Tale tecnica può risultare piuttosto costosa in termini economicied organizzativi, per l'evidente difficoltà di reperire elointervistare unità, che nel corso dell'indagine principale non erastato possibile rilevare.La correzione degli errori di identificazione, si attua nella fasedi revisione quantitativa (cfr. Capitolo 5), sulla base del con­. fronto tra i documenti di rilevazione ed il file; essa consiste Inoperazioni di modificazione dei codici identificativi, di cancellazioneod inserimento di record in detto file.Gli ....... diIdentificazione

CAP. 3 • LA RILEVAZIONE SUl CAMpo.113RIFERIMENTI BIBLIOGRAFICIlavori dic~rattere teoricoAA.W. (1983), Incomplete data In sample survey, Volume 2, AcademlcPress, New York. .CoCHRAN W. (1977), Sampllng technlques, cap. 13, ~. VllleX, NEiw.York.GIOMMI A. (1~), $u!la stima della proba.bllit~. di rrsposfa nelcamplO:­namen.to da, pop,oliW0'11 finite, In AHI della XXXII Riunione Scientifica

114 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATIlavori di carattere applicativo In ItaliaCORTESE A. (1983), Indagini sul confronto censlmento-anagrafe: scopi,modalltll d'esecuzione, principali risultati, Atti del Convegno S.I.S.,Trieste.FASBRIS L (1981), Metodi statistici per l'analisi della qualltll del dati sanitari,In trStatlstlca e Ricerca epldemlologlc .. , Cleup, Padova.FASSRlS L (1984), Questlon wonIlng e selezione delle alternative di rI·sposta In una Indagine postale, In Atti della XXXII Riunione scientificadella 8.1.8., Sorrento.MANGANO S. (1984), Analisi dell'Influenza del rllevatorl sulla qualltIJ deldati raccolti nel tfllZO censimento generale dell'agricoltura, attra.velSO Il metodo dell'analisi della varlanza, Atti della XXXII Riunionescientifica della S~I.S., Sorrento.MASSELU M. (1983), Risultati dell'indagine di controllo sulla qualltll deldati del censimento 1981, Atti del Convegno S.I.8., Trieste.MA88EW M., TERRA ASRAMI V. (1983), L'Indagine di controllo di coperturadel censimento della popolazione, Atti del Convegno S.I.S., Trieste.MA8SEW M. (1988), L'errol8 di Identificazione delle unitI ed II sistemadi controllo di un'Indagine statistica. Una applicazione all'lndagl·ne sulle fotZIJ di lavoro, Atti della XXXIV Riunione Scientifica dellaSIS, Siena, Volo Il, Tomo l, pp. 169-176.ROSSI F. (1983),11 controllo del dati nel censimento della popolazionedel 1981, In Statistica n. 4.ScHIRlNZI G. (1988), Alcune prime annotazioni sulla rlpertlzlone delleaziende agricole secondo la superficie, Atti del Convegno della 8.1.S.su .Statlstlca e risorse naturall-, Messina.ZANNELLA F., SASBADINI LL, BURATTA V. (1988), Analisi dell'effetto proxyIn alcune recenti Indagini sulle famiglie condotte dall'lstat: primirisultati, documento Interno ISTAT.ZANNEUA F., SASBADINI LL, BURATTA V. (1988), Analisi dell'effetto proxynell'Indagine sulle fotZIJ di lavoro del luglio 1988 - Risultati pl8l1ml·narl, documento Interno ISTAT.CAPITOLO 4 - LA REGISTRAZIONE1. IntroduzioneNel processo di produzione del dato statistico, la registrazionecostituisce l'anello di congiunzione tra Il supporto cartaceo (questionario)e quello informatico; rende cioè elaborablllie Informazioniraccolte.In particolare, Il plano di registrazione consente Il trasferimentodel dati dal modello di rllevazlone ad un record Il cui tracciatoè suddiviso In campi di uno o plQ byte, Istituendo una corrispondenzabiunivoca tra ciascuno del suddetti campi e le variabili delmodello originale.'I tipi principali di errore che si possono commettere duranteIl processo di registrazione riguardano Il valore del dato e la suaposIzIone nel record finale. Il caso di errore sul valore si verificaquandO un certo carattere (alfabetico o numerico) viene letto oInterpretato male e quindi registrato In modo scorretto, cosi daeliminare la coincidenza fra quanto scritto sul modello e quantorisulta sul record. Ad esempio, se In alcune parti Il modello vienecodificato manualmente, può accadere che la lettura di certidati risulti difficile e che talunl simboli (come I numeri 6 e O) venganoconfusi con altri. Il secondo tipo di errore accade-quandoun carattere viene letto e digitato correttamente rispetto al suovalore, ma In una posizione errata sul record. Per esempio puòsuccedere che venga Inserita la digitazione di uno o plQ byte, oal contrarlo si Introducano valori blank non previsti, determinandouno sllttamento (shift) indietro o In avanti di parte del dati rispettoal tracciato record di riferimento.Quando questi errori si verificano, le elaborazioni successivegenerano rlsu"atl affetti da errore: è necessario pertanto da un latocercare di ridurre le fonti di errore, e dall'altro Individuare metodiche fomlscano una valutazione quantltatlvadell'errore commesso.I IIpIti _2. La perdita di Informazione dovuta all'errore di registrazioneUn aspetto fondamentale di cui tener conto nelle analisI suglierrori di registrazione è Il contenuto Informativo del codici:l'Influenza sul risultati finali di uno scambio di valori da zero ablank può essere quasi nulla se si tratta di dati quantltatlvl dicui Interessa la somma (es. spese di consumo per determinatibeni), ma può viceversa essere rilevante se al blank viene attribuitoIl significato di mancata risposta e se le mancate rispostesono oggetto di particolari elaborazioni.

116 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 4 • LA REGISTRAZIONE117Alcuni tipi di errore possono Incidere notevolmente sulla coerenzainterna del questionario e richiedere un successivo interventoda parte del piani di correzione, ciò dipende sostanzialmentedal plano di codifica predisposto.Alcune volte è possibile definire una gerarchia degli errori legataa quena delle varlablll-guida dei piani di compatibilità (cfr.Capitolo 5). .È chiaro che se l'errore di registrazione Interessa proprio unavariablle-gulda, ne può risultare Inficlata la sequenza di campiche da questa dipendono; particolare attenzione, quindi, deve es·sere rivolta al campi del record che riguardano le variablll-guida.Per converso certi errori possono non incidere sulle elaborazioniconclusive se non alterano Il dato, portandolo oltre I valori-sogliadi classificazione. Ad esempio nella rilevazione delle forzedi lavoro un'età del rispondente superiore al14 anni determinala compilazione del foglio Individuale, per cui è rilevante Il casoIn cui un minore di 14 anni diventi, a causa di un errore di registrazione,maggiore di tale età; è Invece abbastanza Indifferenteche un valore al di sotto del valore-soglla, pur essendo digitatoerr~meamente, rimanga all'Interno della classe (fra O e 13 anni).L'effetto di un errore di registrazione va quindi valutato In terminidel suo contenuto informativo nel contesto del questionario.L'Importanza relativa degli errori Induce Inoltre a guardare conparticolare attenzione alle variabili che definiamo strutturali, cioèquelle che, essendo di Intestazione alle tabelle finali, vengonoIncrociate con le altre variabili: ad esempio il sesso e le classidi et~. Per queste variabili l'analisi dell'errore

118 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 4 • LA REGISTRAZIONE119mancata risposta questo Implica un blank In quella posizione.Col campi a serrare Invece Il codice da registrare è univoco perogni modalità di risposta, in modo che la posizione sul recordnon abbia rllevanza e sia possibile registrare questi codici di seguito,cioè senza Inserire I valori blank.ESEMPIOCAMPI FISSI: Nel corso degli ultimi dodici mesi quante volte è stato fatto ricorsoa uno del seguenti medici specialistici o allo psiCOlogo? Nel caso divisita Indicare Il tipo di servizio utilizzatopubblicoRicorso a servizioprivatosia pubblicoper per che privatoscelta necessitàDentista ........... D 2 D 3 D 4 DOculista ........... D 2 IXI 3 D 4 DCardiologo ......... 1 D 2 D 3 D 4 DOrtopedico ••••.•••• 1 D 2 D 3 IXI 4 DEndocrinologo •••••• 1 D 2 D 3 D 4 DPsicologo •••••••••• D 2 D 3 D 4 DAltro .............. D 2 D 3 D 4 DIl tracciato record corrispondente alle risposte barrate è Il seguente:I 2 II 3 I3 8 7l'uso del campi a serrare è vantaggioso quando ci sono do·mande complesse e/o multiple con lunghe sequenze di codiciuguali che possono generare errori di registrazione, e consentedi eliminare I valori blank Ihtermedl che potrebbero dar luogo asllneamentl. I campi a serrare Inoltre danno l'opportunità a chiregistra di leggere I codici Indifferentemente per riga o per co·lonna, quindi con maggior velocità.D'altra parte comunque bisogna rilevare che I campi a serra·re necessitano In genere di un numero di byte superiore rispettoal campi fissi, dato che I codici previsti occupano due posizioni;questo può essere problematico se esistono limiti alla dlmen·slone del record.CAMPI A SERRARE: Nel corso degli ultimi dodici mesi quante volte è stato fatto rI·corso a uno del seguenti medici specialistici o allo psicologo?Nel caso di visita Indicare Il tipo di servizio utilizzatopubblicoRicorso a serviziopersceltaprivatopernecessitàsia pubblicoche privatoDentista ........... 11 D 12 O 13 D 14 OOculista ........... 21 D 22 IXI 23 D 24 DCardiologo ••••••••• 31 D 32 D 33 D 34 DOrtopedico ••••••••• 41 O 42 O 43 IXI 44 DEndocrinologo •••••• 51 O 52 D 53 D 54 OPsicologo •••••••••• 61 D 62 D 63 D 64 DAltro .............. 71 D 72 D 73 D 74 DIl tracciato record corrispondente alle risposte barrate è Il seguente:12 12 14 1311 2 3 4 8 8 9 10 11 12 13 14Altri suggerimenti che si possono aggiungere riguardano lapredlsposizlone di un numero di byte adeguato e sufficiente acontenere tanto le risposte quantltatlve, nel caso in culli valoremassimo effettivo di una variabile superi quello lpatlzzato, quantoI codici per variabili qualltatlve con risposte aperte.Un ulteriore fattore Importante è l'esatta definizione del pia·no di registrazione In cui alla descrizione dettagliata del traccia·to record si affiancano Indicazioni precise sulla compatibilità delcodici nel singoli campi.4. Controllo amministrativo 8 statisticoIl controllo della qualità nella fase della registrazione attuai·mente effettuato dall'Istituto Nazionale di Statistica avviene Inmodo differenziato a seconda che quest'operazione venga eseguitaall'Interno o all'esterno (In servlce).Nella registrazione interna I record sono sottoposti ad un con·trollo «leggero» Interattivo e nel reparto stesso la registrazioneviene controllata da revisori.jl'J

120IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. ... LA REGISTRAZIONE 121L'_ID'"Irecord .... 11Diverso è il procedimento di controllo per la registrazione appaltataa ditte esterne: definita per contratto una soglia di errore(in percentuale sul byte digitati) al di sopra del quale l'Istituto hafacoltà di rifiutare lo stock di record registrati e di chiederne la rldigitazione,si prende in esame un campione di questionari e i relativirecord, I modelli campionati vengono nuovamente registratie verificata la coincidenza con quelli della prima registrazione delladitta: se la percentuale di byte errati supera la preflssata soglia dierrore (5 per mille), l'Intero stock viene rigettato, altrimenti esso vieneconsiderato sufficientemente affidabile e quindi accettato.Questa procedura di verifica, che viene eseguita su richiestadel reparto responsabile dell'Indagine, produce come risultatofinale una stima dell'errore totale, espresso dal rapporto fra nu·mero di byte errati e numero di byte utili (cioè quelli effettivamenteutilizzati nel record), oltre che un certo numero di statistiche sulnumero di errori per record, sui record saltati e duplicati ecc,Pur essendo utilizzato a fini amministrativi, Il dato sull'erroretotale è poco indicativo dell'effettivo livello di qualité della registrazionee non dice nulla sulla tipologia degli errori commessie sulla loro distribuzione all'interno e fra I record.SI consideri a titolo di esempio il caso di 10 record lunghi 100byte che, sottoposti a controllo, presentano un errore totale del4 per mille, quindi al di sotto del valore-soglia; facendo l'ipotesiche la distribuzione degli errori sia tale da generare un 5010 byteerrato per record si ottiene implicitamente un totale di quattrorecord errati ogni 10: in definitiva Il 40% di record errati.Naturalmente In realtà si verificano errori multipli sullo stessorecord, cosicché la suddetta percentuale tende ad abbassar·si, ma è evidente come anche un valore abbastanza piccolo del·l'errore totale calcolato sul numero delle battute possa inciderepesantemente sulla percentuale di record errati,Alcune verifiche empiriche (cfr, Zuchegna A,) su record delcensimento della popOlazione hanno riscontrato una percentualedi record errati del 13% in corrispondenza di un errore totale del5 per mille.L:esempio riportato vuole sottolineare lo scarso contenuto diinformazione dell'errore totale e la necessità di elaborare altre informazionidisponibili o rlcavablll dal dati provenienti dal contrai·lo amministrativo, al fine di costruire Indicatori specifici dell'entitàe del tipo di errore, e quindi passare ad un controllo statistico chevaluti sia I byte sia I campi errati: ad esempio li numero di recordche contengono almeno un byte errato, Il numero di byte errati perrecord, Il numero di variabili (campi) errate, la distribuzione deglierrori per record e per variabili, ecc"5. Il controllo a campionePer il controllo della qualità della registrazione si utilizza uncampione di modelli, che vengono nuovamente digitati e confrontaticon quelli provenienti dalla registrazione originale, L:oblettlvadel controllo amministrativo è di pervenire ad una decisionecirca Il livello dell'errore totale e richiede quindi una verifica sulnumero di byte utili errati: sono quindi I byte a costituire l'universodi riferimento da cui estrarre Il campione. L:estrazlone e la registrazionedi singoli byte o di campi da ogni modello si presentaperò molto laboriosa e di notevoli difficoltà organlzzative, inquanto considerare un 5010 elemento per record costringerebbea lavorare e a maneggiare un numero cospiCUO di pacchi di modelli;pertanto, più agevolmente, una volta estratto un modello,vengono considerati nel campione tutti I byte In esso contenuti.Lo schema di campionamento del byte è quindi di tipo clu-ster, cioè a grappoli o gruppi di byte che, appartenendo allo stessomodello o a un pacco di modelli sono in qualche modo omogeneifra loro (stesso operatore che li ha registrati, stesso Comunedi rilevazione ecc.) e meno rappresentativi della variabilità dell'universodi riferimento. Il campionamento cluster implica un aumentodella varlanza delle stime rispetto al campionamento ca·suale semplice del singoli byte e richiede, per mantenere la bontàdelle stime a livello desiderato, che Il campione di record abbiauna numerosltà adeguata t:effetto cluster agisce anche quandovolendo, effettaure controlli statistici su record Individuali, siconsidera l'intero modello familiare, quindi un grappolo di Indi·vidul.Per esaminare l'effetto di un campionamento cluster consideriamobrevemente I risultati di una simulazione, effettuata sianell'ipotesi che gli errori di registrazione fossero di tipo casuale,. sia che fossero di tipo sistematico al fine del calcolo del -Defta,cioè della perdita di precisione delle stime del campionamentoa grappoli rispetto al campionamento casuale semplice.Se supponiamo di dividere la popolazione originaria (l'Insiemedi tutti i byte digitati) in S subpopolazionl (S questionari) checontengono M elementi, fissata la numerosltà n del campione,non è indifferente procedere ad una estrazione casuale di n elementio estrarre un certo numero K di subpopolazionl di M elementida sondare, con Il vincolo che K*M > = n. La differenzasta nella precisione delle stime ottenute con I due metodi, tendendoquella del secondo ad essere Inferiore In funzione dellevarianze Interne alle singole sUbpopolazlonl, che determinano ilcosiddetto effetto cluster,L ..... tto .clllSt_

122 " IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 4 • LA REGISTRAZIONE 123.. r_.. Per verificare e valutare l'-effatto cluster. In assenza di erro-re sistematico un primo Insieme di prove è stato eseguito simulandovari valori di -p-, diverse lunghezze del record su K = 100record, dando luogo al risultati della Tavola 4.1.cu.....Far valutare l'entità di questo effetto sulla precisione delle stimedel parametro -p- (percentuale di byte errati) e per corregereeventualmente la numerosltà campionaria per tenere conto dell'Ipotesidi estrazione di record Invece di byt&; quale Indicatoredi base di è utilizzato II-Deffa, definito come Il rapporto fra Il valoredella varlanza della stima nell'Ipotesi di campionamento clustered Il valore della stessa varlanza nell'Ipotesi di campionamentocasuale semplice, a parità di numerosltà campionaria Unvalore del -Detta prossimo all'unità Indica assenza di effetto cluster,mentre Valori via via superiori si rilevano ID' presenza di effettocluster crescente. fino al punto che un -Oeff- quasi ugualea M (numero di elementi per cluster) dovrebbe Indurcl ad estrarreK=n record di numerosltà M per avere la stessa precisione delcampione semplice di byte di numerosltà n.Tavola 4.1 - Errori casualiP M Rapi.Deff varo pmedio Deff stima0.01 20 20 0.977 0.124 0.00940.005 20 100 0.991 0.119 0.00470.01 20 100 0.991 0.123 0.00960.01 100 100 0.992 0.129 0.0097p = pelaMllUllledl_.-I; Il .. l"",--del...m;NPl .. _dl .... lIcazIonIdeI .. ~1IIII1* Il calcolo diii." medio; .,,1MdIo .. ."medlo......... 11c8ZIoII~ _ defI ....... del."nelle repllcllZlon~ p stima ...._lllimaio di p (In medie).senza di record lunghi M =80 potremmo considerare un campionamentodi K record con K = 2000 I 80 = 25.Queste considerazioni valgono In presenza di errori pùramentecasuali all'Interno del nlICOrd, mentre l'effatto -cluste ... manlf.sta pia problematlcl effetti In caso di errori sistematici, come dimostranole prove successive.Definiamo errore sistematico quello che accade al verlflcar- .. r.mn ..si di una condizione di errore su altri elementi, ad esempio un ...........valore replicato Identicamente su pii) byte contigui o su pia record-vlclnl-, oppure una certa -costanza- nell'Interpretare certicodici. Abbiamo considerato Il caso semplice di una procedurache genera un errore sul byte x-es/mo, oltre che per evento casual&;ogni volta che si è determinato un errore sul byte y-es/mo.Oltre all'errore sistematico SingOlo sono valutati gli effetti di errorimultipli, cioè quelli che mettono In relazione coppie di byte;ed Infine abbiamo considerato l'errore derivato dalla generazionedi un record In culi byte successivi al byte x-es/mo sono tuttierrati, ad esempio per uno sllneamento. .Tavola 4.2 - Errori sistematiciTIpoDeffP Var.Mperrore Rapi.medio Deff stima1 slst. 0.01 20 20 1.17 0.180 0.00912 slst. 0.005 20 100 1.08 0.176 0.00522 slst. 0.01 20 100 1.15 0.165 0.01085 slst. 0.01 20 100 1.41. 0.263 0.00931 tr. 0.005 20 100 6.96 6.960 0.00961 t.r. 0.005 80 100 26.64 26.150 0.01001 t.r. 0.005 100 100 27.45 34.144 0.0092p = jlelanlUllledl_enatl; Il .. lu.v-del.-nI; .... 1 ..._dl.... llcaIonldel .. 1JI1IC*hn1* Il calcolo del defI medio; deff lMdIo .. deff medio IUlle nIPIlcaIonl; _ deff ....... del deffnelle .... 1IcIIZIon1; P stima .. valant stlmaIo di p(ln medie); I11III. ..-"'-100; Lt .._11_matlco ... tutto Il _ da un -1Irta In poi.Le simulazioni In gruppi di 100 record fanno riscontrare un aumentomolto accentuato del-Detfa, tanto al crescere del numerodi campi coinvolti nell'errore sistematico quanto al crescere dellalunghezza del record. Far record lunghi 80 byte ad esempio Il-Oetfa medio si assesta attorno al 26.6 nel totale delle repllcazlonl,comprendendo cioè sia I casi In cui effettivamente un erroresistematico sia stato generato sia I casi In cui questo non &WIene.In realtà quando la procedura di simulazione comporta l'etfattivagenerazione di un errore su tutto Il record a causa di unSI osserva eh&; In assenza di errori sistematici, la precisionedelle stime che si ottiene considerando ad esempio 100 recordlunghi 20 al posto di 2000 singoli bytes non risente dell'effettocluster. I due metodi sono sostanzialmente equivalenti, risultandoquello per record pII) economico In termini di tempo e difficoltàdi esecuzione. Quindi se si considerano K cluster (record)di numerosltà M (numero di byte per record) per ottenere un er.rorecampionario minore o uguale a quello che si otterrebbe estraen.­do n = K*M singOli byte è sufficiente (approssimativamente) utilizzarenlM = K cluster di M elementi.Ad esempio dovendo estrane, secondo un piano di campionamentocasuale semplice, un campione di n=2OOO byte In prei

124 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATIerrore sul'x-eslmo byte, Il -Deffa assume valori che variano fra47.9 e 69.3, Implicando che per mantenere la precisione delle stimesarebbe necessario aumentare la numerosltà del campionedi record di almeno 70 volte, cioè secondo Il caso Ipotlzzato sapra,estrarre (2000180)*70 = 1850 record.In pratica se c'è un errore sistematico Il camplonamerito agrappoli è molto inefficiente, dando luogo anche a stime di -p»molto diverse dal vero valore: la numerosltà campionaria pertantoandrebbe aumentata fino a far coincidere Il numero K di gruppi(record) col numero originario di byte (elementi) da estrarre nelcampionamento casuale semplice.Per quanto riguarda Il campionamento per attributi espostonel Paragrafo 6 si conviene che, quando si abbia il forte sospettodella presenza di errori sistematici, nel caso si voglia utilizzareil controllo con l'approssimazione bl"omlale si adotterà unanumerosltà campionaria K di record pari al numero n di byte previstiper l'estrazione casuale semplice; se si vogliono adoperarele Tavole Mllltary Standard si adotterà il campione rlnfotzato, conlivello 1\1 (generai Inspectlon level) di numerosltà campionaria.8. Definizione degli standard di qualitàPer valutare se Il materiale proveniente dalla registrazione èaffidabile e quindi predisporre la procedura di controllo è fondament"ela definizione del livello di qualità che si ritiene accettabileo auspicabile, In modo da poter determinare un plano dicampionamento che, con preflssata probabilità di errore, consentadi accertare se la percentuale di errore nel file registratosoddisfa o meno Il preflssato standard.Possiamo considerare diversi approcci per definire la quantitàdi errori riferendocl a:1. numero di byte errati In totale sul numero di byte utili (erroretotale), ad esempio 5 per mille;2. numero medio di record errati sul totale dei record digitati,ad esempio 5 per cento;3. esame complessivo del due parametri precedenti.Per ciascuno di questi casi si specifica una procedura di con·trollo..,.. Md CASO 1) Definiamo Innanzltutto le battute utili del record carneI byte effettivamente occupati da valori non sempre nulli sultracciato record: se ad esempio un record fisico è lungo 80 co-I·Ilonne, ma ne vengono utilizzate soltanto 55, diremo che quest'ultimoè Il numero di battute utili.Dal punto di vista amministrativo, per la valutazione del costidi registrazione In servlce, I quali sono proporzionali al numerodi battute, vengono talvolta escluse dal conteggio le bat·tute di pl':' blank consecutivi o le battute In duplica, ma, relativa·mente al problema del controllo di qualità, è pl':' conveniente considerarele battute utili come colonne del record occupate da va·rlablll, anche se In queste risulteranno talvolta valori nulli.Quando Il questionario richiede la registrazione su pl':' recordfisici si effettueranno i passi della procedura di controllo camopionario conslder~ndo l'Insieme del record dello stesso questionariocome unità di estrazione, eseguendo I calcoli sul numerocomplessivo di battute.CASO 2) Alternativamente la qualità della registrazione puòessere valutata basandosi sul numero di record errati (con almenoun errore): si applicherà allora una procedura di controllo In cui,pur rimanendo l'unità di rllevazione Il questionario, la difettosi·tà del lotto sarà riferita al record errato e non alla battuta errata.Per quanto riguarda la determinazione del livello di qualitàaccettabile bisogna tener conto del fatto che una ridotta dlfet·tosltà In termini di percentuale di battute errate può Implicareun elevato numero di record erratI. Se consideriamo che moltospesso le correzioni degli errori attraverso I piani di compatibili·tà utilizzano come riferimento I record -completi» (cioè quelli senoza alcun errore) si capisce come sia importante cautelarsi rispettoalla possibilità che questi -scarseggino».Tavola 4.3 • Percentuale di record errati al variare del numero dibyte nel record, p = 5 per mille.,CAP. 4· LA REGISTRAZIONEn numero bytenel recordrecordrecord con~ = np S8nz&errorl almeno un erro(su 1000) (su 1000)50 0.25 779 22160 0.30 741 25970 0.35 . 705 29580 0.40 670 33090 0.45 638 362100 0.50 607 393110 0.55 577 423120 0.60 549 451130 0.65 522 478150 0.75 472 528200 1.00 368 632"-'I Md125

126 Il SISTEMA DI CONTROLLO DElLA QUALITÀ DEI DATIPer fare un esempio abbiamo Ipotlzzato la sola presenza dierrori casuali (situazione pii) sfavorevole rispetto alla distribuzionedegli errori fra I record a parità di -p.) e considerato unadifettosità _p. del 5 per mille: si è utilizzata la distribuzione diPolsson per calcolare la percentuale teorIca di record con almenoun errore al variare del numero di byte per record. La tavola4.3 Illustra I risultati ottenutI.La probabilità che si riscontri un errore di registrazione all'Internodi un record aumenta ovviamente all'aumentare dellasua lunghezza, a parità di -p ••CASO 3) Una terza possibilità è rappresentata dalla considerazionecongiunta degli errori sul byte e sul record~ SI osserva allorache a parità di lunghezza del record la percentuale di errorecalcolato sul record varia proporzionalmente al variare della percentuale_p. di errori sul byte. Nella tavola 4 abbiamo preso un recordcon un numero di byte preflssato pari a 100 per valutare la percentualeteorica di record errati In relazione a diversi valori di -p •.Tavola 4.4 - Percentuale di record errati al valore di-p., n = 100p erroresul byterecordrecord conÀ = np senza errori almeno un errore(su 1000) (su 1000)0.0001 0.01 990 100.001 0.10 904 960.002 0.20 818 1820.004 0.40 670 3300.005 0.50 606 3940.010 1.00 367 6330.025 2.50 82 9180.040 4.00 18 9820.050 5.00 6 9940.100 10.00 O 1000È quindi necessario arrivare ad un compromesso fra percentuale_p. di errore sui byte e percentuale di record errati: nell'esempio,per ottenere 119,6% di record errati bisogna stabilire unvalore di .p. attorno all'1 per mille. .Sempre riguardo alla determinazione degli standard di qualitàè necessario sottolineare che esistono due approcci al problemadal quali derivano due distinte metodologle.Il primo è legato alla scelta di un unico parametro di qualità(p = percentuale di difettosi) che discrimina fra l'accettazioneed Il rifiuto del risultati della registrazione: 1\ metodo da applicareIn questo caso e quello statistico degli Intervalli di confidenza(o verifica d'Ipotesi) sul detto parametro. .Nel secondo approccio sono Invece previste le due figure delfornitore (la ditta di registrazione) e dell'acquirente (l'lstat) a eiasunodei quali viene attribuito un livello di qualità: LQA è illivellobuono (accettabile) per Il quale 1\ fornitore è quasi certo dell'accettazioneda parte dell'acquirente e al quale cerca di adeguarsi;LQT è il livello di qualità cattivo minimo, che Il fornitoresa verrà rifiutato dalla controparte.Questi due livelli di qualità servono alla costruzione della curvaoperativa caratteristica che sta alla base del metodi di controllodella qualità industriale esaminati di seguito.7. Piani di campionamento singolo per attributiSe si assimila Il processo di registrazione ad un processo produttivoIn cui Il pezzo prodotto è Il singolo dato (o record) digitatoè possibile applicare alla registrazione alcuni controlli utilizzandopiani di campionamento ideati per i controlli Industriali.Nel caso della registrazione si tratta di verificare se Il datoè digitato correttamente, cioè se è buono, o Invece è difettoso:è opportuno allora utilizzare per il controllo statistico un planodi campionamento singolo per attributi, dove la caratteristica qua­IItativa da studiare è appunto la dlfettoslté.Il test di controllo viene effettuato mediante un piano di campionamentosingolo (con una sola estrazione) per attributi (chediscrimina fra pezzi difettosi e non). Dato un lotto di pezzi di numerositàN, un plano di campionamento singolo è definito da dueparametri: n, la dimensione del campione e c, 1\ numero di accettazione,cioè Il numero di pezzi difettosi che si è disposti adaccettare nel campione senza che questo comporti la decisionedi considerare inaccettabile la qualità complessiva della produzione,e di respingere pertanto il lotto in esameQuesti due valori vengono fissati sulla base di:N dimensione del lotto;LQA = p1 livello di qualità accettabile;LQT = p2 livello di qualità tollerata (o rifiutablle);1 - a probabilità di accettazione se p = p1, (a di solito ugualeal 5%); .fj probabilità di accettazione se p = p2, (fj di solito uguale a 10%);dove p indica la vera (e Ignota) qualità del lotto espressa comepercentuale di pezzi difettosi (a).(a) Nel linguaggio tecnico proprio del controllo statistico Industriale se p1 è 1111-vello di qualità accettabile (AQL in Inglese) e p2 Il livello di qualità tollerata (IIPD InInglese) si use dire che 1-a è Il rischio del fomltare (rischio che essendo la qualitàbuona Il lotto 1I8nga rifiutato) e Il è Il rischio dell'acquirente (rischio che essendo la qu.Utà catt/\IIIlIlotto venga accettato): questi valori definiscono due punti sulla curva o~ratlva caratteristica (OC) che descrl1l8 al variare di p (% difettosi nel lotto) la probabilitàdi accettare Il lotto e mostra la capacità discriminatoria del disegno campionario.1

128 IL SISTEMA DI CONTROLLO DEUA QUALITÀ DEI DATICAP. 4 • LA REG\St'RAZIONE129Se trattiamo un lotto di dimensione finita (N non eccessivamentegrande) la distribuzione dell'errore nel lotto sarà una variabilecasuale Ipergeometrica:• n I .......1 - a = l~D d I (n ..:.. d) I • pl Il • (l - pl)(4.4)(4.1)dove D è \I numero di pezzi difettosi totali del lotto, N è la numerositàdel lotto ed n la dimensione del campione, d Il numero didifettosi nel campione.Fissata la probabilità a (errore di prima specie) di rifiutare illotto di record In presenza di una -buona- qualità (p1) dovremodeterminare la numerosltà campionaria n e Il valore di accettazionec, tale per cui se Il numero di errori riscontrati è superiorea c, il lotto non viene accettato. Porremo quindi:p(c) I pl > 1 - a (4.2)"Q:' n I 211 (I 2~.....s,.. = II~O d I (n - d) ! • P • - p ~(4.5)Le soluzioni delle due equazioni non lineari e simultanee sonorlcavablll graficamente dal nomografo riportato nella Figura4.1 seguendo una semplice procedura: si tracciano due retteche congiungono p1 a 1-a e p2 a {J; l'lntersezlone delle due lineedescrive una regione In cui giacciono varie possibili coppiedi valori n e c; la scelta di una di queste coppie fornisce Il planodi campionamento desiderato. Ad esempio se a = 0.05,p1 =0.01, {J = 0.10, p2 = 0.06 la procedura grafica definisce un'areain cui possiamo selezionare diverse coppie di valori n e c; n =89 e c = 2 potrebbe essere un plano di campionamento appropriato.Oltre al procedimento grafico sono disponibili alcune tavoleda cui ricavare n e c In funzione del livello di qualità desiderato(cfr. Duncan A.J., 1974).in cui la probabilità condizionata P(c) I p1 coincide con la (4.2)quando a -d- sostituiamo -c- e a _D. sostituiamo l'approssimazione01 = p1*N.Il vincolo (4.2) non è però da solo sufficiente a determinareentrambi I parametri (c ed n): si definisce allora una qualità scadente(P2) del lotto che vogliamo accettare con probabilità {J moltobassa (di solito uguale a 0.10) cosicché:P(c) I p2 > {J '. (4.3)Queste tavole forniscono tipi di piani di campionamento standarda diversi livelli di Ispezione:• normale da utlllzzarsi all'inizio dell'attività di controllo;• rinforzato da usarsl quandO la qualità del fornitore si è recentementedeteriorata;• ridotto da usarsl quando la qualità del fornitore si è portatarecentemente a livelli eccezionalmente buoni........... T .....IlUIIIIJ ........1110che è la (4.2) con D = 02 = p2oN.Risolvere simultaneamente per n e c le due equazioni (2 e 3)è però molto complicato e laborioso a causa del calcoli richiestidalla Ipergeometrlca. SI preferisce pertanto nella pratica determinareIl plano di campionamento:1. con l'approsimazlone Binomiale, valida per N grande e per tassidi campionamento piccoli, nlN < 10%.2. con le tavole Mliltary Standard 1050 per qualsiasi valore di N.Per disegnare \I plano di campionamento di accettazione (cioèper determinare n e c) è conveniente impiegare l'approssimazioneBinomiale In luogo della complessa variabile Ipergeometrica,fissati a, {J, p1 e p2 le equazioni (4.2) e (4.3) divengono:i'I!La procedura per un plano di campionamento singolo con letavole MIL STO 105D è la seguente:• si sceglie Il livello di qualità accettabile (AQL, Acceptance Qua­IIty Level) espresso In percentuale;• SI sceglie Il livello generale di Ispezione (relativo alla maggioreo minore numerosltà campionaria (basso = I, medio = Il,alto = III);• si trova nelle Tavole I la -Iettera-codlce- (Sample Slze CodeLetter) corrispondente al parametri (AQL ed n) sopra citati;• si entra In una delle Tavole Il, a seconda del livello dllspezlonescelto (ridotto = reduced -> Tavola II-A; normale = Normal'->Tavola II-B; rinforzato = Tlghtened -> Tavola II-C) pertrovare \I piano di campionamento (n = sample slza, c = Ac= Acceptance number).

l;:lUIL SISTEMA DI CONTROLLO DELLA QUALITA DEI DATICAP. 4 - LA REGISTRAZIONE 13Example:Required: a sampling pian havingp - 0.95 at p - 0.02p - 0.10 at p - 0.08Solution: make alignments and read sample size (n) and acceptance number (c) as indiagram below:Plm

'.~.;.­~I132 IL SISTEMA DI CONTROLLO DELlA QUALITA DEI DATICAP. 4 • LA REGISTRAZIONE133,.III •I ~ .. $• ,. iii 18 A~ Il $,.I = Il ~~ :!•I,.Il = iii~ ili Il : :~ -.... III. !: !I,....... :I.li I ~ :~::!I~ I >: ..~: ...... .• I.li > :~ -.... • )-~ .... .li . - ..I::• ...li I > : ~: "• I ) :~...li -•.li ) : I(:l• -.li I ~ ........• == I :I 51 Il !I IHl Il I @ I I: I >:~ " -•• u Q" ..IO • _.... .. zoo ... IO ..jl!I...fl •J1•1l ..• •••~C.uFigura 4.4

." .. IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 4 • LA REGISTRAZIONE135II, c!c!Il ::~c! Il Il lCIl R R R:!I :!I :::Il :: :(~,,=;J c! = = !3 :::lC~(Il SI~ ~ :: E:;c! - -.SI ::I ::: (!ilIIl ~ ~ ~ S ~.l! .. . ~!! il~ ~ ~ ~=(Idi.. .. ~ • !!I !318~ ~ ~ ~ (I~.li !!Idi. ". ~.. - S!:s : (IIl " " N" ~ ~N ~c! . .. ~ ..lQ!!I::1(N I~ ~il - -~-!!Idi. . .. ~~N~ - !! ~:!I_ N ~I~ ~il o -o.

136 IL SISTEMA DI CONTROLLO DELlA QUALITÀ DEI DATICAP. 4· LA.REG~ON~137p2 livello di qualità tollerata (o rlflutabile);1 - a probabilità di accettazione se p pt;fJ probabilità di accettazione se p = p2;dove p Il la percentuale di pezzi difettosi nel lotto.XA == -hl + s.nXR == hl + s.ncon:hl == (log I - a) I 11:fJhl == (lo, I - fJ) I 11:a11: == lo, pl.(l-pl)pl.(l-pl)s == (lo, I - pl )I-plnumerodidlfettDal8Figura 4.878543O-1-2zona dirlnutozona diIICCBIIaZloH30 40 50 80 70(4.6)(4.7)(4.8)(4.9)(4.10)(4.11)XA--h,+enI8. Analisi del rl8ultstl campionariUna volta che si disponga dei dati campionari si potrà valutarela quantità di errore a diversi livelli di analisi. Per Il controlloamministrativo si calcolerà la percentuale· di errore sul bytecalcolando l'errore totale definito nel paragrafi precedenti (cfr.§ 3). Per Il controllo statistico l'errore potrà esser esaminato siadal punto di vista del record che dal punto di vista delle variabili.Nel primo caso un'analisi a livello di record oltre a misurarela percentuale di record errati (con almeno un errore) sul totaledel record, potrà fornire la distribuzione del record In funzionedel numero di errori e l'errore medio (In termini di byte o di variabili)per record (cfr. Appendice 1).Nel secondo caso si osserverà· ad esempio la percentuale dierrore sul campi, cioè sugli Insiemi di byte contlgl,.ll che definisconoIl valore di una variabile: questo sia considerando Il semplicerapporto fra Il numero totale di campi errati e Il numero dicampi digitati, sia ricavando la distribuzione di frequenza deglierrori per ogni singola variabile, tenendO conto che Il peso deglierrori andrà rapportato alla lunghezza del campo che definiscela variabile stessa eia al numero di codici previsti come valoredella variabile.DI particolare Interesse Il la determinazione della casualitào meno dell'errore generato dalla fase di registrazione, quindi dellapresenza o meno di variabili o di posizioni pII) errate di altre.Se gli errori di registrazione sono puramente casuali essi sarannodistribuiti In maniera neutrale rispetto alle variabili successivamenteelaborate, cioè tenderanno a compensarsi; se Invecealcuni tipi di errore si verificano con maggior frequenza toccandoparticolari variabili si potranno determinare distorsioni nelrisultati finali.La presenza di errori sistematici di registrazione può essere TMI ............pertanto preliminarmente testata per eliminarne l'Incidenza sulsuccessivi passi di elaborazione, sia globalmente attraverso testdi adattamento CHI QUADRATO, sl,.llla distribuzione degli erroriper modalità dalla variabile, oppure a livello di byte o di variabili,attraverso le matrici di transizione, a cui si applicano opportunitest.Soprattutto per le varlablll-guida del piani di compatibilità(quelle da cui dipendono I valori accettabili di variabili gerarchicamenteInferiori) sarà Importante Individuare la presenza di errorisistematici che potrebbero Indurre correzioni Improprie (e talvoltasistematiche) su altre variabili.

,"" IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATI'CAP. 4 • LA REGISTRAZIONE139Inoltre, almeno per le variabili strutturali, quelle utilizzate comecriterio di classificazione nelle tavole di pubblicazione, sarà necessarioverificare la presenza di errori correlati fra variabili. Infattipuò accadere che l'errore di registrazione si compensi all'internodella marginale (supponiamo ad esempio che la proporzionedi maschi e femmine risultante dalla registrazione sia accettabile),ma che l'errore sulla variabile sesso sia correlato conqualche altra variabile (continuando l'esempio che all'errore maschioregistrato come femmina si associ la variazione da occupatoa In cerca di occupazione). Nella tabella che Incrocia la variabilestrutturale (sesso) con la variabile correlata (condizione)si otterrà una distribuzione delle frequenze sbilanciata verso alcunecaselle (per es.: molte femmine in cerca di occupazione).Vista la possibilità che l'errore sia rllevabile solo nell'Interazlonefra variabili è necessario considerare le correlazioni (sulledistribuzioni di frequenza doppie) degli errori, almeno sulle coppiedi variabili strutturali più ImportantI.10_ Metodi per la ricerca degli errori sistematiciPer Individuare la presenza di errori sistematici può essereutile, a partire dal campione di verifica, ricorrere alla costruzionedi matrici di transizione prima/dopo, dove vengono riportatele frequenze con culi valori registrati sul campione risultano identicia quelli originari. o Invece risultano diversi.L'eventuale correlazione fra valorJ iniziali e finali Illustrati inquesto tipo di tabella può consentire di Individuare la sistematicitàdell'errore, sia a livello di carattere digitato (numerico o alfabetico)complessivamente, sia a livello di variabile.Se non cl fosse nessuna differenza fra le due registrazioniallora le frequenze della matrice occuperebbero la sola diagonaleprincipale, mentre valori con nulli al di fuori della diagonaleprincipale paleserebbero il verificarsi di errori.Talvolta la semplice Ispezione della tabella è sufficiente perIdentificare l'errore sistematico, ma in generale conviene analizzarela tabella, considerando diversi aspetti del legami tra errori,mediante specifici test di Indipendenza, di simmetria, di omogeneità,illustrati nell' Appendice 2.APPENDICE1. Un metodo per la ricerca degli errori sistematici sul recordUn metodo per Individuare la presenza di errori sistematiciè quello di far riferimento alla distribuzione di una variabile casualeteorica e di valutare la bontà di adattamento degli erroriosservati al modello.Nel caso di errori casuali si dovrebbe avere una distribuzionedel numero di errori di registrazione per record che segue lalegge Ipergeometrlca, a sua volta approsslmabile - se la percentualedi errore è molto bassa e per campioni sufficientementegrandi come nel nostro caso - da una distribuzione di Poisson.Riportiamo a titolo esemplificativo (Tavola 4.5) I risultati delgià citato studio (§ 3) sugli errori di registrazione. Considerandouno dei tre tipi record sul quali venivano registrati I dati del questionario,la distribuzione del numero di errori per record, confrontatacon la distribuzione di Poisson di parametro lambdauguale alla percentuale stimata di errore, indicava con chiarezzaun basso livello di accostamento, facendo escludere che glierrori osservati fossero semplicemente di tipo casuale.Tavola 4.5 - Alcuni risultati del controllo della registrazione delcensimento della popolazione 1981n. byte n. rk n. rkfreq.errati errati erratiPolssonteoricaassol.nel rk val. asso (a) val. perc. teoriche (b)dlff(a) - (b)O 15.981 86.80 74.77 13.766 2.2151 600 3.26 21.74 4.002 -3.4022 1.295 7.03 3.16 582 7133 350 1.90 0.31 57 2934 185 1.00 0.02 4 181totale 18.411 100.00 100.00 18.411 OPartendo dal dati sopra Illustrati è inoltre possibile eseguireIl test CHI QUADRATO sull'adattamento alla distribuzione;(4A.1)Tat aut ..dlatrlblulone .....amlrl per recorddove, essendo in questo caso j = 1, i valorin l ! sono le frequenzeeffettive (colonna (a) della tabella) e i valori E,! sono quellel

140T .. t 8ugll ...... perdIteIIIIaIL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATIteoriche della Poisson (colonna (b) della tabella). I gradi di libertàdel X 2 sono pari al numero di modalità (5 nella tabella) menouna. Dal calcolo esemplificativo risultaXl = 13818.21, Xl (0.05)/4 GL = 9.48il test evidenzia che gli errori per record non sono distribuiti secondola variabile casuale di Poisson e che verosimilmente siè in presenza di errori sistematici.2. Test sulla matrice di transizionePer la ricerca degli errori sistematici si possono costruire matricidi transizione. Esse vanno impostate In modo che l'intestazionedi colonna Indichi I valori-tipo digitati nella prima fase el'Intestazione di riga Indichi i valori-tipo della seconda ed In modoche in corrispondenza dell'Incrocio fra generica l-eslma rigae generica J-eslma colonna si legga Il numero di volte che il valoredi tipo -i- della prima registrazione e stato trovato uguale aun valore di tipo -1-.La forma generale della tabella che andiamo ad esaminare è:Figura 4.7: Matrice di transizione tipo12., .i.. .rtotNOTA: nIJ1n11n21nl1nnn.12 ...n12n 22nl2n r2n.2j . ..n11n21n lln rln.1= frequenza assolute= indice di riga= Indice di colonna= sommatorla fatta rispetto a quell'indiceCAP. 4 • LA REGISTRAZIONELa màtrlce di transizione può essere considerata come unatavola di contingenza di tipo quadrato e, sotto opportune ipotesi,ad essa è applicabile il test Chi Quadrato (X, sull'Indipendenzadelle variabili di riga e di colonna.Le Ipotesi che è necessario assumere sono:• che la frequenza osservate seguano una distribuzione multinomiale,ovvero che il campione a cui esse si riferiscono siacasuale semplice;• che le frequenze attese non siano troppo piCCOle (In ciascunacasella la frequenza non deve essere Inferiore a 5).Nella figura 4.7 I simboli hanno il seguente significato:n.. = Ei I1qn. i = E .. Dgn .. = E .. Ei n.iTest di indipendenzaSe con PII indichiamo, in corrispondenza di ogni n ll , la probabilitàdegl elementi della popolazione di appartenere alla I­esima modalità di riga ed alla l,esima modalità di colonna, nell'ipotesinulla (HO) di Indipendenza delle variabili di riga e di colonna,questa probabilità congiunta potrà esprimersi come:HO: Pii = Pi. • P.i(4A.2)e la corrispondente frequenza attesa come:c totHO: Fij = n ..• Pii = n ..• Pio • P.j(4A.3)n1c n1•Non conoscendo FII possiamo stimarla con I dati campionarin 2c n2.della nostra tabella, stimando PI. e P.I con:nlc nl•P: = n.. 1 n .. e p:=n./n(4A.4).J .J ..Allora, sostituendo le (4) nella (3)nre nr•Eij = Fij = (n..• n.) 1 D .•(4A.5)n.c n .. Se le variabili sono indipendenti gli n ll effettivi (frequenze effettive)saranno ben approssimati dalle stime Eli (frequenze teoriche)e la statistica:XZ _ E E (n.j - Eij)Z- i I Eij (4A.6)141

142 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 4 • LA REGISTRAZIONE143sempre nell'Ipotesi nulla di Indipendenza, seguirà una distribuzioneChi Quadrato e potrà essere utilizzata per Il test: se l'Indipendenzanon è vera Infatti la statistica XI assumerà valoripl.:J alti.Fissato un livello di slgnlflcatlvltà a (del 5 o dell'1 %), cioèuna -bassa- probabilità di rifiutare HO quando essa è vera, si confrontaIl valore del XI, calcolato con la (6) con Il valore della distribuzioneChi Quadrato (XI a) con gradi di libertà pari al numerodi modalità di riga (numero uguale a quello di colonna datoche la matrice è quadrata) meno uno al quadrato.G.L. = (r - 1)2 (4A.7)(dove con XI a si Intende quel valore che lascia alla sua destraun area pari ad a)se X > X -> rifiuto HO con slgnlflcatlvltàse X < X - > accetto HO con signlflcatività.Test di Quasi-IndipendenzaNella tabella di transizione costruita sugli errori di registrazionecl si aspetta un elevato numero di zeri o di valori molto piccolial di fuori della diagonale principale: questo fa cadere l'Ipotesi2) di frequenza non Inferiore a 5 e non consente di utilizzarecorrettamente Il precedente test.Il problema del valori nulli a priori è comunque risolvi bile ricorrendoal cosiddetto -test di Quesl-Indlpendenza-, che si applicaalla tabella di transizione modificata, ottenuta escludendola diagonale principale e analizzando la sola parte relativa al-flussl-.L'Ipotesi nulla HO diviene allora:PII = Operi = jHO:Pq =Pi. • P.i peri_j (4A.8)r(1 - I ~ l Pi. • P.I)r rcon il vincolo: E E PII = 1.1=1 J=1~ necessario quindi calcolare le frequenze teoriche che corrispondonoalla tabella di transizione modificata. Tale calcolorichiede l'applicazione di una procedura Iteratlva che stima le fre-quenze Eli teoriche In caso di Indipendenza partire da valori inizialiE.I(O), rlponderandoll ad ogni passo, In modo che venga soddisfattouna volta il vincolo del totali di riga ed una volta quellodel totali di colonna, fino alla convergenza del successivi Eli adun determinato valore.In dettaglio:E,. (O) = [1 per! - ~li Operl=J (4A.9)E. (1) = Eu (O) • ~.il ~.

144 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 4 • LA REGISTRAZIONE145Test di omogeneitàUn' Ipotesi plli debole di quella di simmetria è qu~lIa sull'omogeneità.che postula l'eguagllanza delle probabilità marginalidi riga con le corrispondenti probabilità di colonna.HO:si pone:"-i = D.i- D.iVii = 1\. + D.i -Vij = -(I\j + Dj)Pio = P.j per i = 1.2 •...2 • Do(4A.13)(4A.14)creando un vettore d (che contiene (r-1) differenze) ed una matriceV delle relative varianze e covarianze:x 2 = d'. V-l. d(4A.15)con (r-1) gradi di libertà dove d' Indica il vettore d trasposto eV-l la matrice Inversa di V.L'analisi andrebbe condotta tanto sulla tabella di transizioneiniziale. tanto su di una tabella «normalizzata». nella quale cioèsi tiene conto del peso di ciascun carattere alfanumerico all'intemodel record. Ad esempio i numeri «1» e «2» nei veri campidel record possono esserre pili frequenti di altri - perché spessosono previsti come codici di caratteri dicotomici del tipo-si»/«no» - e conseguentemente sarà probabile il riscontro dinumerosi errori per questi valori: sarà necessario quindi ponderarela tabella di transizione attribuendo alle due cifre pesi proporzionalialla frequenza con cui essi compaiono come modalitàali' Interno del questionario. cosi da depurare i test dall'effettosuddetto.3. Esempio sul piani di campionamento semplice per attributiConsideriamo un esempio in cl si ipotizza di voler verificarela qualità della registrazione sui byte e sui record. Abbiamo visto(§ 5) che la percentuale di record con almeno un errore è strettamentelegata alla percentuale di errore sui byte. secondo l'andamentoillustrato dalle Tabelle 4.3 e 4.4. In cui si utilizzava ladistribuzione di Poisson. avendo Ipotizzato la casualità dell'errore.La casualità implica che gli errori di registrazione siano «di-IIIIspersi» fra I vari record e che si presenti raramente il caso di errorimultipli sul record. L'errore casuale quindi determina una pllialta percentuale di record con almeno un errore. ma definisceuna relazione fra errore sui byte ed errore sul record che rendepressocché Indifferente effettuare controlli sugli uni o sugli altri.Inoltre. per quel che riguarda il primo del due aspetti. si è osservatala scarsa convenienza dell'estrazione di n singoli byte.per cui di solito si sceglie di rldlgltare completamente I recordestratti. eventualmente per un numero K di record Inferiore adn. ove si presuma l'assenza di errore sistematico.In definitiva si preferisce predisporre un plano di campionamentoper il controllo sul record. utilizzando poi i medesimi daticampionari per la verifica sui byte. Il procedimento apposto (primai byte poi I record) è logicamente equivalente. ma per la determinazionedel piano di campionamento. i calcoli sul milionidi byte risultano pili complessi elo richiedono l'estrapolazionedelle Tavole Mllitary Standard. che non prevedono numerosltàcosi elevate.Nel nostro esempio si suppone di avere un blocco di N =32000 record di lunghezza pari a 100. Poniamo che la percentualedi errore sul byte (

destra) con p2 (a sinistra) ottenendo un'area di possibili piani dicampionamento fra cui n = 250 e c = 45. Quindi se più di 45 recordsu 350 risultano errati si rifiuta Il lotto.Per I controlli sul byte possiamo utilizzare I dati campionaridella registrazione eseguita per controllare I record. Supponiamodi avere Il campione di n = 350 record e cioè di 35000 byte:possiamo effettuare la verifica di Ipotesi su «p-byte» = 0.001, adoperandole tavole della Normale, quale approssimazione della Bi·nomlale. Fissato Il livello dell'errore di prima specie a (cioè laprobabilità di accettare 1/ lotto se la qualità è cattiva) uguale a0.05, Il valore za per il test unidlrezlonale (Interessa cautelasi solocontro valori di «p-byte» elevatI) risulta pari a 1.64." valore che discrimina la decisione di accettare o meno illotto è definito da:p = p+ za * p*(1-p)/ndove p Indica Il valore desiderato «p-byte».Nell'esempio p = 0.001 + 1.64 * (0.001*0.999)/35000 == 0.001 + 0.0000468 = 0.0010468Quindi se dal conteggio del byte errati risulta una percentualedi errori superiore a p = 1.047 per mille si deve rifiutare I/Iotto.RIFERIMENTI BIBLIOGRAFICI8RAMBILlA F. (a cura dI), Trattato di statistica, voI. Il, pagg. 873-998, Tecnicadi controllo statistico di MOLLER F., Unione Tipografica, EditriceTorinese, Torino, (1969).EVERrrr 8.S. (1977), The Analysls of Contlngency Tables, Chapman andHall, London.DUNcAN A.J., Quallty Contrai and Industriai Statlstlcs, IV ed., Irwln, Homewood,III, 1974.IAcoBINI A. (1978), I metodi statistici nel controllo di quallt~, La Goliardicaed., Roma.MONTGOMERY D.C. (1977), Introductlon to Statlstlcal Quallty Control,John Wlley and Sons, New Vork.PAlAZZI A. (1964), Metodi statistici nella ricerca Industriale e nel controllodella produzione, ET AS Kompass, Milano.PANIZON F. (1988), Il controllo statistico di quallt~ nella fase della registrazionedel dati, Atti della SIS, Siena, voI. 2, tomo 1, pp. 185-192.UNITES SrATES DEPARTMENT OF DEFENSE (1963), Sampling Procedures andTables for Inspectlon by Attrlbutes MIL STD 105D, U.S. GovernementPrlntlng OHlce, Washlngton D.C ..ZUCHEGNA A. (1984), La digitazione del dati ed /I controllo statistico, Tesidi laurea, Università di Roma.l

CAPITOLO 5 • LA REVISIONE1. La fase di revisioneLa fase di revisione ha lo scopo di eliminare gli errori e le in·congruenze presenti nel materiale di rllevazlone, relativamenteal numero delle unità statistiche, alle loro relazioni ed al contenutodelle Informazioni raccolte.Le operazioni di controllo e correzione possono essere effettua·te con due metodi diversi:I) esperti di settore che operano direttamente sui questionari;Il) procedure informatiche automatiche che elaborano Il file pravenlentedalla fase di registrazione.I programmi informatici, pur scontando, rispetto agII esper·ti, una minore flessibilità, soprattutto In presenza di dati anomalie di errori sistematici, garantiscono una maggiore tempestività,un maggiore controllo sull'applicazione delle regole di identifi·cazione e di correzione degli errori e l'uniformità del trattamen·to dell'Informazione.Ai medesimi criteri di uniformità e di controllo, deve essereispirata l'organizzazione di eventuali operazioni di revisione ma·nuale. A tal fine, devono essere fornite agli esperti le regole dicoerenza e di correzione in forma di tabelle di decisione, ed unmodello di riepilogo degli errori riscontrati e delle modiflcazloniapportate, se la procedura non permette di risalire in altro modoa tale informazione (sostanzialmente mediante l'archiviazione delfile ai vari passi del processo). Le Informazioni desunte dal riepilogodevono essere analizzate per controllare la presenza dierrori, in particolare di errori sistematici nel lavoro degli espertI.Nella pratica, I due metodi, operazioni manuali e programmiinformatlcl, sono spesso utilizzati In combinazione, in funzionedella dimensione dell'indagine e del tipo di unità di rllevazlone;ad esempio la revisione del questionari delle grandi Imprese industrialipone problemi diversi da quella effettuata sulle famiglie.Una situazione abbastanza comune di mistura di metodi èquella in cui l'errore viene determinato mediante elaborazioni,mentre la correzione viene effettuata (ia esperti; di questo casosi riscontrano diverse varianti:a) ricerca mediante programmi, correzione degli esperti, rielaborazlonedel file;b) rlèerca batch e correzione da video terminale;c) ricerca e correzione da video terminale.

I;JUIL SISTEMA 01 CONTROLLO DELLA QUALITÀ DEI DATICAP. 5·LA REVISIONE151Nel caso (a), I programmi Individuano l'errore e riportano ilrelativo record su supporto cartaceo, dove viene corretto dall'esperto;le correzioni, registrate su di un file di appoggio, vengonoquindi rlelaborate Insieme al file principale, sostltuendone glierrori, per da luogo ad un archivio pulito.Nel caso (b), si listano solo i codici Identificativi delle unitàIn culi programmi hanno Individuato gli errori; tali codici sarannoutilizzati dall'esperto per richiamare e correggere I record errati.Nel terzo caso, Infine, un programma Identifica l'errore ed ilrelativo record è richiamato automaticamente sul video, dove vienemodificato dall'esperto.Appare evidente, da quanto detto, che Il ruolo e l'apporto dell'Informatica,nella fase di revisione, è rilevante e, nel caso di indaginidi medie - grandi dimensioni, Insostltuiblle; tuttavia c'èda osservare che la predisposlzione delle norme e le informazionida derivare dalle operazioni di revisione e correzione, costituisconouna procedura di natura essenzialmente statistica edIn quanto tale di competenza del responsabile dell'Indagine.I piani di compatibilità e correzione agiscono a livello di singolaunità, per identificare e correggere I valori fuori campo, lemancate risposte parziali e le incongruenze logiche tra variabili.Infine il quarto controllo mira a ristabilire i legami tra le unitàdi ordine inferiore al modello, eventualmente modificati o nonpresi in considerazione nelle precedenti operazioni.In Figura 5.1 è riportato il diagramma relativo alla sequenzadel controlli; quest'ultima, tuttavia, non è unlvocamente determinata.In particolare l'ordine tra i passi 3 e 4 può essere Invertitonel caso In culla coerenza tra le Informazioni relative alla singolaunità, siano ritenuti meno importanti dei legami tra questeultime; ad esempiO che la ricostruzione della famiglia sia prioritariarispetto alle compatibilità tra le variabili del singolo Individuo.Il problema verrà approfondito nel paragrafo 5.8.2. La procedura di controllo e correzioneLa procedura di controllo e correzione è costituita da un insiemedi operazioni Interrelate, che agiscono sul dati registrati,raccolti In uno o più file: esse possono essere, riguardo agli scopi,suddivise In:controllo quantltatlvo del numero e del legami tra unità;controllo qualltatlvo delle variabili;piani di compatabilltà e correzione;controllo delle relazioni tra unità appartenenti ad uno stessomodello di rilevazlone.Obiettivo del controllo quantltatlvo è ricostruire la coerenzatra Il numero di unità teoriche (previsto nel plano di rilevazioneo risultante dal documenti di rllevazlone), Il numero di unità rilevate(riportate nel questionari) e quello delle unità presenti susupporto Informatico. Tale controllo, Inoltre, assicura l'uguaglianzatra il numero di unità rilevate e quelle registrate ed il ripristinodei collegamenti tra unità, mediante operazioni di inserimentoe cancellazione di record o modiflcazlonl dei codici identificativI.il secondo controllo è finalizzato ad una prima ricognizionequalltatlva del materiale raccolto e alla determinazione di eventualierrori sistematici.p\Q,no di. compo.t.i.bi.l '" ta'• corre. \on. per l.ca,ra."LerLet.Lch. delle.... ni.\a.·vor i. esb" 1." cl i. Legame.i. .... ri. .... nt.o ....... 0conc::~.lLQ..i.on.uni. t. a."Figura 5.1 • La seguenza del controlli nella fase di revisionecii.

152 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE1533. Le unitàLa definizione di unità, nel contesto dei controlli quantitativi,si basa su considerazione di ordine pratlco-organizzatlvo e sullarappresentazione Informatica del modello di rilevazlone.In particolare, poiché nelle indagini sulla popolazione, il nodocruciale dell'organizzazione periferica è il comune (esso Infatticostituisce la radice del sistema dei codici Identificativi edad esso sono riferiti I documenti accessori di rilevazione), è convenienteconsiderare tale livello come unità di riferimento dei controlliquantitatlvi.In generale, possiamo assumere che ciascun comune è suddivisoin aree (ad esempio le sezioni di censimento o le aree dicircolazione dell'indagine forze di lavoro) e le interviste vengonocondotte da uno o più rllevatori, ciascuno dei quali opera inuna o più aree.In ogni modello di rilevazione vengono raccolte Informazioniriguardanti differenti unità di analisi, che possono essere identificatefisicamente (Individuo, abitazione), istltuzlonalmente (famiglie,convivenze) o come eventi (nascite, morti, vacanze, spese,etc.).\I modello viene rappresentato, su supporto Informatico, medianteuno o più record (ad esempio un record famiglia, più recordIndividui, più record eventi); ciascun record può contenereuna o più unità di analisi presente nel modello di rllevazione.Per unità, in questo contesto, si intende sia il modello di rilevazione,sia le unità di analisi, sia le istanze che sono coinvoltenell'organizzazione della raccolta e dell'elaborazione dei dati osono rilevanti per essa.Nel caso di indagini campionarie, in particolare, tra le unitàverrà considerato anche lo strato, poiché rilevante ai fini dellacostruzione dei coefficienti di riporto all'universo.In una generica indagine sulla popolazione, quindi, possiamoriconoscere quali unità nel senso sopra specificato:• lo strato,• il comune,• l'area• Il rile~atore,• il modello di rilevazione,• le unità di analisi.4. , 'egaml tra 'e unitàNel modello di rllevazione, tra i differenti tipi di unità, vengonostabilite relazioni di Inclusione o di collegamento; tali rela-zioni sono rappresentate, esplicitamente, mediante i codici identificativi,oppure, Implicitamente, dal supporto fisico di rilevazione._Ad esempio, la relazione tra famiglia ed Individuo è implicitanel fatto che le interviste Individuali compaiono sullo stessoquestionario familiare, mentre la relazione tra modello e comuneviene esplicitata dal codici Identificativi riportati nel questionario.Tra due differenti tipi di unità, viene stabilita una relazionedi inclusione, se le prime possono essere considerate grappolidelle seconde, del cui insieme costituiscono una partlzlone; adesempio gli Individui e le famiglie, le famiglie ed I comuni, le areeed i comuni. Legami diversi dalla relazione di appartenenza, verrannodefiniti di collegamento; ad esempio 1\ legame tra famigliaprincipale e coabitante, tra famiglia e abitazione, tra areae rilevatore.Le due relazioni inducono un ordinamento tra le unità: possiamodefinire quelle legate da una relazione di collegamento,come unità dello stesso ordine, mentre quelle legate da una relazionedi inclusione, come di ordine superiore od Inferiore, a secondase includono o sono incluse.Il modello di rilevazione contiene tutte le informazioni atteal riconoscimento delle diverse unità sia di ordine superiore (rilevatore,area, comune) sia di ordine inferiore (famiglia, abitazione,individuo, evento).Il modello viene riportato su supporto Informatico medianteun insieme di record collegati tra loro da un sistema di codiciche permette di legare due o più unità diverse.In particolare tale sistema deve assicurare:• il riconoscimento dell'insieme di record corrispondente al modello;• il collegamento tra le diverse unità di analisi appartenenti almodello;• Il collegamento tra l'Insieme di record corrispondenti al modelloe le unità di ordine superiore.La struttura organizzatlva delle Indagini e la rappresentazioneinformatica del questionario determinano il sistema del codiciIdentificativi e le relazioni tra unità.Il sistema del codici identificativi gioca un ruolo centrale nell'analisidel materiale raccolto; Infatti il controllo quantitatlvo delfile, poiché attuato sul record, non è altro che un Insieme di operazionisu detti codici.

154 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 - LA REVISIONE1555. I controlli quantltatlvlLa prima operazione di revisione riguarda la dimensione quantltatlvadell'Indagine, ovvero Il numero di unità e le loro relazioni,cosi come sono state definite nel paragrafo precedente. È necessario,Infatti, che vi sia coerenza tra la programmazione dell'indagine,la sua effettuazione ed Il risultato ottenuto, ovvero traIl plano teorico di rllevazlonejIl plano effettivo di rllevazlonejl'Insieme del questionarljIl file proveniente dalla registrazione.l'obiettivo del controllo quantitatlvo consiste nel verificare,ed eventualmente ristabilire, l'uguaglianza tra il plano effettivodi rllevazlone, l'Insieme ~el questionari ed il file, e nel ricostrui·re il bilancio tra plano teorico ed effettivo (dato dalla somma delleunità rilevate e le mancate risposte totali).Tuttavia, per Indagini di medle-grandl dimensioni, II ritornoal materiale cartaceo ed Il confronto tra questo ed Il file, sonooperazioni estremamente dispendiose, in termini economici, organlzzatlvle di tempoj cosicché, è conveniente non considerarenel controlli l'Insieme dei questionari, tranne ritornare a questiultimi, nei casi In cui non è pOSSibile risolvere altrimenti le Incongruenze.le Informazioni contenute nel piano teorico o nei documentidi rllevazlone, possono essere disponibili sotto forma di liste (adesempio l'elenco dei comuni per singolo strato, l'elenco del rile·vatori e delle aree per comune, gli elenchi delle assegnazioni etc.)o di riepiloghi di conteggi di unità (ad esempio il numero dlfaml·glie Intervistate e sostituite, Il numero di rilevatorl utilizzati etc.).Nelle liste ciascuna unità è identificata mediante il medesimocodice che appare nel fIIej cosicché, se gli elenchi sono disponibilisu supporto Informatico, si può effettuare facilmenteIl controllo quantltatlvo mediante programmi di IInkage sulle unitàdi tipo diverso, comuni al piano di rilevazlone teorico, a quelloeffettivo ed al file.Nella pratica, Il plano teorico di rilevazlone, per le Indaginicampionarie, è costituito dalla lista degli strati e dei comuni edal numero di unità campione, essendo l'Indicazione delle areee del rllevatorl non essenziale, e spesso non determinabile, neldisegno campionario; nel plano del censimenti è presente anchela lista delle aree, ma non quella del rilevatorl. I documenti di rllevazlone,che variano da un'Indagine all'altra, contengono, ingenere, del conteggi rlepilogatlvi di unità e, laddove sono costi·tultl da liste (ad esempio le assegnazioni dei rllevatori), questeraramente sono registrate su supporto Informatico.lTuttavia la convenienza a strutturare In modo più analiticoi documenti di rllevazlone, cosi da avere a disposizione le listedi tutte le unità coinvolte nella rllevazlone con I relativi rlepllo·ghl, e a prevederne la trasposlzlone su supporto informatico, deveessere attentamente valutata in funzione del seguenti aspetti:(I) il costo ed i tempi per la registrazione, (il) la gestione di unaconsistente massa di informazioni, (iii) l'aggravio del lavoro dicampo, (iv) l'errore di registrazione nelle liste e nei conteggi cheintrodurrebbe elementi di incertezza nel controllo. 'Nell'analisi che seguirà, si ipotizza che l'attuale organizza·zione delle Indagini renda disponibili, con modlflcazloni marginalidelle attuali procedure, la lista di stratlficazlone ed I conteggiriassuntivi e desunti dai documenti di rilevazione (DR) e dalplano teorico (PT), secondo Il Prospetto (5.1).Prospetto 5.1 - Conoscenza a priori del numero di unitàCAMPIONARlAINDAGINETOTALEP.T. o.A. P.T. D.A.Strato si si no noComune si si si siArea si si si siRilevatore si/no no no noQuestionario si si si siFamiglia si si no siIndividuo no no no noEvento no no no noLa distinzione tra unità per cui si dispone di informazioni esterneal file e quelle per cui tali informazioni non sono disponibilicomporta un differente metodo di controllo quantltativo. '. Nel primo caso, il controllo del file sarà sostanzialmente basatosul riscontro tra Il file ed i documenti di rllevazlone, nel se·condo cl si avvarrà di un controllo induttlvo, mediante l'analisidel codici identificativi e di alcuni parametri statistici.le informazioni sul numero di questionari e delle unità di or·dine superiore e sulle reciproche relazioni; sono, generalmentedisponibili, o facilmente otteniblll, dalle usuali procedure dell'indagine.Gli atratl. I comuni. I._. IrI .... etorl. ImocIeIH

156 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE157Mediante le notizie riportate sul piano teorico, sul documentidi rilevazlone ed I conteggi effettuati sul file, verranno predispostealcune tavole di controllo, per verificare le seguenti relazionitra le suddette unità:1) comuni-strati,2) modelli-comuni,3) rilevatorl-comunl,4) aree-comuni,5) modelli-aree,6) modelll-rilevatorl,7) aree-rllevatori.La prima relazione viene controllata confrontando le liste distratificazlone provenienti dal plano teorico, dai documenti di rllevazionee dal file; per le ultime due deve essere verificata l'uguaglianza,mentre le prime due coincidono a meno delle mancaterisposte totali.Qualora le verifiche diano luogo ad incongruenze, devono essereeffettuate le opportune correzioni, identificando gli errori(nella compilazione dei documenti di rilevazione o nei codici identificatividei record) per mezzo delle tavole di controllo predisposteper la verifica delle relazioni (2) - (7).Per quanto riguarda le relazioni (2), (3) e (4), il metodo consistenell'accoppiare I codici identificativi comunali, estratti dalfile, con quelli desumibili dal piano teorico e dai documenti dirilevazione, In una tavola di controllo contenente le seguenti Informazioniper ogni codice comunale:• dal plano di rilevazlone teorico,numero di areenumero di rilevatorinumero di modelli• dai documenti di rilevazione,numero di areenumero di rilevatorlnumero di modellinumero di mancate risposte totalinumero di sostituzioni• dal file,numero di areenumero di rilevatorinumero di modellinumero di sostituzioniLo schema suddetto è del tutto generale e deve essere adattatoalle situazioni concrete, poiché, per determinate Indagini,alcune delle Informazioni sopra riportate (ad esempio Il numerodi modelli del plano teorico di rllevazlone per Il censimento) nonsono disponibili; In tal caso potrà essere utilizzata una stima odun valore ad un tempo precedente, che costituisca un punto diriferimento per valldare I dati raccolti.Una seconda tavola di controllo può aiutare nella verifica dellarelazione (2); per ogni codice comunale, nel file, si calcolano leinterruzioni di sequenza nel numero d'ordine del modelli, se essisono, come è la regola, numerati progressivamente.Una terza tavola di controllo, con la medesima struttura dellaprima, riportante, per ciascun comune e per ogni codice di areae di rilevatore, il numero del relativi modelli, sarà utilizzata peril controllo delle relazioni (5) e (6); l'incrocio tra codice di areae rilevatore e relativo numero di questionari permetterà Invecela verifica della relazione (7).Mediante l'analisi delle tavole di controllo, è pOSSibile nonsolo determinare l'esistenza di un errore, ma anche rintracciareeventuali blocchi di modelli con codici errati o duplicati nel file;In funzione del tipo dlincongruenza verranno effettuate le seguentioperazioni:- correzione del codice di comune, area, rilevatore;- cancellazione dei record relativi ad uno o più modelli;- inserimento del record relativi ad uno o più modelli.Le operazioni di cancellazioni vengono eseguite nel caso diduplicazione del modelli; tale operazione e quella di correzionedel codice saranno effettuate prevlo confronto a vista dei biacchidi modelli e di record errati.A questo livello di controllo non è prevista altra operazionedi Inserimento, se non nel caso di un ritardo nell'acquisizionedel dati.Con questa prima fase di controllo, si compie una riallocazionedel record mediante le operazioni di Inserimento, cancellazionee correzione dei codici identificativi; tuttavia, alla fine delprocesso, possono rimanere alcune differenze tra unità rilevatee presenti nel file (ad esempio per un errore vengono aggregaticon il medesimo codice due o più modelli), difficilmente rintracciablliper mezzo delle tavole di verifica di cui sopra.La riallocazlone definitiva del modelli sarà, quindi, effettuatasulla base del controllo delle unità di analisi.Generalmente, per le unità di analisi presenti sul modello di Le uniti di ........rilevazlone (famiglie, abitazioni, Individui, eventi), non si disponedi numerosità desumibili né dal piano teorico di rllevazlone

158 IL SISTEMA DI CONTROllO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE159né da documenti aggiuntivi; spesso un conteggio di tali unità (adesempio Il numero di Individui o di eventi rilevati) od un Indicatoredi presenza di altra unità (ad esempio l'abitazione), sono perOpresenti sul modello di rllevazlone e riportati sul record.Nel caso delle unità di analisi, quindi, Il controllo quantltatlvonon ha riscontri esterni al file, ma si riduce a due verifichecomplementari:I) la verifica Interna ad un gruppo di record IndIVIduati dallo stessocodice Identificativo;Il) la verifica di plausibilità fondata sull'analisi delle distribuzionidi tali unità o di parametri statistici (medie, percentuali ecc.),calcolati sull'Intero file o su domini territoriali.In particolare, nel primo caso poSSiamo articolare Il controllo:• sul riscontro tra Il valore di un campo di un record con Il COI1-tegglo del numero di unità presenti sotto un medesimo codiceIdentificativo;• sull'accertamento della presenza di unità In base ad un Indicatorecontenuto in un record;• sul legami tra codici Identificativi di ordine Inferiore.Per quanto riguarda I controlli sub (I), si avranno quindi tretavole di verifica.La prima metterà In evidenza I modelli per I quali non sussistel'eguaglianza tra gli eventuali conteggi riassuntivi contenutinel record, Il numero di unità di analisi presenti come codlclldentlflcatlvldiversi (ad es. Il numero di Individui riportato sul recordfamiglia ed Il numero di record IndividualI), Il contenuto del massimocodice progressivo e gli eventuali salti nel progressivi delleunità (se è prevista, per questa ultime, una numerazione progressiva).La seconda evidenzierà I casi In cui ad un Indicatore di presenzanon corrisponde una unità di analisi, mentre la terza conterràI modelli per I quali non sono stati verificati I legami tra codiciall'Intero del modello.I controlli di cui al punto (II), vengono condotti calcolando alcuniparametri Indicativi della dimensione delle unità da controllareIn un determinato ambito territoriale (I comuni di una regioneo le sezioni di censimento di un comune).Ad esempio nel caso delle Indagini sulle famiglie, Il numeromedio di componenti, l'indice di vecchiaia e di dipendenza, Il rapportodi mascolinità, la percentuale di famiglie superiori ad unadata dimensione, ecc.; nel caso di eventi quantltatlvl la mediaed Il coefficiente di variazione, " numero medio di eventi per modello,la distribuzione del numero di eventi, ecc.• L'analisi della distribuzione di un determinato parametro (o,Simultaneamente, di pii! parametri) ha lo scopo di Individuareeventuali valori anomali che potrebbero essere conseguenza dierrori nel codici Identificativi (ad esempio Il numero di componentieccezionalmente elevato di una famiglia, potrebbe essere~ovuto ad un errore nel codici Identificativi che ha comportatoti raggruppamento di pii! famiglie).Tali dati anomali possono essere Individuati come valori esterniagII Intervalli costruiti Intorno al valori medi (ad esempio perla media, due volte lo scarto quadratlco medio; per la medl~na,lo scarto Interquartlle), oppure sulla base di pii! sofisticate tecnichedi analisi multlvarlata (ad esempio l'analisi del gruppI).I controlli suddetti non hanno solo lo scopo di eliminare gli errori,ma anche di produrre Informazioni per Il controllo della retee delle operazioni effettuate sul supporto cartaceo ed Informatico.Dal controlli quantltatlvl sarà quindi pOSSibile calcolare Indicatorirelativi al diversi tipi di errori, con riferimento al comples­~o del file e al livelli di controllo appropriati, ovvero la fonte cuiI errore è Imputabile, come riportato nel Capitolo 3.8_ I controlli qualltatlvlPer controllo qualltatlvo si Intende la verifica del valori assuntidalle variabili nel dati, non ancora sottoposti alle proceduredi controllo logico e di correzione; In questa fase si attua unaprima analisi dell'efficienza complessiva dello strumento rllevaz/one.In particolare, costRuiscono obiettivi del controllo (I) la verificadelle Informazioni raccolte e (II) l'lndlvlduazlone di eventualiertorl sistematici.L'analisi dell'Informazione raccolta, oltre a costituire la cartinadi tomaso/e della qualità del dati, può fornire Indicazioni permettere a punto le elaborazioni successive: ad esempio, la revisionedelle procedure di correzione, nel caso di una rilevante quotadi questionari errati·per particolari variabili, la revisione delplano di tabulazlone, In funzione dell'attendibilità del risultati, ecc.Rispetto alle analisi da effettuare, pOSSiamo dividere I risultatidella rllevazlone In due gruppi:l) le variabili qualltatlve e quantitatlve Intervallo;Il) le variabili quantltatlve, continue o discrete.Il aIcaIo di Indica ....

160 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATI;. !I:1IiCAP. 5 • LA REVISIONE181L' ....... ____ I\CONel primo caso verranno elaborate le distribuzioni di frequenzadel diversi codici presenti, per singola variabile e le pII) impor·tanti distribuzioni congiunte; nel secondo, verranno calcolati Iprincipali parametri statistici (ad esempiO" la medla,lrcoefficlentedi variazione, i valori minimo e massimo, la mediana ed I quarti·Il, la distribuzione per Classi), evidenziandO In particolare la.nu·merosità del valori blank, zero ed alfanumerici riscontrati.Per esprimere un giudizio sulla plausibilità del dati raccolti,tali Informazioni possono essere confrontate con fonti esterne(ovvero con I risultati di altre Indagini o della medesima Indagi·ne In tempi precedenti) e tra domini di studio della stessa rileva·zlone, In particolare I domini territoriali rilevanti per l'organizza·zlone sul campo e per la diffusione del dati.. Poiché la matrice del parametri statistici per domini territorialipuò essere di grandi dimensioni, rendendo difficoltosa l'a·nallsi, cl si può limitare all'esame delle principali caratteristicherilevate.Gli errori sistematici possono aver origine nella formulazionedel questionario, nelle operazioni di rilevazlone o nella fasedi registrazione dei dati; essi possono manifestarsi come valorimancanti, incongruenze, valori fuori campo o come risposte coerentima accentrate sulle modalità di determinati quesiti.La loro Indlviduazlone è propedeutlca sia alla predlsposlzlonedi opportuni Interventi correttivi sul materiale grezzo, sia alladistinzione, prima dell'applicazione della procedura di compatibilitàe correzione, tra errori casuali e sistematici, prevista espressamenteda alcune tecniche di Imputazione di tipo stocastlco.La determinazione degli errori sistematici non è agevole; essi,Infatti, possono essere definiti per negazione, come errori noncasuali, ma difettano di una definizione operativa che ne permettal'lndlvlduazlone.Una possibile specificazione del concetto di errore sistematicoè definirlo come assenza di variabilità nel dati rilevati, Infunzione del valore assunto da altre variabili eia di particolari subpopolazioni,In cui la variabilità attesa è maggiore di zero; ovvero,In termini equivalentI, che la probabilità di una modalità, diessere rilevata in una data subpopolazlone condizionata dal va~lore assunto da altre variabili, è pari ad uno. In ambedue I casisi potrebbe sottoporre a test, sulla base dei dati rilevati, l'Ipotesinulla; ma ciò comporterebbe Il calcolo e l'analls'' del test Inun numero elevato di domini, definiti dalle variabili correlate edal livelli organlzzativi coinvolti (i singoli comuni, supervisori, rIlevatorl,famiglie), con una affidabilità statistica, soprattutto nelcaso di Indagini campionarie, compromessa dalla ridotta numerosltàdelle Informazioni disponibili per Il singolo dominio. .In pratica, non facendo riferimento ad alcuna definizione, siricorre ad alcuni Indicatori Indiretti; tuttavia, la loro significativitàrisente delle stesse difficoltà sopra accennate, riguardanti ladimensione della base di calcolo. .Il verificarsi di dati anomali nella distribuzione delle variabili,può essere considerato un Indicatore Indiretto dell'esistenzadi un errore sistematico. In questo caso I~errore può essere Individuatomediante l'analisi delle statistiche calcolate per Il controlloqualltatlvo; dovendo, per le ragioni sopra esposte, stabili·re un limite per le subpopolazlonl da considerare, è convenientescegliere Il livello dei domini rilevanti per la diffusione del risultati.Quale Indicatore per l'indlvlduazione dell'errore sistematico,si assume, generalmente,lI complemento a uno del tasso di qualitidel materiale raccolto, riscontrato nelle singole variabili; tuttavia,se la determinazione dell'errore è finalizzata alla strategiadi imputazione, è opportuno utilizzare Il complemento del tassodi quallti del materiale disponibile, che Include anche l'eventualeerrore sistematico di registrazione.SI ricorda (per maggiori ragguagli cfr. Capitolo 3, § 4) che, perciascuna variabile, Il primo tasso è calcolato come rapporto traIl numero di risposte dovute nette e la differenza tra Il numerodi unltè rispondenti e quello del valori fuori campo; Il secondo,come rapporto tra Il numero di risposte d9vute nette e quello delleunità rispondenti. .Tali Indicatori possono essere analizzati a livello aggregatoovvero per domini territoriali; nel primo caso, si determina la sistematlcitèdell'errore dovuta alle operazioni centrall~e checoinvolgono l'Intera rllevazione (questionario, registrazione, norme,Istruzioni, ecc.), m,ntre, nel secondo, viene Individuata quellaImputabile al slnQolI organi del" rate di rll..,azlone.L'esistenza di ~n errC)fe sistematico nella singola variabile,è generalmente derivata dal confronto del livelli degli Indicatorirelativi alle altra variabili.Indicando con qJ Il complemento a uno del tasso di qualitàdel materiale dlsponlbUe, relativo alla j-aslma delle k variabilipresenti sul questionario, è possibile Individuare l'errore sistematicoutilizzando differenti metodi.Un primo criterio di base sul confronto tra gli Indicatori qJed una determinata soglia q*, solitamente fissata dal 3% 815%:la condizione(5.1)

Indica il verificarsi dell'errore sistematico (NCBS Statlstlcs Sweeden1983).Un secondo criterio si basa sulla considerazione che in pre·senza di un errore casuale (quindi non sistematico), si può ipotizzareche le probabilità di errore sulle k varlabln siano ugualitra loro e pari a p; In questo caso, I tassi calcolati ql rappresentanomisure ripetute di p e si distribuiscono secondo una curvaGaussiana.Allora, assimilando l'errore sistematico al dato anomalo, losi può Identificare come valore esterno all'estremo superiore dell'Intervallodi confidenzaLa frequenza della g-esima combinazione di errore è alloradata da:dove N rappresenta Il numero di record.Stimando P g e N g mediante le:(5.2)dove:E(q) = Pq = 1: 1 qll kà q = 1: 1 (qf- qt I (k -1)e t è Il livello corrispondente alla desiderata probabilità a."Un terzo criterio per riconoscere il verificarsi di un errore ditipo sistematico, deriva dal definire la sistematlclté In termini didipendenza tra gli errori delle variabili del questionario. Nel singolorecord è possibile riscontrare un errore In ciascuna dellek variabili, ovvero secondo una delle differenti disposizioni conripetizione di due elementi (errato/non errato) presi a k a k.Il numero teorico di tali disposizioni è pari a 2 k -1, ma, nelfile, alcune di esse non si verificheranno mentre altre si presenterannonon frequenza ng (ovvero Il numero di record In cui ladata combinazione 9 di errori si è manifestata).Se gli errori delle variabili fossero Indipendenti, la probabilitàdella g-eslma combinazione di errore P g sarebbe pari a:dove p, rappresenta la probabilità di errore della j-esima variabile,j E S se errata mentre j E T nel caso contrarlo.IIIjN'I = PI Ndove i q, rappresentano, come sopra, I complementi a uno deltassi di qualità del materiale disponibile, sarà possibile calcolarel'indice(5.3)e sottoporre a verifica l'Ipotesi di conformità tra le distribuzioneteorica, calcolata sotto l'Ipotesi di Indipendenza degli errori, ela distribuzione osservata.Il test indica se, tra tutte le combinazioni di errore riscontratenel file, si è verificato un errore sistematico; per individuarela particolare combinazione, occorre analizzare I relativi contributiall'Indice.Nell'ipotesi che l'errore sistematico venga generato non soloin funzione degli errori di altre variabili ma anche del diversilivelli organlzzativl dell'Indagine (comune, rllevatore), sarebbe necessariocalcolare l'Indice di cui sopra con riferimento a ciascunod I tali livelli.Nel Capitolo 3, si è data l'Indicazione di calcolare I tassi qlmediante I risultati del piani di compatibilità e correzione; ovviamente,se la determinaZione della slstematlcltà dell'errore è finalizzataalla scelta del tipo di Imputazione, non è possibile utilizzaretali informazionI.CI si può allora basare su un tasso grezzo, avente al numeratorela somma del valori fuori campo ed i rifiuti ed al denominatoreil numero di unità rispondenti. Ma, mentre l'lndlviduazlone

164 Il SISTEMA DI CONTROllO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE166del valori fuori campo non presenta problemi, la determinazionedel rifiuti, In questa fase, è legata all'esistenza di un appositocodice sul questionario.In mancanza di tale codice, si può calcolare 1\ tasso includendonel numeratore tutti I blank, ovvero sia le mancate risposteparziali che i blank significativi; tuttavia, tale operazione equivalea supporre che Il livello del q, sia Indipendente dalla strutturadel questionario e che l'errore sistematico non sia correlatoa particolari subpopolazlonl ma solo al valore di altre variabili.In alternativa si possono elaborare dati grezzi mediante unprogramma di compatibilità, basato solo sulle principali regoleformali, che discrimini I rifiuti dalle risposte non dovute.Infine, è possibile Iterare la proeedura già predisposta di compatibilitàe correzione, utilizzando I risultati della prima elaborazioneper Il calcolo degli Indicatori.7. I programmi di compatibilità e correzioneI programmi di compatibilità e correzione hanno la duplicefunzione di determinare te incongruenze e di correggerle; tali funzionisono logicamente distinte, anche se la maggior parte delprogrammi le effettua simultaneamente.L'Identificazione dell'errore viene effettuata mediante un Insiemedi regole che, però, è in grado di determinare solo una partedell'errore totale: I valori fuori campo, le mancate risposte parzialie le Incongruenze logiche tra varlabllLSugli errori determinabili agiscono le regole di compatibilità;una loro Insufficiente specificazione riduce tale Insieme a quellodegli errori determinati; su questi vengono applicate le regoledi correzione che possono o meno ripristinare 1\ valore vero originario.Il processo è schematlzzato nella figura 5.2.Nella costruzione di un programma di compatibilità e-corr.zlone, In cui confluiscono ed Interaglscono aspetti e problematlchesia statistiche che InformatiChe, devono essere bilanciateesigenze diverse, a volte contraddittorie.Dal punto di vista Informatico le caratteristiche di un planopossono essere Individuate:I) nella possibilità di implementazione;Il) nella flessibilità, ovvero nella possibilità di adattamento a modiflcazionldell'lnput e delle regole;III) nella velocità di esecuzione.Le proprietà statistiche cui far riferimento, possono essereinvece sintetizzate:I) nella veroslmigllanza delle correzioni, ossia nel rendere coerentlleInformazioni, Imputando valori che trovano riscontronella realtà Indagata;Il) nel principio del minimo cambiamento, ovvero nel ridurre alminimo le modlflcazloni dell'Informazione raccolta;III) nell'efficienza e nella correttezza degli stlmatorl applicati aldati puliti...... o .. ~ i.ndi.v\.

IL ~'STEMA DI CONTROllO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE167La differente logica del programmi Influenza anche le modalitàdella loro costruzione.I piani deterministici Implicano che vengano determinate contemporaneamentesia le regole di compatibilità che quelle di correzione,entrando quindi nel merito del legami e delle modificazlonldelle variabili della singola Indagine. AI contrarlo, la costruzionedi piani stocastlcl richiede la definizione di criteri formalidi rappresentazione delle regole e del metodi di correzione, senzaentrare nello specifico del dati rilevati.Dal punto di vista della progettazione e della realizzazione informatica,I programmi deterministici sono molto meno compiessidi quelli stocastlcl; essi, generalmente, sono costruiti ad hoc perla singola Indagine, mentre I secondi, per la cui produzione sononecessarie risorse notevolmente maggiori che per I primi, sonoprogrammi generalizzati, validi per pII:' indagini differenti.Le minori difficoltà di programmazione del piani deterministicisono perO bilanciate da Inferiori prestazioni statistiche: laveroslmlgllanza delle forzature dipende dalle Informazioni a priorio dalla soggettiva valutazione del responsabile dell'Indagine equindi possono essere Introdotte distorsioni nelle stime; Il principiodel minimo cambiamento del dati rilevati non puO essererispettato cosi come non vengono mantenute le distribuzioni ele associazIoni presenti nell'Insieme completo del dati.La correzione deterministica, tuttavia, è più adatta a trattareerrori di tipo sistematico, al contrarlo dell'altra, che risulta piùefficiente per quanto riguarda gli errori provenienti da un modellodi generazione casuale. Essa, Inoltre, supplisce ad alcune Jimltazlonldi ordine informatico, che impediscono l'applicazionedel criterio stocastlco al trattamento delle variabili qualltatlvecon un grande numero di modalità o delle variabili quantltatlvenon riconducibili, al fini delle elaborazioni; ayariabillintervalio.Per tali ragioni I due metodi sono spesso utilizzati in combinazionetrà loro.Per quanto riguarda Il livello cui applicare i programmi, sarebbeteoricamente corretto costruire un unico plano di compatibilitàche tratti contemporaneamente le variabili delle singole unità,di ordine Inferiore al modello di rilevazlone, e le reciproche relazioni(ad esempio famiglia/Individui, famiglia/abitazione etc.), considerandoquindi Il questionario, come è in realtà, un unico insiemedi Informazioni omogenee.Nella pratica, le difficoltà di ordine logico ed Informatico, neltrattare contemporaneamente un grande numero di regole, consiglial'adozione di una strategia in due tempi, distinguendo lecorrezioni del dati relativi alle singole tlpologie di unità (piani dicompatibilità In senso stretto), da quelle apportate allo scopodi ristabilire I legami tra le unità del singolo questionario.:1Le regole di compatibilità, generalmente, sono asserzioni sullanon ammissibilità di codici per la slngota variabile o di comblnazionidi codici relativi a più variabili (che esprimono le reciprocherelazioni logiche); esse, quindi, dovrebbero essere, più propriamente,chiamate regole di Incompatibilità.Assumere una logica di non ammissibilità ha il vantaggio dipermettere un più stretto controllo nel processo di definizionedelle regOle che danno luogo ad errori (e, conseguentemente, acorrezioni) poiché costringe a considerare analiticamente tuttii relativi casi invece di ottenerll come residuo.Scopo delle regole è l'indlvlduazlone dell'errore che, In questocontesto, coincide con I valori fuori campo, le mancate risposteai quesiti e aHe Incongruenze logiche tra variabili.Gli errori possono riguardare una singola variabile o la relazionetra due o più variabili; essi sono logicamente della stessanatura e quindi devono essere trattati contemporaneamente econ I medesimi criteri. In particolare, nel caso esista una relazionelogica tra variabili, I relativi controlli di campo possono essereassorbiti dalla regola di compatibilità che coinvolge tali variabili.Sia per i controlli della singola variabile che per quelli di relazione,possiamo dividere le regole in formali o sostanziali; taledistinzione si riflette nella difficoltà ad esplicitare le regole e nelcontenuto di soggettività delle medesime.Sono regole del primo tipo quelle derivanti dalle norme di compilazionedel questionario (ad esempio: se ha risposto SI al quesito1, passare al quesito 3, altrlinentl passare al quesito 2) e delpiano di registrazione su supporto informatico; appartengono alsecondo quelle derivanti da informazioni a priori sulla realtà indagata(ad esempio: se sesso è femmina non è possibile che lacondizione sia militare di leva).In particolare, per Il controllo delle singole variabili, le relativeregole formali derivano dal plano di registrazione (I codici nonammissibili); regole sostanziali possono, invece, essere consideratequelle riguardanti il campo di variazione plausibile per varlablHquantltative (ad esempio l'intervallo di accettabilità del prezzodi acqUisto di un determinato bene).Le relazioni formali tra più variabili derivano dalle norme dicompilazione e dalla struttura del questionario; per la loro Indivlduazlone,possono essere utilizzati due metodi, la diagrammazlonedel questionario e gli schemi della Progettazione Concettuale.Nell' Appendice 1 del Capitolo 2 è stato riportato un esempiodi diagrammazione, relativo al questionario Individuale della rllevazioneforze di lavoro, mediante Il quale possono essere stabilitele relazioni formali tra I quesiti del questionario.le ,... dicompallblilti

168 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 5 - LA REVISIONE189Lo stesso diagramma può essere utilizzato per evidenziarela funzione di «nodi- assunta da particolari quesiti (In questo casoIl q. 10.1 ed Il q. 14.1) e le Incongruenze riscontrate nella redazionedel questionario (cfr. Il Capitolo 2); tale analisi può guidarenella definizione delle regole di compatibilità e di correzione checoinvolgono le rispettive variabili.Il medesimo ruolo, ma In maniera più analitica ed esauriente,può essere svolto dagli elaborati del modello Entità-Relazioni;in questo caso, Il lavoro verrebbe facilitato derivando le regolegià al momento della predlsposizlone e dell'analisi del questionarionella fase di progettazione. Gli schemi ElR, Inoltre, possonoessere utilizzati come guida alla predlsposlzlone delle regolesostanziali, analizzando I percorsi che definiscono le relazionitra unità e variabili.Sintetizzando le considerazioni sopra riportate, si può affermareche le regole di compatibilità sono funzione della strutturae delle disposiZioni formali per la compilazione del questionario,del piano di registrazione su supporto Informatico e dellerelazioni tra variabili esistenti nella realtà In studio.Per l'esplicitazione delle regole cl si potrà basare, per quantoriguarda I controlli del singoli campi del record, sul piano diregistrazione e su Informazioni a priori sui limiti degli Intervalliammissibili per le variabili quantitative; sulla diagrammazlonedel questionario o sulla documentazione del modello Entità Relazioni,per quanto riguarda le incongruenze logiche tra variabili.Una volta derivate dalle fonti suddette, le regole devono esserecostituite In un insieme coerente, tale, cioè, da garantire:- la non ridondanza, owero di non ripetere regole già poste Inaltra forma o derivabili da altre;- la non contraddittorietà tra regole •. Le regole ridondanti e quello contraddittorie inflclano le procedurebasate sul principio del minimo cambiamento e l'Interaoperazione di correzione.Per evitare tali inconvenienti, i programmi generalizzati di tipostocastico fanno ricorso ad un algoritmo che garantisce entrocerti limiti, la costruzione di un Insieme minimo, non ridondantee non contraddltorio, a partire dalle regole espliCitate (Fellegl- Holt, 1976).. ,Nel caso di piani ad hoc, che non possiedono Il suddetto analizzatoredi regole, è conveniente ricorrere alla dlagrammazlonedel sistema di relazioni tra variabili, definito dalle regole; nellastesura dello schema è Immediato determinare la ridondanza eiola contraddittorietà di alcune di esse.L'esplicitazione delle regole costituisce una parte rilevantedel metadatl dell'Indagine, In particolare per quanto riguarda la«trasparenza- del processo di formazione del dato statistico; diessa, quindi, deve essere mantenuta documentazione chiara edesauriente.I criteri di correzione sono vari e non è agevole darne una clas- I cri .... ti ____ .slficazlone esaustiva e precisa.I metodi correntemente utilizzati per Indagini di media grandedimensione possono comunque essere classificati In deterministici,da donatore e mediante regresslone; e881 sono spessoutilizzati In combinazione tra loro (misture).Generalmente, I criteri deterministici sono applicati per la correzionesia di variabili quantltatlve che qualltatlve, quelli da donatoresolo per l'imputazione di quest'ultime, mentre I metodida regresslone per correggere le caratteristiche quantltatlve; sottodeterminate condizioni, alcuni di essi si equivalgono.Una quarta tecnica, la co"ez/one multipla, consiste, sostanzialmente,nel relterare sullo stesso file un procedimento (o procedimentidiversi) di Imputazione. La procedura dà luogo a piùrepllcazlonl dello stesso Insieme di dati; la stima finale verà calcolatacome media delle stime risultanti dalle singole repllcazloh!.Il metodo è ancora sperimentale, data la sua dlspendlosltàin termlnilnformatlcl ed organlzzatlvl (si pensi ad esempio all'archiviazionedelle diverse repllcazloni per successive analisi).d. "ertft" n;'.","coFigura 5.3 • I diversi criteri di correzione e le loro relezlonl.. i.tunt 1-----'

.. v IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5· LA REVISIONE171I crll ... det_lnlaUcIGli algoritmi deterministici sono strettamente collegati alleregole di compatibilità e rispondono ad una logica -SE-ALLORA»:al verificarsi di una Incompatibilità, data da una regola che coinvolgek variabili, di cui k* già controllate ed eventualmente modificateIn precedenza, si correggono le k-k* rimanenti, Imponendovalori predetermlnatl o scelti a caso da una distribuzionedefinita a priorI.Le regole agiscono in maniera sequenzlale e, quindi, Il procedimentoImplica un ordinamento gerarchico tra esse.La scelta della gerarchia influenza I risultati dell'algoritmo;la compatibilità e la correzione della i-esima variabile sono infattifunzione del valori assunti o modificati delle precedenti.Poiché, in questa logica, non è possibile applicare il principiodel minimo cambiamento e la sequenza gioca un ruolo determinantenella procedura di correzione, la scelta del concatenamentodelle regole, e quindi delle variabili, deve garantire dal­Ia possibilità di errori Indotti dalla procedura.Possiamo assumere, quale garanzia, la mlnimlzzazione dellaprobabilità di modificare un valore vero; poiché essa è funzionedelle probabilità a priori di errore sulle singole variabili e dellaprobabilità condizionata di ripristinare un valore vero sulla i­esima variabile, dato il valore assunto dalla j-esima, la sequenzadovrebbe essere ordinata In modo discendente secondo taliprobabilità.Per fornire una base analitica a tali affermazioni, si può ricorreread un modello dell'operato della procedura che, pur sesemplificato, ne rappresenta la logica di fondo.Si abbia una procedura di compatibilità che coinvolge le kvariabili X,i in una logica deterministica si può assumere che levariabili vengono controllate e corrette In sequenza.Sia stata scelta ad esempio la gerarchia X" X:z ... ~; essa dàorigine alla sequenza di compatibilità e correzione:C. X RI X· R2 v R2 v· X. h·1 h •• I --> I --> "2 --> .~ ........ t.1 --> X k --> X tNella sequenza C sono stati tenuti distinti i valori sporchi x,.e quelli puliti x,~provenientl dall'appllcazionie delle regole RI; siè assunto, per semplicità espositiva, che ciascuna regola portaad una modificazione della variabile originaria, che sarà reale,se viene riscontrata una incongruenza logica, od altrimenti fittizia(ovvero il valore grezzo e quello pulito coincidono).Siano, inoltre, p,.le probabilità dell'errore, dovuto alle precedentioperazioni d'Indagine, per la i-esima variabile e p?le probabilitàdi errore della regola di correzione, ovvero la probabilitàdell'evento che il programma modifichi Il valore della singola variabilein modo da generare un errore nel controllo con la successivaregola. Per errore, In questo contesto, si intende la presenzadi un valore diverso da quello vero.Indicando con E il verificarsi dell'errore, si ha per la genericaX·l'Prob 0\. = E) = p,. + (l -p,.) P,~1Prob (X,! = E) = p,! = p~. Prob 0\. = E)in particolare, per I = 1 si ha:Prob (XI = E) = P, e Prob (X~ = E) = P~ = P~ PI(5.4)(5.5)Come risultato della procedura si otterrà un record pulito incui saranno presenti I valori X,~; sotto l'Ipotesi di errori generatiindipendentemente nelle variabili, possiamo, quindi, esprimerela probabilità che nel record si sia manifestato almeno un errore,come funzione delle probabilità P,~_tProb (E) = l - Prob (E) = l - il (1 - 1>.'k (=1'= 1 - "~I [1 - P~ (p.. + (l-p,) P,!..\)] (5.6)Tale probabilità dipende mediante la (5.6) dalla sequenza Cutilizzata; al variare della sequenza, cambiano le P31e p,~e quindianche la Prob (E).Le probabilità a priori, ovvero le probabilità dell'errore dovutoalle fasi precedenti, possono essere stimate sulla base dellemancate risposte parziali, degli errori di registrazione e del valorifuori campo, mentre le probabilità condizionate medIante unindice di associazione asimmetrico ().AlB e TAlB di Goodman eKruskal, d di Somer), riscontrato In Indagini precedenti per le medesimevariabili.Il procedimento di mlnlmizzazione può riguardare il complessodelle caratteristiche rilevate oppure può essere limitato alle variabilipII) rilevanti.In mancanza di tali Informazioni, è conveniente che la sequenzadelle regole di compatibilità e correzione preveda una gerarchiaordinata secondo l'Importanza delle variabili, in modo da garantire,per le caratteristiche principali, il minimo di modificazloni.Un caso particolare, ma che riveste notevole Importanza, èrappresentato dal trattamento del salti del questionario, ovverodal quesiti in dipendenza dei quali vengono selezionate differentil

172 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 - LA REVISIONE173sequenza di domande. Se si accettasse, nelle regole di compatabllltàe correzione, la gerarchia Indotta dall'ordinamento delquesiti del questionario, la possibilità di una modificazione dipII) variabili successive, verrebbe a dipendere dal valore assuntoda una solaD'altro canto, cambiare Il valore della domanda filtro può mutareradicalmente l'attribuzione di un particolare status al rispondente.Per decidere quale sequenza accettare, è allora necessarioconsiderare, contemporaneamente, tutti I quesiti coinvolti; è questoIl metodo che, spesso implicitamente, viene segUito nella pratica.è, tuttavia, opportuno formalizzare tale criterio allo scopodi chlarlme I presupposti e rendere trasparenti ed esplicite le scelteassunte.Sia X, la variabile corrispondente al quesi~o filtro che può assumerel valori 1, 2, ••• k; In corrispondenza di ciascun valore; leregole di compilazione del questionario impongono che sia presenteuna sola delle k sequenze ammesse:sequenze x,12K~.1Xz.1Xk,1variabili~,n1Xz.n2Se I dati rilevati fossero esenti da errori, in ogni questionariosarebbe compilata con codici significativi una sola delle &equen­. ze, mentre le rimanenti variabili, dipendenti dalla x,. conterebberoun codice di .rlsposta non dovuta ••A causa degli errori derivanti dalle diverse fasi, Invece, è possibileche nel singolo questionario siano presenti codici significativinelle variabili X, che definiscono differenti sequenze ~;Inoltre, la stessa X, po~rebbe assumere un valorE! non slgl\lflc.tlvo. .Il verificarsi di tali çondizioni genera incertezza su quale dellek possibili risposte sia -vera..In ogni questionario possono, quindi, corrispondere a k* sequenzeS., con k* s k, altrettante sequenze osservate ~*, ciascunadelle quali ha la caratteristica che In almeno una delle variabilix,J è presente un codice significativo.Il problema consiste, allora, nello scegliere una sola S; e,con le opportune regole di correzione, eventualmente completarnele Informazioni mancanti.In ciascuna sequenza osservata, possiamo discriminare tra levariabili che presentano un codice significativo e quelle chelnvecesono contrassegnate da blank (ovverso assenza di risposta ocodice non ammissibile); se le X 1J sono contraddltorle tra loro, all'Internodella sequenza S.' verranno considerate come blank.Ad esempio, In corrispondenza di X, le sequenze ammessesiano:SI = (l; XI,I; XI.2; XI,l)~ = (2; ~I; YSul questionario invece sia presente la seguente configurazione:x,blank codice codice blankche genera le due sequenze:S: =

174 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE175Se la dimensione di tale Insieme è ragguardevole, l'operazionepuò risultare Impossibile. Una piO semplice alternativa consistenell'assegnare alle variabili >

176 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATI·CAP. 5 - LA REVISIONE177ta, desunta di dati puliti, oppure possono essere sostituiti conquelli presenti In una unità donatrice, in cui non è stato riscontratoalcun errore. In quest'ultimo caso, per le variabili qualitativesi Impone il medesimo valore, mentre per quelle quantltativeè preferlblle assegnare un valore perturbato (con un errore desuntodalla distribuzione del valori puliti rispetto alla proprio media),per conservare la variabilità del fenomeno.L'unità donatrice può essere Individuata con due procedure:l'hot-deck ed Il cold-deck.Il metodo cOld-deck, si differenzia da quello hot-deck In quantonel primo, le unità vengono preventlvamente suddivise In due Insiemi(senza errori e con almeno un errore), mentre Il secondoaggiorna dinamicamente un sottoinsieme di unità pulite da cuipreleva il donatore; in funzione dell'ordinamento indotto nel file,vengono sfruttate, in questo modo, le eventuali COrrelazioniesistenti tra unità vicine.Per Inlzlallzzare /I sistema, owero nel caso che venga riscontratoun record errato prima del caricamento in memoria dell'Insiemedonatore, vengono previsti a priori alcuni record di default.Nel criterio hot-deck, la numerosltà dell'Insieme donatore èstabilita In relazione alle performance Informatiche dell'elaboratore.Tale Insieme può essere costituito da tutte le unità delfile pulito oppure, preferibilmente, da sottolnsiemi di unità stra·tificatl mediante alcune caratteristiche (variabili di collegamen·to o matchlng) che non devono essere sottoposte a correzionee, possibilmente, devono risultare altamente correlate con le altrevariabili del questionario; In genere assolvono tale compito -i codici geografici e le variabili strutturali.La stratificazlone viene utilizzata non solo per soddisfare ilprincipio di veroslmigllanza delle forzature, ma anche per ridurrela distorsione Imputabile all'eventuale non casualità delle mancaterisposte parziali, tentando di Identificare subpopolazioniomogenee per le quali sia ridotta la differenza tra le risposte fornitee quelle mancanti. Tale procedimento equivale a quello uti·IIzzato per le mancate risposte totali e si basa sulle medesimeconsiderazioni (cfr. Capitolo 3).Una stratiflcazlone delle unità abbastanza fine, e quindi constrati di ridotta numerosltà, può comportare, però, un insiemedonatore vuoto o un uso frequente del medesimo record donatore;per rimediare a tale inconveniente, si prevede la ricerca Inaltro strato simile (collassamento degli strati mediante la soppressionedi una variabile di stratlflcazlone).. Lo stimatore ottenuto con il metodo hot-deck può essereespresso come funzione del valori degli m rispondenti; ad esempionel caso della mediaDa m DaYHD = (E Y,' + E t,~.) , n con E t .. = n-mDa m= (mEYR + Et,·Y.)'" (5.8)dove le \. rappresentano /I. numero di volte che 1/ valore y .. vieneutilizzato nella procedura di Imputazione. La media e la varlanzadello stlmatore YHo dipendono, mediante la 5.8, dal rispettivi parametridi Y R e dallo schema campionario utilizzato per generareI \ .•Prospetto 5.2A) Criteri di selezione dell'unità donatriceI) mediante selezione casuale senza relmmisslone perm> n/2 (criterio SA)Il) mediante selezione casuale con relmmlsslone per m < n/2(criterio CA)III) mediante selezione sequenzlale con ordinamento casualedelle unità (criterio SEQ)IV) mediante selezione da f/le ordinato (criterio OAD)B) media e varlanza dello stlmatore YHOstimatore E (YHol Var (YHol9R '9'R ~ [1+n~m]y.rHO '9'R ~ [1 +2(n;m)]9~b '9' R ~ [1+(n~m)(n+:-1)]yM1 '9' R ~ [1 + 2 (n.; m)]yordHO Y.R ::i. [1 + 2(n-m) + 2(-1/--~ . .!!..)]n n 1-1/ n 1 -1/ (b)dove: V = Var (y)1/ = corr (y" Y~ l, J = 1,2, ..... n(a) salezlone sequenzlale con Il file ordinato casualmente(b) varlanze approssimate per n • O(a)(b)

IlaIL SISTEMA 01 CONTROLLO DELLA QUALITÀ DEI DATIl'!CAP. 5 • LA REVISIONE179Nel caso In cui venga utilizzato un campione casuale semplice,selezionando l'unità donatrice con uno del criteri casuali (1)­(Iv) riportati nel Prospetto 5.2.A, lo stlmatore è centrato sulla mediadel rispondenti, ovvero E (YAl = Y R e le relative varlanze sonodate dal prospetto 5.2.8.Nel Prospetto 5.3 è riportato Il confronto tra le varianze deglistlmatori relativi ai criteri di selezione SR, CR, SEa e YR•Prospetto 5.3Var (VR) Var (Yffo) Var (Y~b>Var (YffO> >Var (Y~b> > >Var (Y~) > > >Il confronto con V (y~) non è invece univoco, poiché essodipende dal valore di Cl e dalla relazione tra m ed n. Tale varlanzarisulta, In presenza di un Cl > O, sempre maggiore di V(yWO>, mentreè minore di V (Y:m') per m > n/2 e maggiore nel caso contrario;per un Cl elevato ed un valore di m minore ma vicino a n/2,V (yOS') è minore di V (Yffo)·~er quanto riguarda Il caso di una stratlflcazlone delle unitàdonatrici, con selezione operata mediante uno del criteri (I) - (iv),non si dispone, attualmente, di una estensione delle suddetteformule, che rimangono tuttavia valide all'Interno di ogni strato.Nel caso vengano utilizzate, quali variabili di'collegamento,variabili quantltatlve è necessario definire, per identificare Il recorddonatore, una funzione di distanza tra I record puliti Rkp,e quello sporco, Rk,,:K[D (Rk., Rk.,) = El I Y p _ Ypl Ir]l/r(5.9)dove le y sono le k variabili di collegamento ed r Il valore chedefinisce la metrica utilizzata (r = 1 Manhattan, r = 2 euclidea,r = 00 mlnlmax). La selezione del donatore avviene allora mediantela condizione: D (Rkg, RkJ. = min.Per eliminare eventuali Influenze del valori di scala sulla (5.9),si trasformano le variabili Y,· nelle:Y1 = (Y,· -a) / b1j1in cui a può essere la media, Il minimo o la mediana e b lo scartoquadratlco medio od Il campo di: variazione.Per tener conto del problemi connessi ad un uso frequentedel medesimo record donatore, si modifica la funzione di distanza(5.9) facendola dipendere dal numero di repllcazlonl del donatore,d, e da una penalità, u:D* (RIt" Rk.,> = D (RItI' Rk.,> (l + u d) (5.10)I criteri -da donatore- sono teoricamente applicabili sia a caratteristichequalltatlve che quantltative; In genere, però, per limitazionidi ordine Informatico, si preferisce trattare queste ultimecon programmi ad hoc, di tipo deterministico.Il criterio di correzione mediante regresslone è generalmenteapplicato solo alle caratteristiche quantitatlve e consiste nella stimadel valore correttivo mediante Il modello di regresslone lineare:t~. = 6"0 + Ej 61tJ ~ + e .. (5.11)Nella (5.11), 9,· rappresenta Il valore correttivo per l'unità 1-esima, calcolato mediante il modello di regresslone I cui coefficienti,bfl,at'R,J sono stati stimati sulla base delle Informazioni fornitedal rispondenti; le X Indicano le k variabili ausiliarie (che assumonoper l'i-esima unità non rispondente I valori x..J ed A.è un residuostocastlco, con E (A) = O, da aggiungere al vàfore s\lmato 9.Il modello di Imputazione da regresslone risulta determlni~tlcose A .. viene posto uguale a zero, ovvero non si aggiunge nessunresiduo generato da un modello casuale, mentre è stocastlco nelcaso contrarlo.Operando sulle ~ e sulle A" questo metodo equivale ad unacorrezione apportata mediante altre tecniche.Ad esempio, ponendo le variabili ausiliarie ed Il residuo ugualia zero, esso coincide con l'Imputazione di un valore pari alla mediadel rispondenti; ponendo le, variabili ausiliarie uguali a zeroed Impu\ando un residuo desunto dalla distribuzione delle differenzetra I valori del rispondenti e la loro media, Il mètodo equivalealla selezione casuale di un rispondente. La stratlflcazlonedelle unità eqUivale a considerare le Xl come variabili dummyovvero Indlcatrlcl di k strati; In questo caso si otterranno le ma:deslme equivalenze di cui sopra a livello di singola classe. Se,oltre a stratlflcare, si ordinano le unità, Il metodo di regresslonestocastlca è equivalente al criterio -hot-deck- sequenzlale.Nel prospetto 5.4 si riportano le principali caratteristiche di alcunipiani generalizzati di compatibilità e correzione, mentre Informazionipiù dettagliate su alcuni di essi, sono contenute In Appendice.

180 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE181Prospetto 5.4: Principali caratteristiche di alcuni programmi generalizzatidi compatibilità e correzionenomeenteautoretipo dicorrezioneelaborazioneAERO CSO deterministiche batchUngheria stocastlcheAERO FSO deterministiche interattlvoInteractlve Yugoslavia stocastlcheSubsystemCANEDIT Statistics stocastiche batchCanadaCONCOR Bureau of deterministiche. batchthe census stocastlcheU.S.A.DIA INE deterministiche batchSpagna stocastlcheEDIT 78 NCBS deterministiche batchSveziaInterattlvaRESSAC INSEE deterministiche InterattlvaFranciaSERIES IV CSO deterministiche interattivaUngheria stocasticheTOSSVD CISIS deterministiche interattivaBulgariaUNEDIT Statlstlcs deterministiche batchBureauONULe procedure di compatibilità e correzione, dopo la loro pre·disposizione e prima dell'applicazione al dati dell'indagine, devonosubire una validazione di tipo formale ed una di tipo sostanziale.L'obiettivo della prima consiste nella rispondenza del pro·gramma alle istruzioni Impartite, mentre scopo della seconda èIl controllo del funzionamento del plano In presenza delle duetlpologie di errore, casuale e sistematico. I risultati di tali controllicomportano nel primo caso l'eventuale revisione delle istru·zionl del programma, nel secondo la modifica delle regole di compatibilitàe correzione.I programmi generalizzati, al contrarlo di quelli prodotti adhoc, non necessitano di verifiche formali, perché gar~ntltl dal pro-duttore, ma è opportuno approfondire le loro prestazioni statistiche,che dipendono, In ultima analisi, dalle regole di compatibilitàesplicitate.Per rendere possibile ed agevole Il controllo e, successivamente,anche l'analisi del risultati delle elaborazioni sul dati creali.della rllevazlone, è opportuno prevedere I seguenti accorgimenti:- assegnare ad ogni regola di compatibilità un codice alfanu·merlco che dovrà essere riportato per ciascun record erratosu uno degli output del programma;- In mancanza di un codice esatto dllndlviduazione del record(ad esempio, Il caso In cui il codice che Identifica l'Individuoviene sottoposto a modlflcazlonl da una regola di correzione),prevedere una rlnumerazlone sequenzlale, dopo la fasedi controllo quantltatlvo, di tutti I record; eventuallinserimentinella successiva fase di controllo del legami tra unità saran·no caratterizzati da un valore blank, nell'apposito campo delrecord. .Per la verifica formale si compilerà, per ogni regOla di compatibilitàesplicitata, uno o più questionari errati, In dipendenzadelle possibili correzioni previste; ad esempio, se una regola dicorrezione Impone un valore da una distribuzione di frequenza,dovrà essere compilato un numero di questionari sufficiente averificare la casualità della correzione. Realizzato l'accoppiamentotra file pulito e sporco, mediante il codice esatto, si verificheràl'esistenza dell'Incompatibilità, Il risultato della correzione ela rispondenza tra la regOla ed il relativo codice di errore appostodal programma.La verifica sostanziale del piano di compatibilità si effettuasostituendo valori e"ati In un Insieme pulito di dati ed elaborandoquesti ultimi mediante I programmi di compatibilità e correzione.I valori da Imputare, ammissibili e non ammissibili, sarannogenerati da un modello casuale o da uno sistematico (adottando,In questo caso, una delle definizioni riportate nel sottoparagrafocl'errore sistematico.) o da misture, a seconda dell'a·spetto che si vuole sottoporre a controllo.Da tale procedura sono disponibili tre file (origine, sporco,pulito), sul cui è possibile operare tre confronti:i) tra il file origine e quello sporco;il) . tra Il file sporco e quello pulito;iii) tra Il file origine e quello pulito.Ciascuna comparazione presenta una differente valenza Informativa:mediante la prima si conoscono analiticamente i rl-

IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 5 • LA REVISIONE183sultatl del processo di generazione degli errori, che, essendo dinatura stocastlca, sono ex ante fuori controllo; Il secondo confrontosimula la situazione reale dell'Indagine ma, rispetto a questa,presenta Il vantaggio di conservare la storfa del singolo recorde quindi permette di verificare Il funzionamento delle regoledi compatibilità e di correzione; mediante /I terzo confronto,Istituito tra I valori puliti e quelli veri, si può, Infine, valutare distintamentel'effetto, dovuto al tipo di errore Indotto nel dati eal procedimento di correzione, sulle stime finali.Nel caso delle variabili dicotomiche, la (5.12) assume /I significatodi un tasso atteso di modlflcazlonl.Un secondo aspetto da valutare è il comportamento della procedurarispetto agII stlmatorl che verranno utilizzati nell'analisidel dati finali; a titolo di esempio, cl si riferirà alla funzione media(che coincide con la frequenza relativa nel caso delle variabilidicotomiche).Siano, quindi, per la generica variabile y,IHl.cana.l La i. deSL i..,r.t.t." d_Lmode L Lo di"errore • delprogramMa.GnoL~.\ de\ proc ... odi. "...... t.aci.on. d .. L.ierro,., r lI tU.01'''9''''''. ,1---------1 .porcoI m. I'-----I ..... Hlo I---...Ja.naL ... i. cI.Lfuna;,oncunenlocl. L le r.gol. di.compa.t.i.bi.l\.t.Q.~• "di. eorr .. i.onerispettivamente, la media nell'r-eslma repllcazlone, la media veranel file origine e la media nelle R repllcazlonl.Un primo Indicatore è rappresentato dalla stima della distorsionedella media, calcolata dopo la procedura di correzione, rispettoal medesimo parametro nel dati originarI. La distorsionepuò essere misurata nel duplice aspetto di distorsione attesa (Inintensità e direzione)(5.13)Figura 5.4· Il processo di simuluione per il controllo dei programmi di compatibili·tà e corrszionePoiché I risultati del procedimento dipendono dal campionedi errori generato, è necessario simulare plil repllcazlonllndlpendentidel file sporco e riferire l'analisi alla media delle prestazioni.Sia yP Il valore della generica variabile y, dopo l'elaborazionedella ~rocedura di correzione nell'r-eslma repllcazlone, dellaj-eslma unità ed YJ Il relativo valore vero del file originario (cherimane costante al variare delle repllcazioni); sia Inoltre R ~ 2il numero delle repllcazlonl ed n /I numero delle unità.Nel caso delle caratteristiche qualltatlve, la y rappresenta lavariabile dicotomica (presenza I assenza) relativa alla modalitàesaminata; si assume, quindi, che le matrici del dati originarievengano trasformate nelle rispettive matrici disgiuntive complete.Un primo aspetto delle prestazioni della procedura è rappresentatodalla «distanza» tra il file pulito e quello originario, chepossiamo misurare come media delle differenze assolute tra Irispettivi valori:(5.12)e di distanza dal valore veroIAI = E Iyt-yl /Rr(5.14)Poiché possiamo considerare le stime Y.p come provenientida campioni di errori, la variabilità campionaria del risultati ottenlbllldalla procedura, stimata In termini assoluti o relativi (rispettoalla media vera), costituisce un secondo indicatore dellabontà del metodo di correzione:1/1Sa(y) = [~(yt - y'')Z / R(R - l) ] (5.15)ct(Y) = Sa (Y)/y (5.16)Infine, mediante la (5.17) possiamo unificare l'errore variabilee la distorsione in un solo indicatore di errore totale:M9E (1) = Er (Yr P - y p + y p - yt= (Sa (Ytt + 8 2 (5.17)

184 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA RJ:VISIONE 185Per confrontare gli Indicatori relativi a differenti variabili, ènecessario svincolare le (5.13), (5.14) e (5.17) dall'unità di misura,rapportandole alla media y:B' = B / tIBI' = IBI / tMSE' = MSE / t(5.18)Infine, dalle R repllcazlonl, se In numero sufficientemente elevato,possono essere calcolate le distribuzioni di due Indicatori,relativi alla distorsione della stima dell'errore campionario e all'Influenzadella procedura sulle correlazioni:I~ = con, (yP,x) / con (y,x)dove:"9, (Y) = Ej ~ - t/') 2 / n(n-l)"9 (Y) = Ej (Yj - tt / n(n-l)(5.19)Data la gran mole di calcoli e di risultati derivanti dalle (5.12)- (5.19), è opportuno limitare la simulazione e l'analisi alle più rilevanticaratteristiche oggetto d'Indagine.Le Informazioni che è possibile ottenere dai programmi dicompatibilità e correzione, riguardano da un lato l'esame ex postdella stessa procedura, owero delle regole utilizzate e delle correzionieffettuate, e dall'altro la valutazione di alcuni aspetti dellaqualità del dati e delle prestazioni della rete di rilevazlone, utilizzandogli Indicatori riportati nel Prospetto 3.5 e nel Prospetto 5.5.Gli Indicatori desumibili dalla procedura di compatibilità e correzione,anche se Indiretti e grezzi, hanno Il pregio perO di essereeconomici, poiché facilmente ottenlblll dalle procedure esistenti,ed analitici, In quanto possono essere calcolate per qualsiasilivello di controllo.INDICATORIProspetto 5.5SIGNIFICATOA) REGOLEFONTE DI ERfIOREcomuni rllnalort ISTAT1:, T,I NR regole - - alutilizzate1: 1 Tq I NRK utilizzazioni - - aldella regolaf, 1: 1 M4 NRK variabili 'corrette- - alper 'egolaf, 1: 1 M4 V, • NRK vlU1ablll ' correlle- - alper regolaB) CORREZIONI1: 1 Mql NRK correzioni - al alper variabile1: .. 1: 1 M~ I NRK correzioni - al alper racord1: 1 R~I NRK record - al alcorrettif.1:, M4' v •• NRK correzioniper gruppo di- al alvariabiliNRK numero di recordNRnumero di regolaV, numero di variabili coinvolta nalla regola rV. numero di variabili nell'lnslarne STqIndicatore di utilizzazione della regola r per Il record j; si = 1 no = OT, Indicatore di utilizzazione della regola r; T. = 1 per t, T rj > O; T, = O per t, T" = O~I Indicatore di correzlona per la variabile I nal Il record I; si = 1; no = ORKIìndlcatore di correzlona del record I; ~ = 1 per 1: 1 M q > O; ~ = O per 1: 1 Mq = O

lHtiIL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE187La valutazione delle regole potrà basarsi sull'esame degli Indicatoririportati nel Prospetto 5.5.A. La percentuale di regole utilizzateed Il numero medio di utilizzazioni, misurano l'estensionee l'Intensità dell'operato del sistema di regole; mediante I duerimanenti Indicatori è possibile analizzare e confrontare le prestazioniper la singola regola.L'analisi delle correzioni apportate può essere effettuata adiversi gradi di approfondimento: rispetto alle modalità della singolavariabile, a ciascuna od a gruppi rilevanti di variabili, a livellorecord.~ conveniente, per evitare la ridondanza di Informazioni, limitarea livello totale o di domini di studio, le analisi relative allemodalità (per ciascuna caratteristica la distribuzione Incrociatatra I valori assunti prima e dopo del plano di compatibilità), airecord (la distribuzione per numero di correzionI) e al tasso di modlflcazlonlper le singole variabili.Gli Indicatori, riportati nel prospetto 5.5.B, assumono un diversosignificato a seconda del livello cui sono riferiti: a livelloaggregato, misurano l'effetto del plano di compatibilità e confluiscono,quindi, nell'Insieme degli Indicatori della qualità deidati; se calcolati per comune e per tllevatore costituiscono degliIndicatori delle prestazioni della rete periferica.L'esame delle regole e delle correzioni può essere utilizzato qualeulteriore controllo dell'esistenza di errori sistematici, prima dell'elaborazionedefinitiva del dati. L'analisi condotta a livello delcomplesso del dati può Individuare l'errore derivante dal questionario,dalla registrazione e dalle regole di correzione; ad esempio,una eccessiva frequenza nell'uso di determinate regole di compatibilità,od un numero anomalo di correzioni per una data modalità,possono evidenziare un quesito od una sequenza di quesiti malformulati o concatenati.Un modello per l'Identificazione dell'errore sistematico sullabase del risultati del piano di compatibilità è riportato In Marchettl& Masselll, 1984 ed In Marchettl 1986.L'analisi degli Indicatori a livelli pII) disaggregati può Inveceevidenziare errori sistematici commessi dal singoli organi perlficl.Studi pii! analitici, infine, possono essere condotti, mettendoin relazione i suddetti Indicatori con le caratteristiche sociodemografiche del rispondenti e del rllevatorl.caratteristiche Individuali. La scelta dell'una o dell'altra sequenzadeve essere effettuata in funzione dell'Importanza attribuita alleInformazioni attinenti alle singole unità oppure al contenutoInformativo del loro legami; essa determina tlpologle diverse dicontrollo e correzione del legami.Ad esempio, In una generica Indagine sulla Popolazione, Incui sono presenti le unità .famlglla_ ed .Indlvlduo_, la variabile-relazione di parentel .. può essere considerata sia come lega~me tra unità sia come caratteristica degli IndIvidui. In questo casola variabile sarà In relazione con altre, ad esempio l'età e mediantequesta con la condizione professionale.Possiamo allora scegliere due diverse -strategie di Imputazlone-:I) come primo passo, considerare la -relazione di parentel .. comeuna caratteristica dell'Individuo e quindi controllarla edeventualmente correggerla sulla base delle relazlonllntercorrentltra le variabili Individuali; come secondo passo controllaree correggere la stessa variabile, quale legame tra gli Individuiappartenenti alla stessa famigliLIl) ribaltare la sequenza di cui sopra, controllando e corregendodapprima la relazione di parentela come legame tra individui,e quindi operando sulle relazioni tra le caratteristiche Individuali,considerando immodificabile la relazione di parentela.Nella prima strategia, la correzione dellegamllnteml ali'unltàfamiglia assume un ruolo reslduale rispetto a quella apportataalle relazioni tra le Informazioni Individuali; cosicché essa verràpreseelta se si vogliono salvaguardare I contenuti Informativi delsingolo individuo rispetto alla struttura della famlgllLLe due strategie implicano metodi di Imputazione diversI: nellaprima è opportuno che le correzioni della -relazione di parentela-vengano apportate In maniera Interattlva da esperti di settoreper evitare cicli successivi di modlflcàzloni Indlvlduoffamiglla,mentre nella seconda, possono essere effettuate mediante pianiautomatici.8. Il controllo del legami tl1l uniticome antIcipato nel paragrafo 2, la fase di controllo e correzionedelle variabili che rappresentano legami tra unità può es~sere effettuata sia prima che dopo quella di imputazione delle,iI~

188 'IL SISTEMA DI CONTROLLO DEUA QUALITÀ DEI DATICAP. 5 • LA REVISIONE189APPENDICE1. Programmi genendlzzaU di compdbIUtà. correzione autom&­tlcaPressO l'Istituto sono stati sperimentati due programmi generaUzzatlper la compatibilità e correzione automatica: l'AEROed Il CONCOR mentre di un terzo programma, Il DIA, si stannoattualmente verificando le performance; del CANEDIT si è In p0ssessodi numerosi elementi di valutazione.Quella che segue è una sintetica panoramica su questi quat·tro prodotti.• ILCONCORIl CONCOR (CONslstency and CORrectlon) è un programmaprodotto dall'lnternatlonal Statlstlcal Program Center del Bureauof Census U.S.A. In collaborazione con l'Unlted Natlons DemographfcCenter for Latln America, cui si deve la prima versione;è datato 1979 ed è scritto In COBOL con parti In Assembler.È applicabile solo a variabili qualltatlve e può Identificare erororl nella struttura delle risposte di un questionario (structuralCheck), nel range del valori delle risposte (range check) e la congrultàtra risposte a differenti quesiti correlati tra loro, sia chesiano fisicamente sullo stesso records, sia In record diversi (conslstencycheck); genera automaticamente un programma COBOLe del flles per analisi e tabulazlone.L'ultima versione del CONCOR, contrariamente alle prime, perle quali veniva utilizzato un criterio deterministico provvede allecorrezioni automatiche con la tecnica dell'hot-declc; a mano amano che I record vengono sottoposti al controllo, quelli giudicatipuliti aggiornano de"e tabelle In memoria (che rappresentanoIn pratica del record medi donatori) le quali, In caso di erroneitàdel dati, forniranno I valori da sostituire.Il sistema CONCOR è composto da 4 sottoslsteml:• l'analizzatore del linguaggio di comando (tra cui le regole);• Il generatore del programma COBOL;• l'editor, per la corretta Imputazione;• Il generatore del report.Il linguaggio di comando consiste di Istruzioni di definizione,di Istruzioni eseguibili (per l'organizzazione ed Il controllo delprogramma, per assegnazioni o trasformazioni di valori, per Il testiI~di condizioni, per l'Imputazione e la creazione di output), dllstruzlonldi controllo (stabiliscono Il Ijvello ed Il tipo delle statistiche)e di Istruzioni di commento.La sintassi è tlpo-COBOL (tipica la struttura del programmaIn Divisioni, SezIoni e Paragrafi) e presuppone l'Intervento di unInformatico.Il CONCOR può accettare fino a 50 tipi record diversi, dllunghezzafissa, con Il tipo record sempre alle stesse posizioni.Come output sono previsti: Il file esetto, report statistici connotizie sul test effettuati e sugli errori riscontrati, nonché file opzlonallderivanti dal diversi passi della procedura, Il cui formatoè stabilito dall'utente; è prevista Inoltre la possibilità di effettuareconfronti tra I dati originali e quelli pulitiNelle sperlmentazionllstat è stato evidenziato un limite nelleperformance Informatiche; a tutt'oggi è Impiegato nella versionedeterministica nel controllo del dati dell'Indagine sulle Forzedi lavoro. ''• L'AEROL'AERO è un sistema di controllo e correzione prodotto dall'Ufficiodi statistica ungherese e utilizzato, non solo In Ungheria,per Il Censimento della PopOlazione 1981.E composto da due sottolnsleml. Il prlrno"sottoslstema dlspeclflcazione,crea Il dizionario, e definisce le regole per la correzionementre Il secondo, sottoslstema di generazione, provvede,In base al parametri fomiti dall'utente, a controlli di range, di relazionee consistenza, a correzioni automatiche, a report statisticie a liste diagnostiche di vario tipo.È possibile specificare tre tipi di regole:- regole Y, ovvero condizioni di errore o di rigetto che provoca·no la bipartizione del file originario In errati ed esatti e J'utl­IIzzo di questi ultimi per le correzioni automatiche;- regole X le quali, In una-fase successiva, assicurano che particolaricondizioni sul campi del record siano soddisfatte (sitratta In pratica di Imputazioni deterministiche);- regole Z che permettono di scrivere pii.! sinteticamente le regoleYe X.Anche l'AERO effettua le correzioni secondo Il metodo hotdeck,Identificando Il record donatore nel file pulito che vienecreata a mano a mano che si procede nella lettura e nel controllo.La correzione del campi errati non viene effettuata simultaneamente,ma avviene per sottalnsleml di campi: è l'utente che

Il SISTEMA\OI CONTROllO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE191decide le variabili per ogni gruppo e stabilisce l'ordine con Il qualeI campi debbono essere corretti.L'AERO può gestire solo variabili qualltatlve con un ridottonumero di modalità. è programmato In PU1 con parti In Assemblere, a differenza del CONCOR che origina dapprima un sorgenteCOBOL e pollo compila automaticamente, l'AERO producedel moduli già eseguibilI.La sperlmentazlone condotta ha evidenziato che è possibileutilizzare AERO solo con Insiemi di dati di ridotte dimensioni provenientida questionari non troppo compiessI.• IL CANEDIT/SPIDERIl CANEDIT è un sistema di controllo e correzione prodottoda Statlstlcs Canada (dove è pII) noto con Il nome orlglnariò diGEISHA: Generallzed Edlt and Imputatlon System uslng the Hotdeck Approach).è stato utilizzato nel Censimento della Popolazione 1981 Insiemeal prodotto SPIDER, capace di gestire variabili continueo discrete con un gran numero di valori che Il CANEDIT non ècapace di supportare.Esso utilizza una tecnica hot deck ed è composto da un analizzatorelogico e da un sottoslstema di controllo ed imputazione.Il primo Identifica le regole ridondanti e contraddltorie mentreIl secondo ricerca I valori corretti da sostituire copiandoli darecord donatori che soddisfano le condizioni volute. Nel caso Inculi donatori sono più di uno, viene effettuata una scelta casuale;se non vengono Identificati donatori allora ogni campo correttoviene copiato da un donatore diverso.SPIDER è un sistema collaterale (System for Processlng Instructlonsfrom Dlrectly Entered Requlrements) che recepisce leregole dell'utente sotto forma di tavole di decisione e le organizzaIn un programma PU1.Il sistema è capace di riconoscere 4 diversi tipi di unità: persona,abitazione, famiglia censuaria e famiglia economica.Anche SPIDER è basato sulla tecnica hot-deck e di un sistemadi pesi e di una stratlflcazlone del record possibili donatori;nel caso In cui, però, non riesca a rintracciare Il donatore, utilizzauna Imputazione deterministica (In pratica applicando del valoridi default).La lunghezza della ricerca può essere controllata sia IndicandoIl numero massimo di record da esaminare sia restringendolaa determinati livelli geografici; se la ricerca nel -serbatoio» nell'ambitodi uno strato non ha avuto esito positivo, Il donatore vieneselezionato a caso tra quelli più vicino allo strato.Il binomio CANEDIT/SPIDER si muove in ambiente DB (RA­PIO) con programmi PU1.• IL NEISIl NEIS è un sistema generalizzato per Il controllo e l'Imputazionedi variabili quantitatlve prodotto recentemente da StatlstlcsCanada.Esso trae origine da un prototipo del 1976 scritto In Fortran'la versione attuale, che incorpora Il prototipo, è prOgrammata I~C ed utilizza l'SOLPiù che un sistema Integrato, Il prodotto è un Insieme di programmiognuno del quali esegue funzioni di controllo e dllmputazlonldiverse, sulla base del principio del minimo cambiamentoe del metodo hot-deck.Può essere considerato un prodotto sperimentale per la necessitàdi ricorrere a programmi ad hoc e ad Interventi manualI.• IL DIAIl DIA (sistema de Detecclon y Imputaclon Automatica) è unsistema per il controllo e l'Imputazione per variabili qualltatlvesviluppato dal 1981 al 1984 dall'Istituto de Estadlstlca de Espana.E stato utilizzato In varie Indagini: l'Inchiesta sulla fecondità1985, il Censimento della popolazione mussulmana di Ceuta eMelilla 1986, Il Censimento della Popolazione 1986 (questionarioridotto) e l'Inchiesta sulla popolazione attiva 1987; verrà applicatoall'elaborazione del Censimento della Popolazione 1991.Scritto in PU1 j per elaboratorllBM o IBM-compatlblll, la primaversione completa è del lugllQ 1987.Pur essendo conosciuto come il CANEDIT spagnolo, è In realtàun prodotto completamente diverso, che ha in comune conil programma canadese la generazione dell'Insieme minimo, completoe non contraddittorio di regole secondo la metodologla diFellegl e Holt.L'Imputazione non avviene mediante record donatori, ma generandoI valori da Imputare, con un algoritmo stocastlco, dalledistribuzioni ottenute dai record puliti.L'Integrazione tra criteri stocastlcl e deterministici, del restogià presente in CANEDIT/SPIDER, viene raggiunta risolvendo leinconsistenze ed I conflitti tra regole di Incompatibilità e regoledi imputazione.l

192 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DAnCAP. 5 • LA REVISIONE193La scrittura delle .regole» per il DIA è estremamente semplicee concisa, tale da consentire, ad esempio, di scrivere le regoleper I controlli di range delle variabili di un'Indagine In pochiminuti.Il DIA necessità di 4 Input:- l'elenco delle variabili del record con I codici assumlblll;- l'elenco delle variabili del record con le specifiche di posizionee lunghezza;- le regole di compatibilità; ,- le regole di Imputazione deterministicaIl limite del DIA è che esso non tratta le variabili quantltatlveo qualltatlve con un gran numero di modalità dovendo ricorrereper Il trattamento di tali caratteristiche a programmi di controlloed Imputazione ad hoc.Tavola 5.A.1 - Correzioni apportate dalla procedura secondo lacausaCAUSANUMERO CORREZIONICORREZIONI valass. val. %- mancata risposta 291 11.47- risposta non dovuta 231 9.10- registrazione susupporto Informatico 27 1.06- relazioni quantltatlvenon verificate 317 12.50- altre 1.670 65.85Totale 2.536 100.002.. Anelisi delle prestazioni di un programma di competlbliltiNell'esempio che segue, si riporta l'analisi delle prestazionidi un programma di compatibilità di tipo deterministico, trattoda M. Masselllin La qualltj del dati nell'indagine Istat sulla salute1983, In Attldel Convegno Salute e ricorso al servizi nel Veneto,Regione Veneto, novembre 1987.La procedura di compatibilità e correzione dell'Indagine Istatsulla salute degli Italiani 1983 è basata su 174 regole la cui funzioneè diversa: controllare che Il valore della singola variabilesia all'Interno del campo di variazione ammesso o porre In relazionevariabili diverse. Se la regola viene contraddetta, Il programmamodifica Il contenuto di una 'caratteristica secondo una determinatagerarchia; tale plano è quindi di tipo deterministico.Sul dati relativi alla reglona Veneto, la procedura ha utilizzato98 delle 174 regola, (parI al 56.3%), previste dal plano dicompatibilità; tali regole, che denomineremo fallite; hanno datoluogo, quindi, ad almeno una modificazione del valori originari.Analizzando tale Insieme di regole è stato possibile risalIread alcune delle cause delle correzioni (Tavola 5.A.1). In essa,particolarmente Interessanti sono I dati relativi alla .rlspostanon dovuta» e alle -relazioni quantltatlve non verlflcam., chepOSSiamo ritenere Imputabili al mancato rispetto delle normeformali per la compilazione del modello di rllevazlone da partedel rllevatore; la loro somma è superiore al 20% del totale dellecorrezioni.Nella Tavola 5.A.2, sono stati costruiti alcuni Indicatori rlguar-I!danti l'operato della procedura, In relazione alle diverse sezioniin cui si articola Il modello di rllevazlone. C'è da notare, Innanzltutto,l'assenza di correzioni nella sezione -malattie presenti»,probabilmente dovuta alla semplicità delle risposte previste (ditipo dicotomico) e, soprattutto, all'Impossibilità di Istituire controlliIncrociati con altre variabili del questionario: le relative regole,quindi, sono solo di controllo di campo.Il totale delle modlflcazlonl subite dal dati grezzi è stato di2536 a fronte del 4470 questionari, con un numero medio di correzioniper modello pari a 0.57.La terza colonna scompone Il totale delle correzioni per sezionidel modello, ed Indica che la maggior parte delle modlflcazlonlsi sono concentrate nella sezione dei-dati generali» ed .accertamentidiagnostici». Tale parametro, però, non tiene contodella struttura del questionario ed è Inadeguato a rappresentareuna gerarchia di qualità tra I diversi tipi di Informazioni; a talfine, nella quinta colonna, è riportato un Indicatore calcolato comerapportQ percentuale tra correzioni e variabili soggette a correzioneIn ciascuna sezione. Le conclusioni che è possibile trarre,cambiano di segno: sono le risposte fomite alle sezioni -rispondente»ed -attlvltè fisica» quelle piO soggette ad Incongruenze,seguite da -vIsite mediche» e -dati generali». Nell'ultima colonna,infine, è riportato un Indicatore che potremmo definire diefficienza delle regole: esso misura la quantità filtrata dalle stesserapportando Il numero di correzioni al numero di regole fallite.Valori di tale parametro particolarmente alti o bassi possono Indicareuna non adeguata formulazione delle regOle o del questionario.Nel caso in esame I valori relativi alle sezioni -malattie presenti»e -attività flslc .. sono da considerarsi sospettI.

, .... IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE19:Tavola 5.A.2 - Principali parametri del piano di correzioneCORRE- variabili NUMERO MEDIOSEZIONI regole~ sagge"e CORREZIONIregoleMODELLO fall". a corre- per v. per rego.% zlonl "abile la fallitadati generali 41 19 22.2 13 50.5 29.68- stato di salute 25 15 8.7 8 27.5 14.67- malattie presenti20 - - 20 - -- Invalidità 9 3 3.4 8 10.8 28.67- visite mediche 9 8 14.8 7 53.4 46.75- diagnostici 28 24 16.9 10 42.8 17.83- consumo farmaci13 4 3.4 11 7.8 21.50- consumo tabacco17 13 10.7 7 38.7 20.85- consumo bevande- 6 6 8.2 5 41.8 34.83attività fisica 2 2 6.0 2 75.5 75.50- rispondente 4 4 5.8 2 73.5 36.75- Totale 174 98 100.0 93 27.3 25.883. Analisi degli effetti di un plano di compatibilitàSi riporta un esempio di analisi degli effetti di un plano di compatibilitàtratto da M. Masselllin La procedura di controllo deglieffetti del plano di compatibl/ltA dell'Indagine sulle forze di lavoro.Istat, documento Interno.Mediante le Informazioni derivate dall'abbinamento del recordgrezzi e di quelli sottoposti a correzione, sono stati studiati glieffetti prodotti da! piani di compatibilità, prendendo in considerazionetre diverSI livelli di controllo:• I record• le variabili• le modalità delle singole variabili.Analisi per recordLa distribuzione del record secondo Il numero di correzioniè un indicatore di quanto ha Inciso la procedura a livello di unitàdi analisi e, nel contempo, dello stato del materiale grezzo.Una ulteriore analisi delle prestazioni delle regole è riportatanella Tavola 5.A.3, in cui Il numero di correzioni per singola regOlaè stato ridotto a classi significative (gli estremi superioricorrispondono allo 0.5%, al 1 %, aIl'1.5%, a12% ed al 2.4% del4470 questionari). Da tale tavola risulta che delle 98 regole fallite,5 hanno pesato sulla correzione, avendo modificato da 101a 106 questionari, mentre la gran parte di esse, 56, è responsabiledi modifiche su un massimo di 22 modelli di rllevazlone.Tavola 5.A.3 - Classi di correzioni per regole falliteCLASSI DI CORREZIONIPER SINGOLA REGOLAnumero regoleutilizzateTavola 5.A.4 - Percentuale di record corretti per numero di correzioniNUMERO DI % di NUMERO DI % diCORREZIONI record CORREZIONI recordO 68.6 6 0.61 19.0 7 0.62 4.8 8 0.63 2.5 9 0.94 1.1 10 0.35 0.7 10-18 0.41 - 2223 - 4445-9091 - 106Totale562017598Dalla Tavola 5.A.4 risulta che Il 31 % delle unità ha subito almenouna modificazione e che il numero massimo di modificazionlapportate su di un record è pari a 18; la gran parte di essi(1'80%) è stato comunque soggetto, al massimo, a 2 correzionI.Poiché le variabili del questionario non hanno tutte la stessaImportanza, è opportuno analizzare tale distribuzione In funzio-1

196 IL SISTEMA DI CONTROLLO DELLA QUAUTA DEI DATICAP. 5 • LA REVISIONE197ne di biacchi omogenei di informazione, raggruppando opportunamentele variabili:tà sul risultati finali; nella Tavola 5.A.6, le variabili sono state ordinatesecondo I tassi di modlflcazlonl subite.A. variabili per la definizione degli aggregati delle forze di lavoro;B. variabili demografiche;C. Identificatori Individuali;D. variabili relative alla condizione lavorativa;E. variabili relative alla ricerca di lavoro;F. variabili relativi al lavoro precedente;G. variabili relative al corso professionale.Tavola 5.A.5 - Percentuale di record corretti per numero di correzionie per gruppi di quesitiNUMEROGRUPPI DI VARIABIUCORREZIONI A B C D E F GO 90.5 90.0 98.4 96.2 95.2 88.0 97.31 5.6 9.5 1.5 2.8 2.7 8.2 2.62 1.9 0.4 .. 0.5 0.4 1.7 ..3 1.6 0.1 0.1 1.4 0.44 0.3 0.4 0.1 0.55 0.1 0.2 0.46 .. 0.87 ..Numerovariabili 9 5 3 5 5 7 2La massima percentuale di record modificati si riscontra nelgruppo di variabili relative al/avoro precedente, seguito da quelleutilizzate per la definizione degli aggregati delle forze di lavoro.Poiché le percentuali di record modificati variano notevolmenteda gruppo a gruppo e non sembra esistere una relazione tratali tassi ed Il numero di variabili coinvolte, si può dedurre chegli errori derivanti dalla fase di rilevazione non sono uniformementedistribuiti elo che la procedura privilegia la correzione dellevariabili di tipo F,A,B.Analisi per vàriab/leLa percentuale delle modificazloni subite dalle singole variabilicostituisce una misura dell'Impatto del piani di compatibili-, IITavola 5.A.6 - Tassi di modiflcazlonl per variabileVARIABILE QUESITO % MODIFICAZIONIMese di nascita -Sesso 0.1Anno di nascita 0.1Residenza 0.1 *Età 0.1Età < 14 anni 0.1 *Ore attività secondaria 12 0.2Tipo corso 15.2 0.2Posizione della professione 11.3 0.7Mesi di ricerca lavoro 13.2 0.7Orario di lavoro 11.5 0_8 *Ore effettive 11.1 0.9 *Carattere perm. occupazione 11.6 1.0Motivo o(e eft. > ore abit. 11.2 1.1 *Attività economica 11.4 1.2Disponibilità a lavorare 14.5 1.3 *Proxy 16 1.4Ore abituali 11.1 1.7 *Condizione momento ricerca 14.3 1.7Parentela 1.8Ex posizione 13.4.1 1.8Ex ramo 13.4.2 1.8Stato civile 9. 1.9Motivo abbandono lavoro 13.3 2.0Mesi ricerca occupazione 14.4 2.0Aggregati forze di lavoroTipo occupazione 14.22.12.3Attività secondaria 12 2.4Obiettivo corso 15.3 2.5Numero azioni ricerca 14.6 2.7Ore lavoro si/no 10.2 2.8 *Lavoro precedente si/no 13.1 2.9Corso professionale 15.1 3.3Condizione 10.1 3.4 *Ufficio collocamento 3.8Motivo non ricerca 14.8 4.2Quando ultima azione 14.7 4.8Cerca 'attivamente lavoro 14.1 5.5 *Istruzione 8. 6.7

"_

200 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 5 - LA REVISIONE201particolari quesiti od In particolari modalità, può essere Indicedi Inadeguatezza dello strumento di misura.4. Schemi di tavole di controllo per la '888 di revisioneA) Controllo quantltatlva delle unitA strati, comuni, aree, rilevatorie questionari.Tavola 1- controllo della stratlflcazione teorica e quella presente sul filei- per ciascuno strato riportare I codici del singoli comuni edIl loro numero totale desunto dal plano teorico e dal file.Tavola 2- controllo del codici di questionario presenti nel fllei- per ciascun comune riportare Il numero del codici doppi, Ilnumero progressivo minimo e massimo, gli eventuali salti dinumerazione nel codici progressivi.Tavola 3- controllo del numero di modelli, numero di aree e numero dirllevatorl presenti nel file, nel plano teorico e nel documentidi rllevazlonei- per clalScun comune riportare Il numero complessivo dellearee, del rllevatorl e del questionari distintamente per il pianoteorico, I documenti di rllevazlone ed Il file; Inoltre, dai documentidi rllevazlone riportare Il numero delle mancate Intervistee delle sostituzioni e dal file Il numero delle sostituzionI.Tavola 4- controllo del codici di area e del rilevatorl e del relativi modellipresenti nel fllei- per ciascun comune riportare per ciascuna area Il codice edI relativi modelli, per ciaScun rllevatore Il codice ed I relativimodelli.Tavola 5- controllo, nel file, dell'abbinamento codice di area e di rllevatoree del relativi modelli;- per ciascun comune riportare Il codice di area, I codici delrllevatorl ed I relativi modelli.Tavola 6- controllo del tipi-record non previsti nel fllei- per ciascun comune riportare Il codice del modello ed Il relativonumero del record con Il tlpo-record non previsto.B) Colltrollo quantltatlvo delle unitA di analisiTavola 7, - controllo del numero dei tipi-record nel fllei- per ciascun comune riportare Il numero del record riscontratiper ciascun tlpo-record ed Il loro totale.Tavola 8- controllo dell'eguaglianza tra le variabili di conteggio ed Il numerodi unità di analisi presenti nel fllei- per ciascun comune riportare Il codice del modello errato, Ilcontenuto della variabile di conto, Il relativo numero del recordriscontrati, Il valore massimo assunto nella loro numerazioneprogressiva ed Il numero degli eventuali salti elo doppioniIn tale numerazione.Tavola 9- controllo dei casi In cui ad un Indicatore di presenza non corrispondeuna unità di anallsli- per ciascun comune riportare Il codice del modello errato edIl numero del record non presenti, per ogni tlpo-record.C) Controllo qualltativoTavola 10- variabili quantitatlvei- riportare per ciascuna variabile la media, Il coefficiente di variazione,Il minimo, Il massimo (calcolati sia Includendo cheescludendo lo zero dal calcolo) e le percentuali relative al valorinon numerici ed agII zeri riscontrati;.D) Controllo del piani di compatlbllitAe correzioneTavola 12- controllo del numero di imputazioni e del numero del recordImputati;- per. la prescelta unità di analisi riportare Il totale delle correzioni(a), Il totale del record con almeno una correzione (b),Il totale del record (c) ed I rapporti (b)l(c) e (a)I(b).

202 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 5 • LA REVISIONE203Tavola 13- controllo della distribuzione del record secondo Il numero diimputazioni;- per la prescelta (In funzione degli obiettivI) unità di analisi riportarela distribuzione delle imputazioni subite dai recorded Il numero totale degli stessi.Tavola 14- controllo del numero di imputazioni e del record imputati pertipo di regola;- per la prescelta unità di analisi riportare per ciascuna regolaIl numero delle correzioni dovute a ciascuna di esse ed 1/ totaledel record.Tavola 15- controllo del numero di Imputazioni per variabile;- per la prescelta unità di analisi riportare per ciascuna dellevariabili Il numero di correzioni subite.RIFERIMENTI BIBLIOGRAFICIlavori di carattere teoricoAsBATE C., 80vE G., CRESCENZI F. (1990), Metodi statistici multlvarlat/ perla ricostruzIone del/'/nform8zJone mancante, Relazione al convegno-Avanzamenti metodologlcl e statistiche ufflclall-, Roma 13-14 dicembre1990 - ISTAT.FE1.LEG1 I.P., HOLT D. (1976), A systematlc approach to automat/c editing& Imputat/on, J.A.SAGARCIA RUBIO ò GCMEZ ALFoNso, VILLAN (1983), Desaro/to de un sistema dedetectlon y Imputat/on automatica basacto en la metodo/ag/a deFel/egl-Holt ampI/ada Atti I.S.I.GRANQUIST L (1987), On the need far generallzed numarlc and Imputationsystem, U.N •• CE8, documento CES/SEM. 231R. 10, Seminaron statlstlcal methodology.KAEWSKI D., PLATEK R., RAo J.N.K. (1981), Current toplcs In survey samopllng, Academlc Press, New York.MARCHETTI E. (1986), Large sample mode/s for editing response errars,documento Intemo ISTAT.MASSELU M., MARCHETTI E. (1984), I pla,!1 di compatlbllltl. ed Il controllodell'attendibilità del dato, Atti della XXXII Riunione Scientifica del·la S.I.S., Sorrento.MASSELU M. (1990), Un modello per l'lndlvlduazlone della sequenza diregole e variabili In un plano di compatlbllltl. di tipo deterministico,documento Intemo ISTAT.NATIONAL Cetmw. BUREAU OF STATISTICS (NCBS Sweden) (1983), On genera/IzedEditing Programs and the solutlon of the data quallty problems,manoscritto non pubblicato.PuLLUM T.W., HARPHAM T., OzsEVER N. (1986) The machlne editing of largesample surveys: the experlence of the World Fertlllty Survey, IntematlonalStatlstlcal Revlew 54, 3, pp 311-326.U.N.D.P •• CES Statlstlcal Computlng ProJect (1984), Descrlptlon and featureana/yses of the selected data editing software systems, documentoSCP/DAlWP. 76.

204 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATISperimentazioni sulle indagini IstatCARIANI G. (1983), I controlli ED del censimento demografico in Atti delConvegno della 8.1.8., Trieste.MASSEW M. (1986), Valutazione del piani di compatlblllté e co"ez/oneautomatici. Una sperlmentazlone, Atti della XXXIV Riunione 8clentlflcadella 8.1.8., Bari.MASSEW M. (1987), La procedura di controllo degli effetti del plano dicompatlblllté dell'Indagine forze di lavoro, documento Intemo Istat.MASSEW M. (1987), La quallté del dati nell'indagine Istat sulla salute1983, In Atti del Convegno -Salute e ricorso al servizi nel Veneto_,Padova novembre 1987.PANIZON F., 8IGNORE M. (1987), Analisi dell'effetto del piani di compatlbllltédell'Indagine forze di lavoro con accoppiamento statistico delrecord, documento Intemo Istat.CAPITOLO 6 - L'ELABORAZIONE FINALE E L'ANALISI DEI RI­SULTATI1_ I controlli nella fase di elaborazione e di valldazlone del risultatiI dati elementari, corretti nella fase di revisione quantitatlvae qualitatlva, vengono infine elaborati, in funzione degli obiettiviprefissati; le elaborazioni, quindi, possono risultare di vario tipoe di differente complessità: tavole, Indicatori, archivi, campioniper gli utenti, analisi di secondo livello ecc •.Poiché, attualmente, Il prodotto-tlpo di una Indagine è rappresentatodal plano di tabulazlone dei risultati, che consiste nell'elaborazionedi tabelle semplici e a più entrate contenenti frequenzerelative ed assolute, totali, medie ed altri indici descrittivi,tale prodotto standard sarà l'oggetto delle considerazioni cheseguono.Il controllo da effettuare nella fase di elaborazione e validazionedei risultati può essere distinto in un controllo formale, relativoal possibili errori generati nella specificazione analitica delpiano di tabulazione (owero al come vengono prodotti i risultati),ed in un controllo sostanziale, relativo alla rile~anza dell'Informazionefornita (owero a quali risultati vengono prodotti).I controlli di tipo formale hanno l'obiettivo di prevenire e diidentificare eventuali errori di -quadratura» all'interno della singolatavola o tra tavole diverse; scopo dei controlli di tipo sostanzialeè, Invece, la verifica dell'uso dell'informazione rilevata, lavalutazione dei risultati sotto il profilo della plausibilità rispettoalla realtà esaminata, l'eventuale integrazione del plano di tabulazlonecon tavole relative ad aspetti non previsti o non consideratiex ante.Riassumendo, nella fase di elaborazione e validazione del risultati,è necessaria:la verifica formale:- della specificazione dei parametri necessari per la costruzionedelle singole tavole;- della coerenza tra i dati relativi al medesimo fenomeno con­. tenuti in tavole diverse;- del dizionario nel caso di programmi generalizzati.e la verifica sostanziale:- della selezione e della complessità delle tavole;- della validità dei risultati.

IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 8· L'ELABORAZIONE FINALE E L'ANALISI DEI RISULTATI207I-"'IUI clqII8ChIu ........1ImII.Il contrailo .... 1.alngole taoIeIl controllo necessario per garantire la quadratura della singolatavola o tra tavole diverse, dipende dalla procedura utilizzataper la predlsposizlone di un plano di tabulazlone; questi, Infatti,può essere generato, In funzione degli strumenti Informaticldisponibili:a) definendo dapprima un dizionario contenente tutte le variabilicoinvolte nel plano (sia quelle originarie che quelle derivate)ed I relativi riferimenti al record di elaborazione, ed utilizzandopoi le variabili cosi definite nel processo di tabulazlone(tale tecnica Implica la disponibilità di programmi generalizzatI).b) definendo di volta In volta, per ciascuna tavola, gli elementinecessari per la sua elaborazione.Nel primo caso la possibilità di generare errori è confinataalla predlsposlzlone del, dizionario; un controllo accurato dellevarlabllllvi contenute (definizione e ~orrispondenza con Il planodi registrazione), garantisce l'Impossibilità di errori nel processodi tabulazlone e rende superflue altre verifiche.Nel secondo caso, Invece, ogni tavola, per vizio logico o perbanali sviste, può essere fonte di errore, essendo stata materialmentedefinita In modo Indipendente dalle altre; è quindi necessariosottoporre a verifica sia la singola tavola che Il singolo aggregatopresente In tavole diverse.Elaborare una tavola statistica equivale a raggruppare le unitàdi analisi In subpopolazlonl, caratterizzate dalle modalità dellevariabili Indicate In testata ed in fiancata, ed a calcolare l'Indicatorestatistico d'Interesse per ciascuna delle suddette subpopoiazionI.Gli elementi che caratterizzano la definizione di una tavolastatistica sono pertanto le variabili di classificazione, Il parametrostatistico di analisi e le corrispondenze tra le variabili coinvoltenel calcolo ed I campi del record del file sottoposto ad elaborazione.Ad esempio per elaborare la tavola riportante la spesamedia per famiglia, per regione e classi di età del capofamigliaè necessario definire l'Indicatore statistico d'Interesse (la, media), le variabili di classificazione (la regione, la classe d'etàe la relazione di parentela) ed i riferimenti sul record delle variabilicoinvolte (spesa, età, regione, relazione di parentela).Come caratteristiche di classificazione possono essere utilizzatesia le variabili originarie (nell'esempio Il codice regionalepresente sul record) sia le variabili da queste derivate (le classiI1di età del capofamiglia provenienti dall'Informazione anno di nascitae relazione di parentela). .Possiamo considerare quali elementi costitutivi del parametrodi analisi, la funzione del dati elementari da utilizzare (In generetotali, medie, frequenze relative ed assolute) e l'argomentodella detta funzione, ovvero le variabili coinvolte nel calcolo; nell'esempioprecedente, la funzione media ponderata (con i coefficientidi riporto dell'universo) della variabile spesa per consumi.Nel predisporre le tavole, gli errori possono essere generatida una Insufficiente od errata specificazione del suddetti elementi,in particolare dalle definizioni di variabili derivate, spesso compiesseper l'uso congiunto di condizioni logiche ANO, OR e NOT.Il controllo può essere attuato preventivamente mediante l'analisilogica dei vari elementi delle specifiche (seguendo ad esempiola distinzione sopra riportata) e a posteriori mediante la verificadella quadratura delle singole tavole.Generalmente, In un piano di tabulazlone, un parametro relativoad una data subpopolazlone (ad esempio il numero di occupatimaschi di una determinata regione) compare più volte opuò essere rlcalcolata da tavole diverse. Se Il plano di tabulazlo·ne non è generato mediante un dizionario, errori di definizionein una o più tavole comportano valori differenti del medesimoparametro; il controllo, allora, consiste nella coincidenza di talivalori nelle diverse tavole In cui sono contenuti.A tale scopo è opportuno predisporre, insieme al plano di tabulazione,un elenco analitico delle diverse subpopolazloni conle tavole in cui compaiono I relativi dati e le relazioni tra tali tavole;ad esempio la consistenza della popolazione attiva nelleripartlzloni territoriali contenuta In tavole diverse, deve sommareal complesso Italia presente In altra tavola. L'elenco costituiràuna guida per Il confronto del dati contenuti nelle varie tavoledi spoglio: a titolo di esempio, anche se costruito con diversi intendimenti,si cita Il «Riepilogo delle tavole di spoglloa nelle pubblicazionidel Censimento della popolazione 1981.Se la fase di elaborazione prevede degli archivi di riepilogo,è possibile informatlzzare la procedura di controllo, traducendole relazioni tra sUbpopolazionl, In operazioni sugli elementi del file.Il plano di tabulazione rappresenta lo strumento principalemediante Il quale i risultati della rllevazlone vengono messi a disposizionedell'utente; la scelta delle tavole, quindi, deriva dalloschema concettuale che ha guidato la definizione degli obiettiviIl conlrollo tra 1Da1.u ...............1001.j

208 IL SISTEMA DI CONTROLLO DELLA QUAlITÀ DEI DATICAP. 8· L'ELABORAZIONE FINALE E L'ANALISI DEI RISULTATI209dell'Indagine e dovrebbe essere effettuata nella fase di programmazione.Come guida alla selezione, possono essere utilizzati gli schemiEntità Relazioni, oppure la specificazione per aree d'Interessedegli obiettivi della rllevazlone (cfr. Capitolo 2). Un criterio chepuò risultare utile In tale operazione, i la distinzione tra tavoleche hanno lo scopo di dare Informazioni d/livello (analisi primaria)da quelle \I cui obiettivo sono le re/az/onltra variabili (analisisecondaria); In genere, le prime risultano definite dalle stime principalidell'Indagine e dal domini di studio, stabiliti In sede di programmazione.Tuttavia, Il plano cosi programmato risponde ad uno schemaconcettuale basato sulle conoscenze a priori della realtà epuò quindi accadere che sia Inappropriato a descrivere I fattoririlevati od emergenti del fenomeno, a causa di lacune nello schemao di cambiamenti effettivamente soprawenutl.Il rispetto del plano programmato potrebbe, perciò, portaread una sottoutlllzzazione del contenuto Informativo od, anche,ad una rappresentanzlone distorta della realtà, owero ad erroridi rilevanza. È quindi opportuno analizzare I dati per Individuarele eventuali tavole aggiuntive, o sostitutive, a quelle programmate,che rappresentano aspetti emergenti o non considerati ex ante.Tale ricerca può essere basata sull'analisi di un Insieme ditavole piI} vasto di quello programmato per la pubblicazione (comeusualmente accade); tuttavia tale metodo Implica una notevolemole di lavoro e un elevato livello di soggettività. Un criteriopiI} oggettivo e meno dispendioso consiste nell'utilizzare modellistatistici e tecniche multivarlate di analisi per esplorare l'Insiemedel dati ed Individuare le relazioni tra le variabili maggiormenteesplicative.La definizione del plano di tavole i, Infine, vincolato da due·fattori: da un lato la comparabilità nel tempo e nello spazio (adesempio nel caso di Indagini ripetute o di confrontlinternazlonall)e dall'altro l'opportunità di Integrare I risultati prodotti conquelli del sistema Informativo cui l'Indagine appartiene.La prima verifica della plausibilità del risultati ottenuti, rispettoalla realtà esaminata, è costituita dalle Informazioni derivantidal sistema di controllo. Come è stato già ricordato, gli errori riscontratinelle diverse fasi non rappresentano solo fattori di disturbo,ma costituiscono anche -informazione- sul fenomeni Indagatl.essi, pertanto, possono aiutare ad Individuare I limiti dell'analisieffettuata, gli eventuali fenomeni emergenti, nuove o diverseInterpretazioni della realtà.A tale scopo dovrebbero essere utilizzate le analisi che sonostate suggerite nei capitoli precedenti come approfondimenti perfase o per tlpologia di errore. Ad esempio l'analisi delle mancaterisposte totali, può segnalare particolari subpopolazlonl sfuggitealla rilevazlone o suggerire la presenza di effetti distorsivinel risultati finali; dalle mancate risposte parziali e dalle corrazionleffettuate, possiamo invece desumere fenomeni emergentio Inadeguatezze nello schema concettuale utilizzato per l'Indagine.Oltre agII indicatori derivanti dal controlli di qualità, la validazionedel risultati deve essere basata su fonti esterne alla singolarllevazlone:I) la serle storlcà del dati dell'Indagine;Il) le informazioni provenienti da altre indagini od altre fonti.Anche In questo caso i opportuno formalizzare Il controllo,inquadrando l'Indagine nel contesto piI} ampio del sistema Informativodi pertinenza e precostltuendo un archivio delle fontidisponibili, del relativi risultati e modalità di rllevazlone.La descrizione della struttura del piano di tabulazlone, mediantealcuni parametri quantitatlvl, ha l'obiettivo di controllarese il dettaglio ed Il diverso peso assunto dalle differenti variabilied unità di analisi, corrisponde effettivamente alle priorità programmate.Gli indicatori dell'utilizzazione dell'informazione rilevata cheverranno consigliati, non devono essere Interpretati come Indicatoridi errore, ma costituiscono del parametri sintetici che possonocontribuire a verificare la completezza, l'organlcltà e l'equilibriodel risultati pubblicati.I parametri descrittivi del plano di tabulazlone fanno riferimento(I) all'utilizzazione delle variabili e delle unità rilevate e (II) alnumero ed al tipo delle tavole pubblicate.Le variabili oggetto di pubblicazione possono non coincidarecon quelle rilevate; alcune caratteristiche, infatti, possono comparirenel questionario al solo scopo di fornire gli elementi perIl calcolo di variabili derivate, non direttamente rilevate o rileva-I bili. Come caratteristiche rilevate si considerano, Inoltre, I codileiIdentificativi significativi (ad esempio I codici geograficI). Ladistinzione, secondo l'utilizzazione, delle variabili complessivamentepresenti nel questionario e nelle tavole, costituisce un primoInsieme di parametri (Prospetto 6.1).\I numero e le dimensioni delle tavole pubblicate rappresentanoil grado di analiticità del dati forniti e, quindi, costituisco-La~................. diIIIIMIIIIID"

,~w,w."m" UI \lvrt,nULLU Ut.LLA QUAUTA DEI DATICAP. 8· L'ELABORAZIONE FINALE E L'ANALISI DEI RISULTATI211Prospetto 6.1 - Parametri descrittivi di un piano di tavolePARAMETRInumero della variabili presenti nel questionario V q ~numero delle variabili V q utilizzate nelle tavole ~numero delle variabili V q utilizzate per derivarne altre Kgnumero delle variabili derivateK4numero delle variabili V q non utilizzateK4no un Indicatore, anche se Indiretto e approssimato, dell'Informazionea disposizione degli utentI.Indicando, inoltre, con V,!"i1 numero delle ricorrenze della variabilel-eslma nell'insieme di tavole a m dimensioni e con V,, =E V!" il numero totale delle ricorrenze, si possono ottenere dueta~sl' di utilizzazione della singola variabile, il primo rispetto altotale delle tavole, Il secondo, piO analitico, relativo al numerodi tavole di dimensione m:Se si assume che uno degli obiettivi di un plano di tavole èfornire un riassunto sintetico del contenuto informativo del file,un rapporto (6.3) molto elevato può indicare una selezione nonparticolarmente accurata delle tavole.Infine, è possibile che In un Insieme di tavole particolarmentecomplesso, alcune tavole risultino ridondanti, perché l'lnformazineda esse contenute è presente in tabelle di dimensionesuperiore; ad esempio la distribuzione marginale di una variabilecompare necessariamente in tavole di ordine superiore checoinvolgono la detta variabile.Le tavole ridondanti rappresentano una perdita di efficienzadel plano di tabulazlone; tuttavia, a volte, è preferibile la loro presenzaper renderne piO semplice la consultazione.V,./ E,' v,,v. m / E. v. m, " (6.1)Se I risultati pubblicati si riferiscono a piO unità statistiche(ad esempio famiglie ed Individui), Il plano di tabulazlone può essereesaminato rispetto al peso relativo assegnato a ciascunadi esse mediante i rapporti:(6.2)dove T rappresenta Il numero di tavole prodotte, u la genericaunità statistica e m la dimensione delle tavole.Un ulteriore parametro descrittivo può essere ottenuto, calcolandoIl rapporto tra numero di tavole a m dimensioni effettivamentepubblicate ed Il massimo numero di tavole producibilldalle k variabili, presenti nel piano di tabulazione:1"" / (~) (6.3)

ICAP. 6 -L'ELABORAZIONE FINALE E L'ANALISI DEI RISULTATI213RIFERIMENTI BIBLIOGRAFICIDI CIACCIO A., SABBADINI L.L. (1990), Presentazione del contenuto Informativodi un'Indagine complessa: selezione di tabelle di contingenzaIn un approccio multlvarlato, Relazione al convegno -Avanzamentimetodologlcl e statistiche ufficiali- Roma, 13-14 dicembre 1990- Istat.VOLLE M_ (1985), Analyse des donnes, 3 eme &dltlon ESA Parigi 1985.

CAPITOLO 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA1. Descrizione dell'errore di misuraCon l'espressione errori di misura o errori di risposta sllndl·cano tutti gli errori che sorgono nella fase della raccolta del datie per effetto dei quali si osserva un valore diverso da quello chesi intendeva misurare.A differenza degli errori di campionamento, che sono dovutial fatto che viene rilevata solo una parte della popolazione og·getto di studio, gli errori di risposta, derivando dal processo dimisurazione adottato, possono verificarsi anche quando si ososervano tutte le unità della popolazione. DI conseguenza Il problemadegli errori di misura riguarda sia le indagini campionariesia quelle totali.Con riferimento ad indagini che hanno come unità di analisila famiglia o l'individuo, gli errori di misura possono, In linea geonerale, essere dovuti:alla pred/sposizione del questionario, owero:• alla formulazione delle domande;• alla sequenza delle domande;• alla lunghezza del questionario;• alla scelta delle classificazioni;al rispondente, in particolare:• a problemi di memoria;• alla mancanza di informazione;• alla scarsa motivazione a rispondere attentamente;• al fraintendimento di alcune domande;• ad errori accidentali;• ad errori volontari;• a problemi di condizionamento (dovuti alla preSenza di altrepersone);• all'effetto .proxy- (quando cioè l'Intervistato risponde per altrepersone);al criterio di raccolta adottato, cioè:• autocompllazlone del questionario;• intervista diretta;• Intervista telefonica;ìj1

216 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATI'ICAP. 7 - LA STIMA DELL'ERRORE GLOBALE DJ MISURA217al rllevatore (ogni volta che è presente), quindi:• al grado di preparazione sul questionario (conoscenza e comprensionedei quesiti); 't ..• al grado di preparazione sulla conduzione dell'intervista (comunicazione,partecipazione e non influenza del rispondente);• ad errori di compilazione del questionario;alla codifica, quindi:• alla completezza del sistema di codifica;• ad errori accidentali;• all'inosservanza delle norme;al supervisore, ovvero:• a carenze nelle istruzioni e nel controllo degli intervistatorl.Gli errori di risposta quindi possono sorgere in maniera accidentaleo sistematica, essere introdotti volontariamente o derivareda una mancanza di Informazione.È chiaro che le possibili fonti d'errore elencate possono interagiree combinarsi in maniera diversa tra loro e che non sempreè possibile tenere separati I diversi effetti In fase di analisie di valutazione. In effetti il questionario, Il rispondente, \I criteriodi raccolta, Il rilevatore e le loro Interazionl costituiscono ilprocesso di misurazione stesso e di conseguenza contribuiscononel loro insieme a determinare l'e"ore di risposta globale. Inoltrel'errore di misura stimato utilizzando i dati finali risulta influenzatoanche dagli errori di registrazione e dall'effetto dei piani dicompatibilità. Pertanto la distinzione operata è più logica cheeffettiva ed è stata adottata a scopo esemplificativo.Tuttavia, come le sperlmentazlonl condotte in diversi Paesihanno mostrato, I contributi più determinanti all'errore di misuracomplessivo, provengono dal rilevatore e dal rispondente e quindisu di essi sarà focalizzata l'attenzione nei prossimi paragrafi.Gli effetti degli errori di risposta sono:• l'Introduzione di una distorsione nelle stime finali;• l'aumento della variabilit~ delle stime finali.La distorsione e la variabilità dovute agII errori di misura sarannoesplicitate formalmente nel paragrafo 3 mentre I metodidi stima di tali effetti saranno descritti nel paragrafi 5 e 6.In particolare si dimostra che l'effetto della distorsione è costanterispetto al numero delle osservazioni effettuate; quindi uncensimento presenta la stessa distorsione di un'indagine campionaria,se svolto nelle stesse condizioni essenziali.Viceversa la varlanza di risposta è Inversamente correlata conla numerosità campionarla e può quindi essere diminuita aumentandola dimensione del campione, cosi come è possibile ridurrela variabilità dovuta aU'lntervlstatore Impiegandone un num.ro maggiore. Questi risultati sono validi per Indagini svolte nellestesse condizioni generali; è petò presumibile che ad un Incr.mento del numero di osservazioni possano corrispondere maggioridifficoltà, soprattutto organlzzatlve, per 1/ controllo delle variefasi della rllevazlone, con conseguente perdita di accuratezza delrisultati.Per quanto concerne la stima del suddetti effetti, notiamo cheper misurare la Cllstorslone è necessario disporre di dati da unafonte esterna all'Indagine, mentre le componenti della varlanzadi risposta possono essere stimate a partire dalle osservazionicampionarie.Le conseguenze degli errori di risposta, come è stato ampiamentedimostrato, possono risultare superiori a quelle prodottedagli errori di campionamento e comunque non sono mal di entitàtrascurabile.Ne deriva la necessità di sperimentare e di mettere a regimealcune procedure di controllo degli errori di misura. Quéstl controllidevono essere sia preventivi, nel senso di ricercare quelletecniche (disegno campionario, criterio di raccolta, ecc.) che mlnimlzzanogli errori di risposta, sia di stima a posteriori allo scopodi quantificarne gli effettI. Infatti l'informazione sugli erroridi misura è indispensabile sia al prOduttore di dati che ne vogliamigliorare la qualità, sia all'utlllzzatore che deve conoscere illIvellodi preCisione delle stime fornitegli.Nell'affrontare la problematlca connessa allo studio degli erroridi misura Cochran ha Individuato quattro aspetti principali(Tenenbein, 1984):• I tipi di modelli matematici usati per rappresentare gli erroridi misura;• la misura in cui gli errori di risposta sono automaticamentepresi in considerazione dalle tecniche standard di analisi e lamisura in cui questi metodi diventano fuorvianti se certi tipidi errore sono presenti;• Il danno provocato dagli errori di misura nel produrre distorslol)io nel diminuire la preCisione delle stime e le proceduredisponibili per ridurre tali conseguenze indesiderate;• le tecniche per lo studio degli errori di misura.

....... IL SISTEMA DI CONTROllO DELLA QUALITÀ DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA2192_ Quadro concettuale di riferimentoAlla base del modello presentato vi è la definizione di valorevero Individuale.Questo significa che ad ogni Individuo della popolazione corrispondeun valore vero di una variabile oggetto di studio: unamedia o un aggregato di tali valori veri Individuali costituisce Ilvalore da stimare mediante /'Indagine.\I valore vero Individuale viene concepito come una caratteristicapropria dell'unità di analisi ed è quindi indipendente dallecondizioni In cui si effettua l'indagine che Invece influenzanola risposta Individuale.Consideriamo, come esempio, la variabile età. Solitamentel'età viene definita come l'Intervallo di tempo che Intercorre tradue eventi. In base a questa definizione risulta chiaro che ad ogniIndividuo corrisponde un'età vera e che tale valore individualenon dipende dal criterio scelto per determinarlo. Tuttavia ciò nonassicura che la risposta Individuale che si ottiene, ad esempiochiedendo ad una persona l'età, sia il valore vero di tale variabilecosi come è stata definita. Infatti un Individuo può non conoscerela propria età, può mentire oppure essersi confuso per problemidi memoria.La definizione del valore vero Individuale può essere in alcunicasi piuttosto complicata. SI pensi ad esempio all'Intelligenza:come definire l'Intelligenza vera di una persona? .Hansen, Hurwltz e Madow (1953) hanno affrontato per primiil problema e hanno Indicato tre criteri per la definizione del valorevero: .• Il valore vero deve essere univocamente definito;• il valore vero deve essere definito in maniera tale da soddisfaregli obiettivi dell'Indagine;• quando non è In contrasto con i primi due criteri, il valore verodeve essere definito In termini di operazioni che possono essereeffettivamente eseguite (anche se ciò può risultare difficileo costoso).Nelle situazioni pratiche può accadere che i criteri espostisiano in conflitto tra loro e richiedano una scelta o un compromessotra I tre. Occorre però tenere presente che i primi due criterisono essenziali, mentre Il terzo, pur essendo utile, non lo è.La definizione del valore vero In termini di operazioni eseguibilipermette di eliminare o di rendere trascurablll gli errori di misura.Tuttavia basarsi solo su criteri operazlonali può allontana-re dagli obiettivi della ricerca e può non portare ad una definizioneunica.Consideriamo Il seguente esempio In cui il luogo di nascitadi una persona viene definito come la risposta trascritta dall'lntervlstatorealla domanda: -In quale città o paese è nato?-.Questa è una definizione In termini operazlonall che però nonpuò essere accettata come valore vero. Infatti si è Interessati aconoscere dove una persona è effettivamente nata e non la rispostache è stata data ad una domanda e che può risultare alterataper effetto di un Insieme di fattori descritti in precedenza.In ogni caso trascurare il terzo criterio può far aumentare sensibilmentela distorsione causata dagli errori di risposta.Anche quando il valore vero viene definito con precisione possono,però, sorgere notevoli difficoltà per determinarlo. Tali difficoltàsono strettamente connesse al tipo di variabile che si Intendemisurare. Infatti è presumibile che un'Indagine riesca a cogliereil valore vero per una larga proporzione di Individui per variabiliquali l'età o Il sesso, mentre per altre, come ad esempioil reddito, ciò sarà possibile solo In misura molto minore.Quando non è possibile definire il valore vero In modo taleda soddisfare i tre criteri sopra esposti, si può dare una definizloneche soddisfi I primi due requisiti e definire una operazioneIl cui valore atteso approssimi In maniera soddisfacente Il valorevero.Questo porta al concetto di un campione di risposte da uninsieme di possibili misurazionI.Infatti l'indagine viene considerata concettualmente ripetlbllee le ripetizioni dell'Indagine Indipendenti tra di loro. Questo significache le ripetizioni si considerano riferite allo stesso istanteo Intervallo di tempo e che l'esecuzione dell'operazione non influenzai risultati successivi. I risultati particolari osservati In unaindagine sono considerati come I risultati di una prova.In particolare si suppone di Intervistare ogni individuo un grannumero di volte sotto le stesse condizionI. Questa operazionegenera una popolazione di risposte per tutti gli Individui. Allorasi può pensare di estrarre un campione di Individui e quindi uncampione costituito da una delle risposte possibili per ciascunIndividuo. Sotto queste Ipotesi Il valore atteso di una stima ottenutada un campione di possibili risposte può essere considera·to come una approssimazione del valore vero.In questo modo la risposta Individuale viene considerata comeuna variabile aleatoria e l'Insieme del valori che agnuna diesse può assumere costituisce l'universo delle risposte individuali.Tale universo deve essere caratterizzato con maggiore pre-v ...... di rI8poat1lan_

220 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATtCAP. 7 - LA STIMA DELL'ERRORE GLOBALE DI MISURA221clslone: In realtà si farà riferimento all'Insieme delle risposte ottenlblllsotto certe condizioni che chiameremo essenziali.Queste condizioni sono specificate dal disegno dell'Indaginee quindi vengono determinate nella fase di progettazione dell'Indaginestessa quando si stabiliscono, ad esempio, l'oggettodi analisi e Il criterio di raccolta delle Informazioni.Dal punto di vista del controllo degli errori di misura, si è Interessatialle condizioni sotto le quali si svolge l'Indagine In quantoesse caratterizzano la situazione nella quale si ottiene la rispostaIndividuale e quindi esercitano un'Influenza su di essa.Plli In particolare, la distorsione e la varlanza degli errori di misurapossono considerarsi determinate da tali condizioni. Quindiè possibile ridurre la variabilità delle risposte Individuali attravel'$Ole speclfl~lonl dell'lnctaglne anche se è Impossibileeliminarla completamente."Allora si definiscono condizioni essenziali di un'Indagine quellevariabili che si cerca di mantenere costanti per tutti I casi inesame, cioè le condizioni che si cerca di tenere sotto controlloattraverso l'Introduzione di regole uniformi e di opportune procedure.SI definisce l'errore di mlsu,a individuale come la differenzatra il valore osservato In una particolare Indagine e Il valore verodell'Individuo.L'errore di misura Individuale, come Il valore osservato, vieneconcepito come una variabile aleatoria con una sua distribuzionedi probabilità. Quindi l'errore di risposta di un partiCOlareIndividuo In una particolare indagine avrà un valore atteso,checostituisce la distorsione di risposta Individuale e una componentevariabile Intorno a questo valore, denominata deviazionedi risposta Individuale.La deviazione di risposta misura la differenza tra il valore attesoIndividuale e Il valore vero, e di conseguenza l'Influenza dellecondizioni essenziali, che caratterizzano l'Indagine, sùi risultatiosservati. Essa è quindi funzione, ad esempio, del criterio di raccoltadel dati adottato e del tipo di Intervlstator' scelti.Le fluttuazioni dell'errore Intorno al suo valor medio, Invecesono Imputabili alle condizioni particolari in cui si è effettuat~l'osservazione, ad esempio, al singoli Intervlstatorl scelti." "Allo stesso modo, una media o un aggregato di un Insieme, di risposte di Individui differenti saranno affetti da una distorsionedi risposta e da una varlanza di risposta determinate dalledistorsioni e dalle varlanze Individuali.Oltre agII effetti sopra menzionati, può esistere una corre/azionetra gli errori di risposta Individuali relativi a persone diverse.Questo accade, ad esempio, nel caso di indagini con Intervistadiretta, nelle quali Il rllevatore può Influenzare le risposte degliindividui da lui Intervistati.3. Un modello matematico per lo studio degli errori di misuraLa formalizzazione del problema mediante un modello matematicopermette di evidenziare le conseguenze della presenzadi errori di misura sulle stime finali e di mettere a punto delleprOcedure specifiche per quantlflcame gli effetti. Come già richiamatonel paragrafo 1, Il modello è utile per stimare l'erroreglobale di risposta e per evidenziare ,'Influenza di alcune fontispecifiche post, sotto controllo quali, ad esempio, Il rllevatoree Il rispondente, ma non consente di scindere l'errore totale nellesingole componenti che lo hanno generato.Il modello che viene descritto è Il plli noto ed utilizzato perlo studio degli errori di misura; è stato Introdotto da Hansen, Hurwltze Bershad (1961) ed è stato poi ripreso ed applicato da differentiautori, tra I quali Cochran (1977) e Fellegl (1963), (1964)e (1974), e dal U.S. Bureau of the Census che lo ha adottato perla valutazione degli errori di misura nel censimento della popolazione(cfr. U.S. Bureau of the Census, 1969) e per studlspeclflclsull'effetto rllevatore.Nel descrivere Il modello si farà riferimento ad una Indaginecampionaria, tuttavia I risultati ottenuti possono essere facilmenteestesi al caso di Indagini totali.Allo scopo di non appesantire eccessivamente la trattazione,si rimanda alla bibliografia per le dimostrazioni del risultati" presentati. "Le ipotesi che stanno alla base di questa formulazione matematicasono state dettagliatamente discusse nel paragrafo precedentecomunque è necessario rlchlamarle brevemente per introdurreun'adeguata simbologia.Ipotesi del modello:• l'Indagine è ripeti bile sotto le stesse condizioni essenziali;• le repllcazlonl del processo di misurazione sono tra loro Indipendenti;• esls~e un valore vero Individuale che Indicheremo con 1'1/;• esiste un valore osse,rvato per l'I-eslmo Individuo nella t-eslmarepllcazlone che Indicheremo con Ylt;

• l'errore di misura per l'i-esimo Individuo nella t-eslma replicazlonesarà indicato con e't.Sotto queste assunzioni, si ha:(7.1)owero il valore osservato di una variabile per l'I-eslmo Individuonella t-eslma repllcazlone è composto dal valore vero IndividualeIl, e da un e"ore di misura individuale e,t. Il valore vero Individuale,(variabile da Individuo a Individuo secondo l'indice i), rimanecostante nelle diverse repllcazlonl, mentre l'errore, oltrea variare da Individuo a Individuo, è variabile al variare della repllcazlonedel processo di misurazione (Indice t).DI conseguenza, sotto misurazioni ripetute sulla stessa unitàl, gli errori e't seguiranno una certa distribuzione di frequenza.In particolare esisterà un valore medio e una variabilità intornoa quest'ultimo, espressa dalla varlanza, che Indichiamo rispettivamentecon:bi = E(11c I i)q~ = V(e it I i)(7.2)(7.3)dove con E(e't II) si è Indicato Il valore atteso al variare della repllcazlonedel processo di misurazione sullo stesso individuo,cioè il valore atteso condizionato all'l-eslma unità.Allora b, rappresenta la distorsione di risposta Individuale,owero l'errore sistematico relativo alla l-eslma unità, mentre q~misura la dispersione intorno al valore medio Individuale.L'entità di bI e di q~ dipende principalmente dal tipo di variabileconsiderata e dal processo di misurazione adottato, ma puòessere Influenzata da numerosi altri fattori, quali ad esempio ilgrado di senslblllzzazione del rispondenti nel confronti dell'Indagine.La differenza tra l'errore di misura Individuale e il suo valormedio al variare della repllcazlone, costituisce la componentevariabile dell'errore o deviazione di risposta Individuale, che indichiamocon il simbolo d,t, owero:In base alle ipotesi fatte segue che:E(~ I i) = OV(~ I i) = E(d~ I i) = ~(7.5)(7.6)Finora è stato considerato l'errore di misura Individuale, cioèrelativo ad una singola unità. OCCOIT$, però, esplicitare la relazioneche intercorre tra gli errori di misura di due unità distinte.In effetti ci può essere una correlazione tra I valori dell'erroree't, owero tra le deviazioni di risposta dR' per differenti unitàappartenenti allo stesso campione. Il caso piò semplice di correlazionedegli errori è quello in cui esiste una distorsione dovutaall'lntervlstatore che si riflette su tutte le unità a lui assegnate.DI conseguenza non si può assumere l'Indipendenza tra errorirelativi ad Individui facenti parte della medesima assegnazione,anche se può Ipotlzzarsi l'Indipendenza tra assegnazioni differentI.Nel Sèguito saranno analizzati separatamente gli effetti di erroridi misura incorrelati e di errori correlati, nel senso sopra esposto,sulla stima della media di una popolazione.A completamento del modello si assume l'esistenza di unadistorsione costante, indicata con B, che agisce su tutte le unitàdella popolazione. Si ipotizza, quindi, che l'errore sistematicob non si annulli In media, cioè che non esista una compensazionedegli errori di misura relativi a tutte le unità della popolazione.Da un punto di vista formale, quanto detto equivale ad assumereche:Dall'espressione precedente deriva l'esistenza di una componentevariabile della distorsione, rappresentata dalla differenzab, - B. Questa componente ha media zero. ma può risultare correlatacon Il valore vero Il,; ad esempio il processo di misurazionepuò essere tale da sottostimare valori grandi di p, e da sovrastimarevalori piccoli.La conseguenza delle assunzioni fatte sull'errore di misuraindividuale è che, pur replicando le misurazioni sull'Individuo, Ilvalore atteso Individuale non coincide con Il valore vero per effettodella distorsione b,.lnfatti dalla (7.1) e dalla (7.2) si ottiene:(7.4)(7.7)

224 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 7 • LA STIMA DELI!ERRORE GLOBALE DI MISURALa quantità mi è concettualmente Il valore atteso di rispostarelativo all'i-esimo Individuo, calcolato sulle possibili ripetizionidel processo di misurazione.Come si vede dalla (7.7),11 valore atteso m differisce, per effettodegli errori di misura, dal valore vero p, di una quantità pariall'errore medio bi.Inoltre, sostituendo nell'espressione (7.4) le formule (7.1) e(7.7), si può esprimere la deviazione di risposta Individuale, ovverola componente variabile dell'errore, come la differenza tran valore osservato e valore atteso:(7.8)Nel Prospetto 7.1 si riporta uno schema riassuntivo delle componentidell'errore di misura Individuale Introdotte con I relativisimboli, valori attesi e varlanze.Prospetto 7.1 - Errore di misura individuale e sue componentiSimboloNatura della componenteValore att880e varlanzaelt = Ylt - l'I Errore di mlaura E(elt Il) = biIndlvlduaie V(elt I I) = 11~può essere:Cov(elt, elt) ~ OFellegl (1964 e 1974) alcuni modelli matematici a cui si rimandaper eventuali approfondimentI. .Tuttavia è opportuno segnalare che I tipi di correlazione ritenutipiO comuni, In base agli studi effettuati, sono rappresentatida questo modello o possono esserlo mediante lievi modlflcazionl(cfr. Cochran, 1977).Allo scopo di esplicitare Il modello e di evidenziare gli effettidegli errori di misura sulle stime finali di un'Indagine, supponiamodi voler stimare la media p. di una popolazione di N elementimediante un campione (casuale semplice) di n elementi, dove:1 Np.=-E",N i=1In base alle Ipotesi finora fatte, Il valore osservato pel'l'l-eslmoindividuo nella t-eslma repllcazlone può scrlversl, per la (7.8):(7.9)La differenza tra Il valore osservato Ylt e la media della popolazionepuò essere espressa nel seguente modo:(7.10)Effetti "'1 ... IIIma- ....... tIIIIa.......... 111_papal."_IIIi1ldlt = elt - bi Deviazione di risposta E(dlt II) =0= Ylt-ml individuale o componente V(dlt I I) = 11~variabile dell'errorepuò essere:E(dn dit> ~ Obl=ml-I'I Distorsione di risposta E(b~ = BIndividualeBDistorsione costante su tuttele unitàbl - B Componenta verlabile E(bl-B)=0della distorsionepuò essere:Cov(bl - B, l'~ ~ OAllo scopo di esaminare situazioni piO complesse (ad es. l'Influenzadi supervlsori, codificatori, ecc.), sono stati sviluppati dadove M è la media, calcolata nella popolazione, del valori attesiIndividuali mi' owero:1 NM=-E~N lal(7.11)La (7.10) esplicita la differenza tra Il valore osservato In unaparticolare indagine per un dato Individuo e la media della popolazione,nella somma di tre componenti:• la deviazione di risposta Individuale, che rappresenta la differenzatra Il valore osservato e Il valore atteso per l'Individuo I;• la differenza tra Il valore atteso Individuale e Il suo valor mediocalcolato su tutte le unità della popolazione;• la differenza, dovuta alla distorsione, tra Il valore medio dellerisposte attese e la media della popolazione.

IL SISTEMA DI CONTROLLD DELLA QUALITÀ DEI DATICAR 7 • LA STIMA DELI!ERRORE GLOBALE DI MISURA227Se si considera di aver osservato un campione casuale di n. unità, allora si avrà un'esprasslone analoga alla (7.10) per ciascunadelle unità del campione e facendone la media campionaria siottiene:(7.12)le quali rappresentano rispettivamente:• la varlanza di risposta, dovuta alla variabilità nelle risposte alvariare delle repllcazlonl, data da:(7.14)dove:_1 DYt = - E YitD I_I1 Dc\=-E~DI_I1 Diii=-EIntD i-I .Nell'espressione (7.12), l'enol8 totale della stima, ovvero, ladifferenza tra la media campionaria e la media della popolazioneè attribuibile, rispettivamente:• all'errore di misura variabile, espresso da a.;• all'errore campionario, misurato dalla differenza CiTI - M);• e alla distorsione o errore sistematico, espresso da CM - ,,).La formula (7.12) costituisce la base per calcolare l'errore quadratlcomedio della stima della media, Il cui quadrato sarà Indicatocon Il simbolo MSE(9J:• la varlanza campionaria, espressa da:• Il quadrato della distorsione complessiva, uguale a:D 2 = (M - ,,)2 (7.16)• Il dopp10 della covarianza tra la deviazione di risposta e /I valoreatteso di risposta, dovuta all'lnterazlone tra errori campionaried errori di risposta, ovvero:2Cov(c\, iii) = 2E(

230 IL SISTEMA DI CONTROLlO DELLA QUAUTÀ DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA231di risposta che quelli campionari, a condizione che la frazionedi campionamento f = nlN sia trascurabile.se gli errori di misura, relativi a due distinte unità appartenentiallo stesso campione, sono Incorrelati, si ha:(7.21)Sotto questa assunzione, si dimostra che la varlanza di risposta,definita dalla (7.14), assume la seguente espressione:(7.22)dove a~ è il valor medio nella POPolazione delle varlanze di rispostaIndividuale ar, date dalla (7.6), ovvero:l N~=NEa~l-t(7.23)l'espresslone (7.22) è calcolata effettuando prima Il valore attesoal variare delle repllcazlonl e quindi Il valore atteso al variaredel possibili campioni.se gli errori di misura sono Incorrelatl, la (7.22) rappresentaIl contributo della varlanza degli errori di misura alla varlanza totaledello stlmatore YI.La varlanza di risposta si riduce, all'aumentare della numerosltàcampionaria, In proporzione al fattore 1/n, a differenza delladistorsione di risposta che, come abbiamo visto In precedenza,è Indipendente dal numero di osservazioni effettuate.Notiamo Inoltre che l'espressione (7.22) rimane valida ancheper Indagini totali, posto n=N.Come è noto, la varlanza campionaria dello stlmatore Yt, definitadalla (7.15), è uguale a:N-D l .N-DD ma 2 = E(iii - M)2 = --- ~iii(7.24)poiché stiamo considerando un campione casuale semplice senzarelmmlsslone. Con a 2 si è Indicata la varlanza nella popolazionedel valori attesi dT risposta mi' definiti dalla (7.7), cioè:l Na~ = - E (1Dt - M)2N i-t(7.25)La varlanza totale della media campionaria è quindi data da:(7.26)come si verifica facilmente, sostituendo la (7.22) e la (7.24) nellaespressione (7.20) e trascurando la covarianza tra devlazlànl dirisposta e valori attesi di risposta.Consideriamo ora Il problema di stimare la varlanza totale diY I , sulla base del dati campionarI. Lo stlmatore usuale, in assenzadi errori di misura, è:(7.27)Se le osservazioni sono affette da errori di risposta, dalla (7.9)si ha:e sostituendo queste espreSSioni nella (7.27) si dimostra che:(7.28)Dal confronto tra la (7.28) e la (7.26) si evince che S2 è unostlmatore corretto della varlanza totale della media se la frazionedi campionamento f è trascurabile; questo risultato è estendibileanche a campioni stratlflcatl, (cfr. Giusti, 1969).Possiamo concludere che, per popolazioni sufficientementegrandi e per campioni sia semplici che compiessi, le formuleusuali per Il calcolo degli errori campionari delle stime rlspecchianaanche l'effetto degli errori di misura, se tali errori sonoIncorrelatJ.I risultati appena illustrati sono riportati, a scopo riassuntivo,nel Prospetto 7.3.'.

232 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 1 • LA STIMA DELL'ERRORE GLOBALE DI MISURA233Prospetto 7.3 - Varianza totale della media, sue componenti e stimatorenell'Ipotesi di errori di misura IncorrelatiSimboloNome della componentere l'aumento di variabilità delle stime causato dalla presenza dierrori di misura correlati; I principali metodi saranno discussi nelparagrafi seguenti.Se gli errori sono correlati, la varianza di risposta assume laseguente espressione:2 1 2 N-n1 2(1- = -(I + ---(Iy. n d N _ 1 n mVarianza totaleVarlanza di rispostadove (I~ è definito dalla (7.23), e:2 N-n1 2N-1n m(1-=---(1mVarlanza campionaria(7.30)s; = (!.=..!l i; (Yn - 1t• n n-11=1f = O.Stlmatore usuale della varlanzatotaleStimatore corretto se la frazionedi campionamento ètrascurabileLa situazione che si verifica più frequentemente nella praticaè quella In cui esiste una correlazione tra gli errori di misurarelativi a unità campionarie distinte.Tale correlazione può sorgere per diversi motivi, tuttavia nelleindagini per Intervista diretta, la causa principale è la presenzadi un Intervistatore comune a più Individui. Infatti l'Interpretazionedi una domanda,la non comprensione o la non osservanzadi alcune Istruzioni, la tendenza ad accettare le non-risposte sonosolo alcune delle caratteristiche proprie del rllevatore che InfluenzanoI valori osservati, introducendo una correlazione tra glierrori relativi ad Individui facenti parte della stessa assegnazione.La conseguenza diretta dell'esistenza di una correlazione Intracamplonarladegli errori è un aumento della variabilità dellestime. Inoltre non è piO possibile tenere conto dell'e,fetto deglierrori di misura con le formule abituali per Il calcolo della varlanzacampionaria, come accade Invece sotto l'Ipotesi di errorllncor·relatl. SI dimostra, Infatti, che la varlanza campionaria stimatadal dati osservati nel modo tradizionale, costituisce una sottostimadella variabilità complessiva di uno stlmatore. SI rende quin·di necessario disporre di metodi di stima appropriati per valuta-è il coefficiente di correlazione Interna tra le deviazioni di rispostaIndividuali In una data Indagine o In una data prova.La var/anza di risposta totale, (7.29), quindi è la somma di duecomponenti denominate, rispettivamente, var/anza di rispostasemplice e componente correlata della varlanza di risposta totale.La varlanza di risposta semplice rappresenta la varlanza deglierrori di misura Individuali e diminuisce al crescere della numerositàcampionarla.La componente correlata, Invece, misura l'effetto della correlazionetra gli errori di risposta relativi a Individui diversi e nondipende dal numero di osservazioni effettuate. Quando la correlazioneinterna è dovuta principalmente all'effetto rllevatore, allorala componente correlata è funzione della assegnazione degllintervistatorie può essere ridotta diminuendo Il numero di Indlvldullntervlstatlda una stessa persona, a parità di dimensionecampionaria. Infatti se a ciascuno del k Intervlstatorl vieneassegnato un numero n' di rispondenti, I" modo che sia n = n'k,la varlanza di risposta totale diventa: .l (n' l)(I~ = - (lz + ---- n (lz'" n d n" d(~.31)La (7.31) è equivalente alla (7.29) nel caso In cui c'è un solointervlstatore (k= 1, n' = n); mentre all'altro estremo, la varlanzadi risposta è minima quando a ciascun Intervlstatore viene assegnatauna sola persona (k = n, n' = 1): In questo caso Infatti lacorrelazione Intracamplonarla è nulla e la (7.31) si rlduc8 all'espresslone(7.22) relativa a errorllncorrelatl.Espressioni analoghe alla (7.31) possono essere utilizzate peranalizzare anche altri tipi di correlazione Intracamplonarla tra er-

IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 7 - LA STIMA DELL'ERRORE GLOBALE DI MISURA235rorl di risposta, ad esempio la correlazione attribuibile ai supervisori o alla registrazione.J!: opportuno segnalare l'Importanza del coefficiente di correlazioneInterna Q, definito dalla (7.30); Infatti anche valori relativamentepiccoli di Q possono avere considerevoli effetti sullavarlanza di risposta totale. Se, ad esempio, Q = 0.01 e n = 2000,allora la varlanza di risposta risulta aumentata di circa 20 volte,ovvero del 20000/0, per effetto della correlazione Interna, rispettoal caso in cui Q = O. Quindi anche se la varlanza di rispostasemplice non è molto elevata, la varlanza di risposta totale puòrisultare molto grande a causa della correlazione Interna deglierrori.La varlanza totale della media campionaria Yt è uguale a:slderate pii! precise di quanto non siano effettivamente, a menodi non utilizzare metodi di stima adeguati a tenere conto dellacorrelazione Interna degli errori.Nel Prospetto 7.4 sono schematlzzatl gli effetti, sulla stimadella media, di errori di misura correlati all'Interno del campione.Prospetto 7.4 - Varlanza totale della media, sue componenti e stlmatorenell'Ipotesi di errori di misura correlatiSimboloNome della componente2 1 2 (1 ( 1» N - n 2u_ = - ud + n - Cl + (N 1) um Varlanza totaleY, n - nO'~ = !. O'~ (l + (D _ l) Q) + N - D!. 0'2" D d N-In m(7.32)1 -2 (n - 1)u~ = - Il:< + --- Cl 0'2d, n d n dVarlanza di rispostacome si verifica facilmente, sostituendo la (7.29) e la (7.24) nellaespressione (7.20) e trascurando la covarianza tra deviazioni dirisposta e valori attesi di risposta.Nel caso di Indagini totali, la varlanza camplnarla, (7.24), ènulla e la varlanza dello stlmatore si riduce alla varlanza di risposta,(7.29), posto n = N.Come abbiamo accenn.ato In precedenza, la formula usualeper stimare la varlanza della media campionaria non riflette l'effettodegli errori di misura nelle osservazioni. Infatti lo stimatoreS~, dato dalla (7.27), ha Il seguente atteso:Y,E(S!) = (l - O (O'~ (l - (2» + NN - DI!. U!,'. n - n(7.33)Confrontando questo valore atteso con la varlanza totale diY t , data dalla (7.32), si vede che lo stlmatore S9 è distorto e lasua distorsione è pari a:I(7.34)se la frazione di campionamento f è trascurabile.Poiché è verosimile supporre che la correlazione tra gli errorisia positiva, allora la varlanza campionaria stimata con la formulausuale è una sottostlma della varlanza complessiva di unostlmatore. DI conseguenza le stime campionarie vengono con-E(S~) - u~ = - Cl u~Y, Y,4. Metodi di stima degli errori di misuraVarlanza campionariaCoefficiente di correlazioneInterna tra deviazionidi rispostaStlmatore usuale dellavarlanza totaleDistorsione dello stlmatoreNel paragrafo 3 è stato descritto Il modello matematico chepermette di evidenziare l'effetto degli errori di misura su una stimacampionaria quale la media aritmetica.Come abbiamo visto le principali conseguenze della presenzadeQII errori di misura sono:• l'Introduzione di una distorsione, denominata distorsione dirisposta, nelle stime campionarie;

236 IL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA237• l'aumento di variabilità espresso dalla varlanza di risposta totale,delle stime campionarie.Inoltre è stato dimostrato che se esiste una distorsione costanteB che agisce su tutte le unità allora anche la media risultadistorta di una quantità B la quale non è stlmabile a partiredal dati campionari.La varlanza di risposta, invece, è stimablle dalle osservazionicampionarie solo nel caso in cui è nulla la correlazione tra erroridi misura di unità appartenenti allo stesso campione. In questocaso, infatti, lo stlmatore usuale della varianza della mediariflette sia gli errori di campionamento sia quelli di risposta, (cfr.la 7.28). .Questa situazione, tuttavia, è piuttosto teorica, poiché nellapratica tale correlazione Interna può essere causata dalla presenzadllntervlstatorl comuni a un gruppo di unità campione nelleindagini per Intervista diretta, oppure da altri agenti che eseguonole operazioni di registrazione o di codifica su uno stesso Insiemedi questionari. .Se gli errori di misura sono correlati allora la varlanza di rispostatotale è la somma di due addendi: la varianza di rispostasemplice, che esprime la variabilità dovuta agli errori di misura,e la componente correlata che misura l'effetto della correlazioneInterna degli errori, (cfr. la 7.29). Inoltre non è più possibilestimare correttamente l'aumento di variabilità causato dagli erroridi risposta con I dati del campione. La varlanza della mediastimata con la formula tradizionale, Infatti, sottostlma quella totalepoiché non tiene conto, In maniera esatta, della correlazioneinterna, come la (7.34) dimostra.È necessario, quindi, predisporre delle tecniche che consentanodi tenere conto anche degli errori di misura se si voglionofornire delle indicazioni esatte sulla precisione dei dati forniti agIIutenti.La conoscenza dell'entità degli errori di risposta e l'analisidelle fonti che li hanno generati permette, inoltre, di intervenirenel processo di produzione dei dati allo scopo di migllorarne laqualità;Occorre, tuttavia, sottolineare che gli errori di risposta dipendonosia dal processo di misurazione adottato (questionario, tipodi Indagine scelto, agenti impiegati) sia dal tipo di variabileoggetto di studio; di conseguel1l8 raramente i risultati sugli erroridi misura di una indagine possono essere applicati ad un'altra.Il confronto tra I risultati ottenuti per rllevazioni differenti può,comunque, risultare molto utile per analizzare le fonti di erroreed individuare i miglioramenti più adatti da apportare.Nei prossimi paragrafi saranno analizzati e confrontati i dueprincipali metodi di stima degli errori di misura: la re/ntervlstae la compenetrazione del campione. Con " primo è possibile stimarela distorsione o, In alternativa, la varlanza di risposta, mentre" secondo consente di stimare solo la variabilità di risposta. Lacompenetrazione del campione, però, non altera Il costo di unaindagine In quanto si risolve In fase di predlsposlzlone del campione,men~re la relntervlsta che consiste nella repllcazlone dell'Indagineo di una parte di essa, può risultare molto costosa eanche piuttosto lunga.Saranno, Inoltre, sottolineati I problemi organlzzatlvl che ciascunmetodo comporta e le condizioni che devono essere rispettateper una corretta applicazione e, di conseguenza, per una correttautilizzazione delle due tecniche esaminate.A titolo illustrativo della teoria esposta, si riportano, In appendice,i risultati relativi alla applicazione della tecnica dellacompenetrazione del campione all'Indagine Istat sugli sport e sullevacanze del 1985.5. Il metodo della relnlervlstaIl metodo della relntervista consiste nel replicare l'Indagineo parte di essa sotto le stesse condizioni generali, ma variandole condizioni particolari di cui si vuole studiare l'Influenza sullaqualità dei dati rilevati.Con questo metodo è pOSSibile stimare:• la distorsione di risposta di uno stimatore quale la media campionaria;• la varlanza di risposta totale della media e le sue componentie valutare Il contributo relativo degli errori di ",Isura alla varlanzacampionaria dello stimatore.I due obiettivi non sono però conciliabili; per stimare la distorsione,infatti, è necessario adottare un processo di misurazionepiù preciso dell'Indagine originaria, mentre per ottenere unastima della varianza di risposta è necessaria una repllcazlone indipendentedell'Indagine sotto le stesse condizioni generali.Se l'obiettivo è la stima della varlablllt~ di risposta dovuta,·ad esempio all'impiego degli Intervlstatorl, owero la stima dell'effettoIntervlstatore allora la reintervlsta deve essere condottada persone diverse da quelle dell'Indagine originaria, ma dellastessa abilità, esperienza e con il medesimo addestramento,

IL lilSfEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA239lasciando Inalterati tutti gli altri aspetti quali Il questionario. lacodifica. la registrazione. I controlli automatici di correzione ecosi via. In questo modo si ottengono per ciascun Individuo duemisurazioni Indipendenti ed equivalenti. in quanto rilevate sottole stesse condizioni generali; la differenza tra I due valori osser·vatl consente di valutare l'lnfluenza delle mutate condizioni particolariquali gli Intervlstatorl. In maniera analoga possono essereanalizzati. ad esempio. gli effetti degli errori di codifica odi registrazione. a parità delle altre condizionI.Se. Invece. l'oblettlvo è la stima della distorsione di rispostaallora la relntervlsta deve essere predisposta allo scopo dllndlvlduare" valore vero; sono. quindi. necessari degli accorgimentispecifici I quali. mutando le condizioni generali dell·intervista.non consentono di utilizzare I risultati per stimare la variabilitàdi risposta.A tal fine si può replicare l'lndaglne con riconciliazione dellerisposte: con questo metodo 1\ rllevatore è fornito. durante la relntervlsta.delle risposte originarie e In caso di discordanza cercadi appurare con l'aluto del rispondente quale sia la risposta vera.Con questa tecnica è possibile controllare la rete di rilevazlonee valutare la parte di distorsione dovuta all'lntervistatorese. durante la riconciliazione. si tenta l'attrlbuzione al rilevato reo al rispondente delle differenze riscontrate. separando. cosi. ledue possibili cause di errore. Se. Inoltre. sono previsti del quesitisul motivo di tali differenze e sulla conduzione dell'Intervistaoriginaria, si possono evidenziare alcune fonti di errore. quali adesempio carenze nel questionario o nelle Istruzioni fornite agliIntervlstatorl.Altri metodi per ottenere, nella relntervista, una misurazioneaccurata da poter assumere come valore vero possono. ad esempio,essere l'utlllzzazione di un questionario più dettagliato condomande di controllo. l'Impiego di Intervlstatorl più esperti cheabbiano ricevuto un addestramento migliore ed Istruzioni più particolareggiateo una mistura di questi accorgimenti.t: Interessante riportare. a titolo di esempio, Il programma direlntervlste per l'lndaglne sulle fol'%8 di lavoro svolto da StatlstlcsCanada con Il duplice scopo di quantificare l'effetto degli erroridi misura e di controllo della rete di rllevazlone e dell'aggiornamentodelle liste (delle abitazioni). La relntervlsta è condotta daIntervlstatorl esperti (senlor Intervlewers) seguendo la stessa proceduradella rllevazlone delle forze di lavoro e riguarda un sotto-,campione dell'Indagine. In due terzi di esso la reintervlsta è effettuatacon riconciliazione delle risposte. mentre nel rimanenteterzo vengono rilevate le risposte fornite senza alcun proces-so di riconciliazione. Assumendo che dal sottocamplone con riconciliazionesi ottengano i valori veri e che le relntervlste senzariconciliazione siano una repllcazlone Indipendente delle intervisteoriginarie. allora due terzi delle reinterviste fornisconouna stima della distorsione e un terzo una stima della variabilitàdi risposta. Il sottocamplone con riconciliazione viene utilizzatoanche per il controllo della rete di rllevazlone; durante Il processodi riconciliazione. Infatti, l'lntervlstatore esperto cerca di appurarese le differenze riscontrate devono essere attribuite al rllevatoreo al rispondente e il motivo della discrepanza (ad esempioerrori nella procedura o non comprensione del queSiti). Questeinformazioni vengono riportate su un apposito modello. (discussoinsieme all'lntervlstatore). che co~ste di quattro partiprincipali: la prima riporta Il grado di aggiornamento delle listedelle abitazioni; la seconda gli errori dell'lntervlstatore emersidurante la riconciliazione e i risultati delle consultazioni; la terzaIl giudizio complessivo dell'intervistatore esperto sulla conduzionedell'intervista da parte del rilevatore sottoposto a controllo;la quarta il giudizio e le raccomandazioni del supervlsoreche segue l'intervistatore esperto.I risultati otteniblll con il metodo della relntervlsta sono influenzatidalla scelta dell'intervallo temporale che separa le dueindagini. Infatti se sono troppo ravvicinate. I risultati della reintervistasono condizionati da quelli originari In quanto l'lntervlstatoricorda le risposte date In precedenza e tende a ripeterlenella relntervlsta anche se incorrette. Un Intervallo di tempo troppolungo. tuttavia. crea notevoli difficoltà poiché risulta difficilefornire delle risposte precise con riferimento a situazioni lontanenel tempo; Inoltre l'incidenza dell'intervallo temporale è collegataal tipo di variabile considerata. CItiamo a titolo di esempioalcune esperienze effettuate negli Stati Uniti. (cfr. Ballar. 1968).dalle quali risulta un Intervallo di tempo ottlmale. per alcune variabili.di circa tre mesi.Per le indagini correnti. essendo troppo lungo e complessodal punto di vista organlzzatlvo. replicare totalmente la rllevazlone.si ricorre alla relntervlsta di un sottocamplone di dimensionen' (con n' < n) dell'Indagine originaria; gli stlmatorl che cosisi otterranno possono essere facilmente rlcondottl al caso In cuin·=n.In questo modo per ciascuna delle n' unità reintervistate sidispone di due valori osservati che indichiamo con:YiI e YIl (i = l •... ,n')

240IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATIICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA241dove Il sottoscritto 1 si riferisce all'Indagine originaria e Il sottoscritto2 alla repllcazlone; Inoltre siano:Si dimostra che, si veda Hansen, Hurwitz e Bershad (1961),il valore atteso di C è pari a:1E(C) = -; a~ (1 + (n' - 1) Q)n(7.36)StIma delladi .........le medie campionarie nelle due rllevazlonl, relative alle n'unitàIn comune nelle due Indagini.Se la relntervlsta è stata condotta con riconciliazione o se,comunque, si può assumere che sia più accurata dell'Indagineoriginaria allora una stima corretta della distorsione B, definitadalla (7.18), è data semplicemente da:se sono soddisfatte .Ie seguenti ipotesi:1111; = :zDli(7.37)SUma ...... .......di ...... ......owero dalla differenza tra le due medie campionarie.Se la relntervlsta è stata effettuata sotto le stesse condizionigenerali e se ogni Individuo del secondo campione è stato Intervistatodaun rllevatore diverso da quello che aveva condottola prima Indagine allora la differenza tra le medie campionarlenelle due Indagini costituisce la base per stimare la varlanza dirisposta totale, definita dalla (7.29). A tale scopo Indichiamo conC la seguente espressione:C _i In - \1- 2 V'l - Y'lI (7.35)C misura la variabilità tra gllintervistatori poiché corrispondealla varianza tra le medie delle due Indagini ed ha un solo gradodi libertà. La (7.35) è un caso particolare, con m = 2, dello stlmatorerelativo a m repll~lonl Indipendenti dell'Indagine:1 IDC = -- t" (Y _ j)1m-l"" tt-lcon (m -1) gradi di libertà e con y uguale alla media generale.owero se rispettivamente:• i valori attesi di risposta. cfr. la (7.7), relativi allo stesso indlvi­~uo sono uguali In entrambe le Indagini;• la varlanza di risposta semplice è uguale nelle due Indagini;• Il coefficiente di correlazione Interna tra deviazioni di risposta,dato dalla (7.30), è uguale due Indagini;• la covarianza tra deviazioni di risposta delle due Indagini ènulla.Notiamo che le prime tre ipotesi sono soddisfatte se le duerilevazlonl sono state condotte sotto le stesse condizioni gen.rali, mentre per la quarta è necessaria l'Indipendenza tra le dueprove. In realtà è presumibile che cl sia una correlazione positivatra gli errori di misura poiché l'Individuo, ricordando le rispostefornite In precedenza, tende a rlpeterle, anche se errate. Qua:sto effetto può essere ridotto aumentando l'Intervallo di tempoche separa le due Indagini; In questo modo, tuttavia, si può pr:odurreun aumento della distorsione delle stime e un aumento dellavariabilità di risposta nella relntervlsta, causati dall'Insorgere diproblemi di memoria da parte del rispondente. Le due prove possono,Invece, considerarsi Indipendenti se la repllcazlone è finalizzata,ad esempio, a valutare l'effetto di errori di codifica odi registrazione e si Impiegano agenti della stessa abilità che nonhanno accesso al lavoro svolto precedentemente da altri e nonpossono esserne influenzati.

II_ "''''CMA UI ~UNIROLLO DELLA QUALITÀ DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA24Dal confronto tra la (7.36) e la (7.29) segue che:sottocampione sia a livello del campione originario. Infatti laquantità:C' = n' Cn(7.38)l2n' O (7.41)fornisce una sottostlma della varlanza di risposta totale della mediadell'Indagine originaria di una quantità pari a «n'/n) - 1) Q u~.La distorsione, quindi, si riduce all'aumentare di n', fino ad annullarsiper n' = n, cioè quando si replica completamente l'Indaginee può considerarsi trascurabile per n' sufficientemente grande.In ogni caso C, (7.35), stima correttamente la varlanza di rispostatotale della media del sottocamplone. Se, ad esempio,si relntervlstano tutte le unità appartenenti ad una data area geografica(comune, provincia o regione) Incluse nel campione di unaIndagine condotta su scala nazionale, allora C fornisce una stimacorretta della varlanza di risposta totale della media di quelladata area, mentre (n'/n)C sottostlma la corrispondente varlanzadella media del campione nazionale.Pill gravi conseguenze ha, Invece, la caduta della quarta delleipotesi (7.37). Se, infatti, la covarianza tra deviazioni di rispostaè positiva allora la (7.35) sottostlma la varlanza di rispostatotale con riferimento al sottocamplone. La sottostima sarà tantomaggiore quanto maggiore è la correlazione tra le due indaginiinflclando la possibilità di utilizzare I risultati della relntervistaper quantificare l'effetto degli errori di misura sulle stime campionarie.fornisce una stima corretta della varlanza di risposta semplicedel sottocampione reintervistato, mentre:J... O2n (7.42)stima correttamente la corrispondente varlanza della media relativaal campione complessivo.Anche in questo caso sono valide le considerazioni fatte precedentementesulla quarta delle condizioni (7.37), Infatti una correlazionepositiva tra gli errori di misura nelle due Indagini riduceil valore atteso (7.40) di una quantità pari a tale correlazione'di conseguenza gli stlmatorl (1/2n)D e (1/2n')D forniranno dell~sottostlme della varlanza di risposta semplice.. Il rapporto tra la (7.41) e la (7.35) stima correttamente Il contnbutorelativo della varlanza di risposta semplice alla varlanzadi risposta totale della media del sottocamplone, mentre per ilcampione complessivo occorre rapportare la (7.42) alla (7.38).86 ...... __cii rI8poata .....,..tceUno stlmatore corretto della varlanza di risposta semplice puòessere costruito a partire dalle differenze tra I valori Individualirilevati nelle due Indagini. Sia D la media del quadrati di tali differenze:La differenza tra i due stlmatorl C e D permette di valutarel'effetto della componente correlata della varlanza di risposta totale.Indicando con F tale differenza:lF = C--O2n'(7.43)su ......CCIIIIPDI_te _la-D'O = ;, E (YiI - y~2(7.39)si ha:i=lSotto le Ipotesi (7.37), si dimostra che, (cfr. Hansen, Hurwitze Prltzker, 1964), il valore atteso di D il:E(O) = 2 u~ (7.40)In' - 1E(F)=--n~n' "" d(7.44)Quindi F il uno stimatore corretto della componente correlataper Il sottocampione, mentre:p' =~n-lpn' -1 n (7.45)Dalla (7.40) segue che è possibile stimare correttamentela varianza di risposta semplice della media sia a livello diI.-lfornisce una stima corretta della componente correlata relativaal campione complessivo.

244IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA245I rapporti F/C e F'/C' stimano il contributo relativo della componentecorrelata alla varlanza di risposta totale della media delsottocamplone e della media del campione originario.variabilità di risposta. In base a quanto visto precedentemente,l'indice I può essere stimato mediante il seguente rapporto:Indichiamo con G la varianza Interna alle osservazioni nelledue replicazionl:(7.46)t = 0/2G(7.49)Nel Prospetto 7.5 si riporta uno schema riassuntivo degli stlmatorlche si possono ottenere mediante la ,epllcazlone parzialedell'Indagine e la loro estensione all'Indagine complessiva.Se sono soddisfatte le Ipotesi (7.37), G ha il seguente valoreatteso, (si veda Cochran, 1977):Prospetto 7.5 - Schema riassuntivo degli stimatorl otteniblll conla relntervlstaVarlanze stimate Stlmatore per Il Stlmatore per Il8Ottocamplone campioneE(G) = a 2 d (1 - n) + ~ a 2.. N-l m(7.47)Varlanza di rispostatotaleCn'-CnConfrontando la (7.47) con la (7.33), si vede che (1/n)G ha lostesso valor medio di S~, trascurando la frazione di campionay.mento, cioè dello stlmatore usuale della varianza campionaria.Ne consegue che Il rapporto tra varlanza di risposta e varianzadi campionamento stimate:CGVarlanza di rispostasemplice1 .1.. 02n' O2nn'(n - 1) FComponente Fcorrelata (n' - 1)nVarlanza .!.G !Gcampionaria n' ndove:Slima .u'1ndIc:edll~fornisce una misura dell'influenza, in termini di variabilità, deglierrori di risposta rispetto a quelli campionari.Il rapportoa~I=---a~ + a!,(7.48)è noto nella letteratura con il nome di Indice di inconsistenza emisura la parte di varianza totale elementare (n = 1) dovuta allaC - 1 (Y - )2-"2 1 - Y2n'O = ~, E (Y11 - YI~21=11F=C--O2n'2 n' (y - )2G = E E Il:- Y t\=\ 1=1 2 (n -1)

AtiIL SISTEMA DI CONTROLLO DELLA QUAUTÀ DEI DATICAP. 7· LA STIMA DEU'ERRORE GLOBALE DI MISURA247Analizziamo I problemi organlzzatlvl e le condizioni che d.vono essere rispettate per una corretta applicazione del metododella relntervlsta.La relntervlsta può essere predisposta per valutare l'effettodegli errori di misura Introdotti da vari agenti; I contributi maggioriall'errore globale; tuttavia, sono dovuti al rllevatorl.Se la relntervlsta è finalizzata a quantificare l'aumento di variabilitàdelle stime (o In maniera analoga la distorsione), causatodagli Intervlstatorl, allora ogni Individuo del campione originariodeve essere relntervlstato da un rllevatore differente. Comeè stato già sottolineato si rende necessario, per ragioni dicosto, replicare parZialmente una Indagine su larga scala rinunciandoad alcune proprietà degli stlmatorl. Occorre, quindi, unaparticolare attenzione nella scelta della numerosltà del sottocamplonee nell'estensione del risultati ottenuti all'Indagine originaria.Nel caso di repllcazlone parziale della rllevazlone deve esa.re poSSibile associare ad ogni unità Intervistata un codice di rilevatoreed estrarre per ogni codice un sottocamplone di unitàda assegnare ad un intervlstatore diverso ma della stessa capacitàed esperienza. Inoltre poiché lo stlmatore della varlanza dirisposta semplice D, definito dalla (7.39), si basa sul confrontotra I valori Individuali rilevati nelle due Indagini, il sistema di identificazionedelle unità deve essere tale da consentire l'agganciotra I due codici relativi allo stesso Individuo. Quanto detto pr.suppone:• l'esistenza di un elenco base di rllevatorl;• l'esistenza di un codl.ce unico per ciascun rllevatore;• l'aggancio Indlvlduo-rllevatore nell'Indagine originaria e nellarepllcazlone;• l'aggancio tra i codici Individuali nelle due rllevazlonl.Se l'unità di rllevazlone è la famiglia e l'unità di analisi è l'Individuo,allora l'assegnazione delle relntervlste deve essere es.gulta rispetto alle famiglie; di conseguenza le condizioni sopraesposte devono riferirsi alla famiglia cosi come gli sthnatori illustratinel sottoparagrafo precedente devono riguardare la varlanzao la distorsione della media calcolata per famiglia (adesempio numero medio di componenti per famiglia).Una particolare attenzione deve essere rivolta per assicurareche Il rispondente sia lo stesso Individuo In entrambe le rilevazlonlsoprattutto se l'Indagine prevede la possibilità di risposte.proxy-, anche nel caso In cui non sia specificato chi devefornire le notizie di carattere generale, per non Introdurre una ulterioredistorsione e variabilità nei dati dovute al cambiamentodel rispondente.8. Il metodo della compenetrazione del campioneIl metodo della compenetrazione del campione è una tecnicache permette di stimare, dagli stessi dati campionari, sia lavarlanza totale di uno stlmatore (owero varlanza campionarla evarlanza di risposta) sia la componente correlata della varlanzadi risposta; Inoltre tale tecnica non Implica costi aggiuntivi masolo una maggiore attenzione nell'organizzazione della rllevazlonesul campo.Il metodo della compenetrazione del campione è stato Introdottoda Mahalanobls (1946) e ripreso da numerosi autori e istitutiufficiali di statistica che lo hanno adattato alle caratteristicheparticolari delle Indagini oggetto di studio.Nella sua formulazione standard (cfr. Cochran, 1977) tale tecnicaconsiste nel suddividere a caso un campione casuale di nunità In k sottocamplonl di uguale numerosltà n' = n/k ognunodel quali costituisce un campione rappresentativo dell~ popolazionedi origine.I sottocamplonl cosi ottenuti non risultano statisticamenteindipendenti (per approfondimenti teorici sulla tecnica di campionamentosi vedano Koop (1960) e Deming (1984»; quindi l'organlzzazlonesul campo dell'Indagine deve essere pianificata Inmodo da eliminare la correlazione tra errori di misura di unità ap.partenentl a sottocamplonl differenti, dovuta all'Impiego del m.desiml Intervlstatorl, revisori e supervlsorl.Nell'Ipotesi sempllflcatrlce In culla correlazione tra deviazionidi rispoSta è attribuibile esclusivamente agllintervistatori è sufficienteassegnare casualmente ciascun sottocamplone ad unintervlstatore diverso per ottenere una corretta applicazione delmetodo. Sotto queste assunzioni, Infatti, si può supporre che lacorrelazione tra gli errori di misura relativi ad unità appartenentia campioni differenti sia nulla.La componente correlata della varlanza di risposta che In qu.sto caso misura l'effetto Intervlstatore, può essere stimata partendoda' confronto tra la varlania tra le assegnazioni degli Intervlstatorl(che misura la variabilità tra le medie di ogni sottocampionee la media generale) e la varlanza Interna alle ass.gnazlonfdegllintetvlstatòrl (che misura la variabilità all'Internodi ogni sottocamplone). Inoltre la varlanza esterna permette distimare anche la varlanza totale della media, owero di calcolarela precisione dello stlmatore tenendo Conto sia degli errori di misurasia di quelli campionarI.Nel-seguito faremo riferimento alla situazione apPena descrittae al modello matematico Illustrato nel paragrafo 3; per gli sviluppisuccessivi è però conVènlente riferire l'Indice I (I = 1, 2, ..• ,k)

248 IL SISTEMA DI CONTROllO DEllA QUALITÀ DEI DATICAP. 7 • LA STIMA DelL'ERRORE GLOBALE DI MISURA249al sottocamplonl o equivalentemente agli intervlstatorl e l'indi·ce j (J = 1, 2, .•• ,n') alle unità all'Interno di ciascun sottocampione.Dalia (1.9) Il valore osservato per la j-eslma unità assegnataall'l-eslrno Intervlstatore nella t-eslma repllcazlone può scriverai:tre la varlanza campionarla è sempre data dalla (1.24). Ne consegueche la varlanza totale della media campionaria Y t è:(1.54)Indichiamo con:(1.50)(1.51)Nella (1.54) si è supposto che la frazione di campionamentof sia trascurabile e che siano nulle tutte le correlazioni relativead unità assegnate ad Intervlstatorl diversi.Notiamo che la componente correlata della varlanza di risposta,In questa situazione, assume la seguente espressione:n' -1 2-n-Q (Id (1.55)la media dei valori osservati dall'l-eslmo intervlstatore e con:(1.52)la media del valori osservati con riferimento al campione com.plesslvo.~ facile verificare che Il valore atteso di Yh e di Y t è:..ed è quindi funzione decrescente della numerosltà campionariacomplessiva n e funzione diretta del numero n' di unltè assegnatea ciascun Intervlstatore, owero funzione Inversa del numero diIntervlstatorl utilizzati. .Come abbiamo detto precedentemente la stima della varlanzatotale di 9 e della componente correlata si ottengono dalconfronto tra \a varlanza esterna e la varlanza Interna al sottocampionie quindi direttamente dal dati rilevati. .Indichiamo con S~ la varlanza esterna o varlanza tra le assegnazionidegli Intervlstatori, definita come la somma del quadratidegli scostamentl tra le medie di ciascun Intervlstatore ela media generale, divisa per I gradi di libertà, pari a k-1, owero:(1.53)t Iii -)2s~ = n' E Uil - Y1I-I t-l(1.56)dove M è la media nella popolazione del valori attesi individualimq; quindi sia la media generale che le medie di ciascun sottocampionesono distorte, per effetto degli errori di misura, comenel caso di un campione casuale sempllce,cfr. (1.18).Il metodo del camplonllnterpenetrantl non fornisce elemen.ti che consentano di stimare la distorsione B, Infatti a tale scopoè necessario conoscere Il valore vero o almeno u"a stima pil7lprecisa con cui confrontare Il valore osservato. .Per quanto concerne la stima della varlanza totale della me·dia campionaria, rlcordlamQ che, se gli errori di misura sono cororelatl e se a ciascuno del k Intervlstatorl sono assegnate n'uni·tà, la varl~nza di risposta di Yt assume l'espressione (1.31), menoCon S! Indichiamo la varlanza Interna alle assegnazioni degl/Intervlstatorl, data dalla somma delle deviazioni al quadratotra I valori osservati nell'l-eslmo sottocamplone e la relativa media,diviso per k(n'-1) gradi di libertà, cioè:s! = t É (Yljt ;- YIJ 2I_I j_1 t(n - 1)(1.57)Consideriamo I valori attesi della (7.56) e della (1.57) al variaredelle assegnazioni, del campione e delle repllcazlonl; nell'Ipotesidi assenza di correlazione tra errori di risposta di unità

IL SISTEMA 01 CONTROLLO DELLA QUALITA DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE 01 MISURA251assegnate a differenti rllevatorl e trascurando I fattori di correzioneper popolazioni finite, si dimostra che (cfr. Cochran, 1977):è lo stlmatore cercato in quanto fornisce una stima corretta, dellacomponente correlata della varlanza di risposta.E(S~ = N ~ l 17~ + 17~ (1 + (n' - l) Q)(7.58)Notiamo Infine che il rapporto:E(S~) = N ~ l 17~ + 17~ (1 - Q)(7.59)S~S~(7.65)SllIIIII del .. nrr.nz.totaleConfrontando tra la (7.54) e la (7.58) si evince che:(7.60)è uno stlmatore corretto della varianza totale della media. La (7.60)è, quindi, l'espressione corretta da utilizzare per Il calcolo dellavariabilità delle stime in quanto tiene conto anche dell'effettodegli errori di risposta.Il confronto tra la (7.59) e la (7.33) mostra che:(7.61)può essere utilizzato per stimare la varianza campionarla.misura il contributo relativo della componente correlata alla varlanzatotale della stima. Se la componente correlata può considerarsimolto maggiore della varlanza di risposta semplice, allorala (7.65) misura Il contributo relativo della varianza di rispostaalla varianza totale della media, owero la percentuale della variabilitàtotale dovuta esclusivamente agII errori di misura. In manieraanaloga è possibile valutare il peso degli errori di rispostarispetto a quelli campionari considerando il rapporto:S~S~(7.66)Riportiamo nel Prospetto 7.6 uno schema riassuntivo deglistimatori appena descritti.Prospetto 7.6 - Schema riassuntivo degli stimatori ottenibill conla compenetrazione del campioneInoltre il confronto tra la varlanza esterna e la varlanza internapermette di stimare l'effetto intervistatore, espresso dalla(7.55). Infatti Indicando con:si ha:(7.62)E(S~ = (n' - l) Q 17~ (7.63)SimboloS~ = È É (Y1H,- YIt)1=11=1 k(n - 1)Varlanze e sII maloriVarlanza esterna o tra leassegnazioniVarlanza interna alle assegnazioniStlmatore corretto dellavarlanza totaleNe consegue che:(7.64)Stlmatore della varlanzacampionaria

252IL SISTEMA DI CONTROLLO DELlA QUAUTÀ DEI DATICAP. 7 • LA STIMA DEU.'ERRORE GLOBALE DI MISURA253Prospetto 7.6 segue - Schema riassuntivo degli stimatori ottenlbilicon la compenetrazione del campioneSimboloVarianze estimatoriStimatore corretto dellacomponente c.lrrelata dellavarlanza di risposta. niera alternativa accorpando due aree di rilevazione contigue ecasuallzzando le assegnazioni tra due Intervlstatori. DI conseguenzaciascun rilevatore lavora su un'area doppia, In termini didistanze rispetto a quella originaria, ma viene salvaguardata lacompen~trazlone del campione (anche se occorre esplicitare l'effettocluster, cioè la correlazione tra deviazioni campionarie diunità appartenenti alla stessa area).Per stimare l'effetto degli errori di risposta è sufficiente chele assegnazioni degli intervlstatori siano state effettuate correttamentee che siano rispettate le condizioni elencate di seguito:S~S~Contributo relativo dellacomponente correlata allavarlanza totaleContributo relativo dellacomponente correlata allavarlanza campionaria• esistenza di un elenco base dirllevatori;• esistenza di un codice unico per ciascun rilevatore;• selezione casuale del rllevatorl dell'elenco base;• controllo della casualità delle assegnazioni di ciascun rilevatore;• possibilità di agganciare Il rilevato re alla famiglia e a ciascuncomponente.PnIbIeinI ...........Ricordiamo che la tecnica della compenetrazione del campionenon è solo potente dal punto di vista del risultati coseguibili,ma presenta anche l'ulteriore vantaggio dell'economicità Inquanto, a differenza della reintervista, non incide sul budget diuna Indagine. Essa, Infatti, si risolve In fase di predisposlzlonedell'Indagine pOiché riguarda esclusivamente il disegno campionario;è però necessario un maggior controllo del rispetto dellenorme nella fase di rilevazione sul campo.Indipendentemente dal piano di campionamento scelto, chepuò essere semplice, o complesso come nelle Indagini correntidell'Istituto, ricordiamo che I sottocamplonl estratti devono risultaretali da eliminare la correlazione tra errori di risposta diunità assegnate ad Intervlstatorl diversi. Il modo standard persoddisfare questo requisito consiste, come abbiamo detto, nell'estrarrea caso I sottocamplonl'e nell'assegnarli casualmentea ciascun rllevatore.A questo proposito occorre distinguere tra piccoli e grandicomuni. Per I primi Il vincolo è costituito dalla numerosità campionariache può non essere sufficiente, se sdoppiata, a garantireun guadagno minimo richiesto dal rllevatore. Per I grandi comunllacasualizzazione delle assegnazioni degli intervistatorl puòcomportare un notevole dispendio di tempo e risultare antieconomicaIn quanto I rllevatori sarebbero costretti "a coprire un'areatroppo vasta. In questo caso si preferisce procedere in ma-

IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DAnAPPENDICE1. Applicazione del metodo della compenetrazione del camplo·ne all'Indagine Istat sugli sport • sulle vacanzeIl disegno campionario dell'Indagine Istat sugli sport e sullevacanze del 1985 prevedeva la compenetrazione delle assegnazionidegllintervistatori nel comuni campione di Milano e Firenze,quindi è stato possibile misurare l'lnfluenta dell'lntervistatoresulla qualità del dati rilevati (cfr. Signore, 1988b).Trattandosi di grandi comuni, le famiglie campione non sonostate assegnate casualmente agllintervistatori In quanto questoavrebbe comportato spostamenti su di un territorio troppovasto. SI è Invece proceduto nel modo seguente. Ciascuna cittàè stata suddivisa In aree, per semplicità cl si è riferiti alle circoscrizioni,e In ciascuna di esse le famiglie estratte sono state assegnateIn maniera casuale a due rll!vatorl; In particolare ognirllevatore ha Intervistato n' = 12 famiglie a Milano e n' = 9 famigliea Firenze.DI conseguenza in ciascuna area si possono calcolare la varlanzaesterna, tra le assegnazioni del due rllevatorl, e la varianzaInterna alle assegnazioni e, quindi, stimare la varlanza totalee la componente correlata. Per k = 2, la (7.56) e la (7.57) assumonorispettivamente le seguenti espressioni:(7A.67)SI ottengono, quindi, i seguenti stlmatorl per ciascuna area:stimatore della varlanza totale:st/matore della varlanza campionar/a:stimatore della componente correlata:(7A.70)(7A.71)(7A.72)Per sintetizzare le stime a livello di città e per aumentarnel'affidabilità, (si noti che la (7A.67) ha un solo grado di libertà),si è proweduto a calcolare una media, rispettivamente, delleespressioni (7A.67), (7A.68) e (7A.69), nel modo seguente:LLE N~ hS~s~ = h-lL

256 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA257dove Nh Indica il numero di famiglie residenti nella h-eslma circoscrizione(L = 20 a Milano e L = 14 a Firenze). Le espressioni(7A.73), (7A.74) e (7A.75) consentono di stimare rispettivamentela varlanza totale, la varianza campionaria e la componente correlatacon riferimento ad una circoscrizione di dimensione media(cfr. U.S. Bureau of the Census, 1968). .Nella tavola 7 A.l sono riportati i valori stimati del rapportotra componente correlata e varianza campionarla della media opercentuale per famiglia delle 22 variabili riportate In nota (a).Tavola 7A.l • Valori del rapporto S~S~Vl V2 V3 V4 V5 V6 V7 V8 V9 Vl0 VllMI .27 .28.1.36 1.09 .72 1.18 .45 .39 .57 .26 1.87FI .81 .31 .76 .54 .55 .51 .39 .44 .28 .29 .47ni. Ad esempio variabili simili come V15 (spese sostenute per viaggiOtutto compreso) e V21 (altre spese sostenute) assumono rispettivamentevalori molto bassi (.05 e .04) e valori molto elevati(1.04 e 1.96) in entrambe le città. Viceversa una stessa variabilepuò assumere valori molto diversi nelle due città, si vedano adesempio Vl (numero di componenti della famiglia) e V16 (spesesostenute per mezzi di trasporto).In generale risulta esserci un considerevole effetto Intervlstatore,In quanto si riscontrano valori piuttosto elevati del rapportotra componente correlata e varlanza campionaria, anche seFirenze presenta valori pii) bassi di Milano. In media questo rapportoè pari a.54 per Firenze e .78 per Milano; questo significache le varlanze campionarie, in media, sottostlmano notevolmentela variabilità totale. Infatti per ottenere una stima corretta dellavarlanza totale si dovrebbero moltiplicare le varlanze campionarie,In media, per 1.54 a Firenze e per 1.78 a Milano.V12 V13 V14 V15 V16 V17 V18 V19 V20 V21 V22MI .05 1.35 .29 .05 1.27 .87 .00 2.14 .79 1.04 .86FI .53 1.03 .86 .04 .17 .37 .33 .54 .39 1.96 .32Dall'analisi della tavola 7A.l si vede che esiste una grandevariabilità nel valori del rapporto S~S2 sia per differenti variabilinella stessa città, sia per una stess~ variabile nei due comu-(a) V1 = numero di componenti della famiglia; V2 = numero di componenti chehanno effettuato almeno un periodo di vacanza; V3 = numero di periodi di vacanza;V4 = numero di periodi di vacanza effettuati In Italia; V5 = numero di periodi di vacanzaeffettuati all'estero; va = numero di periodi di vacanza Iniziati da giugno asettembre; V7 = numero di periodi di vacanza Iniziati da ottobre a maggio; V8 =numero di periodi di vacanza effettuati In auto, camper o moto; V9 = numero di periodidi vacanza effettuati con altro mezzo di trasporto; V10 = numero di periodi divacanza effettuati In alloggio di proprietà di un componente, di un parente o di amici;V11 = numero di periodi di vacanza effettuati In alloggio non di proprietà; V12= numero di periodi di vacanza effettuati con viaggi organizzati; V13 = numero diperiodi di vacanza effettuati con viaggi non organizzati; V14 = durata complessiva del·le vacanze (In gloml); V15 = spese sostenute per viaggio tutto compreso (In migliaiadi lire); V18 = spese sostenute per mezzi di trasporto (In migliaia di lire); V17 = spesesostenute per pensione completa (In migliaia di lire); V18 = spese sostenute permezza pensione (In migliaia di lire); V19 = spese sostenute per vitto (In migliaia dilire); V20 = spese sostenute per alloggio (In migliaia di lire); V21 = altre spese s0-stenute (In migliaia di lire); V22 = spese compleaslva sostenuta (In migliaia di lire).

CAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA259RIFERIMENTI BIBLIOGRAFICIBAlLAR B.A. (1968), Recent Research In Re/nteMew Procedures, .Jour.Amer. Stato Ass.-, Vol. 63, pp. 41-63.BAlLAR B.A. (1987), Nonsampllng errors, -.lour. of Offlclal Statlstlcs-,VoI. 3, n. 4, pp. 323-325.BAlLAR B.A., L BAlLEY e J. SrEVENS (1977), Measures al IntelVleweT Blasand Varlance, .Jour. of Marketlng Research-, 14, pp. 337-343.BAlLAR B.A. e P.P. BIEMER (1984), So~e Methods far Evaluatlng Nonsam·pllng Error In Household Census and Surveys, In Rao P.S. e J. Sedransk(eds.), .W.G. Cochran's Impact on Statistica, J. Wlley, NewYork.BAlLAR B.A. eT. DALENIUS (1970), Estlmatlng the Response Var/anceComponents of the U.S. Bureau of the Census SUlVey Model, Ser.B, pp.341~. ,BAlLEY L, T.F. MOORE e B.A. BAlLAR (1978), An IntelVlewer Varlance Studyfor the Elght Impact Cltles of the Natlonal Crlme SUlVey CltlesSample, -.loor. Amar. Stato Assoc.-, pp. 18-23 •.CocHRAN W. (1977), Sampllng Technlques, J. Wlley, New York.DALENIUS T. (1983), Error and Other Umltatlon of Surveys, In Wrlght T.(ed.), .Statlstlcal Methods and the Improvement of Data Quallty-,Academlc Press, New York.DEMING W.E. (1960), Sample desIgn In bulsness research, J. WUey, NewYork.DEMING W.E. (1964), On Some of the Contrlbutlon ollnterpenetratlngNetworlcs 01 Samples, In Rao (ed.), .Contrlbutlon to Statlstlcs presentedto Prof. Mahalanobls on the Occaslon of Hls 70th Blrthday.,Pergamon Presa, Calcutta, pp. 57-6&.ECLER A.R.e W.N. HuRWITZ (1958), Response Varlance and Blases InCensuses and Surveys, .Bull. Int. Stat. Insb, n. 36, pp. 12-35.FA88R1S L (1981), Metodi statistici per l'analisi e 1/ controllo della qu.lIté del dati sanltarl,ln: Bellini P., S. Rlgattl Luchlnl e F. Vlan (eds.),.Statlstlca e Ricerca EpldemologlcB», CLEUP, Padova, pp. 67-74.FA88R1S L (1983), Una esperienza di stima dell'errore non campionariomediante relntelVlsta e compenetrazione dell'assegnazione degliIntelVlstatorl, .AttI del Convegno 815-, Trieste, voI. I, pp. 515-531.FA88RIS L (1991), Abbinamento tra fonti di errore nella lormazlone deldati e misure dell'effetto degli errori sulle stime, In Bollettino SIS,n. 22, pp. 19-54.FELLEGII.P. (1963), An Analys/s 01 RSsponse Varlance, .Bull. Int. Stat.Insb, n • ..o, pp. 758-759.FELLEGII.P. (1964), Response Varlance and Ifs Est/matlon, .Jour. Amer.Stat. Assoc.-, n. 59, pp. 1016-1041.Ji

260 IL SISTEMA DI CONTROLLO DELLA QUALITA DEI DATICAP. 7 • LA STIMA DELL'ERRORE GLOBALE DI MISURA281FELLEGI I.P. (1974), An Improved Method of Estlmatlng the Corre/atedResponse Varlance, cJour. Amer. Stato Assoc .•, pp. 49&601.GIUSTI F. (1969), Su gli errorl dI osservazione nel censImenti e nelle rll.vazlonl campIonarle, -Atti del Convegno SIS., Firenze, pp. 345-387.HAHIEN M.H. et al. (1951), Response Errors In SunIeys, cJour. Amar. StatoAssoc .•, n. 48, pp. 147·190. .HAHIEN M.H., W.N. HURWI1Z e M.A. BER8HAD (1981), Measurement ErrorsIn Censuses end Surveys, -Bull. Inl Stat. lnat ••, n. 38, VoI. Il,pp. 359-374-HAHIEN M.H., W.N. HURWrI'Z e W.G. MADOW (1963), Sample Survey M.thods end Theoty, Vol. I e Vol. Il, J. Wlle" New Vorle.HANSEN M.H., W.N. HURWf1Z e L PIvrzKER (1984), Tbe Estlmatlon end theI~"",retatlon of Grou Dlfferences end tbe Slmple Responsa Varlance,In Rao (ed.), -Contrlbutlon to Statlstlcs presented to Prof.Mahalanobls on the Ocoaslon of Hia 7()111 Blrthday., PergamonPrees, calcutta, pp. 111-138.HANSEN M.H. e J. WAKSBERG (1970), Resaan;h on Non-Sampllng Errors InCensusas end SUrve18, -Rev. IRt. Stat. Inst •• , n. 38, pp. 31&332.HAN80N R.H. e ES. MARK8(1958), InfllIfIIIC8 of tbe IntfKvlewer on tbe Accuracyof SuIVtlY Rasults, -Amer. stato Assoc •• , n. 53, pp. 836-665.IACHAN R. (1983);N""."",pllng Errors In Sunoeys: A revlew, .comun. Statlst.Theor. Meth .• , 12 (18), pp. 2273-2287.'JONES H.W. (1955), Investlgatlng the Propeftles of a Sample Mean byEmploylng Rendom Subsamp/e Means, cJour. Amer. Stato A8soc .• ,n. 5t, pp. 54-83.KIsH L (1962), Stud/es of Intervlewer Varlablllty far Attltudlnal Varlab/es,-Jour. Amar. Stato A88OC .• , n. 57,pp. g2,.115.KlsH L (1966), Survey Sampllng, J. Wlley, New Vorle.KOCH G. (1973), An Altematl"' Approach fo MultIYarlate Responsa ErrarMode/s far Samp/e Survey Data Wlth AppllcStlons fo EstimaforaInvolvlng Subcless Meana, cJour. Amar. Stat. Ass •• , n. e8,pp. 908-913.Koop J.C. (1980), On Theoretltal Questlons UnderIyIng the Technlqueof Repllcated or Int.",enetratlng Samp/es, -Proc. Soc. Stat. Amer.Stato Asaoc .• , pp. 198-205.lEssLER J.T. e R.A. KuLKA (1983),RBCtuclng the Cost of Studlng SurveyMeesutrJmelJtError: la a Laboratory AppÌ'OaCh tbe Answer?, In T.Wrlght (ed.), cStatlstlcal Methode and tha Improvement of Data au.IItya, Academlc Press, New Vorle. "MAHALANOIII8 P.C. (1948), Recent Experlments In Statlstlcal Sampllng Inthe Incl/an Statlstlcal Instltute, -.lour. Roy. Stat. Soc •• ; n. 109,pp. 328-370. .O'MUIRCHEARTAlG C.A. (1977), Response Errora, In C.A. O'Mulrchaartalgand C. Payne (eds.), -The Analysls of Survey"Dat8lÌ, Vol. 2, J. Wlley,New Vorle. .'O'MUlRCHEARTAlG C.A. (1983), Statlstlcal Methods of Assasslng the Qua­IIty of Survey Data, -Atti del Convegno SISa, Trieste, Vol. I,pp. 79-102.PRITZKÈR L. e R. HANSON (1962), Measuremant Errors In tbe 1960 Censuaof Popu/atlon, -Proc. of tha Soc. Stato Sect. A.S.A .••SIGNORE M. (1988a), Stima dell'errore di m/aura: alcune rlflesslonl aulproblemi teodcI e pratici per l'applicazione ad IndagIni su larga scala,cAttl della XXXIV Riunione Scientifica della SISa, Siena, Vol. 2,Tomo 1, pp. 193-200.SIGNORE M. (1988b), Eva/uatlon of tbe Interv/ewer's Influence on theQuallty of tbe 1986 Sports end HoIidays Survey Data, -Proceedlngsof the Flrat Conference of thé Intamational As8oclatlon for OfflclalStatistica., Roma, pp. 252-255.SIGNORE M. (1989), Stima dell'efletto Intervlstatora: estensione del m.todo della compenetrazione del campione alle IndaglnllSTAT sullefamiglie, ISTAT, documento Interno.SIGNORE M. (1990), Valutazione dell'effetto Interv/statore nell'Indaginesulle fotze di lavoro, ISTAT, documanto Interno.SrAT1ST1C8 CANADA (1978), A Compencllum 9f Methods of Errar Eva/uatlonIn Cenauses end Surveys, Catalogue 13-584 E occasionai, a curadi J.F. G088811n, B.N. Chlnnappa, P.D. Ghangurde e J. Tourgny.pp. 80-89.TENENBElN A. (1984), Cochran'a Contrlbutlons to Errors of MeaauremantIn Statlstlcs, In Rao P.S. e J. Sedransk (eds.), -W.G. Cochran's 1mpacton Statlstlcs., J. Wlley, New Vorle.UNITED NATIONS (1982), Natlonal Houaehold Survey Gapablllty Programme.Non-sampllng Errora In Household Surveya: Sourcea, Assesmentand Control: Prellmlnary vers/on, DP/UNIINT -81-04112, NewVorle.U.S. Bureau of the Census (1968), Evalutlon and Research Program ofthe U.S. CensuseS of Popu/atlon and Houslng, 1960: Effects of Intervleweraend Crew Leadera, Serles ER 60, n. 7, Washlngton D.C.

CAPITOLO 8: - L'ARCHIVIO DI QUALITÀ1_ Il patrimonio Informativo dell'IndagineNel volume si è assunta, per Il «controllo di qualltà_, un'ottica«globale- e «di processo-; globale poiché Il controllo deve essereesteso a tutti gli aspetti dell'Indagine (dalla programmazionealla diffusione del risultati) e di processo In quanto Il controllodeve Isolare gli errori peculiari alle singole fasi ma nel contestopia:. generale delle loro Interazloni.In questa logica, le Informazioni necessarie alla valldazlonedel risultati coincidono con il «patrimonio informativo_ dell'Indagine.Quest'ultimo è costituito da molteplici fonti e da informazionidi tipo quantltativo o qualltativo: la documentazione sulla progettazionedell'Indagine (definizioni, classificazioni, schemi ElR,i diversi plani di campionamento, di registrazione, di elaborazione,i manuali e le norme di Istruzione, Il calendario, Il questionarioecc.); I risultati della rilevazlone, i risultati del controllo dellefasi del processo di produzione (registrazione, revisione, ecc.),i documenti accessori di rllevazlone, le relazioni degli ispettorie degli ufffcl regionali ed infine la documentazione amministrativa.Allo scopo di gestire In maniera efficiente tale massa di datie per effettuare rapidamente le necessarie analisi statistiche èconveniente riportare su supporto Informatico" massimo possibiledelle Informazioni di cui sopra, eventualmente trasformandoIn quantitative quelle qualltative (ad esempio il contenuto dellerelazioni degli ispettori e degli uffici regionali Istat).Da tali fonti sono stati prodotti nelle diverse fasi dell'Indagine(cfr. i precedenti capitol!), indicatori ed analisi specifiche dellaqualità dei dati.·L'Insieme di questi elaborati costituisce l'archivio di qualitàdell'Indagine, che può essere considerato come la base informativaper la determinazione del prOfilo dell'errore dell'intera rilevazione,per il controllo della procedura nelle differenti fasi e laprogrammazione di indagini future.Il profilo dell'errore è dato dal complesso delle analisi perfase ed è sinteticamente rappresentato dalle Informazioni sull'erroredelle variabili di studio; " controllo delle singole fasi siattua mediante le analisi specifiche elo gli Indicatori sintetici,riportati nel diversi capitoli del volume. Mediante tali verifichesi determinano e si quantlflcano le carenze dell'Indagine e possonoessere prodotti i metadatl di qualità ad uso degli utentifinali.

264 IL SISTEMA DI CONTROLLO DELLA QUALITÀ DEI DATICA" •• , L'ARCHIVIO .DI QUALlTÌ

I tre archivi di qualità costituiscono matrici di dati -osservazlonllvariabili- che possono essere analizzate con le consuetetecniche di analisi unlvarlata o multivarlata, In funzione degliobiettivi preflssatl.In particolare, l'esame dell'archivio della rete di rilevazlone,può risultare utile per la programmazione di iniziative (quali I con-trolll e le Ispezioni, particolari corsi di Istruzione) mirate a singolerealtà, mediante l'individuazlone di osservazioni anomale e digruppi omogenei di unità. L'analisi della serie storica degli indicatoriper le medesime unità, inoltre, può costituire una misuradell'efficacia degli interventi effettuati.oIn dettaglio:A) Per le mancate risposte totali, gli indicatori:- dell'errore di lista- di rifiuto dell'Intervista- di mancato contatto- di mancata risposta totale- della dimensione media delle famiglie sostituite e sostitutive.B) Per le mancate risposte parziali, gli indicatori:- di qualità del materiale raccolto- delle Incongruenze- di rifiuto- di efficacia dell'intervista e della raccolta datI.C) Per l'intervista, gli Indicatori:- di risposta proxy- di effettuazione dell'Intervista- di durata media e del giorni In cui Sono state condotte leInterviste- di errore nel codici identificativi- di rispetto del tempi del calendario (dal documenti amministrativi)per I comunI.D) Quali indicatori indiretti:- il numero di correzioni per record- il numero di record corretti- il numero medio di correzioni per gruppi significativi di variabiliGli Indicatori di cui sopra, considerati a livello aggregato, costituisconola base Informativa per l'analisi delle fasi In cui è statadistinta la rilevazlone statistica; vanno altresl aggiunti gli Indicatoriche non sono presenti nell'elenco, ma sono stati Indicatinel capitoli precedenti, ovvero:I) gli Indicatori riguardanti le regole di compatibilità- e correzione;Il) l'Indicatore di qualità del materiale disponibile, l'errore minimodi registrazione e l'Indicatore di efficacia dell'Indagine;III) il tasso di campionamento effattlvo;IV) gli indicatori di errore di codifica;V) gli indicatori del plano di tabulazlone.L'MCIIIvIo dMIe fallL'Analllldlllr_hIvIoE) Le caratteristiche strutturali della popolazione rilevata, perdomini territoriali significativi:- l'Indice di mascolinità- Il numero medio di componenti per famiglial'Indice di vecchiaial'Indice di dipendenza- le percentuali di individui per classi significative di età.F) A tali Indicatori, và aggiunta, laddove sia disponibile, una sintesidell'errore di risposta delle variabili del questionario; Ingenere, tale Indicatore è disponibile al livello minimo di comune.

268 IL SISTEMA DI CONTROLLO DEllA QUAUTÀ DEI DATICAP. 8 • L'ARCHIVIO DI QUALITÀ269APPENDICE1. II sistema di controllo dell'Indagine sulla .alute 1983l'esempio che segue è relativo all'Integrazione di fonti diverseper il controllo di un'indagine, realizzato però a posteriori, ovveronon programmato nella fase di progettazione. Esso è trattoda M. Masselll La qua/ltè del dati nell'lndagine/stat sul/a salute1983, In Atti del.Convegno .Salute e ricorso ai servizi nel Veneto-,Regione Veneto, novembre 1987.Il sistema di controllo dell'Indagine Istat sulla salute degli italiani,anno 1983, si avvale della possibilità di Integrare le Informazioniprovenienti da fonti diverse e di rlferlrle al differenti livellidi controllo (Individuo, famiglia, rilevatore, USl, comune ecc.)mediante un adeguato sistema di Identificazione di tali unità. leInformazioni sono desumibili dalle seguenti fonti:• A) norme e documenti amministrativi derivanti dal piano di rllevazlone• B) questionario base• C) procedura di controllo e correzione• D) foglio notizie de'rllevatore'• E) questionario per la relntervlsta di un campione di capifamiglia.In particolare Il questionario base può essere suddiviso Inblocchi di informazione:• B1) codici Identificativi• B2) composizione della famiglia intervistata• B3) variabili Individuali oggetto di studio• 84) Individuo rispondente per ciascun foglio Individuale• B5) composizione della famiglia sostituita• B6) ragioni della sostituzione• B7) durata, data ed ora di Inizio dell'intervista• 88) difficoltà delle domande per ogni capitolo del questionariole Informazioni desunte dal foglio notizie del rilevatore possonoInvece essere scomposte In:• 01) caratteristiche soclo-demograflche del rilevatore• 02) numero di Interviste effettuatementre il questionario utilizzato per la reintervlsta:• E1) avvenuta intervista (sl/no) e modalità della stessa• E2) alcune delle variabili Individuali oggetto di studio.C'è da osservare che mentre le Informazioni desumibili dallefonti da A a D sono disponibili per tutte le unità di tutti I livellidi controllo considerati nel codici di Identificazione, quelle dellafonte E, provenlendo da un sub campione, non sono rlferibllla tutte le unità dei livelli di controllo desideratI.Nel Prospetto 8.1 vengono riportati I principali tipi di controlloche è possibile effettuare per l'Indagine In esame e le relativefonti di Informazione.Prospetto 8.1 - Il sistema di controllo dell'IndagineCONTROLLO/ANALISI- Quantltatlvo (consistenza del materialeraccolto)- Sistema di identificazione- Distorsione nel numero e nella tipologladelle famiglie e degli IndividuiIntervistati rispetto a quelli selezionati- Caratteristiche della rete di rilevazlone- Operato del singoli rilevatorl- Relazione tra caratteristiche del rllevatorle loro prestazioni- Schema dell'Intervista- liste di estrazione- Adeguatezza del questionario- Stima del numero di interviste noneffettuate e delle modalità di quelleeffettuate- Stima della distorsione del risultatiFONTIA B1 02A B1 B2D2B2 B501B2 B4 B5 B6 B7CB284 B5 B7 C01B4 B7B6B8CE1B3 E2

CAP. 8· L'ARCHIVIO DI QUALITÀ271RIFERIMENTI BIBLIOGRAFICIDE MARCHIS M.A. (1988), Intervlewer file of Istat household surveys, Attidella I Conferenza I.A.O.S., Roma.MANICARDI D., VENTURI M. (1988), Analisi Integrata di dati e funzioni nelsistemi Informativi statistici, documento Interno Istat.MASSEW M. (1987), La qualltA del dati nell'Indagine Istat sulla salute1983, In Atti del Convegno -Salute e ricorso al servizi nel Veneto-,Padova novembre 1987.

PUBBLICAZIONI ISTATBOLLETTINO MENSILE DI STATISTICALa plil completa ed autorevole raccolta di dati congiunturali concementll'evoluzione del fenomeni demografici,sociali, economici a finanziariAbbonamento annuo L 122.000 (Estero L 147.000) Ogni f.8O/c% L 16.000INDICATORI MENSILIFomlecono dati riassuntivi e tempestivi sull'andamento mensile del principali fenomeni Interaaaanti la vitanazionaleAbbonamento annuo L 31.000 (Estero L 37.000) Ogni fascicolo L 4.000NonZIARllSTATè sttualmente In corao una radicale trasformazione della struttura del "Notiziario ISTAT" per cui, pur _ndostato flaeeto Il prezzo di un singolo fascicolo (L 1.700) valido per alcuni numeri ecceztonall che potranno ..sere ancora pubblicati, non è pravlsto un canone di abbonamento.Le Informazioni sul sistema di dlffualone sostitutivo dell'abbonamento saranno diffuse quanto_prima.INDICATORI TRIMESTRALIConti economici trlmeatrallAbbonamento annuo L 12.000 (Estero L 14.000) Ogni fascicolo L 4.000STATISTICA DEL COMMERCIO CON L'ESTERODocumentazione statistica ufficiale, a periodici .. trlmestrale, sul Commercio dell'ltalie con l'.ero; fomlece,per tutte le merci comprese nella classificazione merceologlca della tariffa del dazi doganali, l'andamentodelle Importazioni e delle esportazioni da e per I principali PuaIAbbonamanto annuo L 105.000 (Estero L 119.000) Ogni fascicolo L 33.000AIIboIIamMIo _IlO eumulallllO a tutti I perlodIc4 -..... la ~srau.t1Ca dM COIIJIIJM:Io CGn r..-u,,= L JiN8JIIIO/&IMILo 288.000); _IUN la "Stetlatlca dM commercio COlI l'.feto'' Lo 14t1.ODO (&t.D Lo 1/1fUlIIJJGli abbone_ti dIJcommo dal 1° gennaio 8IIche .. so_ritti _ceno IMII'anno. In tal caso l'aIIOonato ,.,....I numeri dell'811ft8,. Il'' pubblICati. L'abbonalo al per/odlcllSTAT ha diritto e "-te llratulwo.nte I tucJcoll nonp8IVWIutlQ/I so/,.,,10 N ne /NIfI,..,.1I mancato arrivo .tlO 10 QIomI dal tI