L'integrazione di differenti tecniche di rilevazione dei dati utilizzando la propensity score

F. Camillo, V. Conti, S. Ghiselli

 

Negli ultimi decenni si sono sempre più diffuse nuove e più potenti tecniche di rilevazione dei dati. La tecnica CAWI (Computer-Assisted Web Interview), ad esempio, pur costituendo ancora oggi una realtà di nicchia, è uno strumento cui ricorrere nel momento in cui la popolazione oggetto di studio presenta caratteristiche "favorevoli" alla compilazione del questionario (elevato livello di istruzione, giovane età, facile accesso ad internet, buona padronanza delle più moderne tecnologie). Resta però vero che questo tipo di metodologia consente solo raramente di raggiungere tassi di risposta soddisfacenti; per tale motivo, è spesso necessario ricorrere alla combinazione di tecniche di rilevazione differenti, così da garantire la necessaria copertura e rappresentatività del campione di intervistati. È ovvio che in tal caso il ricercatore deve risolvere un problema di non poco conto: l'omogeneizzazione di informazioni raccolte con strumenti di rilevazione differenti. Il presente contributo si pone come obiettivo proprio quello di valutare se le risposte rese da intervistati sottoposti a diversa tecnica di rilevazione (nel caso in esame, CAWI o CATI - Computer-Assisted Telephone Interview) possono risultare differenti e se, in presenza di distorsioni, queste siano imputabili alla tecnica utilizzata.

L'analisi proposta utilizza la documentazione dell'indagine sulla condizione occupazionale dei laureati condotta da ALMALAUREA nel corso del 2008. La rilevazione ha coinvolto tutti i laureati post-riforma (circa 140mila) del 2007. La scelta di coinvolgere un così ampio numero di laureati, senza ricorrere a tecniche di campionamento, deriva da numerose esigenze: prima tra tutte quella di rispondere alle richieste dei responsabili dei singoli corsi di laurea, ma anche al Ministero dell'Istruzione, dell'Università e della Ricerca, il quale ha stabilito che tutti gli atenei italiani sono tenuti a valutare, fino a livello di singolo corso, gli esiti occupazionali dei propri laureati. Questo per varie ragioni: non solo monitorare lo stato di avanzamento della Riforma Universitaria ma anche programmare nuovi corsi di laurea.

L'ampio collettivo sottoposto ad analisi ha imposto una profonda revisione dello strumento di indagine, così da abbattere costi e tempi di rilevazione. Ciò si è realizzato, come accennato in precedenza, con l'introduzione di una doppia metodologia di rilevazione, CAWI e CATI. Più nel dettaglio, i laureati in possesso di posta elettronica sono stati contattati via e-mail ed invitati a compilare un questionario ospitato sul sito web di ALMALAUREA. Successivamente, tutti coloro che non hanno risposto al questionario on-line (nonché, ovviamente, i laureati senza indirizzo e-mail) sono stati contattati telefonicamente, al fine di raggiungere gli abituali tassi di risposta delle indagini ALMALAUREA.

È verosimile ritenere che la metodologia di indagine abbia potuto influenzare la risposta fornita dai laureati. In altri termini, le informazioni raccolte, provenendo da strumenti di rilevazione diversi (CAWI e CATI), potrebbero aver dato origine a distorsioni non casuali. Ad esempio, la presenza/assenza del rilevatore è una determinante importante per la qualità delle informazioni raccolte, visto il suo ruolo nel fornire delucidazioni o integrazioni nel corso dell'intervista. D'altra parte, però, il collettivo coinvolto nell'indagine ha un'estrazione culturale tale per cui l'apporto dell'intervistatore potrebbe risultare contenuto; apporto che in alcuni casi potrebbe addirittura risultare controproducente, influenzando la risposta resa dal laureato.

Pertanto, nell'approfondimento qui presentato si è valutato se esistono differenze significative nelle risposte rese da coloro che hanno compilato il questionario via web rispetto a quanti hanno invece fornito le proprie risposte nel corso della rilevazione telefonica. Il metodo di valutazione dell'errore da trattamento differenziato (CAWI o CATI) è stato affrontato facendo riferimento all'approccio proposto da Rosembaum e Rubin (1983), noto come propensity score. Gli autori dimostrano che, disponendo di informazioni caratterizzanti gli individui e relative a momenti precedenti il trattamento è possibile costruire gruppi di individui con caratteristiche simili (pertanto teoricamente de-condizionati dal tipo di trattamento subìto) all'interno dei quali è possibile confrontare la variabile target tra coloro che hanno subìto il trattamento e coloro che non l'hanno subìto (o sono stati sottoposti a diverso trattamento).

Tale approfondimento è stato presentato durante la conferenza internazionale "Public Opinion and Survey Research in a Changing World" organizzata da WAPOR (World Association for Public Opinion Research) a Losanna l'11-13 settembre 2009; si tratta di uno sviluppo dell'analogo studio presentato alla conferenza ITACOSM09 "First ITAlian COnference on Survey Methodology" organizzata dalla Società Italiana di Statistica a Siena il 10-12 giugno 2009.

 

documentazione