Un database di 50.000 contatti con il 2% di indirizzi non validi significa 1.000 messaggi che tornano indietro in hard bounce a ogni campagna. Il CRM continua a mostrare 50.000 righe. La qualità dei dati (data quality) si gioca in questo scarto tra ciò che il database contiene e ciò che se ne può davvero fare. Indica il grado in cui un insieme di dati è adatto all’uso previsto. Sei criteri la misurano: accuratezza, completezza, validità, coerenza, attualità, unicità, ciascuno con un indicatore quantificabile descritto più avanti.
Cos’è la qualità dei dati?
La qualità dei dati è il grado in cui un insieme di dati risponde all’uso che se ne vuole fare. Un dato non è buono o cattivo in sé: un numero di telefono fisso va bene per l’ufficio fatturazione e non serve a una campagna SMS. Questa logica di adeguatezza all’uso (fit for purpose, nel mondo anglosassone) spiega perché due team della stessa azienda giudicano in modo diverso la stessa tabella clienti.
Va tenuta separata anche una distinzione che i glossari confondono. La data governance stabilisce chi possiede quali dati e con quali regole; la qualità misura il risultato di quelle regole sul campo. Un’azienda può avere una carta di governance impeccabile e il 15% di duplicati nel CRM.
I sei criteri, dall’accuratezza all’unicità
I riferimenti variano da un editore all’altro: alcuni elencano meno criteri, altri di più (integrità, conformità, verosimiglianza). Questi sei sono i più diffusi; la «disponibilità», spesso citata, riguarda l’accesso e l’architettura e non il contenuto del dato.
| Criterio | Domanda | Indicatore misurabile | Esempio su un’email |
|---|---|---|---|
| Accuratezza | Il valore riflette la realtà? | Tasso di errori su un campione controllato | L’indirizzo esiste, ma il nome associato è quello di un altro contatto |
| Completezza | I campi obbligatori sono compilati? | Tasso di completezza per campo | Contatto senza email né telefono |
| Validità | Il formato rispetta la regola? | Quota di valori fuori formato | mario.rossi@gmail,com |
| Coerenza | Due sistemi dicono la stessa cosa? | Tasso di divergenza tra CRM e strumento di emailing | Contatto disiscritto in uno, attivo nell’altro |
| Attualità | Il dato è ancora vero? | Anzianità dell’ultimo aggiornamento | Indirizzo aziendale di un dipendente che ha lasciato l’azienda |
| Unicità | Un’entità compare una sola volta? | Tasso di duplicati | Stessa persona registrata con due indirizzi |
La validità si verifica con una regola, l’accuratezza con un confronto con la realtà: per questo un indirizzo può essere valido senza essere accurato. marta@esempio.it rispetta la sintassi e supera il controllo del modulo. Non esiste.
Misurare la qualità dei dati: profilazione e quattro metriche
Si parte dalla profilazione (data profiling): una scansione di ogni tabella che conta i valori vuoti e i duplicati, poi rileva l’intervallo delle date di aggiornamento. Su un export CRM di 50.000 righe bastano una decina di query SQL, o un foglio di calcolo con tabella pivot, per un primo quadro della situazione.
Quattro metriche coprono l’essenziale per un reparto marketing:
- il tasso di completezza: campi compilati divisi per campi richiesti, calcolato campo per campo e segmento per segmento invece che in media;
- il tasso di duplicati: schede ridondanti divise per schede totali;
- il tasso di hard bounce per invio: indirizzi respinti in modo definitivo divisi per messaggi inviati;
- l’anzianità mediana dell’ultimo aggiornamento, che individua i segmenti dormienti.
Una soglia si fissa per uso e si mette per iscritto (99% di completezza richiesta sull’email, 60% tollerata sulla funzione, per esempio). Senza soglia, un indicatore al 94% non dice nulla: accettabile per un campo facoltativo, allarmante per l’indirizzo email di una lista di invio.
In quale ordine trattare i criteri
Si comincia da unicità e validità. Sono i due criteri che si correggono in blocco e senza discussioni: una deduplicazione e un controllo di formato si programmano, e il risultato si verifica lo stesso giorno.
La completezza viene dopo, perché un campo vuoto si riempie solo con una fonte o con una sollecitazione al contatto. Accuratezza e attualità richiedono un controllo contro la realtà; costano di più per riga, quindi si concentrano sui segmenti che servono. La coerenza passa per ultima, perché presuppone che ogni sistema sia già pulito prima di essere confrontato con gli altri.
Quanto costa una cattiva qualità dei dati?
Diversi milioni di dollari all’anno per una grande organizzazione, secondo le stime più citate. Sono stime dichiarative e non si trasferiscono tali e quali a una PMI.
Gartner ha quantificato in 12,9 milioni di dollari all’anno nel 2020 il costo medio della scarsa qualità dei dati, risultato di un’indagine su 154 clienti di riferimento di 16 fornitori di soluzioni per la qualità dei dati. Una stima autodichiarata, dunque. Più vecchia e più spettacolare, la cifra di 3.000 miliardi di dollari all’anno per l’economia statunitense è stata resa popolare da Thomas Redman sulla Harvard Business Review nel 2016. Nessun metodo pubblicato permette di riprodurla: la cifra risale a un’estrapolazione del 2011, ripresa poi da IBM. Dà un ordine di grandezza e nulla di più.
Per un team marketing il costo si legge più in basso, in voci che si possono contare: invii persi, solleciti commerciali su schede obsolete, coupon sconto spediti due volte allo stesso cliente. Il calcolo si fa sui propri dati, con i propri costi unitari.
L’esempio degli indirizzi email: bounce e deliverability
Una lista di indirizzi invecchia in silenzio. Nessuno avvisa il team marketing quando un contatto cambia lavoro. Un dipendente lascia l’azienda, la sua casella viene chiusa, l’indirizzo passa da valido a respinto da un giorno all’altro senza che alcun campo del CRM lo segnali. Il primo segnale arriva all’invio successivo, sotto forma di NDR (non-delivery report) restituito dal server del destinatario con un codice 550 5.1.1, che indica una casella inesistente.
Google pubblica soglie precise, ma nessuna riguarda il bounce. Le sue regole per i mittenti chiedono di tenere il tasso di spam segnalato in Postmaster Tools sotto lo 0,10% e di non raggiungere mai lo 0,30%; raccomandano anche di ridurre il volume quando i messaggi rimbalzano. Nessuna soglia di hard bounce vi compare. Ogni team deve quindi fissare la propria, sapendo che un tasso in crescita degrada la reputazione del mittente (sender reputation) e che il filtraggio di Gmail colpisce a quel punto l’intera campagna, compresi i contatti attivi.
La verifica degli indirizzi prima dell’invio interrompe il meccanismo alla radice: sintassi, esistenza del dominio, casella raggiungibile, rilevamento dei domini catchall e degli indirizzi usa e getta. A chi pensa «filtreremo dopo» va ricordato che il rimbalzo è già avvenuto quando lo si constata, e il danno alla reputazione del dominio è fatto. Su una base reale, la verifica delle email di un campione di 1.000-2.000 indirizzi presi dalla prossima campagna fornisce un tasso di invalidi utilizzabile prima di impegnare l’intera lista. Sul fronte della deliverability, un tasso di rimbalzo in crescita erode la credibilità del dominio mittente, al pari di un’autenticazione SPF o DKIM configurata male.
Il GDPR e il principio di esattezza
La qualità dei dati è anche una questione di diritto: il regolamento (UE) 2016/679, applicabile dal 25 maggio 2018, ne fa un obbligo. L’articolo 5, paragrafo 1, lettera d), impone dati personali «esatti e, se necessario, aggiornati», con tutte le misure ragionevoli per cancellare o rettificare tempestivamente i dati inesatti rispetto alle finalità per cui sono trattati.
Una lista di email che non viene ripulita da 3 anni contiene schede di ex dipendenti, di aziende chiuse, di persone che hanno cambiato indirizzo. Il principio vale anche per loro. Pesa anche il modo in cui si raccoglie: una registrazione in double opt-in elimina i refusi fin dall’iscrizione, perché l’indirizzo deve rispondere per essere registrato.
Correggere un database degradato
Si corregge nell’ordine della tabella precedente, su una copia del database, perché una correzione fatta sul posto non si recupera. Quattro operazioni coprono l’essenziale:
- la deduplicazione: si raggruppano le schede che indicano la stessa persona (stessa email normalizzata, stesso nome e stessa società) e si tiene la più completa;
- la normalizzazione: un’unica scrittura per date, paesi, titoli di cortesia e indirizzi, in minuscolo per le email;
- l’arricchimento: si riempiono i campi vuoti con una fonte affidabile, altrimenti il campo resta segnato come sconosciuto;
- la cancellazione o l’archiviazione delle schede che non hanno più uno scopo previsto, in linea con il principio di minimizzazione del GDPR.
Ogni regola ha un responsabile, spesso chiamato data steward: la persona che decide quale scheda prevale e convalida le soglie. Senza questo nome scritto da qualche parte, la pulizia dipende dalla buona volontà di ciascuno e ricomincia da zero alla campagna successiva.
Gli errori ricorrenti
Pulire senza correggere la fonte. Un database ripulito a gennaio si inquina di nuovo a marzo se il modulo di iscrizione accetta ancora gmail,com o gli indirizzi di prova. Il controllo all’ingresso costa meno di 10 pulizie.
Fondere due CRM senza una regola di sopravvivenza. Quando due schede si contraddicono, qualcuno decide quale prevale: l’indirizzo più recente, la fonte più affidabile o la scheda più completa. Senza una regola scritta, la fusione sovrascrive dati giusti con dati scaduti.
Misurare in media globale. Un tasso di completezza del 92% su tutto il database nasconde un campo «email» compilato al 99% e un campo «funzione» al 40%.
Confondere strumento e metodo. Un software per la qualità dei dati applica regole, non le sceglie. La scelta degli strumenti e il monitoraggio nel tempo sono trattati nella nostra pagina sul Data Quality Management.
