Uma base de 50 000 contactos com 2% de endereços inválidos dá 1000 mensagens devolvidas em hard bounce a cada campanha. O CRM, esse, continua a mostrar 50 000 linhas. A qualidade dos dados (data quality em inglês) joga-se nesta diferença entre o que a base contém e o que realmente se pode fazer com ela. Designa o grau de adequação de um conjunto de dados à utilização prevista. Seis critérios medem-na: exatidão, completude, validade, coerência, atualidade e unicidade, cada um com um indicador quantificável, detalhado mais abaixo.
O que é a qualidade dos dados?
A qualidade dos dados é o grau em que um conjunto de dados serve a utilização que dele se pretende. Um dado não é bom nem mau em si: um número de telefone fixo está correto para um serviço de faturação e é inutilizável numa campanha de SMS. Esta lógica de adequação à finalidade (fit for purpose, entre os anglófonos) explica por que razão duas equipas da mesma empresa avaliam de forma diferente a mesma tabela de clientes.
Convém também separar duas noções que os glossários misturam. A governação dos dados define quem possui cada dado e segundo que regras; a qualidade mede o resultado dessas regras no terreno. Uma empresa pode ter uma carta de governação impecável e 15% de duplicados no CRM.
Os seis critérios, da exatidão à unicidade
Os referenciais variam de um editor para outro: uns listam menos critérios, outros mais (integridade, conformidade, verosimilhança). Estes seis são os mais comuns; a «disponibilidade», muitas vezes citada, diz respeito ao acesso e à arquitetura, e não ao conteúdo do dado.
| Critério | Pergunta | Indicador mensurável | Exemplo com um email |
|---|---|---|---|
| Exatidão | O valor reflete a realidade? | Taxa de erros numa amostra controlada | O endereço existe, mas o nome associado é o de outro contacto |
| Completude | Os campos obrigatórios estão preenchidos? | Taxa de completude por campo | Contacto sem email nem telefone |
| Validade | O formato respeita a regra? | Percentagem de valores fora do formato | joao.silva@gmail,com |
| Coerência | Dois sistemas dizem a mesma coisa? | Taxa de divergência entre o CRM e a ferramenta de emailing | Contacto cancelado num sistema e ativo no outro |
| Atualidade | O dado continua a ser verdadeiro? | Antiguidade da última atualização | Endereço profissional de um colaborador que saiu da empresa |
| Unicidade | Uma entidade aparece uma só vez? | Taxa de duplicados | A mesma pessoa registada com dois endereços |
A validade verifica-se por uma regra, a exatidão por confronto com a realidade; por isso, um endereço pode ser válido sem ser exato. maria@exemplo.pt respeita a sintaxe e passa o controlo do formulário. Não existe.
Medir a qualidade dos dados
Medir começa pelo perfilamento (data profiling): uma análise de cada tabela que conta os valores vazios e os duplicados e depois identifica o intervalo das datas de atualização. Numa exportação de CRM com 50 000 linhas, uma dezena de consultas SQL ou uma folha de cálculo com tabela dinâmica bastam para um primeiro diagnóstico.
Quatro métricas de qualidade cobrem o essencial das necessidades de um departamento de marketing:
- a taxa de completude: campos preenchidos a dividir pelos campos obrigatórios, calculada campo a campo e segmento a segmento, e não em média;
- a taxa de duplicados: fichas redundantes a dividir pelo total de fichas;
- a taxa de hard bounce por envio: endereços rejeitados em definitivo a dividir pelas mensagens enviadas;
- a antiguidade mediana da última atualização, que identifica os segmentos adormecidos.
O limiar define-se por utilização e fica registado por escrito (99% de completude exigida no email, 60% tolerada na função, por exemplo). Sem ele, um indicador a 94% não diz nada: aceitável num campo facultativo, preocupante para o endereço de email de uma base de envio.
Ordem de tratamento dos critérios
Começa-se pela unicidade e pela validade. São os dois critérios que se corrigem em massa e sem discussão: uma deduplicação e um controlo de formato programam-se, e o resultado verifica-se no próprio dia.
A completude vem a seguir, porque um campo vazio só se preenche com uma fonte ou uma insistência junto do contacto. A exatidão e a atualidade exigem um controlo contra a realidade; custam mais por linha, pelo que se concentram nos segmentos que são usados. A coerência fica para o fim, porque pressupõe que cada sistema já esteja limpo antes de ser comparado com os outros.
O custo de uma má qualidade dos dados
Vários milhões de dólares por ano para uma grande organização, segundo as estimativas mais citadas. São declarativas e não se transpõem tal e qual para uma PME.
A Gartner apontou, em 2020, para 12,9 milhões de dólares por ano o custo médio da má qualidade dos dados, resultado de um inquérito a 154 clientes de referência de 16 fornecedores de soluções de qualidade dos dados. Trata-se, portanto, de uma estimativa autodeclarada. Mais antigo e mais espetacular, o valor de 3 biliões de dólares por ano para a economia norte-americana (3 trillion, na escala americana) foi popularizado por Thomas Redman na Harvard Business Review em 2016. Nenhum método publicado permite reproduzi-lo: o número remonta a uma extrapolação de 2011 depois retomada pela IBM, e dá uma ordem de grandeza, nada mais.
Numa equipa de marketing, o custo vê-se mais abaixo, em linhas que se podem contar: envios perdidos, contactos comerciais sobre fichas obsoletas, descontos enviados duas vezes ao mesmo cliente. O cálculo faz-se com os dados próprios e com os custos unitários próprios.
O exemplo dos endereços de email: bounce e entregabilidade
Uma base de endereços envelhece em silêncio. Ninguém avisa a equipa de marketing quando um contacto muda de funções. Um colaborador sai da empresa, a caixa é encerrada e o endereço passa de válido a rejeitado de um dia para o outro, sem que nenhum campo do CRM o indique. O primeiro sinal chega no envio seguinte, sob a forma de um NDR (non-delivery report) devolvido pelo servidor de destino com o código 550 5.1.1, que indica uma caixa inexistente.
A Google publica limiares precisos, mas nenhum diz respeito ao bounce. As suas regras para remetentes pedem que a taxa de spam declarada no Postmaster Tools se mantenha abaixo de 0,10% e nunca atinja 0,30%; recomendam também reduzir o volume quando as mensagens são devolvidas. Não consta ali nenhum limiar de hard bounce. Cada equipa tem, portanto, de fixar o seu, sabendo que uma taxa em subida degrada a reputação do remetente e que o filtro do Gmail passa então a afetar toda a campanha, incluindo os contactos ativos.
A verificação dos endereços antes do envio corta este mecanismo na origem: sintaxe, existência do domínio, caixa acessível, deteção de domínios catchall e de endereços descartáveis. Ao contrário da objeção habitual («filtra-se depois»), a devolução já ocorreu quando é detetada, e isso pesa na reputação do domínio. Numa base real, a verificação de emails de uma amostra de 1000 a 2000 endereços retirados da próxima campanha dá uma taxa de inválidos utilizável antes de a lista inteira ser envolvida. No plano da entregabilidade, uma taxa de devolução em alta pesa na reputação do domínio remetente, tal como uma autenticação SPF ou DKIM mal configurada.
O que diz o RGPD sobre a exatidão
A qualidade dos dados é também uma questão jurídica: o Regulamento (UE) 2016/679, aplicável desde 25 de maio de 2018, faz dela uma obrigação. O artigo 5.º, n.º 1, alínea d), exige dados pessoais «exatos e atualizados sempre que necessário», com todas as medidas razoáveis para apagar ou retificar sem demora os dados inexatos face às finalidades do tratamento.
Uma lista de emails que não é limpa há 3 anos contém fichas de antigos colaboradores, de empresas encerradas, de pessoas que mudaram de endereço. O princípio aplica-se a todas elas. A recolha também conta: um registo com duplo opt-in elimina os erros de digitação logo na inscrição, uma vez que o endereço tem de responder para ficar registado.
Corrigir uma base de dados degradada
Corrige-se pela ordem da tabela anterior, sobre uma cópia da base, porque uma correção feita no local não se desfaz. Quatro operações cobrem o essencial:
- a deduplicação: agrupam-se as fichas que designam a mesma pessoa (mesmo email normalizado, mesmo nome e mesma empresa) e fica a mais completa;
- a normalização: uma só grafia para as datas, os países, os tratamentos e as moradas, e emails em minúsculas;
- o enriquecimento: preenchem-se os campos vazios com uma fonte fiável; na falta dela, o campo fica marcado como desconhecido;
- a eliminação ou o arquivo das fichas que já não têm utilização prevista, o que vai ao encontro do princípio da minimização do RGPD.
Cada regra tem um responsável, muitas vezes chamado data steward: a pessoa que decide qual a ficha que prevalece e valida os limiares. Sem esse nome registado em algum lado, a limpeza depende da boa vontade de cada um e recomeça do zero na campanha seguinte.
Os erros que se repetem
Limpar sem corrigir a origem. Uma base depurada em janeiro volta a poluir-se em março se o formulário de inscrição ainda aceitar gmail,com ou endereços de teste. O controlo à entrada custa menos do que 10 depurações.
Fundir dois CRM sem regra de sobrevivência. Quando duas fichas se contradizem, alguém decide qual prevalece: o endereço mais recente, a fonte mais fiável ou a ficha mais completa. Sem regra escrita, a fusão apaga dados corretos com dados desatualizados.
Medir em média global. Uma taxa de completude de 92% em toda a base esconde um campo «email» preenchido a 99% e um campo «função» a 40%.
Confundir ferramenta e método. Um software de qualidade dos dados aplica regras; não as escolhe. A escolha das ferramentas e o acompanhamento a longo prazo são tratados na nossa página sobre a gestão da qualidade dos dados.
