Correspondências de duplicados complexas e como encontrá-las

Os duplicados fáceis compartilham um email. Uma pesquisa nesse único campo os encontra, e ninguém discute a mesclagem.

Os mais difíceis escondem-se. Um registro tem um email de trabalho e o outro um pessoal, ou um tem telefone e o outro está vazio.

Só parecem a mesma pessoa quando alinha três ou quatro campos ao mesmo tempo. O contrário também acontece: registros que coincidem em quase tudo e mesmo assim não são duplicados.

Neste artigo, vai ver padrões comuns de correspondências complexas e porque é que a sobreposição, por si só, não prova a identidade. Vai ver também como combinar campos, que campo pode resolver um caso duvidoso e quando deve decidir uma pessoa.

O que torna uma correspondência complexa

Uma correspondência simples assenta num campo que identifica cada registro, como o email para contatos ou o domínio para empresas. Uma correspondência complexa assenta em vários campos que sozinhos provam pouco mas em conjunto coincidem.

O nome sozinho junta desconhecidos. O telefone sozinho junta familiares e colegas numa linha comum. Nome, telefone e empresa em conjunto apontam para uma pessoa muito mais vezes.

O que conta como duplicado continua dependendo de cada caso. O que uma equipe considera duplicado, outra pode não considerar. Os campos que você combina devem seguir a sua própria definição de duplicado.

Padrões comuns de duplicados complexos

Estes padrões surgem muitas vezes quando as equipes olham para além das correspondências exatas de email.

Cada um precisa de uma combinação diferente. O nosso guia sobre em que campos fazer a correspondência explica os pares habituais para cada objeto. O nosso artigo sobre registros sem email trata do caso dos campos vazios.

Quando a sobreposição não é identidade

A mesma lógica que encontra duplicados complexos também pode emparelhar registros que não são duplicados. Quando email, endereço e telefone coincidem, uma mesclagem parece segura. Às vezes os dados compartilhados pertencem a uma família ou a um único dono com vários negócios.

Quase todos os campos coincidentes nesse caso diziam "iguais". Só diferiam a denominação social, o número de identificação e a pessoa por trás de cada registro. É esse o padrão a vigiar: quando os campos compartilhados descrevem um local ou um dono, não provam que os registros são um único cliente.

O nosso artigo sobre deduplicação complexa em grande escala explica porque é que a confiança importa mais do que o volume em projetos como este.

Como combinar campos para correspondências complexas

Comece por onde os seus registros se sobrepõem

Abra alguns conjuntos que você sabe serem duplicados e anote quais campos coincidem. Isso diz a você quais campos combinar. Os campos que coincidem nos duplicados conhecidos e diferem nos não duplicados conhecidos são os que valem a pena usar na correspondência.

Dê a cada campo o seu próprio rigor

Nem todos os campos de uma combinação precisam da mesma comparação. O telefone pode ignorar a formatação, o nome pode admitir erros de digitação e um campo de ID pode continuar exato. Uma comparação mais ampla é mais segura quando um campo rigoroso da mesma combinação a confirma.

Acrescente um campo que distinga os registros

Alguns campos funcionam como campo decisivo. Um ID fiscal, um número de cliente ou um primeiro nome definido como Exact podem separar registros que compartilham todo o resto. Quando um desses campos difere, os registros normalmente não são duplicados.

Execute várias combinações em paralelo

Uma combinação raramente apanha todos os padrões. Uma abordagem comum é começar com uma combinação estrita de três ou quatro campos para os duplicados que mesclaria sem olhar. Depois alivie um campo de cada vez e verifique esses resultados com mais cuidado.

Decida à mão os casos difíceis

As correspondências complexas trazem mais dúvidas do que as exatas, por isso a revisão pesa mais. Alguns hábitos a mantêm rápida.

• Revise as combinações mais abrangentes antes de qualquer mesclagem automática. Só automatize uma combinação quando os resultados deixarem de o surpreender.
• Rejeite um conjunto quando tiver a certeza de que não é um duplicado. Depois fica fora das pesquisas seguintes, por isso ninguém o decide duas vezes.
• Mude a pesquisa quando um padrão falso se repete. Se os agregados familiares continuam a corresponder, acrescente um campo ao nível da pessoa, como o nome próprio, em vez de rejeitar cada conjunto.
• Pergunte a quem conhece o registro. Um responsável de conta consegue dizer em um minuto se duas empresas são um só cliente.

Mantenha uma lista de padrões já decididos, como "mesmo endereço, identificação legal diferente continua separada". Isso poupa o próximo revisor de reabrir a mesma questão.

Mais campos, mais cuidado

Os duplicados complexos só aparecem quando combina campos, e a combinação certa depende de como os seus dados se sobrepõem. As combinações estritas são fiáveis, enquanto as mais abrangentes precisam de alguém que olhe.

A mesma sobreposição pode enganar no sentido contrário. Um endereço ou telefone compartilhados podem descrever uma família ou os negócios de um mesmo dono. Mantenha um campo decisivo na pesquisa e revise pessoalmente os casos duvidosos.

Perguntas frequentes