Deduplicação complexa de CRM em escala

Quando as equipes descrevem um projeto de deduplicação complexo, muitas vezes começam pelo tamanho da base de dados. O tamanho torna a limpeza mais pesada.

A nossa equipe de sucesso do cliente vê as partes mais difíceis nos dados: quanto é que os registros se sobrepõem e quantos grupos precisam das suas próprias regras. A maior delas é saber com que certeza pode mesclar milhares de uma vez. Neste artigo, vai ver o que torna uma limpeza complexa, o que apenas parece complexo e como criar confiança para mesclar em escala.

Complexo, ou apenas grande?

O que torna um projeto de desduplicação complexo

Vários destes voltam a uma pergunta: consegue saber, apenas pelos registros, que dois deles são o mesmo? Eis o que a nossa equipe de sucesso vê mais frequentemente.

Dados sobrepostos insuficientes

Por vezes, uma equipe sabe que dois registros são a mesma pessoa. Conhecem o cliente pessoalmente, ou têm informações que existem fora do CRM.

Mas nada nos registros o prova. Um tem nome e telefone, o outro tem nome e email pessoal. É muito difícil construir uma busca assim, porque a evidência não está nos dados.

Grupos diferentes precisam de critérios diferentes

Regiões, cidades, estágios de negócio, níveis de assinatura, fontes e campanhas podem precisar, cada um, da própria definição de duplicado. Muita dessa lógica cabe agora numa pesquisa.

Às vezes não funciona. Quando certos grupos nunca devem ser correspondidos um com o outro, precisam de pesquisas separadas.

Uma empresa com sub-regiões é um bom exemplo. Para algumas equipes, apenas o domínio principal importa, seja qual for o seu sufixo. Para outras, cada sub-região deve ser sempre mantida separada.

Campos personalizados e critérios específicos da equipe

Cada equipe utiliza o seu CRM de forma ligeiramente diferente. Alguns dependem de campos personalizados para decidir o que torna dois registros iguais, como um número de conta interno.

Esses critérios precisam ser compreendidos antes que alguém possa comparar com base neles. Ninguém fora da equipe sabe o que eles significam por padrão.

Regras para qual valor vence

Numa limpeza simples, uma regra abrange todos os campos. Numa complexa, diferentes campos precisam de regras diferentes. O proprietário pode vir de um registro, o número de telefone do mais recente, e o ciclo de vida do mais avançado.

Algumas equipes querem comportamento de consolidação que o CRM não suporta nativamente. Por exemplo, preferem o registro mais recente, mas o CRM mantém o antigo. Essa incompatibilidade causa disputas de propriedade.

Precisa de uma conversa cuidadosa sobre o que é possível antes da limpeza começar.

Dados ilegíveis

As barreiras linguísticas tornam cada decisão mais lenta. Quando os registros usam um idioma ou caracteres que a pessoa que limpa não consegue ler facilmente, é difícil julgar se dois nomes correspondem.

O que parece complexo mas geralmente não é

Um grande volume de dados torna a decisão mais assustadora. Com critérios claros, porém, 10.000 duplicatas podem ser mais fáceis de limpar do que uma base de dados muito menor e desorganizada. Uma base de dados com um milhão de registros pode ser gerível quando as suas duplicatas são fáceis de identificar.

Vários objetos, como Empresas HubSpot, Contatos Salesforce ou Negócios Pipedrive, são geralmente trabalhados um de cada vez. Por vezes, a ordem é importante, e quando é depende da situação.

Várias equipes com interesse nos dados não contribuem tanto quanto as pessoas esperam. A maioria das limpezas tem uma pessoa gerenciando-as, e dois ou três backups normalmente bastam.

As associações são mantidas quando os registros se unem. Por vezes, os duplicados são parte da razão pela qual as associações parecem confusas.

A confiança é o fator mais importante

A parte assustadora de uma limpeza grande é clicar merge em 5.000 ou 10.000 registros. Ninguém consegue analisar tantos um a um, portanto a decisão tem que assentar nos critérios.

Precisa de atingir o ponto em que vê os critérios e diz: sim, são definitivamente duplicados, e é seguro mesclar. Até aí, as equipes tendem a esperar, e os duplicados ficam.

Encontrem os critérios juntos

Os critérios são frequentemente descobertos ao longo do caminho. O trabalho começa por compreender os dados, depois questiona o que a equipe considera um duplicado.

De lá, estreita os critérios até a equipe estar confortável a unificar em massa. Cada ronda exclui um tipo de correspondência incerta, até que sobra um conjunto com o qual todos concordam.

As regras têm que decidir da mesma forma sempre

Não pode decidir 5.000 mesclagens uma de cada vez. As regras para qual valor vence têm que tomar a mesma decisão em milhares de mesclagens.

Por isso ajuda testar as regras primeiro num grupo pequeno. Visualize a prévia do resultado mesclado para alguns conjuntos que representem seus casos extremos, depois aplique as mesmas regras ao restante.

Quando automatizar: três ou quatro campos de correspondência forte

Quanto mais informação confiável em comum você tiver, mais confiança pode ter. Nome, sobrenome, email e empresa iguais são muito mais seguros de automatizar do que apenas dois nomes iguais.

Em geral, três ou quatro campos de correspondência forte dão muito mais confiança para ativar automação. Com menos, envie as correspondências para revisão.

Em resumo, quanto mais certa a correspondência, mais pode automatizar ou fazer merge em massa. Quanto mais for um caso especial, mais necessita de revisão manual.

Correspondência alimentada por IA ou buscas que constrói?

Ambos têm um lugar, dependendo do caso. O matching alimentado por AI encontra padrões complexos, por vezes aqueles que não pensaria procurar.

As Duplicate Searches que constrói encontram os duplicados que sabe precisar. A utilidade depende de quão bem conhece os seus duplicados.

Construa confiança antes de fazer bulk merge

O que torna uma limpeza complexa está nos dados: registros que compartilham pouco demais para provar uma correspondência, grupos que precisam de critérios próprios, e campos que precisam de regras próprias para qual valor vence. Mais importante que tudo isto é a confiança, ter certeza bastante para mesclar milhares de registros de uma vez.

Essa confiança vem de critérios acordados e refinados, até que cada correspondência seja uma que faria merge sem verificação. Com três ou quatro campos em concordância, o merge em massa e automático ficam seguros, e os casos extremos restantes recebem revisão manual.

Perguntas frequentes