Deduplicar uma base de dados grande

Uma base de dados grande, a partir de 480.000 registros, precisa dos mesmos passos que qualquer projeto de deduplicação, numa ordem definida: sincronize só os objetos de que precisa, planeje a primeira sincronização, teste antes de mesclar, mescle por fases e automatize no fim. O Dedupely lida com bases de dados de milhões de registros, com planos até 20 milhões e mesclagens em massa de milhares de correspondências de uma vez. Este Playbook mostra como o fazer para que cada fase seja verificada antes de a seguinte começar.

Passo 1: Sincronize só os objetos de que precisa

Um objeto inteiro é sincronizado, então cada registro de um objeto que você ativar conta para o seu limite de registros. Antes de conectar, decida quais objetos vai deduplicar primeiro.

• Ative só esses objetos no CRM Settings. Pode ativar outros mais tarde.
• Comece pelo objeto que causa mais problemas, normalmente Contacts ou Companies.
• Os registros da Sandbox também contam, como qualquer outro registro sincronizado.

Até 10% acima do seu limite de registros, tudo continua a funcionar durante 10 dias enquanto faz upgrade ou desativa objetos. Mais de 10% acima, ou ainda acima depois de 10 dias, a conta fica só de leitura: a sincronização e as análises continuam, mas as mesclagens param. O Dedupely nunca faz upgrade do seu plano nem cobra pelo excesso. Veja Billing & Usage.

Passo 2: planejar em torno da primeira sincronização

A primeira sincronização de uma base de dados grande demora horas, não minutos:

Depois da primeira sincronização, o Dedupely atualiza a cada 10–30 minutos e encontra registros novos em 1–5 minutos. A sincronização nunca mescla, edita nem exclui nada no CRM, então a equipe pode continuar trabalhando enquanto ela roda. Veja Sincronizar Registros.

Passo 3: Teste antes de mesclar

Trate as mesclagens como permanentes: nesse tamanho, uma regra errada se repete milhares de vezes.

• Salesforce: conecte um Sandbox e rode lá primeiro as suas pesquisas e Merge Rules, para ver como as mesclagens afetam seus Flows, triggers do Apex e integrações. Veja o Guia de eliminação de duplicados no Salesforce.
• Todos os CRM: execute 1–2 Single Merges, verifique-as no CRM, depois mescle em massa 1–2 páginas e verifique de novo.
• Verifique o Merge Preview no View Match Details antes de cada nova pesquisa, para saber que valores sobrevivem.

Passo 4: mesclar por fases

Não mescle toda a base de dados de uma vez. Mescle uma pesquisa de cada vez, da mais segura para a mais arriscada:

1. Primeiro os duplicados exatos, em pelo menos três campos (por exemplo First Name, Last Name e Email em Exata).
2. Empresas e contas, com Company Name em Similar Words (Any Order) e Website em Raiz do domínio.
3. As pesquisas mais largas no fim, como pesquisas por nome ou o Dedupely Intelligence, revisadas correspondência por correspondência.

O Bulk Merge pode mesclar uma página inteira ou Select all X matches de uma vez, sem máximo. Cancel all para uma mesclagem em massa em andamento; as mesclagens já em andamento terminam. As correspondências com mais de 20 registros e dados fictícios vão para a aba Excluded , por isso nunca são mescladas em massa. Veja Segurança das Uniões.

Como mesclar milhares de empresas do HubSpot

As empresas duplicadas são muitas vezes o maior trabalho num portal HubSpot grande. Para as mesclar em escala:

• Faça corresponder por nome e domínio: Company Name em Similar Words (Any Order), com Ignored terms Inc., LLC, Ltd., mais Website em Raiz do domínio. Acrescente Country e City aos Visible Fields para detectar filiais.
• Escolha primeiro as Merge choices. O HubSpot limita quantas associações um registro pode ter e quantas vezes um registro pode ser mesclado. Defina "Too many associations to move" e "Too many past record merges in same record" antes de mesclar em massa. O Auto Merge não pode perguntar, por isso ignora as correspondências definidas como Always ask.
• Conte com o comportamento próprio do HubSpot: O HubSpot costuma dar à empresa mesclada um Record ID novo (os ID antigos redirecionam), e os dois registros saem dos workflows ativos.

Veja Como deduplicar empresas e contas.

Passo 5: automatize no fim

Depois de mesclar o atraso, impeça que os novos duplicados voltem a acumular-se:

1. Ative o Auto Match em cada pesquisa que você testou, para que alguém revise as novas correspondências de forma agendada. Veja Auto Match.
2. Passe uma pesquisa para Auto Merge depois de rodar sem correspondências falsas, com o Assim que possível como agendamento. Veja Auto Merge.

Configuração de exemplo

Um portal HubSpot com 520.000 contatos, 210.000 empresas e 40.000 negócios, cerca de 770.000 registros, no plano Enterprise (1 milhão de registros).

1. Dia 1: Contacts e Companies ativos. Deals fica desativado até terminar contatos e empresas. Primeira sincronização: cerca de 3–10 horas.
2. Dia 2: Merge Rules definidas: Primary Record em Last Updated Record; Lose Rules no Contact owner para antigos comerciais. Merge choices em "Merge and keep the associations that fit" e "Merge by copying the data over".
3. Dia 2: 2 Single Merges e 1 página mesclada em massa na pesquisa exata de contatos (First Name, Last Name, Email em Exact), verificados no HubSpot.
4. Semana 1: pesquisa exata de contatos mesclada em massa com Select all X matches. Depois as empresas por Company Name (Similar Words, Ignored terms) e Website (Domain Root), página a página nas primeiras 10 páginas.
5. Semana 2: pesquisas de contatos por nome e Dedupely Intelligence revisadas; correspondências pouco claras enviadas para Manual Review.
6. Semana 3: Deals ativados e deduplicados da mesma forma. Auto Match em todas as pesquisas; Auto Merge (As soon as possible) nas pesquisas exatas.

Erros comuns

• Sincronizar todos os objetos de uma vez. Enche o seu limite de registros e torna a primeira sincronização mais longa. Comece com um ou dois objetos.
• Mesclar durante a primeira sincronização. Espere que a sincronização termine, para as pesquisas verem todos os registros.
• Testar num registro e mesclar tudo. Teste 1–2 Single Merges, depois 1–2 páginas, em cada nova pesquisa.
• Saltar as Merge Rules. Com este tamanho, o vencedor por padrão repete-se em milhares de registros. Defina primeiro o Primary Record e os campos que importam.
• Ativar o Auto Merge antes de resolver o acumulado. Automatize as pesquisas que já rodaram sem correspondências falsas.

Perguntas frequentes sobre bases de dados grandes

• O que conta como base de dados grande? 480.000 registros ou mais. Os passos servem para qualquer dimensão, mas a ordem importa mais à medida que a base de dados cresce.
• Há um limite de correspondências que posso mesclar de uma vez? Não. O Bulk Merge pode mesclar todas as correspondências de uma pesquisa com Select all X matches.
• Posso testar num sandbox? Sim, no Salesforce. Os registros de sandbox contam para o limite de registros.
• Uma primeira sincronização grande muda alguma coisa no meu CRM? Não. A sincronização nunca mescla, edita ou elimina registros.
• O que acontece se ultrapassar o meu limite de registros? Até 10% acima, tem 10 dias para fazer upgrade ou desativar objetos. Depois disso, ou se passar mais de 10%, a conta fica só de leitura até o fazer.