Ver como Markdown

TL;DR

  • Uma contagem maior de duplicados não é um resultado melhor. Muitas vezes significa uma pesquisa mais frouxa, com mais falsas correspondências.
  • Afrouxar todos os campos de uma vez, fazer a correspondência por um campo fraco ou pular os filtros inflam a contagem.
  • O número útil é quantas correspondências são reais, o que só uma amostra conferida pode mostrar.
  • Compare ferramentas e pesquisas pela precisão nos mesmos registros, não pelo tamanho do número.
  • Na Dedupely, cada pesquisa mostra os campos e as opções de correspondência que usa, para você ver de onde vem a contagem.

Na primeira vez que uma equipe roda uma pesquisa de duplicados, o número chama a atenção de todos. Depois alguém afrouxa uma configuração e o número dobra. Depois outra ferramenta mostra um número maior. É tentador tratar o maior número como o resultado mais completo.

Geralmente não. Uma contagem de duplicados só vale o que valem as correspondências dentro dela. Este post explica por que as contagens crescem, quando uma contagem maior é um sinal de alerta e o que medir no lugar.

Por que a contagem sobe

A contagem de duplicados cresce por motivos bons e ruins.

Bons motivos: uma pesquisa passa a encontrar duplicados reais que deixou passar, como erros de digitação, apelidos ou telefones em formatos diferentes.

Motivos ruins:

  • Todos os campos são afrouxados de uma vez. Similar ou Fuzzy no nome, na empresa e na cidade juntos casa pessoas que apenas parecem iguais.
  • A pesquisa depende de um campo fraco. Um primeiro nome, uma cidade ou um nome genérico de empresa casa com milhares de registros sem relação.
  • Valores de marcador casam entre si. "N/A", "test@test.com" ou "Unknown" formam grupos enormes.
  • Sem filtros. Registros de teste antigos, usuários internos e parceiros acabam todos nos resultados.

De fora, os dois tipos de crescimento parecem iguais: um número maior.

Quando um número maior é um sinal de alerta

Olhe com mais atenção quando:

  • A contagem sobe depois que uma configuração muda, muito mais do que você esperava.
  • Os grupos ficam muito grandes. Um conjunto com muitos registros raramente é uma pessoa ou uma empresa só.
  • Uma amostra costuma estar majoritariamente errada. Se mais de dois ou três de uma amostra de 20 não forem duplicados, a pesquisa é ampla demais para a mesclagem em massa.
  • Os mesmos poucos valores aparecem em todo lugar, como uma caixa compartilhada ou um telefone padrão.

O que medir no lugar

As perguntas úteis são:

Em vez de Pergunte
Quantos duplicados ele encontrou? Quantos de uma amostra de 20 são reais?
Qual ferramenta encontra mais? Qual deles está certo com mais frequência nos mesmos registros?
Até onde podemos fazer o número chegar? Quantos podemos mesclar sem conferir cada um?
Qual é o total? Qual é o total de cada objeto e de cada pesquisa?

A pesquisa que encontra menos duplicados, mas acerta quase sempre, é a que você pode usar na mesclagem em massa. Uma pesquisa grande e ruidosa serve melhor para revisão manual, alguns conjuntos por vez.

Como a Dedupely mostra de onde vem a contagem

Na Dedupely, cada Duplicate Search mostra os campos e as opções de correspondência que usa, para você entender por que a contagem está alta: Exact, Similar, Fuzzy, Similar Words ou Domain Root, campo a campo. Os filtros restringem quais registros são pesquisados, os termos ignorados deixam de fora palavras de marcador, e dois valores vazios nunca casam. As Safety Settings retêm conjuntos com mais de 20 registros e dados de marcador nas mesclagens em massa, e você pode rejeitar conjuntos que não são duplicados para que fiquem fora dos resultados futuros.

Monte uma pesquisa em que você possa confiar

O número certo é aquele em que você confia

Uma contagem maior de duplicados parece progresso, mas muitas vezes significa uma pesquisa mais frouxa. Confira uma amostra, compare pesquisas sobre os mesmos registros e use a contagem que você consegue mesclar com confiança. O resto cabe à revisão manual.

Perguntas frequentes

Por que a minha contagem de duplicados dobrou depois de mudar uma configuração?

Geralmente porque um campo foi afrouxado, por exemplo de Exact para Similar ou Fuzzy. Confira uma amostra das novas correspondências para ver se são reais.

Uma ferramenta que encontra mais duplicados é melhor?

Não só por isso. Compare quantas das correspondências são reais no mesmo conjunto de registros.

Como saber se uma pesquisa está ampla demais?

Confira uma amostra de 20 conjuntos. Se mais de dois ou três não forem duplicados, ou se os grupos forem muito grandes, aperte a pesquisa antes da mesclagem em massa.

O que infla a contagem de duplicados?

Correspondências com vários campos frouxos, correspondência por um campo fraco, valores de marcador e filtros ausentes.

O que devo reportar no lugar da contagem total?

A contagem por objeto e por pesquisa, e quantas das amostras conferidas eram duplicados reais.