TL;DR
- Aplicativos de planilhas removem linhas com valores idênticos nas colunas que você escolher.
- Um script serve para importações grandes ou repetidas, se alguém na equipe escrever código.
- As apps de preparação de dados agrupam grafias parecidas, como nomes de empresa escritos de várias formas.
- As ferramentas de planilhas apagam as linhas a mais, por isso os valores de uma linha apagada perdem-se.
- O Dedupely encontra e mescla duplicados dentro de um arquivo CSV, para importar registros limpos.
Uma importação CSV é uma das formas mais rápidas de acrescentar registros a um CRM, e uma das mais rápidas de acrescentar duplicados. As listas de eventos, as listas compradas e as exportações de outras ferramentas raramente chegam limpas.
O arquivo pode ter a mesma pessoa duas vezes, espaços a mais e formatos misturados. Muitas equipes usam a ferramenta que já têm aberta, e cada uma trata essa confusão de forma diferente.
Neste artigo, verá o que as planilhas, os scripts e as apps de preparação de dados fazem a um arquivo antes de uma importação. Verá também o que cada um elimina e onde cada um fica aquém.
O que uma ferramenta de limpeza tem que tratar
Um arquivo de importação tem dois tipos de problemas: valores desarrumados e o mesmo registro mais do que uma vez. As ferramentas abaixo diferem sobretudo na forma como tratam o segundo, e no que acontece aos dados que removem.
Corrija primeiro os formatos, porque espaços a mais ou maiúsculas misturadas impedem dois valores de corresponder. Depois procure duplicados, começando por o campo que identifica cada registro, como o email ou o domínio.
Aplicativos de planilhas
As planilhas são onde muitas importações são verificadas, porque toda a gente tem uma. Tratam bem os duplicados exatos em arquivos pequenos.
O que fazem as planilhas
A maioria dos aplicativos de planilhas tem um comando para remover duplicados. Você escolhe quais colunas comparar, e as linhas duplicadas são apagadas de vez, então copie os dados primeiro.
Antes de remover o que quer que seja, pode realçar duplicados com formatação condicional, ou filtrar só registros únicos. Uma função ou comando de corte remove espaços a mais, mantendo um espaço entre palavras.
Pormenores que importam para os dados do CRM
Alguns aplicativos comparam o valor exibido, então a mesma data mostrada como "12/8/2017" e "Dec 8, 2017" conta como dois valores diferentes. Outros tratam células como duplicadas mesmo quando as maiúsculas e minúsculas são diferentes.
Remover espaços deixa muitas vezes o espaço não separável copiado de páginas web. Por causa dele, dois valores que parecem idênticos podem não corresponder.
Até onde vão os aplicativos de planilhas
Os aplicativos de planilha só encontram valores idênticos. "Jon Smith" e "Jonathan Smith" com emails diferentes ficam como duas linhas.
Além disso, eliminam linhas em vez de as mesclar. Se a linha eliminada tinha o único número de telefone, esse número perde-se, e pode não saber que linha foi mantida.
Código: um script
Para arquivos grandes ou importações que se repetem todas as semanas, um script dá o mesmo resultado sempre. As bibliotecas de dados das linguagens de programação comuns têm uma função para isso.
O que faz um script
Uma função de remover duplicados normalmente compara todas as colunas por padrão, ou apenas as colunas que você listar. Você escolhe se mantém a primeira linha, a última ou nenhuma de cada grupo.
As funções de texto, como passar para minúsculas ou retirar espaços, permitem limpar uma coluna antes de a comparar. Como os passos ficam num script, a importação seguinte recebe exatamente o mesmo tratamento.
Onde o código para
Um script compara valores exatos, então as correspondências aproximadas precisam de lógica extra que você mesmo escreve. Cada nova exceção, como apelidos ou sufixos de empresa, acrescenta código para manter.
Também precisa de alguém que escreva código, e a próxima pessoa tem que perceber o script.
Apps de preparação de dados
Os aplicativos de preparação de dados são feitos para limpar dados bagunçados. O agrupamento deles encontra grupos de valores diferentes que podem ser a mesma coisa, como "Acme Inc" e "ACME, Inc.".
Costumam oferecer vários métodos, desde os rigorosos com poucas correspondências falsas até aos fonéticos e de distância de edição, que apanham mais variações. O agrupamento edita os valores das células para um grupo compartilhar um valor.
Não mesclam as linhas, por isso ainda tem que remover os duplicados depois. Funcionam melhor como passo antes de uma das outras ferramentas.
Como as ferramentas se comparam
| Aplicativos de planilhas | Um script | Apps de preparação de dados | |
|---|---|---|---|
| Encontra | Valores idênticos | Valores exatos, mais qualquer lógica que escreva | Grupos de valores semelhantes |
| Escolher colunas | Sim | Sim | Por coluna |
| Que linha fica | Muitas vezes não é indicado | Primeira, última ou nenhuma | Não aplicável: edita valores |
| Mescla valores das duas linhas | Não | Só com código escrito por si | Não |
| Competências necessárias | Conhecimentos básicos de planilhas | Programação | Aprender a usar a app |
Como escolher uma ferramenta de limpeza
A ferramenta certa depende do arquivo, da equipe e da frequência com que importa. O que conta como duplicado também varia de equipe para equipe, por isso decida isso antes de escolher.
- Um aplicativo de planilhas serve para arquivos pequenos e pontuais em que bastam correspondências exatas de email ou domínio.
- Um script serve para importações grandes ou recorrentes, quando alguém na equipe escreve e mantém código.
- Uma app de preparação de dados serve para arquivos com muitas variações de escrita em nomes ou campos de empresa.
- Uma ferramenta de deduplicação serve para arquivos que precisam de correspondências aproximadas e valores mesclados de várias linhas.
Seja qual for a escolha, comece pelos duplicados óbvios: correspondências exatas de email para pessoas e de domínio para empresas. Guarde o arquivo original para poder voltar a ele.
Antes de importar, compare o número de linhas antes e depois da limpeza. Depois abra uma amostra das linhas removidas e verifique se cada uma era um duplicado que queria remover.
Como o Dedupely limpa um CSV antes de uma importação
Envie a lista para o Dedupely, mescle os duplicados dentro dela com regras sobre qual valor ganha, e baixe os registros limpos para importar. Você visualiza a prévia de cada mesclagem, e, quando os registros estiverem no seu CRM conectado, os duplicados em relação a registros existentes são encontrados e mesclados ali. Envios de CSV são ilimitados, e os registros de CSV não contam para o limite de registros do plano.
Escolha a ferramenta que serve o arquivo
Aplicativos de planilhas, scripts e aplicativos de preparação de dados resolvem cada um parte da limpeza de uma importação. Corrigem bem formatos e removem duplicados exatos, mas param nas correspondências aproximadas e nos valores espalhados por várias linhas.
O arquivo é o lugar mais barato para corrigir duplicados. Nada depende dessas linhas ainda, então cada duplicado que você pegar ali é um que não precisará mesclar depois.
Perguntas frequentes
Qual é a melhor ferramenta para limpar um CSV antes de uma importação para o CRM?
Depende do arquivo. Um aplicativo de planilhas lida com arquivos pequenos com duplicados exatos por email ou domínio, e um script serve para importações grandes ou recorrentes se alguém escrever código. Um aplicativo de preparação de dados ajuda com variações de grafia, e uma ferramenta de deduplicação serve para arquivos que precisam de correspondências próximas e valores mesclados.
Remover duplicados numa planilha elimina os dados de vez?
Sim. O comando de remover duplicados de uma planilha apaga as linhas a mais, por isso copie primeiro os dados originais. Pode não saber que linha fica, por isso destaque os duplicados e copie qualquer valor que só exista numa linha que vai apagar.
Remover duplicados numa planilha distingue maiúsculas de minúsculas?
Depende da app. Algumas tratam células como duplicadas mesmo com maiúsculas ou formatação diferentes, e outras comparam o valor apresentado. Retire primeiro os espaços a mais, porque podem impedir dois valores de coincidir, e procure espaços inquebráveis que o corte deixa.
Como removo duplicados de um CSV com um script?
Use a função de remover duplicados da sua biblioteca de dados, que normalmente compara todas as colunas e mantém a primeira linha de cada grupo. Indique só as colunas a comparar, como o email, e escolha se mantém a primeira linha, a última ou nenhuma. Passe as colunas de texto a minúsculas e retire espaços antes de comparar.
Uma planilha consegue encontrar contatos quase duplicados?
Não só com planilhas, porque os aplicativos de planilha removem valores idênticos, então erros de digitação, apelidos e sufixos de empresas passam despercebidos. Padronizar os formatos primeiro pega algumas variações, mas correspondências aproximadas costumam exigir código ou uma ferramenta feita para correspondência fuzzy. De qualquer forma, revise uma amostra antes de importar.
Ou cadastre-se com o Google
