Visualizza in Markdown

TL;DR

  • Un numero di duplicati più alto non è un risultato migliore. Spesso significa una ricerca più larga con più falsi abbinamenti.
  • Allargare tutti i campi insieme, abbinare su un solo campo debole o saltare i filtri gonfiano tutti il conteggio.
  • Il numero utile è quante corrispondenze sono reali, e lo può mostrare solo un campione verificato.
  • Confronta strumenti e ricerche per precisione sugli stessi record, non per la grandezza del numero.
  • In Dedupely, ogni ricerca mostra i campi e le opzioni di corrispondenza che usa, così puoi vedere da dove arriva un conteggio.

La prima volta che un team esegue una ricerca di duplicati, il numero attira l'attenzione di tutti. Poi qualcuno allenta un'impostazione e il numero raddoppia. Poi un altro strumento ne mostra uno più grande. È tentante considerare il numero più alto come il risultato più completo.

Di solito no. Un conteggio dei duplicati vale quanto le corrispondenze che contiene. Questo articolo spiega perché i conteggi crescono, quando un conteggio più alto è un segnale d'allarme e cosa misurare invece.

Perché il conteggio sale

I conteggi dei duplicati crescono per motivi buoni e cattivi.

Buoni motivi: una ricerca inizia a trovare duplicati reali che prima sfuggivano, come refusi, soprannomi o numeri di telefono in formati diversi.

Motivi sbagliati:

  • Ogni campo viene reso meno restrittivo in una volta sola. La corrispondenza Similar o Fuzzy su nome, azienda e città insieme abbina persone che semplicemente si somigliano.
  • La ricerca si basa su un campo debole. Un nome di battesimo, una città o un nome aziendale generico corrisponde a migliaia di record non collegati.
  • I valori segnaposto corrispondono tra loro. «N/A», «test@test.com» o «Unknown» diventano gruppi enormi.
  • Nessun filtro. Vecchi record di test, utenti interni e partner finiscono tutti nei risultati.

Dall'esterno, entrambi i tipi di crescita sembrano uguali: un numero più alto.

Quando un conteggio più alto è un segnale d'allarme

Guarda meglio quando:

  • Il conteggio salta dopo che cambia un'impostazione, molto più di quanto ti aspetti.
  • I gruppi diventano molto grandi. Un gruppo con molti record raramente è una persona o un'azienda sola.
  • Un campione è per lo più sbagliato. Se più di due o tre su un campione di 20 non sono duplicati, la ricerca è troppo larga per l'unione in blocco.
  • Gli stessi pochi valori compaiono ovunque, come una casella condivisa o un numero di telefono predefinito.

Che cosa misurare invece

Le domande utili sono:

Invece di Chiedi
Quanti duplicati ha trovato? Quante su un campione di 20 sono reali?
Quale strumento ne trova di più? Quale delle due è giusta più spesso sugli stessi record?
Quanto può crescere il numero? Quanti possiamo unirne senza verificarne uno per uno?
Qual è il totale? Qual è il totale per ogni oggetto e per ogni ricerca?

Una ricerca che trova meno duplicati ma è giusta quasi sempre è quella da cui puoi unire in blocco. Una ricerca grande e rumorosa è meglio usarla per la revisione manuale, pochi gruppi alla volta.

Come Dedupely mostra da dove arriva il conteggio

In Dedupely, ogni Duplicate Search mostra i campi e le opzioni di corrispondenza che usa, così puoi capire perché un conteggio è alto: Exact, Similar, Fuzzy, Similar Words o Domain Root, campo per campo. I filtri restringono i record cercati, i termini ignorati escludono le parole segnaposto, e due valori vuoti non corrispondono mai. Le Safety Settings trattengono i gruppi con più di 20 record e i dati segnaposto delle unioni in blocco, e puoi rifiutare i gruppi che non sono duplicati, così restano fuori dai risultati futuri.

Costruisci una ricerca di cui ti puoi fidare

Il numero giusto è quello di cui ti fidi

Un numero di duplicati più alto sembra un progresso, ma spesso significa una ricerca più larga. Verifica un campione, confronta le ricerche sugli stessi record e usa il numero che puoi unire con sicurezza. Il resto va nella revisione manuale.

Domande frequenti

Perché il mio conteggio dei duplicati è raddoppiato dopo aver cambiato un'impostazione?

Di solito perché un campo è stato reso meno restrittivo, per esempio da Exact a Similar o Fuzzy. Verifica un campione delle nuove corrispondenze per capire se sono reali.

Uno strumento che trova più duplicati è migliore?

Non solo con quello. Confronta quante delle sue corrispondenze sono reali sullo stesso insieme di record.

Come faccio a capire se una ricerca è troppo larga?

Verifica un campione di 20 gruppi. Se più di due o tre non sono duplicati, o i gruppi sono molto grandi, restringi la ricerca prima dell'unione in blocco.

Cosa gonfia un conteggio di duplicati?

Corrispondenze larghe su più campi, corrispondenza su un solo campo debole, valori segnaposto e filtri mancanti.

Cosa dovrei riportare al posto del conteggio totale?

Il conteggio per oggetto e per ricerca, e quanti duplicati reali ci sono in un campione verificato.