TL;DR
- Duplikate kommen nach einer Bereinigung zurück, wenn die Formulare, Tools und Importe dahinter weiterlaufen.
- 1.000 Duplikate von Hand einzeln zu prüfen, kann einen ganzen Tag dauern.
- Jede Duplikatquelle hinterlässt ihr eigenes Muster, daher braucht jede Quelle ihre eigene Suche.
- Neue Duplikate automatisch nach Zeitplan zusammenzuführen funktioniert am besten, wenn jede Suche getestet ist.
- Dedupely führt den Rückstau per Bulk-Merge zusammen und kann neue Duplikate jeder Quelle automatisch zusammenführen.
Duplikate kommen immer wieder, weil die Formulare, Integrationen, Importe und Personen, die sie erzeugt haben, weiter Datensätze hinzufügen. Eine Bereinigung räumt den Rückstand ab, und diese Quellen beginnen am nächsten Morgen einen neuen.
Wenn Sie der Admin sind, kennen Sie den Kreislauf. Sie verbringen Tage mit Zusammenführen, das CRM wirkt eine Woche lang sauber, und dann tauchen dieselben Arten von Duplikaten wieder auf. Schneller zu arbeiten ändert nichts am Ergebnis, weil die Arbeit nie endet.
In diesem Beitrag sehen Sie, warum manuelle Bereinigung so lange dauert und nicht mithalten kann. Außerdem sehen Sie, wie Sie jede Quelle neuer Duplikate finden, eine Suche dafür bauen und automatisch nach Zeitplan zusammenführen.
Warum Bereinigung Stunden oder Tage dauert
Zusammenführen von Hand ist langsam, weil jede Gruppe eine Entscheidung braucht. Sie öffnen die Datensätze, vergleichen die Felder, wählen, was bleibt, und führen zusammen. Dann wiederholen Sie es für die nächste Gruppe.
Teams, die das im großen Stil machen, beschreiben die Kosten nüchtern. Ein Team schätzte einen vollen Arbeitstag pro 1.000 einzeln geprüfter Duplikate. Andere führen wochenlang etwa 300 am Tag von Hand zusammen und haben immer noch Tausende übrig.
In dieser Größenordnung kann das Zusammenführen einzeln Hunderte von Stunden dauern.
Die Zeit wächst auch mit der Unsicherheit. Exakte E-Mail-Treffer sind in Sekunden bestätigt. Nahe Treffer, gemeinsame Telefonnummern und Datensätze mit leeren Feldern dauern länger, und genau diese Gruppen bleiben „für später“ liegen.
Warum Duplikate nach einer Bereinigung zurückkommen
Eine Bereinigung repariert Datensätze. Sie ändert nicht, was sie erzeugt, also läuft der Zufluss im selben Tempo weiter.
Die Quellen laufen weiter
Webformulare, Buchungstools, Telefon- und Call-Tracking-Apps, Anreicherungstools, Listenimporte und Synchronisierungen mit anderen Systemen fügen alle Datensätze hinzu. Viele legen einen neuen Datensatz an, wenn sie keinen exakten Treffer finden. Jede Quelle wird ausführlicher behandelt in CRM-Deduplizierung über Tools hinweg.
Auch Menschen legen Datensätze an
Vertriebler fügen Kontakte aus ihrem Postfach hinzu, importieren eigene Listen und legen eine Firma an, die sie in der Suche nicht gefunden haben. Jede Gewohnheit fügt pro Woche ein paar Datensätze hinzu, und das summiert sich im Team.
Wer eine Schicht bereinigt, sieht die nächste
Manche Teams stellen fest, dass nach einer erledigten Charge gleich die nächste auftaucht.
Der erste Durchgang erfasst meist exakte Treffer. Dann werden knappe Treffer sichtbar: ein Tippfehler in einer E-Mail, eine Telefonnummer in anderem Format, eine Firma mit zwei Domains. Für den Admin sieht es aus, als wäre das Problem größer geworden.
Manuelles Zusammenführen läuft in festem Tempo
Eine Person kann pro Tag eine begrenzte Zahl von Datensätzen zusammenführen. Neue Duplikate kommen jeden Tag, auch an Wochenenden und an freien Tagen des Admins. Bei 25 neuen Duplikaten pro Tag warten nach einer Woche Abwesenheit 175 Gruppen auf Ihre Rückkehr.
So durchbrechen Sie den Kreislauf
Die Lösung ist, Rückstand und Zufluss als zwei verschiedene Aufgaben zu behandeln. Der Rückstand wird einmal abgearbeitet. Den Zufluss übernehmen Suchen, die von selbst laufen, eine pro Quelle.
Finden Sie heraus, woher neue Duplikate kommen
Sehen Sie sich die Duplikate der letzten Wochen an, nicht die ganze Datenbank. Prüfen Sie bei jeder Gruppe Erstellungsdatum, das Feld für Quelle oder ursprüngliche Quelle und den Nutzer oder die Integration, die sie angelegt hat. Zwei oder drei Quellen stechen meist schnell hervor.
Halten Sie sie in einer kurzen Liste fest. Diese Liste bestimmt, welche Suchen Sie brauchen und welche Korrekturen an der Quelle ansetzen, etwa ein Formular, das Datensätze aktualisieren statt anlegen sollte.
Eine Suche pro Quelle anlegen
Jede Quelle erzeugt meist Duplikate derselben Form. Eine einzige Suche für alles übersieht diese Muster oder paart Datensätze, die keine Duplikate sind. Eine Suche für eine Quelle kann dort streng sein, wo diese Quelle verlässlich ist.
| Quelle | Wie seine Duplikate oft aussehen | Felder, die sie oft finden |
|---|---|---|
| Webformulare und Buchungstools | Gleiche Person, gleiche E-Mail, neuer Datensatz bei jeder Einsendung | E-Mail plus Vor- und Nachname |
| Telefon- und Call-Tracking-Apps | Dieselbe Nummer in anderem Format, oft ohne Name oder E-Mail | Telefon, ohne Formatierung verglichen |
| Anreicherungs- und Prospecting-Tools | Firmenname anders geschrieben, gleiche Domain | Kern-Domain der Firma, plus Firmenname |
| Listen- und Event-Importe | Gleicher Name und gleiche Firma, andere oder fehlende E-Mail | Vorname, Nachname und Firma |
| Vertriebler legen Datensätze an | Private und geschäftliche E-Mail einer Person | Name und Telefon oder Name und Firma |
Was als Duplikat zählt, ist Einzelfallsache, passen Sie das also an Ihre Daten an. Zwei Personen mit gemeinsamem Festnetzanschluss sind zum Beispiel nicht eine Person.
Testen Sie jede Suche, bevor Sie ihr vertrauen
Führen Sie ein paar Gruppen der Suche von Hand zusammen und öffnen Sie das Ergebnis im CRM. Dann eine Seite gesammelt zusammenführen und eine Stichprobe prüfen. Lehnen Sie jeden Fehltreffer ab, damit er in späteren Läufen draußen bleibt.
Eine Suche ist bereit, wenn sie Sie nicht mehr überrascht. Liefert eine Quelle immer wieder falsche Treffer, schärfen Sie ihre Suche, statt jede Gruppe von Hand zu prüfen.
Erst Benachrichtigungen, dann automatisches Zusammenführen
Beginnen Sie mit Benachrichtigungen. Eine Suche kann nach Zeitplan auf neue Duplikate prüfen und Ihnen eine E-Mail schicken, wenn sie eine festgelegte Zahl erreichen. So sehen Sie, wie schnell jede Quelle sie erzeugt, ohne etwas zusammenzuführen.
Hat sich eine Suche bewährt, führen Sie ihre neuen Duplikate automatisch nach Zeitplan zusammen und lassen unklare Gruppen zur Prüfung. Die Vor- und Nachteile, Duplikate beim Anlegen oder nach Zeitplan zu erfassen, behandelt unser Beitrag zum Erkennen von CRM-Duplikaten beim Anlegen oder nach Zeitplan.
Einen kurzen Prüfrhythmus beibehalten
Automatisierung erledigt die Muster, die Sie kennen. Eine kurze regelmäßige Prüfung erfasst neue, etwa eine neue Integration oder ein geändertes Formular. Wie oft Sie diese Prüfung machen, hängt davon ab, wie viele neue Daten Sie bekommen, wie unser Beitrag dazu erklärt, wie oft Sie Ihr CRM deduplizieren sollten.
Wie Dedupely verhindert, dass Duplikate zurückkommen
In Dedupely bauen Sie für jede Quelle eine Duplikatsuche und führen den Rückstau per Bulk-Merge zusammen, mit einer Vorschau jedes Merges. Ist eine Suche getestet, bekommen Sie eine E-Mail, wenn neue Treffer eine festgelegte Zahl erreichen, und können sie dann automatisch nach Zeitplan zusammenführen. Große Gruppen und Platzhalterdaten werden standardmäßig zurückgehalten und warten auf einen Menschen.
Von Bereinigungsprojekten zu einer Routine, die mithält
Duplikate kommen wieder, weil ihre Quellen nie aufgehört haben. Schneller von Hand zusammenzuführen verkürzt nur die Pause zwischen zwei Bereinigungen.
Jede Quelle zu finden, ihr eine getestete Suche zu geben und das Sichere nach Zeitplan zusammenzuführen, macht die Bereinigung zur Routine. Die Stunden fließen in die Fälle, die einen Menschen brauchen, und der Rest läuft ohne Sie.
Häufige Fragen
Warum kommen Duplikate in meinem CRM immer wieder?
Weil die Formulare, Integrationen, Importe und Personen, die sie erzeugt haben, weiter Datensätze hinzufügen. Eine Bereinigung entfernt bestehende Duplikate, ändert aber nicht die Quellen. Finden Sie heraus, welche Quellen die meisten neuen Duplikate erzeugen, bauen Sie für jede eine Suche und führen Sie deren neue Duplikate regelmäßig zusammen.
Wie lange dauert es, Duplikate manuell zusammenzuführen?
Ein Team schätzte einen ganzen Tag pro 1.000 einzeln geprüfter Duplikate, und es hängt davon ab, wie sicher die Treffer sind. Exakte E-Mail-Treffer sind schnell bestätigt. Ähnliche Treffer, gemeinsame Telefonnummern und Datensätze mit leeren Feldern dauern länger, weil jede Gruppe vor dem Merge genauer angesehen werden muss.
Wie finde ich heraus, was Duplikate erzeugt?
Sehen Sie sich die Duplikate der letzten Wochen an. Prüfen Sie bei jeder Gruppe Erstellungsdatum, Quellfeld und den Nutzer oder die Integration, die den Datensatz angelegt hat. Zwei oder drei Quellen erklären meist die meisten, und dort fangen Sie an.
Ist es sicher, Duplikate automatisch zusammenzuführen?
Das kann es, für getestete Suchen. Führen Sie einige Gruppen von Hand zusammen, dann eine Seite per Bulk-Merge, und lehnen Sie falsche Treffer ab. Sind die Ergebnisse stabil, führen Sie neue Duplikate, bei denen Sie sicher sind, etwa exakte E-Mail-Treffer, automatisch nach Zeitplan zusammen und lassen unklare Gruppen in der Prüfung.
Kann ich das Entstehen von Duplikaten ganz verhindern?
Sie können sie reduzieren. Formulare können bestehende Datensätze per E-Mail aktualisieren, Importe zuerst nach Treffern suchen und Vertriebler vor dem Anlegen suchen. Einige Duplikate rutschen trotzdem durch, etwa Tippfehler und zweite E-Mail-Adressen, deshalb bleibt eine regelmäßige Suche nach neuen Duplikaten nötig.
Oder mit Google registrieren
Pipedrive Marketplace 
