TL;DR
- Eine große CRM-Datenbank braucht länger zum Synchronisieren und lässt sich nicht Gruppe für Gruppe prüfen.
- API-Limits des CRM können den ersten Sync einer Datenbank mit Millionen Datensätzen verlangsamen.
- Sehr große Duplikatgruppen stammen meist aus Platzhalterwerten oder gemeinsamen Postfächern, halten Sie sie also zurück.
- Führen Sie eine große Datenbank in Phasen zusammen, beginnend mit exakten E-Mail- oder Domain-Treffern.
- Dedupely synchronisiert Datenbanken mit Millionen Datensätzen und führt Tausende Treffer in Minuten per Bulk-Merge zusammen.
Ein CRM mit Millionen Datensätzen hat dieselben Arten von Duplikaten wie ein kleines. Was sich ändert, ist alles drumherum. Das Laden der Daten dauert länger, Suchen liefern mehr Gruppen, und mehr Teams spüren jeden Merge.
In dieser Größenordnung kann niemand jeden Treffer ansehen. Die Bereinigung muss auf Kriterien beruhen, denen Sie vertrauen, auf Schutzmechanismen, die auffangen, was die Kriterien übersehen, und auf einem Protokoll jeder Änderung.
In diesem Beitrag sehen Sie, was sich ändert, wenn eine Datenbank groß wird, und wie Sie die erste Synchronisierung planen. Außerdem sehen Sie, wie Sie mit übergroßen Treffern umgehen, in Phasen zusammenführen und eine Spur behalten, die späteren Fragen standhält.
Was sich ändert, wenn eine CRM-Datenbank groß wird
Größe allein macht eine Bereinigung nicht schwer. Unser Beitrag über komplexe CRM-Deduplizierung im großen Maßstab erklärt, warum klare Kriterien mehr zählen als Datensatzzahlen. Die Größe ändert allerdings, wie Sie die Arbeit planen.
| Was sich ändert | Warum es wichtig ist |
|---|---|
| Das Laden der Daten dauert länger | Der erste Sync einer großen Datenbank kann Stunden dauern, planen Sie ihn also vor Beginn der Bereinigung |
| Suchen liefern Tausende Gruppen | Sie entscheiden über Kriterien und Stichproben statt über jede Gruppe |
| Schlechte Werte wiederholen sich in großem Stil | Eine Platzhalter-Telefonnummer kann Hunderte Datensätze verbinden |
| Mehr Systeme speisen das CRM | Während Sie bereinigen, kommen weiter neue Duplikate aus Formularen, Importen und Integrationen |
| Mehr Menschen verlassen sich auf jeden Datensatz | Eine falsche Regel betrifft viele Teams auf einmal, also brauchen Änderungen einen Verantwortlichen und eine Aufzeichnung |
Mit den Objekten beginnen, die Sie gerade bereinigen
Ein großes CRM muss selten alle Objekte auf einmal bereinigen. Wählen Sie die Objekte, bei denen Duplikate heute die meisten Probleme machen, oft Kontakte und Firmen, und beginnen Sie dort.
Zählen Sie vor dem Start die Datensätze in jedem. Viele Tools, die sich mit einem CRM verbinden, synchronisieren ganze Objekte, und manche berechnen nach der Zahl der synchronisierten Datensätze. Nur die Objekte zu aktivieren, an denen Sie arbeiten, hält den ersten Sync kürzer und die Zahl niedriger.
Bearbeiten Sie ein Objekt nach dem anderen und schließen Sie seine Etappen ab, bevor Sie das nächste aktivieren.
Rund um den ersten Sync planen
Bevor ein Tool Duplikate finden kann, muss es Ihre Datensätze lesen. Bei einer Datenbank mit Millionen davon kann dieser erste Sync Stunden dauern.
Die API-Limits Ihres CRM können die erste Synchronisierung verlängern, planen Sie also Puffer ein.
- Starten Sie den ersten Sync, wenn Sie am selben Tag keine Ergebnisse brauchen.
- Vermeiden Sie gleichzeitig einen großen Import oder eine Migration.
- Sagen Sie Ihrem CRM-Admin Bescheid, damit eine langsamere Integration nicht wie ein Ausfall aussieht.
Übergroße Treffer zurückhalten
In einer großen Datenbank kann ein einziger falscher Wert eine Gruppe mit Hunderten Datensätzen erzeugen. Solche Gruppen sind selten ein Kunde. Meist teilen sie einen Platzhalter, einen Testwert oder ein geteiltes Postfach.
- Platzhalter-Telefonnummern wie 0000000000 oder 1234567890.
- Beispieldaten wie test@test.com oder „John Doe“.
- Gemeinsame Postfächer wie info@ oder sales@, die viele Personen in Formularen genutzt haben.
- Firmendomains, die zu einem großen Konzern mit vielen getrennten Büros gehören.
Halten Sie jede Gruppe über einer von Ihnen festgelegten Größe zurück, etwa 20 Datensätze, und sehen Sie sie sich separat an. Unser Beitrag über Platzhalterwerte, die Datensätze wie Duplikate aussehen lassen erklärt, wie Sie sie finden.
Phasenweise zusammenführen
Eine große Bereinigung in einem Durchgang lässt keinen Raum zum Lernen. Deshalb führen fast alle Teams mit großer Datenbank in Phasen zusammen und prüfen jede Runde, bevor die nächste läuft.
| Phase | Was zusammengeführt wird | Was zu prüfen ist |
|---|---|---|
| 1. Testen | Eine Gruppe, dann eine Seite Gruppen aus Ihrer strengsten Suche | Jeder zusammengeführte Datensatz, im CRM geöffnet |
| 2. Exakte Treffer | Exakte E-Mail- oder Domain-Treffer, per Bulk-Merge | Eine Zufallsstichprobe zusammengeführter Datensätze |
| 3. Kombinierte Felder | Lockerere Treffer, die ein zweites Feld bestätigt, etwa Name und Firma | Eine größere Stichprobe, einschließlich Grenzfällen |
| 4. Prüfung | Gruppen, die einen Menschen brauchen, auch die übergroßen | Jede Gruppe, durch jemanden, der die Datensätze kennt |
Lassen Sie zwischen den Phasen Zeit, damit die Nutzer des CRMs Probleme bemerken. Unser Beitrag was Sie nach einem großen Merge prüfen sollten listet auf, worauf Sie nach jeder Runde achten sollten.
Jede Änderung nachvollziehbar halten
Bei Tausenden Merges wird jemand nach einem davon fragen. Ein Vertriebler findet einen Account nicht, oder die Finanzabteilung sieht die Kundenzahl sinken.
Zwei Arten von Aufzeichnungen beantworten diese Fragen. Eine Merge-Historie zeigt, was jeder Merge geändert hat, mit den Originalwerten. Ein Aktivitätsprotokoll zeigt, wer wann jeden Merge ausgeführt, eine Suche geändert oder eine Automatisierung eingeschaltet hat.
Legen Sie vor dem ersten Massen-Merge fest, wo beides liegt und wer es sehen darf. Unser Beitrag zu warum Sie jeden Merge protokollieren sollten erklärt, was ein nützliches Protokoll zeigt.
Verhindern, dass neue Duplikate nachwachsen
Ein großes CRM nimmt während der Bereinigung weiter Datensätze auf. Bleiben die Quellen der Duplikate gleich, wächst die Zahl wieder.
Sind Ihre Regeln getestet, können Sie neue Duplikate, bei denen Sie sicher sind, etwa exakte E-Mail-Treffer, automatisch nach Zeitplan zusammenführen. Schicken Sie den Rest regelmäßig in die Prüfung, damit sich der Rückstand nicht wieder aufbaut.
Wie Dedupely mit großen CRM-Datenbanken umgeht
Ein Dedupely-Kunde hat über 18 Millionen Datensätze synchronisiert, und ein Bulk-Merge einiger Tausend Treffer dauert Minuten. Der erste Sync dauert 3 bis 10 Stunden für 600.000 bis 1 Million Datensätze, bei den größten Datenbanken länger.
Standardmäßig schließt Dedupely riskante Treffer aus, etwa Gruppen mit mehr als 20 Datensätzen oder Platzhalterdaten. Sie warten in einem eigenen Tab darauf, dass Sie sie zusammenführen, ablehnen oder prüfen.
Jeder Merge wird mit seinen Originalwerten erfasst und lässt sich als CSV exportieren, und ein Audit-Protokoll zeigt, wer was getan hat. Sie wählen, welche Objekte synchronisiert werden, und können also mit denen beginnen, die Sie gerade bereinigen.
Für die Größe planen, Kriterien festlegen
Eine große CRM-Datenbank braucht keine andere Vorstellung davon, was ein Duplikat ist. Sie braucht einen Plan, der ihre Größe berücksichtigt: einen vorab eingeplanten ersten Sync, zurückgestellte übergroße Gruppen und Merges in Etappen.
Vor allem braucht es Kriterien, denen Sie vertrauen, und ein Protokoll jeder Änderung. Damit werden Millionen Datensätze zu einer Reihe von Etappen, die Sie einzeln prüfen können.
Häufige Fragen
Wie dedupliziert man ein CRM mit Millionen Datensätzen?
Beginnen Sie mit einem Objekt, etwa Kontakten, und planen Sie den ersten Sync voraus, da er Stunden dauern kann. Halten Sie übergroße Treffer auf Basis von Platzhalterwerten zurück. Führen Sie dann in Phasen zusammen, von exakten E-Mail- oder Domain-Treffern zu lockereren, und prüfen Sie nach jeder Phase eine Stichprobe zusammengeführter Datensätze.
Warum dauert der Sync eines großen CRMs so lange?
Jeder Datensatz muss über die API des CRM gelesen werden, und die API-Limits Ihres CRM können die erste Synchronisierung verlängern. Bei einer Datenbank mit Millionen Datensätzen ist eine erste Synchronisierung von mehreren Stunden normal. Planen Sie sie vorab und vermeiden Sie gleichzeitig einen großen Import oder eine Migration.
Lassen sich Tausende Duplikate auf einmal zusammenführen?
Ja, viele Deduplizierungstools können Tausende Duplikatgruppen in einem Schritt zusammenführen, daher liegt das Risiko in den Kriterien, nach denen Sie zusammenführen. Testen Sie die Suche an einer Gruppe und einer Seite und prüfen Sie die Ergebnisse in Ihrem CRM. Führen Sie dann den Rest dieser Suche mit denselben Kriterien per Bulk-Merge zusammen.
Warum enthält eine Duplikatgruppe Hunderte Datensätze?
Meist, weil die Datensätze einen Wert teilen, der nicht echt ist, etwa eine Platzhalter-Telefonnummer, test@test.com oder ein gemeinsames Postfach wie info@. Diese Gruppen sind selten ein Kunde. Halten Sie sie aus Bulk-Merges heraus und prüfen Sie sie separat, oder lassen Sie diesen Wert aus dem Abgleich.
Wie behalten Sie den Überblick über Tausende Merges?
Führen Sie eine Merge-Historie, die die Originaldatensätze und die gewinnenden Werte zeigt, idealerweise exportierbar. Ergänzen Sie ein Aktivitätsprotokoll, wer jeden Merge ausgeführt und jede Suche geändert hat. Legen Sie vor dem ersten Bulk-Merge fest, wer beides sehen darf, denn Fragen kommen meist erst Wochen später.
Oder mit Google registrieren
HubSpot Marketplace 
