Eine große Datenbank deduplizieren

Eine große Datenbank ab 480.000 Datensätzen braucht dieselben Schritte wie jedes Deduplizierungsprojekt, in fester Reihenfolge: nur die benötigten Objekte synchronisieren, den ersten Sync einplanen, vor dem Zusammenführen testen, in Phasen zusammenführen und zuletzt automatisieren. Dedupely bewältigt Datenbanken mit Millionen Datensätzen, mit Plänen bis 20 Millionen und Bulk-Merges von Tausenden Treffern auf einmal. Dieses Playbook zeigt, wie Sie vorgehen, damit jede Phase geprüft wird, bevor die nächste beginnt.

Schritt 1: Nur die benötigten Objekte synchronisieren

Ein ganzes Objekt wird synchronisiert, daher zählt jeder Datensatz eines aktivierten Objekts zu Ihrem Datensatzlimit. Legen Sie vor dem Verbinden fest, welche Objekte Sie zuerst deduplizieren.

• Schalten Sie nur diese Objekte ein in CRM Settings. Weitere können Sie später einschalten.
• Beginnen Sie mit dem Objekt, das die meisten Probleme macht, meist Contacts oder Companies.
• Sandbox-Datensätze zählen mit, wie jeder andere synchronisierte Datensatz.

Bis zu 10 % über Ihrem Datensatzlimit funktioniert alles 10 Tage lang weiter, während Sie upgraden oder Objekte abschalten. Bei mehr als 10 % oder wenn Sie nach 10 Tagen noch darüber liegen, wird Ihr Konto schreibgeschützt: Synchronisierung und Scans laufen weiter, aber Merges stoppen. Dedupely upgradet Ihren Plan nie und berechnet keine Überschreitung. Siehe Billing & Usage.

Schritt 2: Um die erste Synchronisierung herum planen

Der erste Sync einer großen Datenbank dauert Stunden, nicht Minuten:

Nach dem ersten Sync aktualisiert Dedupely alle 10–30 Minuten und findet neue Datensätze innerhalb von 1–5 Minuten. Der Sync führt in Ihrem CRM nie etwas zusammen, bearbeitet oder löscht nichts, sodass Ihr Team währenddessen weiterarbeiten kann. Siehe Datensätze synchronisieren.

Schritt 3: Vor dem Zusammenführen testen

Behandeln Sie Merges als endgültig: Bei dieser Größe wiederholt eine falsche Regel sich tausendfach.

• Salesforce: Verbinden Sie ein Sandbox und führen Sie Ihre Suchen und Merge Rules zuerst dort aus, um zu sehen, wie Merges Ihre Flows, Apex-Trigger und Integrationen beeinflussen. Siehe den Leitfaden zur Salesforce-Dublettenbereinigung.
• Jedes CRM: führen Sie 1–2 Single Merges aus, prüfen Sie sie im CRM, dann 1–2 Seiten gesammelt zusammenführen und erneut prüfen.
• Die Merge Preview prüfen in View Match Details vor jeder neuen Suche, damit Sie wissen, welche Werte bleiben.

Schritt 4: In Phasen zusammenführen

Führen Sie nicht die ganze Datenbank auf einmal zusammen. Führen Sie eine Suche nach der anderen zusammen, von der sichersten zur riskantesten:

1. Exakte Duplikate zuerst, auf mindestens drei Feldern (zum Beispiel First Name, Last Name und Email bei Exakt).
2. Firmen und Accounts, mit Company Name auf Similar Words (Any Order) und Website auf Domain-Root.
3. Lockerere Suchen zuletzt, etwa namensbasierte Suchen oder Dedupely Intelligence, Treffer für Treffer geprüft.

Bulk Merge kann eine ganze Seite oder Select all X matches auf einmal, ohne Obergrenze. Cancel all stoppt einen laufenden Bulk-Merge; bereits laufende Merges werden abgeschlossen. Treffer mit mehr als 20 Datensätzen und Platzhalterdaten landen im Tab Excluded , damit sie nie per Bulk-Merge zusammengeführt werden. Siehe Sichere Merges.

So führen Sie Tausende HubSpot-Firmen zusammen

Doppelte Firmen sind in einem großen HubSpot-Portal oft die größte Aufgabe. So führen Sie sie in großem Umfang zusammen:

• Nach Name und Domain abgleichen: Company Name bei Similar Words (Any Order), mit Ignored terms Inc., LLC, Ltd., plus Website auf Domain-Root. Nutzen Sie Country und City als Visible Fields , um Niederlassungen zu erkennen.
• Wählen Sie zuerst Ihre Merge choices. HubSpot begrenzt, wie viele Verknüpfungen ein Datensatz haben und wie oft er zusammengeführt werden kann. Legen Sie „Too many associations to move“ und „Too many past record merges in same record“ fest, bevor Sie per Bulk-Merge zusammenführen. Auto Merge kann nicht fragen, also überspringt es Treffer mit der Einstellung Always ask.
• Rechnen Sie mit dem eigenen Verhalten von HubSpot: HubSpot gibt der zusammengeführten Firma meist eine neue Record ID (alte IDs leiten um), und beide Datensätze verlassen aktive Workflows.

Siehe So deduplizieren Sie Firmen und Accounts.

Schritt 5: Zuletzt automatisieren

Ist der Rückstand zusammengeführt, verhindern Sie, dass sich neue Duplikate wieder ansammeln:

1. Auto Match einschalten bei jeder getesteten Suche, damit jemand neue Treffer nach Zeitplan prüft. Siehe Auto Match.
2. Eine Suche auf Auto Merge umstellen sobald sie ohne falsche Treffer gelaufen ist, mit Schnellstmöglich als Zeitplan. Siehe Auto Merge.

Beispiel-Einrichtung

Ein HubSpot-Portal mit 520.000 Kontakten, 210.000 Firmen und 40.000 Deals, etwa 770.000 Datensätzen, im Enterprise-Plan (1 Million Datensätze).

1. Tag 1: Contacts und Companies aktiv. Deals bleiben aus, bis Kontakte und Firmen erledigt sind. Erster Sync: etwa 3–10 Stunden.
2. Tag 2: Merge Rules eingerichtet: Primary Record auf Last Updated Record; Lose Rules auf Contact owner für ehemalige Vertriebler. Merge choices auf „Merge and keep the associations that fit“ und „Merge by copying the data over“.
3. Tag 2: 2 Single Merges und 1 per Bulk-Merge zusammengeführte Seite in der exakten Kontaktsuche (First Name, Last Name, Email auf Exact), geprüft in HubSpot.
4. Woche 1: exakte Kontaktsuche per Bulk-Merge zusammengeführt mit Select all X matches. Dann Firmen über Company Name (Similar Words, Ignored terms) und Website (Domain Root), Seite für Seite für die ersten 10 Seiten.
5. Woche 2: namensbasierte Kontaktsuchen und Dedupely Intelligence geprüft; unklare Treffer an Manual Review geschickt.
6. Woche 3: Deals aktiviert und genauso dedupliziert. Auto Match auf jeder Suche; Auto Merge (As soon as possible) auf den exakten Suchen.

Häufige Fehler

• Alle Objekte auf einmal synchronisieren. Es füllt Ihr Datensatzlimit und verlängert die erste Synchronisierung. Beginnen Sie mit ein oder zwei Objekten.
• Zusammenführen während des ersten Syncs. Warten Sie, bis der Sync fertig ist, damit Ihre Suchen jeden Datensatz sehen.
• An einem Datensatz testen und dann alles zusammenführen. Testen Sie bei jeder neuen Suche 1–2 Single Merges, dann 1–2 Seiten.
• Merge Rules auslassen. In dieser Größe wiederholt sich der Standard-Gewinner auf Tausenden Datensätzen. Legen Sie zuerst den Primary Record und die wichtigen Felder fest.
• Auto Merge einschalten, bevor der Rückstau abgearbeitet ist. Automatisieren Sie Suchen, die bereits ohne falsche Treffer gelaufen sind.

FAQ zu großen Datenbanken

• Was zählt als große Datenbank? 480.000 Datensätze oder mehr. Die Schritte funktionieren bei jeder Größe, aber die Reihenfolge zählt umso mehr, je größer die Datenbank wird.
• Gibt es ein Limit, wie viele Treffer ich auf einmal zusammenführen kann? Nein. Bulk Merge kann jeden Treffer einer Suche zusammenführen mit Select all X matches.
• Kann ich in einem Sandbox testen? Ja, in Salesforce. Sandbox-Datensätze zählen auf Ihr Datensatzlimit.
• Ändert ein großer erster Sync etwas in meinem CRM? Nein. Der Sync führt nie Datensätze zusammen, bearbeitet oder löscht sie.
• Was passiert, wenn ich mein Datensatzlimit überschreite? Bis zu 10 % darüber haben Sie 10 Tage, um upzugraden oder Objekte abzuschalten. Danach oder bei mehr als 10 % ist Ihr Konto schreibgeschützt, bis Sie das tun.