TL;DR
- Tabellen-Apps entfernen Zeilen mit identischen Werten in den Spalten, die Sie wählen.
- Ein Skript passt für große oder wiederholte Importe, wenn jemand im Team Code schreibt.
- Datenaufbereitungs-Apps gruppieren ähnliche Schreibweisen, etwa Firmennamen in mehreren Varianten.
- Tabellen-Tools löschen überzählige Zeilen, also gehen die Werte einer gelöschten Zeile verloren.
- Dedupely findet und führt Duplikate in einer CSV-Datei zusammen, damit Sie saubere Datensätze importieren.
Ein CSV-Import ist einer der schnellsten Wege, Datensätze in ein CRM zu bringen, und einer der schnellsten, Duplikate hinzuzufügen. Eventlisten, gekaufte Listen und Exporte aus anderen Tools kommen selten sauber an.
Die Datei kann dieselbe Person doppelt, überzählige Leerzeichen und gemischte Formate enthalten. Viele Teams greifen zum Tool, das gerade offen ist, und jedes geht mit dem Durcheinander anders um.
In diesem Beitrag sehen Sie, was Tabellen-Apps, Skripte und Datenaufbereitungs-Apps vor einem Import mit einer Datei machen. Sie sehen auch, was jede Lösung löscht und wo sie an ihre Grenzen kommt.
Was ein Bereinigungstool können muss
Eine Importdatei hat zwei Arten von Problemen: unsaubere Werte und denselben Datensatz mehrfach. Die Tools unten unterscheiden sich vor allem darin, wie sie mit Letzterem umgehen und was mit den entfernten Daten passiert.
Korrigieren Sie zuerst die Formate, denn zusätzliche Leerzeichen oder gemischte Schreibweise verhindern, dass zwei Werte passen. Suchen Sie dann nach Duplikaten, beginnend mit das Feld, das jeden Datensatz identifiziert, etwa E-Mail oder Domain.
Tabellen-Apps
In Tabellen-Apps werden viele Importe geprüft, weil jeder eine hat. Bei kleinen Dateien kommen sie gut mit exakten Duplikaten zurecht.
Was Tabellenprogramme tun
Die meisten Tabellen-Apps haben einen Befehl zum Entfernen von Duplikaten. Sie wählen, welche Spalten verglichen werden, und die doppelten Zeilen werden endgültig gelöscht, kopieren Sie die Daten also vorher.
Bevor Sie etwas entfernen, können Sie Duplikate mit bedingter Formatierung hervorheben oder nur eindeutige Datensätze filtern. Eine Trim-Funktion oder ein Trim-Befehl entfernt überzählige Leerzeichen und lässt einzelne Leerzeichen zwischen Wörtern stehen.
Details, die für CRM-Daten wichtig sind
Manche Apps vergleichen den angezeigten Wert, sodass dasselbe Datum als „12/8/2017“ und „Dec 8, 2017“ als zwei verschiedene Werte gilt. Andere behandeln Zellen als Duplikate, selbst wenn sich die Groß- und Kleinschreibung unterscheidet.
Trimmen lässt oft das geschützte Leerzeichen stehen, das aus Webseiten mitkopiert wird. Deshalb passen zwei Werte, die gleich aussehen, womöglich trotzdem nicht.
Wo Tabellen-Apps aufhören
Tabellen-Apps finden nur identische Werte. „Jon Smith“ und „Jonathan Smith“ mit verschiedenen E-Mails bleiben zwei Zeilen.
Außerdem löschen sie Zeilen, statt sie zusammenzuführen. Enthielt die gelöschte Zeile die einzige Telefonnummer, ist diese weg, und Sie wissen eventuell nicht, welche Zeile behalten wurde.
Code: ein Skript
Für große Dateien oder wöchentliche Importe liefert ein Skript jedes Mal dasselbe Ergebnis. Datenbibliotheken gängiger Programmiersprachen haben dafür eine Funktion.
Was ein Skript tut
Eine Funktion zum Entfernen von Duplikaten vergleicht standardmäßig meist alle Spalten oder nur die, die Sie angeben. Sie wählen, ob die erste, die letzte oder keine Zeile jeder Gruppe bleibt.
Textfunktionen wie Kleinschreibung und Entfernen von Leerzeichen bereinigen eine Spalte vor dem Vergleich. Da die Schritte in einem Skript stehen, wird der nächste Import genau gleich behandelt.
Wo Code an Grenzen stößt
Ein Skript vergleicht exakte Werte, also brauchen nahe Treffer zusätzliche Logik, die Sie selbst schreiben. Jede neue Ausnahme, etwa Spitznamen oder Firmenzusätze, bringt Code mit sich, der gepflegt werden muss.
Außerdem braucht es jemanden, der Code schreibt, und die nächste Person muss das Skript verstehen.
Data-Prep-Apps
Datenaufbereitungs-Apps sind für das Bereinigen unsauberer Daten gebaut. Ihr Clustering findet Gruppen unterschiedlicher Werte, die dasselbe sein können, etwa „Acme Inc“ und „ACME, Inc.“.
Sie bieten oft mehrere Methoden, von strengen mit wenigen falschen Treffern bis zu phonetischen und Edit-Distanz-Methoden, die mehr Varianten erkennen. Clustering bearbeitet Zellwerte, sodass eine Gruppe einen Wert teilt.
Sie führen die Zeilen nicht zusammen, Duplikate müssen Sie danach also noch entfernen. Am besten als Schritt vor einem der anderen Tools.
Die Tools im Vergleich
| Tabellen-Apps | Ein Skript | Data-Prep-Apps | |
|---|---|---|---|
| Findet | Identische Werte | Exakte Werte plus jede Logik, die Sie schreiben | Gruppen ähnlicher Werte |
| Spalten wählen | Ja | Ja | Pro Spalte |
| Welche Zeile bleibt | Oft nicht angegeben | Erste, letzte oder keine | Nicht zutreffend: bearbeitet Werte |
| Führt Werte aus beiden Zeilen zusammen | Nein | Nur mit selbst geschriebenem Code | Nein |
| Erforderliche Fähigkeiten | Tabellen-Grundkenntnisse | Programmierung | Die App kennenlernen |
So wählen Sie ein Bereinigungstool
Das richtige Tool hängt von der Datei, dem Team und der Importhäufigkeit ab. Was als Duplikat gilt, unterscheidet sich auch je nach Team, also klären Sie das vor der Wahl.
- Eine Tabellen-App passt für kleine, einmalige Dateien, bei denen exakte Treffer bei E-Mail oder Domain reichen.
- Ein Skript passt für große oder wiederkehrende Importe, wenn jemand im Team Code schreibt und pflegt.
- Eine Datenaufbereitungs-App passt zu Dateien mit vielen Schreibvarianten in Namen oder Firmenfeldern.
- Ein Deduplizierungstool passt zu Dateien, die unscharfe Treffer und aus mehreren Zeilen zusammengeführte Werte brauchen.
Was Sie auch wählen, beginnen Sie mit den offensichtlichen Duplikaten: exakte Treffer bei E-Mail für Personen und bei Domain für Firmen. Behalten Sie die Originaldatei, um darauf zurückgreifen zu können.
Vergleichen Sie vor dem Import die Zeilenzahl vor und nach der Bereinigung. Öffnen Sie dann eine Stichprobe der entfernten Zeilen und prüfen Sie, ob jede ein Duplikat war, das Sie entfernen wollten.
Wie Dedupely eine CSV vor dem Import bereinigt
Laden Sie die Liste in Dedupely hoch, führen Sie die Duplikate darin mit Regeln dafür zusammen, welcher Wert gewinnt, und laden Sie die bereinigten Datensätze zum Import herunter. Sie sehen jeden Merge vorab, und sobald die Datensätze in Ihrem verbundenen CRM sind, werden Duplikate gegenüber bestehenden Datensätzen dort gefunden und zusammengeführt. CSV-Uploads sind unbegrenzt, und CSV-Datensätze zählen nicht zum Datensatzlimit Ihres Plans.
Das Tool wählen, das zur Datei passt
Tabellen-Apps, Skripte und Datenaufbereitungs-Apps lösen jeweils einen Teil der Importbereinigung. Sie korrigieren Formate und entfernen exakte Duplikate gut, scheitern aber an ähnlichen Treffern und an Werten, die über mehrere Zeilen verteilt sind.
Die Datei ist der günstigste Ort, um Duplikate zu beheben. Noch hängt nichts von diesen Zeilen ab, also ist jedes dort erkannte Duplikat eines, das Sie später nicht zusammenführen müssen.
Häufige Fragen
Was ist das beste Tool, um eine CSV vor einem CRM-Import zu bereinigen?
Das hängt von der Datei ab. Eine Tabellen-App reicht für kleine Dateien mit exakten Duplikaten bei E-Mail oder Domain, und ein Skript passt zu großen oder wiederkehrenden Importen, wenn jemand Code schreibt. Eine Datenaufbereitungs-App hilft bei Schreibvarianten, und ein Deduplizierungstool passt zu Dateien, die nahe Treffer und zusammengeführte Werte brauchen.
Löscht das Entfernen von Duplikaten in einer Tabelle Daten dauerhaft?
Ja. Der Befehl zum Entfernen von Duplikaten in einer Tabelle löscht die überzähligen Zeilen, kopieren Sie also zuerst die Originaldaten. Sie wissen vielleicht nicht, welche Zeile bleibt, markieren Sie daher Duplikate und übernehmen Sie jeden Wert, der nur in einer Zeile steht, die Sie löschen.
Beachtet das Entfernen von Duplikaten in einer Tabelle die Groß- und Kleinschreibung?
Das hängt von der App ab. Manche behandeln Zellen als Duplikate, auch wenn Schreibweise oder Format abweichen, andere vergleichen den angezeigten Wert. Entfernen Sie zuerst überflüssige Leerzeichen, die einen Treffer verhindern können, und suchen Sie nach geschützten Leerzeichen, die das Trimmen übrig lässt.
Wie entferne ich Duplikate aus einer CSV per Skript?
Nutzen Sie die Funktion zum Entfernen von Duplikaten Ihrer Datenbibliothek, die meist alle Spalten vergleicht und die erste Zeile jeder Gruppe behält. Geben Sie nur die zu vergleichenden Spalten an, etwa E-Mail, und wählen Sie, ob die erste, die letzte oder keine Zeile bleibt. Schreiben Sie Textspalten vor dem Vergleich klein und entfernen Sie Leerzeichen.
Kann eine Tabelle Beinahe-Duplikate bei Kontakten finden?
Nicht allein, denn Tabellen-Apps entfernen identische Werte, sodass Tippfehler, Spitznamen und Firmensuffixe durchrutschen. Formate vorher zu bereinigen erfasst einige Varianten, während knappe Treffer oft Code oder ein Tool für unscharfen Abgleich brauchen. Prüfen Sie so oder so vor dem Import eine Stichprobe.
Oder mit Google registrieren
