Projektordner öffnen
Wähle den Ordner mit deinem eigenen Export und einer Kopie davon. Die Dateiwerkzeuge arbeiten in diesem Chat-Ordner.
Workflows
Automatisierte Datenbereinigung, ein geprüfter Schritt nach dem anderen
03
Ein chaotischer Export, ein Skript und eine neue Datei
Automatisierte Datenbereinigung heißt hier ein Python-Skript, das deine schriftlichen Regeln auf eine Datei anwendet und das Ergebnis als neue Datei speichert. Du hast einen Export mit überflüssigen Leerzeichen, doppelten Zeilen und Zahlen als Text. Das Skript behältst du. Du kannst es lesen und erneut ausführen, und das Original ist nie die Ausgabe.
Regeln beschreiben
Sage, welche Spalten zu kürzen sind, welcher Schlüssel Duplikate findet und was mit Leerstellen passiert. Plan only listet die Schritte vorab auf.
An einer Kopie ausführen
Shell führt das Skript mit deinem Python-Befehl aus und zeigt den echten Exit-Code und die ausgegebenen Zeilenzahlen.
Ergebnis prüfen
Lies das Diff, vergleiche die neue Datei mit dem Original und prüfe Zeilen von Hand, bevor du annimmst.
Ein Skript, klein genug, um es in einer Minute zu lesen
Schreibe clean_customers.py, das ein paar erfundene Zeilen bereinigt und ausgibt, wie viele Zeilen hinein- und herausgingen.
- list_dir
./1 Datei - write_file
./clean_customers.pygespeichert - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 Zeilen
Wartet auf dein OK für den nächsten SchrittAblehnenAnnehmen
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Es entfernt Leerzeichen, wandelt die E-Mail in Kleinbuchstaben um, überspringt Wiederholungen mit einem set und macht aus dem Alterstext eine Zahl oder None. Es enthält 3 erfundene Zeilen. Beim Ausführen gibt es 3 hinein, 2 heraus aus.
Zwei Datenbereinigungsprojekte, Schritt für Schritt
Duplikate aus einer großen CSV entfernen
Um Duplikate aus einer großen CSV zu entfernen, brauchst du zuerst einen klaren Schlüssel, zum Beispiel eine normalisierte E-Mail-Adresse, denn exakte Duplikate übersehen Zeilen, die sich nur durch Leerzeichen oder Schreibweise unterscheiden. Fredit Flow sucht mit grep in der Schlüsselspalte nach überflüssigen Leerzeichen und Großbuchstaben, dann speichert write_file die Datei dedupe.py, und Shell führt sie mit deinem eigenen Python-Befehl an einer Kopie des Exports aus. Das Skript behält die erste Zeile je Schlüssel und schreibt die übrigen in eine separate Datei. Das Original bleibt. Prüfe die 2 ausgegebenen Zeilenzahlen, öffne die Prüfdatei und bestätige, dass jedes Paar wirklich derselbe Kunde ist, bevor du die Ausgabe annimmst.
Das Skript nach einem zweiten Blick erneut ausführen
Das Bereinigen von CSV-Daten ist selten in einem Durchgang erledigt, und die Schleifen zwischen Bereinigung und Analyse sind normal: Ein Diagramm zeigt einen merkwürdigen Wert, du ergänzt eine Regel und führst erneut aus. Bitte um die Änderung. edit_file aktualisiert das Skript und zeigt das Diff, Shell führt es an derselben Kopie erneut aus, und der neue Lauf sollte in eine anders benannte Ausgabedatei schreiben, damit die erste erhalten bleibt, was du im Diff prüfen kannst. Führe es danach einmal an einer zweiten Beispieldatei derselben Quelle aus. Wenn der Exit-Code oder eine Zeilenzahl falsch aussieht, hörst du auf, liest das Diff noch einmal und entscheidest selbst.
