Ouvre le dossier du projet
Choisis le dossier qui contient ton propre export et une copie de celui-ci. Les outils de fichiers travaillent dans ce dossier du chat.
Workflows
Nettoyage de données automatisé, une étape relue à la fois
03
Un export désordonné, un script et un nouveau fichier
Ici, le nettoyage de données automatisé désigne un script Python qui applique tes règles écrites à un fichier et enregistre le résultat dans un nouveau fichier. Tu as un export avec des espaces parasites, des lignes répétées et des nombres en texte. Tu gardes le script. Tu peux le lire et le relancer, et l'original n'est jamais la sortie.
Décris les règles
Indique quelles colonnes rogner, quelle clé repère les doublons et ce qu'il advient des vides. Plan only liste d'abord les étapes.
Lance sur une copie
Shell lance le script avec ta commande Python et affiche le vrai code de sortie et le nombre de lignes imprimé.
Relis le résultat
Lis le diff, compare le nouveau fichier avec l'original et vérifie des lignes à la main avant d'accepter.
Un script assez court pour se lire en une minute
Écris clean_customers.py qui nettoie quelques lignes inventées et affiche combien de lignes sont entrées et sorties.
- list_dir
./1 fichier - write_file
./clean_customers.pyenregistré - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 lignes
En attente de ton accord avant l'étape suivanteRefuserAccepter
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Il supprime les espaces, met l'e-mail en minuscules, ignore les répétitions avec un set et convertit le texte de l'âge en nombre ou en None. Il contient 3 lignes inventées. À l'exécution, il affiche 3 en entrée, 2 en sortie.
Deux projets de nettoyage de données, pas à pas
Supprime les doublons d'un gros CSV
Pour supprimer les doublons d'un gros CSV, il te faut d'abord une clé claire, par exemple une adresse e-mail normalisée, car les doublons exacts laissent passer des lignes qui ne diffèrent que par les espaces ou la casse. Fredit Flow utilise grep pour chercher dans la colonne clé les espaces parasites et les majuscules, puis write_file enregistre dedupe.py et Shell le lance sur une copie de l'export avec ta propre commande Python. Le script garde la première ligne de chaque clé et écrit les autres dans un fichier séparé. L'original reste. Vérifie les 2 nombres de lignes affichés, ouvre le fichier de relecture et confirme que chaque paire est bien le même client avant d'accepter la sortie.
Relance le script après un second regard
Nettoyer des données CSV se termine rarement en un seul passage, et les allers-retours entre nettoyage et analyse sont normaux : un graphique montre une valeur étrange, tu ajoutes une règle et tu relances. Demande la modification. edit_file met à jour le script et montre le diff, Shell le relance sur la même copie, et la nouvelle exécution devrait écrire dans un fichier de sortie nommé autrement pour conserver le premier, ce que tu peux vérifier dans le diff. Lance-la ensuite une fois sur un second fichier d'échantillon de la même source. Si le code de sortie ou un nombre de lignes paraît faux, tu t'arrêtes, tu relis le diff et tu décides toi-même.
