Apri la cartella del progetto
Scegli la cartella che contiene la tua esportazione e una copia. Gli strumenti per i file lavorano dentro quella cartella della chat.
Flussi di lavoro
Pulizia dei dati automatizzata, un passo rivisto alla volta
03
Un'esportazione disordinata, uno script e un file nuovo
Qui, pulizia dei dati automatizzata significa uno script Python che applica le tue regole scritte a un file e salva il risultato come file nuovo. Hai un'esportazione con spazi vaganti, righe ripetute e numeri in forma di testo. Lo script lo tieni tu. Puoi leggerlo e rieseguirlo, e l'originale non è mai l'output.
Descrivi le regole
Di' quali colonne rifilare, quale chiave trova i duplicati e cosa succede ai vuoti. Plan only elenca prima i passaggi.
Esegui su una copia
Shell esegue lo script con il tuo comando Python e mostra il vero codice di uscita e il numero di righe stampato.
Rivedi il risultato
Leggi il diff, confronta il file nuovo con l'originale e controlla alcune righe a mano prima di accettare.
Uno script abbastanza corto da leggere in un minuto
Scrivi clean_customers.py che pulisce alcune righe inventate e stampa quante righe sono entrate e uscite.
- list_dir
./1 file - write_file
./clean_customers.pysalvato - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 righe
In attesa del tuo OK prima del passo successivoRifiutaAccetta
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Toglie gli spazi, porta l'e-mail in minuscolo, salta i ripetuti con un set e trasforma il testo dell'età in un numero o None. Contiene 3 righe inventate. Eseguendolo stampa 3 in entrata, 2 in uscita.
Due progetti di pulizia dei dati, passo dopo passo
Rimuovi i duplicati da un CSV grande
Per rimuovere i duplicati da un CSV grande serve prima una chiave chiara, per esempio un indirizzo e-mail normalizzato, perché i duplicati esatti non vedono le righe che differiscono solo per spazi o maiuscole. Fredit Flow usa grep per cercare nella colonna chiave spazi vaganti e lettere maiuscole, poi write_file salva dedupe.py e Shell lo esegue su una copia dell'esportazione con il tuo comando Python. Lo script tiene la prima riga per ogni chiave e scrive le altre in un file separato. L'originale resta. Controlla i 2 conteggi di righe stampati, apri il file di revisione e conferma che ogni coppia sia davvero lo stesso cliente prima di accettare l'output.
Riesegui lo script dopo un secondo sguardo
Pulire dati CSV raramente si chiude in un solo passaggio, e le iterazioni tra pulizia e analisi sono normali: un grafico mostra un valore strano, aggiungi una regola e riesegui. Chiedi la modifica. edit_file aggiorna lo script e mostra il diff, Shell lo riesegue sulla stessa copia, e la nuova esecuzione dovrebbe scrivere in un file di output con un altro nome così da conservare il primo, cosa che puoi verificare nel diff. Poi eseguilo una volta su un secondo file campione della stessa fonte. Se il codice di uscita o un conteggio di righe sembra sbagliato, ti fermi, rileggi il diff e decidi tu.
