Deschide folderul proiectului
Alege folderul care conține propriul tău export și o copie a lui. Uneltele pentru fișiere lucrează în acel folder al chatului.
Fluxuri de lucru
Curățare automată a datelor, câte un pas verificat pe rând
03
Un export dezordonat, un script și un fișier nou
Aici, curățarea automată a datelor înseamnă un script Python care aplică regulile tale scrise unui fișier și salvează rezultatul ca fișier nou. Ai un export cu spații rătăcite, rânduri repetate și numere scrise ca text. Scriptul îl păstrezi tu. Îl poți citi și rula din nou, iar originalul nu este niciodată rezultatul.
Descrie regulile
Spune ce coloane se curăță, ce cheie găsește duplicatele și ce se întâmplă cu golurile. Plan only enumeră întâi pașii.
Rulează pe o copie
Shell rulează scriptul cu comanda ta Python și arată codul de ieșire real și numărul de rânduri afișat.
Verifică rezultatul
Citește diff-ul, compară fișierul nou cu originalul și verifică manual rânduri înainte să accepți.
Un script destul de mic cât să-l citești într-un minut
Scrie clean_customers.py, care curăță câteva rânduri inventate și afișează câte rânduri au intrat și câte au ieșit.
- list_dir
./1 fișier - write_file
./clean_customers.pysalvat - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 linii
Așteaptă OK-ul tău înainte de pasul următorRespingeAcceptă
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Taie spațiile, transformă e-mailul în litere mici, sare peste repetiții cu un set și transformă textul vârstei într-un număr sau None. Conține 3 rânduri inventate. La rulare afișează 3 la intrare, 2 la ieșire.
Două proiecte de curățare a datelor, pas cu pas
Elimină duplicatele dintr-un CSV mare
Ca să elimini duplicatele dintr-un CSV mare ai nevoie mai întâi de o cheie clară, de exemplu o adresă de e-mail normalizată, pentru că duplicatele exacte scapă rândurile care diferă doar prin spații sau litere mari. Fredit Flow folosește grep ca să caute în coloana-cheie spații rătăcite și litere mari, apoi write_file salvează dedupe.py, iar Shell îl rulează pe o copie a exportului cu propria ta comandă Python. Scriptul păstrează primul rând pentru fiecare cheie și scrie restul într-un fișier separat. Originalul rămâne. Verifică cele 2 numere de rânduri afișate, deschide fișierul de revizuire și confirmă că fiecare pereche este într-adevăr același client înainte să accepți rezultatul.
Rulează din nou scriptul după o a doua privire
Curățarea datelor CSV rareori se termină dintr-o singură trecere, iar iterațiile dintre curățare și analiză sunt normale: un grafic arată o valoare ciudată, adaugi o regulă și rulezi din nou. Cere modificarea. edit_file actualizează scriptul și arată diff-ul, Shell îl rulează din nou pe aceeași copie, iar noua rulare ar trebui să scrie într-un fișier de ieșire cu alt nume, ca primul să fie păstrat, lucru pe care îl poți verifica în diff. Apoi rulează-l o dată pe un al doilea fișier de probă din aceeași sursă. Dacă codul de ieșire sau un număr de rânduri pare greșit, te oprești, citești diff-ul din nou și hotărăști tu.
