Otevři složku projektu
Vyber složku s vlastním exportem a jeho kopií. Souborové nástroje pracují v této složce chatu.
Postupy
Automatizované čištění dat, jeden zkontrolovaný krok po druhém
03
Nepořádný export, skript a nový soubor
Automatizované čištění dat tu znamená skript v Pythonu, který použije tvoje zapsaná pravidla na soubor a výsledek uloží jako nový soubor. Máš export se zbytečnými mezerami, opakovanými řádky a čísly zapsanými jako text. Skript si ponecháš. Můžeš ho číst a znovu spouštět a originál není nikdy výstupem.
Popiš pravidla
Řekni, které sloupce oříznout, jaký klíč najde duplicity a co se stane s prázdnými poli. Plan only nejdřív vypíše kroky.
Spusť na kopii
Shell spustí skript tvým příkazem Pythonu a ukáže skutečný návratový kód a vypsané počty řádků.
Zkontroluj výsledek
Přečti si diff, porovnej nový soubor s originálem a před přijetím ručně zkontroluj řádky.
Skript tak malý, že ho přečteš za minutu
Napiš clean_customers.py, který vyčistí pár vymyšlených řádků a vypíše, kolik řádků vstoupilo a kolik vystoupilo.
- list_dir
./1 soubor - write_file
./clean_customers.pyuloženo - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 řádků
Čeká na tvoje OK před dalším krokemOdmítnoutPřijmout
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Odstraní mezery, převede e-mail na malá písmena, přeskočí opakování pomocí set a změní text věku na číslo nebo None. Obsahuje 3 vymyšlené řádky. Po spuštění vypíše 3 dovnitř, 2 ven.
Dva projekty čištění dat krok za krokem
Odstraň duplicity z velkého CSV
Pro odstranění duplicit z velkého CSV potřebuješ nejdřív jasný klíč, například normalizovanou e-mailovou adresu, protože přesné duplicity minou řádky, které se liší jen mezerami nebo velikostí písmen. Fredit Flow pomocí grep hledá ve sloupci s klíčem zbytečné mezery a velká písmena, pak write_file uloží dedupe.py a Shell ho spustí na kopii exportu tvým vlastním příkazem Pythonu. Skript ponechá první řádek pro každý klíč a ostatní zapíše do samostatného souboru. Originál zůstává. Zkontroluj 2 vypsané počty řádků, otevři kontrolní soubor a potvrď, že každá dvojice je opravdu tentýž zákazník, než výstup přijmeš.
Spusť skript znovu po druhém pohledu
Čištění dat CSV se jen zřídka dokončí jedním průchodem a opakování mezi čištěním a analýzou je normální: graf ukáže divnou hodnotu, přidáš pravidlo a spustíš znovu. Požádej o změnu. edit_file skript upraví a ukáže diff, Shell ho znovu spustí na téže kopii a nový běh by měl zapisovat do výstupního souboru s jiným názvem, aby se první zachoval, což si můžeš ověřit v diffu. Pak ho jednou spusť na druhém vzorovém souboru ze stejného zdroje. Pokud návratový kód nebo počet řádků vypadá špatně, zastavíš se, znovu si přečteš diff a rozhodneš se.
