Otwórz folder projektu
Wybierz folder z własnym eksportem i jego kopią. Narzędzia do plików pracują w tym folderze czatu.
Procesy
Zautomatyzowane czyszczenie danych, jeden sprawdzony krok na raz
03
Bałaganiarski eksport, skrypt i nowy plik
Zautomatyzowane czyszczenie danych oznacza tu skrypt Pythona, który stosuje Twoje zapisane reguły do pliku i zapisuje wynik jako nowy plik. Masz eksport ze zbędnymi spacjami, powtórzonymi wierszami i liczbami zapisanymi jako tekst. Skrypt zostaje u Ciebie. Możesz go przeczytać i uruchomić ponownie, a oryginał nigdy nie jest wynikiem.
Opisz reguły
Powiedz, które kolumny przyciąć, jaki klucz wyłapuje duplikaty i co się dzieje z pustymi polami. Plan only najpierw wylicza kroki.
Uruchom na kopii
Shell uruchamia skrypt Twoim poleceniem Pythona i pokazuje prawdziwy kod wyjścia oraz wypisane liczby wierszy.
Sprawdź wynik
Przeczytaj diff, porównaj nowy plik z oryginałem i ręcznie sprawdź wiersze, zanim zaakceptujesz.
Skrypt na tyle krótki, że przeczytasz go w minutę
Napisz clean_customers.py, który czyści kilka zmyślonych wierszy i wypisuje, ile wierszy weszło, a ile wyszło.
- list_dir
./1 plik - write_file
./clean_customers.pyzapisano - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 linii
Czeka na Twoje OK przed kolejnym krokiemOdrzućZaakceptuj
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Obcina spacje, zamienia e-mail na małe litery, pomija powtórzenia za pomocą set i zamienia tekst z wiekiem na liczbę lub None. Zawiera 3 zmyślone wiersze. Po uruchomieniu wypisuje 3 na wejściu, 2 na wyjściu.
Dwa projekty czyszczenia danych krok po kroku
Usuń duplikaty z dużego pliku CSV
Żeby usunąć duplikaty z dużego pliku CSV, najpierw potrzebujesz jasnego klucza, na przykład znormalizowanego adresu e-mail, bo dokładne duplikaty pomijają wiersze różniące się tylko spacjami lub wielkością liter. Fredit Flow używa grep, żeby w kolumnie klucza szukać zbędnych spacji i wielkich liter, potem write_file zapisuje dedupe.py, a Shell uruchamia go na kopii eksportu Twoim własnym poleceniem Pythona. Skrypt zachowuje pierwszy wiersz dla każdego klucza, a pozostałe zapisuje w osobnym pliku. Oryginał zostaje. Sprawdź 2 wypisane liczby wierszy, otwórz plik do przeglądu i upewnij się, że każda para to naprawdę ten sam klient, zanim zaakceptujesz wynik.
Uruchom skrypt ponownie po drugim spojrzeniu
Czyszczenie danych CSV rzadko kończy się w jednym przebiegu, a powroty między czyszczeniem a analizą są normalne: wykres pokazuje dziwną wartość, dodajesz regułę i uruchamiasz ponownie. Poproś o zmianę. edit_file aktualizuje skrypt i pokazuje diff, Shell uruchamia go ponownie na tej samej kopii, a nowe uruchomienie powinno zapisywać do pliku wyjściowego o innej nazwie, żeby pierwszy został zachowany, co możesz sprawdzić w diffie. Potem uruchom go raz na drugim pliku próbki z tego samego źródła. Jeśli kod wyjścia lub liczba wierszy wygląda źle, zatrzymujesz się, czytasz diff jeszcze raz i sam decydujesz.
