Fredit Flow
İş akışları

Otomatik veri temizleme, her seferinde incelenen bir adımla

03
Senaryo

Dağınık bir dışa aktarım, bir betik ve yeni bir dosya

Burada otomatik veri temizleme, yazılı kurallarını bir dosyaya uygulayan ve sonucu yeni bir dosya olarak kaydeden bir Python betiği demektir. Fazladan boşluklar, tekrar eden satırlar ve metin olarak saklanan sayılar içeren bir dışa aktarımın var. Betiği sen saklarsın. Onu okuyabilir ve yeniden çalıştırabilirsin; orijinal ise asla çıktı olmaz.

01

Proje klasörünü aç

Kendi dışa aktarımını ve bir kopyasını içeren klasörü seç. Dosya araçları o sohbet klasörünün içinde çalışır.

02

Kuralları anlat

Hangi sütunların kırpılacağını, yinelenenleri hangi anahtarın bulacağını ve boşluklara ne olacağını söyle. Plan only önce adımları listeler.

03

Bir kopyada çalıştır

Shell betiği Python komutunla çalıştırır ve gerçek çıkış kodunu ile yazdırılan satır sayılarını gösterir.

04

Sonucu incele

Kabul etmeden önce diff’i oku, yeni dosyayı orijinalle karşılaştır ve satırları elle örnekleyerek kontrol et.

Bir dakikada okunacak kadar küçük bir betik

clean_customers.py
rows = [
    {"email": " Ann@Mail.com ", "age": "34"},
    {"email": "ann@mail.com", "age": "34"},
    {"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
    email = row["email"].strip().lower()
    if email in seen:
        continue
    seen.add(email)
    try:
        age = int(row["age"].strip())
    except ValueError:
        age = None
    clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))

Boşlukları kırpar, e-postayı küçük harfe çevirir, tekrarları bir set ile atlar ve yaş metnini sayıya ya da None’a dönüştürür. İçinde 3 uydurma satır var. Çalıştırınca 3 giriş, 2 çıkış yazdırır.

İki veri temizleme projesi, adım adım

Büyük bir CSV’deki yinelenenleri kaldır

Büyük bir CSV’deki yinelenenleri kaldırmak için önce net bir anahtar gerekir, örneğin normalleştirilmiş bir e-posta adresi; çünkü tam eşleşen yinelenenler yalnızca boşluk ya da harf büyüklüğü bakımından farklı satırları kaçırır. Fredit Flow anahtar sütununda fazladan boşluk ve büyük harf aramak için grep kullanır, sonra write_file dedupe.py dosyasını kaydeder ve Shell onu dışa aktarımın bir kopyasında senin kendi Python komutunla çalıştırır. Betik her anahtar için ilk satırı tutar, diğerlerini ayrı bir dosyaya yazar. Orijinal kalır. Yazdırdığı iki satır sayısını kontrol et, inceleme dosyasını aç ve çıktıyı kabul etmeden önce her çiftin gerçekten aynı müşteri olduğunu doğrula.

İkinci bir bakıştan sonra betiği yeniden çalıştır

CSV verisini temizlemek nadiren tek geçişte biter; temizleme ile analiz arasındaki tekrarlar normaldir: bir grafik tuhaf bir değer gösterir, bir kural eklersin ve yeniden çalıştırırsın. Değişikliği iste. edit_file betiği günceller ve diff gösterir, Shell aynı kopyada yeniden çalıştırır ve yeni çalıştırma farklı adlı bir çıktı dosyasına yazmalıdır ki ilki korunsun; bunu diff’te kontrol edebilirsin. Sonra aynı kaynaktan ikinci bir örnek dosyada bir kez çalıştır. Çıkış kodu ya da bir satır sayısı yanlış görünüyorsa dur, diff’i yeniden oku ve kendin karar ver.

Windows için Fredit Flow

Sana ait küçük bir dosyayla başla

Fredit Flow’u indir ↗