Fredit Flow
ขั้นตอนการทำงาน

ทำความสะอาดข้อมูลอัตโนมัติ ทีละขั้นที่ตรวจทานแล้ว

03
สถานการณ์

ไฟล์ส่งออกรกรุงรัง หนึ่งสคริปต์ และไฟล์ใหม่หนึ่งไฟล์

การทำความสะอาดข้อมูลอัตโนมัติในที่นี้หมายถึงสคริปต์ Python ที่นำกฎที่คุณเขียนไว้ไปใช้กับไฟล์และบันทึกผลเป็นไฟล์ใหม่ คุณมีไฟล์ส่งออกหนึ่งไฟล์ที่มีช่องว่างเกิน แถวซ้ำ และตัวเลขที่เก็บเป็นข้อความ สคริปต์เป็นของคุณ คุณอ่านและรันซ้ำได้ และไฟล์ต้นฉบับไม่เคยเป็นผลลัพธ์

01

เปิดโฟลเดอร์โปรเจกต์

เลือกโฟลเดอร์ที่มีไฟล์ส่งออกของคุณเองและสำเนาของไฟล์นั้น เครื่องมือไฟล์ทำงานภายในโฟลเดอร์แชตนั้น

02

อธิบายกฎ

บอกว่าจะตัดช่องว่างคอลัมน์ใด คีย์ใดใช้หาข้อมูลซ้ำ และช่องว่างจะทำอย่างไร Plan only แสดงรายการขั้นตอนก่อน

03

รันกับสำเนา

Shell รันสคริปต์ด้วยคำสั่ง Python ของคุณและแสดงรหัสออกจริงกับจำนวนแถวที่พิมพ์ออกมา

04

ตรวจผลลัพธ์

อ่าน diff เทียบไฟล์ใหม่กับต้นฉบับ และสุ่มตรวจแถวด้วยมือก่อนที่คุณจะยอมรับ

สคริปต์ที่เล็กพอจะอ่านจบในหนึ่งนาที

clean_customers.py
rows = [
    {"email": " Ann@Mail.com ", "age": "34"},
    {"email": "ann@mail.com", "age": "34"},
    {"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
    email = row["email"].strip().lower()
    if email in seen:
        continue
    seen.add(email)
    try:
        age = int(row["age"].strip())
    except ValueError:
        age = None
    clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))

สคริปต์ตัดช่องว่าง แปลงอีเมลเป็นตัวพิมพ์เล็ก ข้ามรายการซ้ำด้วย set และแปลงข้อความอายุเป็นตัวเลขหรือ None มีแถวสมมุติ 3 แถว เมื่อรันจะพิมพ์ว่าเข้า 3 ออก 2

สองโปรเจกต์ทำความสะอาดข้อมูล ทีละขั้น

ลบข้อมูลซ้ำออกจาก CSV ขนาดใหญ่

การลบข้อมูลซ้ำออกจาก CSV ขนาดใหญ่ต้องมีคีย์ที่ชัดเจนก่อน เช่น ที่อยู่อีเมลที่ทำให้เป็นรูปแบบมาตรฐานแล้ว เพราะข้อมูลซ้ำที่ตรงกันทุกตัวอักษรจะพลาดแถวที่ต่างกันเพียงช่องว่างหรือตัวพิมพ์เล็กใหญ่ Fredit Flow ใช้ grep ค้นหาช่องว่างเกินและตัวพิมพ์ใหญ่ในคอลัมน์คีย์ จากนั้น write_file บันทึก dedupe.py และ Shell รันกับสำเนาของไฟล์ส่งออกด้วยคำสั่ง Python ของคุณเอง สคริปต์เก็บแถวแรกของแต่ละคีย์และเขียนแถวที่เหลือลงไฟล์แยก ไฟล์ต้นฉบับยังอยู่ ตรวจจำนวนแถวสองค่าที่สคริปต์พิมพ์ เปิดไฟล์ตรวจทาน และยืนยันว่าแต่ละคู่เป็นลูกค้าคนเดียวกันจริงก่อนยอมรับผลลัพธ์

รันสคริปต์ซ้ำหลังดูอีกครั้ง

การทำความสะอาดข้อมูล CSV แทบไม่เสร็จในรอบเดียว และการวนซ้ำระหว่างการทำความสะอาดกับการวิเคราะห์เป็นเรื่องปกติ กราฟแสดงค่าแปลก คุณเพิ่มกฎแล้วรันอีกครั้ง ขอให้เปลี่ยนแปลง edit_file อัปเดตสคริปต์และแสดง diff Shell รันซ้ำกับสำเนาเดิม และการรันครั้งใหม่ควรเขียนลงไฟล์ผลลัพธ์ที่ชื่อต่างกัน เพื่อให้ไฟล์แรกยังอยู่ ซึ่งตรวจได้ใน diff จากนั้นรันหนึ่งครั้งกับไฟล์ตัวอย่างที่สองจากแหล่งเดียวกัน ถ้ารหัสออกหรือจำนวนแถวดูผิด ให้หยุด อ่าน diff อีกครั้ง และตัดสินใจเอง

Fredit Flow สำหรับ Windows

เริ่มจากไฟล์เล็ก ๆ หนึ่งไฟล์ที่คุณเป็นเจ้าของ

ดาวน์โหลด Fredit Flow ↗