Buka folder proyek
Pilih folder yang berisi ekspor milikmu dan salinannya. Alat file bekerja di dalam folder obrolan itu.
Alur kerja
Pembersihan data otomatis, satu langkah yang ditinjau setiap kali
03
Ekspor berantakan, satu skrip, dan satu file baru
Pembersihan data otomatis di sini berarti skrip Python yang menerapkan aturan tertulismu pada sebuah file dan menyimpan hasilnya sebagai file baru. Kamu punya satu ekspor dengan spasi berlebih, baris berulang, dan angka berbentuk teks. Skripnya kamu simpan. Kamu bisa membaca dan menjalankannya ulang, dan file asli tidak pernah menjadi keluaran.
Jelaskan aturannya
Sebutkan kolom mana yang dipangkas, kunci mana yang menemukan duplikat, dan apa yang terjadi pada kolom kosong. Plan only mencantumkan langkahnya lebih dulu.
Jalankan pada salinan
Shell menjalankan skrip dengan perintah Python-mu dan menampilkan kode keluar yang sebenarnya serta jumlah baris yang dicetak.
Tinjau hasilnya
Baca diff, bandingkan file baru dengan file asli, dan periksa baris secara acak dengan tangan sebelum kamu menerima.
Skrip yang cukup kecil untuk dibaca dalam semenit
Tulis clean_customers.py yang membersihkan beberapa baris rekaan dan mencetak berapa baris masuk dan keluar.
- list_dir
./1 file - write_file
./clean_customers.pytersimpan - Shell
your Python command clean_customers.pykode keluar 0 - read_file
./clean_customers.py17 baris
Menunggu persetujuanmu sebelum langkah berikutnyaTolakTerima
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Skrip ini memangkas spasi, mengubah e-mail menjadi huruf kecil, melewati duplikat dengan set, dan mengubah teks usia menjadi angka atau None. Isinya 3 baris rekaan. Saat dijalankan, ia mencetak 3 masuk, 2 keluar.
Dua proyek pembersihan data, langkah demi langkah
Hapus duplikat dari CSV besar
Untuk menghapus duplikat dari CSV besar, kamu perlu kunci yang jelas lebih dulu, misalnya alamat e-mail yang dinormalisasi, karena duplikat yang cocok persis akan melewatkan baris yang hanya berbeda spasi atau huruf besar-kecil. Fredit Flow memakai grep untuk mencari spasi berlebih dan huruf kapital di kolom kunci, lalu write_file menyimpan dedupe.py dan Shell menjalankannya pada salinan ekspor dengan perintah Python milikmu sendiri. Skrip mempertahankan baris pertama untuk tiap kunci dan menulis sisanya ke file terpisah. File asli tetap ada. Periksa dua jumlah baris yang dicetaknya, buka file tinjauan, dan pastikan tiap pasangan benar-benar pelanggan yang sama sebelum kamu menerima keluarannya.
Jalankan ulang skrip setelah melihat sekali lagi
Membersihkan data CSV jarang selesai dalam sekali jalan, dan iterasi antara pembersihan dan analisis itu wajar: sebuah grafik menunjukkan nilai janggal, kamu menambah aturan dan menjalankannya lagi. Minta perubahannya. edit_file memperbarui skrip dan menampilkan diff, Shell menjalankannya ulang pada salinan yang sama, dan eksekusi baru sebaiknya menulis ke file keluaran dengan nama berbeda agar yang pertama tetap tersimpan, yang bisa kamu periksa di diff. Lalu jalankan sekali pada file contoh kedua dari sumber yang sama. Jika kode keluar atau jumlah baris tampak salah, berhenti, baca diff lagi, dan putuskan sendiri.
