افتح مجلد المشروع
اختر المجلد الذي يحوي ملف التصدير الخاص بك ونسخة منه. تعمل أدوات الملفات داخل مجلد المحادثة هذا.
مسارات العمل
تنظيف البيانات الآلي، خطوة واحدة مراجَعة في كل مرة
03
تصدير فوضوي وسكربت وملف جديد
يعني تنظيف البيانات الآلي هنا سكربت Python يطبّق قواعدك المكتوبة على ملف ويحفظ النتيجة ملفًا جديدًا. لديك تصدير واحد فيه مسافات زائدة وصفوف مكررة وأرقام مخزّنة كنص. السكربت يبقى معك. تستطيع قراءته وإعادة تشغيله، ولا يكون الملف الأصلي هو الناتج أبدًا.
صف القواعد
حدّد الأعمدة التي تُقصّ مسافاتها، والمفتاح الذي يكشف المكررات، وما يحدث للفراغات. يسرد Plan only الخطوات أولًا.
شغّل على نسخة
يشغّل Shell السكربت بأمر Python الخاص بك ويعرض رمز الخروج الفعلي وعدد الصفوف المطبوع.
راجع النتيجة
اقرأ الـ diff، وقارن الملف الجديد بالأصلي، وافحص الصفوف يدويًا بالعيّنة قبل أن تقبل.
سكربت صغير يُقرأ في دقيقة
اكتب clean_customers.py ينظّف بضعة صفوف مختلقة ويطبع كم صفًا دخل وكم خرج.
- list_dir
./ملف واحد - write_file
./clean_customers.pyتم الحفظ - Shell
your Python command clean_customers.pyرمز الخروج 0 - read_file
./clean_customers.py17 سطرًا
بانتظار موافقتك قبل الخطوة التاليةرفضقبول
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))يحذف المسافات ويحوّل البريد الإلكتروني إلى أحرف صغيرة ويتخطى المكررات باستخدام set ويحوّل نص العمر إلى رقم أو None. يحوي 3 صفوف مختلقة. عند تشغيله يطبع 3 دخلت، 2 خرجت.
مشروعان لتنظيف البيانات، خطوة بخطوة
إزالة المكررات من ملف CSV كبير
لإزالة المكررات من ملف CSV كبير تحتاج أولًا إلى مفتاح واضح، مثل عنوان بريد إلكتروني موحَّد الصيغة، لأن المكررات المتطابقة تمامًا تفوّت الصفوف التي تختلف في المسافات أو حالة الأحرف فقط. يستخدم Fredit Flow الأداة grep للبحث في عمود المفتاح عن مسافات زائدة وأحرف كبيرة، ثم يحفظ write_file الملف dedupe.py ويشغّله Shell على نسخة من التصدير بأمر Python الخاص بك. يُبقي السكربت أول صف لكل مفتاح ويكتب الباقي في ملف منفصل. يبقى الملف الأصلي. افحص عددَي الصفوف اللذين يطبعهما، وافتح ملف المراجعة، وتأكد من أن كل زوج هو فعلًا العميل نفسه قبل أن تقبل الناتج.
أعد تشغيل السكربت بعد نظرة ثانية
نادرًا ما ينتهي تنظيف بيانات CSV في تمريرة واحدة، والتكرارات بين التنظيف والتحليل أمر طبيعي: يُظهر رسم بياني قيمة غريبة، فتضيف قاعدة وتشغّل من جديد. اطلب التغيير. يحدّث edit_file السكربت ويعرض الـ diff، ويعيد Shell تشغيله على النسخة نفسها، وينبغي أن تُكتب الجولة الجديدة في ملف ناتج باسم مختلف ليبقى الأول، وهو ما تستطيع التحقق منه في الـ diff. ثم شغّله مرة واحدة على ملف عيّنة ثانٍ من المصدر نفسه. إذا بدا رمز الخروج أو عدد الصفوف خاطئًا، فتوقف واقرأ الـ diff مجددًا وقرر بنفسك.
