प्रोजेक्ट फ़ोल्डर खोलें
वह फ़ोल्डर चुनें जिसमें आपका अपना एक्सपोर्ट और उसकी एक कॉपी हो। फ़ाइल टूल उसी चैट फ़ोल्डर के भीतर काम करते हैं।
वर्कफ़्लो
स्वचालित डेटा सफ़ाई, एक-एक जाँचे हुए चरण में
03
बेतरतीब एक्सपोर्ट, एक स्क्रिप्ट और एक नई फ़ाइल
यहाँ स्वचालित डेटा सफ़ाई का मतलब है ऐसी Python स्क्रिप्ट जो आपके लिखे नियम किसी फ़ाइल पर लागू करती है और नतीजा नई फ़ाइल के रूप में सहेजती है। आपके पास एक एक्सपोर्ट है जिसमें फ़ालतू खाली जगह, दोहराई गई पंक्तियाँ और टेक्स्ट के रूप में संख्याएँ हैं। स्क्रिप्ट आपके पास रहती है। आप उसे पढ़ और दोबारा चला सकते हैं, और मूल फ़ाइल कभी आउटपुट नहीं बनती।
नियम बताएँ
बताएँ कि कौन से कॉलम से खाली जगह हटानी है, दोहराव किस कुंजी से पकड़ना है और खाली मानों का क्या होगा। Plan only पहले चरण सूचीबद्ध करता है।
कॉपी पर चलाएँ
Shell स्क्रिप्ट को आपकी Python कमांड से चलाता है और असली एग्ज़िट कोड तथा छपी हुई पंक्तियों की गिनती दिखाता है।
नतीजे की समीक्षा करें
स्वीकार करने से पहले diff पढ़ें, नई फ़ाइल की मूल से तुलना करें और पंक्तियों की हाथ से नमूना जाँच करें।
एक मिनट में पढ़ी जा सकने वाली छोटी स्क्रिप्ट
clean_customers.py लिखो जो कुछ गढ़ी हुई पंक्तियों को साफ़ करे और छापे कि कितनी पंक्तियाँ अंदर गईं और कितनी बाहर आईं।
- list_dir
./1 फ़ाइल - write_file
./clean_customers.pyसहेजा गया - Shell
your Python command clean_customers.pyएग्ज़िट कोड 0 - read_file
./clean_customers.py17 पंक्तियाँ
अगले चरण से पहले आपकी मंज़ूरी का इंतज़ार हैअस्वीकार करेंस्वीकार करें
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))यह खाली जगह हटाती है, ई-मेल को छोटे अक्षरों में बदलती है, set से दोहराव छोड़ती है और उम्र के टेक्स्ट को संख्या या None में बदलती है। इसमें 3 गढ़ी हुई पंक्तियाँ हैं। चलाने पर यह 3 अंदर, 2 बाहर छापती है।
दो डेटा सफ़ाई प्रोजेक्ट, चरण दर चरण
बड़ी CSV से दोहराव हटाएँ
बड़ी CSV से दोहराव हटाने के लिए पहले एक साफ़ कुंजी चाहिए, जैसे सामान्यीकृत ई-मेल पता, क्योंकि हू-ब-हू मिलान वाले दोहराव उन पंक्तियों को चूक जाते हैं जो केवल खाली जगह या अक्षर-रूप में अलग हैं। Fredit Flow कुंजी वाले कॉलम में फ़ालतू खाली जगह और बड़े अक्षर खोजने के लिए grep इस्तेमाल करता है, फिर write_file dedupe.py सहेजता है और Shell उसे एक्सपोर्ट की कॉपी पर आपकी अपनी Python कमांड से चलाता है। स्क्रिप्ट हर कुंजी की पहली पंक्ति रखती है और बाकी को अलग फ़ाइल में लिखती है। मूल फ़ाइल बनी रहती है। उसकी छापी हुई दोनों पंक्ति-गिनतियाँ जाँचें, समीक्षा फ़ाइल खोलें और आउटपुट स्वीकार करने से पहले पक्का करें कि हर जोड़ी सचमुच एक ही ग्राहक है।
दोबारा देखने के बाद स्क्रिप्ट फिर चलाएँ
CSV डेटा की सफ़ाई शायद ही कभी एक बार में पूरी होती है, और सफ़ाई तथा विश्लेषण के बीच बार-बार लौटना सामान्य है: कोई चार्ट अजीब मान दिखाता है, आप एक नियम जोड़ते हैं और फिर चलाते हैं। बदलाव माँगें। edit_file स्क्रिप्ट अपडेट करता है और diff दिखाता है, Shell उसे उसी कॉपी पर दोबारा चलाता है, और नई रन को अलग नाम की आउटपुट फ़ाइल में लिखना चाहिए ताकि पहली बनी रहे, जिसे आप diff में जाँच सकते हैं। फिर उसी स्रोत की दूसरी नमूना फ़ाइल पर एक बार चलाएँ। अगर एग्ज़िट कोड या पंक्ति-गिनती गलत लगे, तो रुकें, diff दोबारा पढ़ें और खुद फ़ैसला करें।
