मशीन लर्निंग में डेटा सफ़ाई उन नियमों से शुरू होती है जिन्हें आप मंज़ूर करते हैं

एजेंट क्या कर सकता है

• फ़ाइलेंread_file, write_file, edit_file, grep और glob चैट के वर्किंग फ़ोल्डर के भीतर काम करते हैं, और एक काउंटर बनाई, बदली और पढ़ी गई फ़ाइलें दिखाता है।
• Shellसफ़ाई स्क्रिप्ट पर आपकी Python कमांड चलाता है और असली एग्ज़िट कोड बताता है; खतरनाक कमांड रोक दी जाती हैं।
• वेबweb_search और http_get आधिकारिक दस्तावेज़ों के पेज पढ़ते हैं, जैसे जब किसी नियम को स्टैंडर्ड लाइब्रेरी के किसी ब्योरे की ज़रूरत हो।
• स्क्रीनशॉट और चित्रocr किसी तालिका के स्क्रीनशॉट से टेक्स्ट पढ़ता है, और write_file उस टेक्स्ट को सहेज सकता है ताकि स्क्रिप्ट उसे सँवार सके।
• समन्वयtask उप-एजेंटों को समानांतर चलाता है, जैसे हर इनपुट फ़ाइल के लिए एक; run_on_model कठिन चरण को बड़े मॉडल के पास भेजता है; skills दोबारा इस्तेमाल होने वाली कार्य-पुस्तिकाएँ रखते हैं।
• मंज़ूरी मोडAuto-run तुरंत कार्रवाई करता है, Ask first कुछ बदलने वाली कार्रवाइयों से पहले रुकता है, और Plan only योजना लिखता है और कुछ नहीं चलाता।
• Cronकिसी प्रॉम्प्ट को तय समय पर चलाता है, ताकि नया एक्सपोर्ट आने पर सहेजी गई सफ़ाई स्क्रिप्ट दोबारा चलाई जा सके।
• मॉडलस्टैंडर्ड API एंडपॉइंट के ज़रिए क्लाउड प्रदाता, अपने पीसी पर लोकल चलने वाला मॉडल या बिल्ट-इन मॉडल जोड़ें; Test बटन एंडपॉइंट की जाँच करता है।

मॉडल की तैयारी के लिए दो उदाहरण

बिना लीक के गायब उम्र भरें

मशीन लर्निंग में डेटा प्रीप्रोसेसिंग सफ़ाई के बाद श्रेणियों को एन्कोड करने और संख्याओं को स्केल करने जैसे चरण जोड़ती है, और हर आँकड़ा केवल प्रशिक्षण हिस्से से आना चाहिए। मान लीजिए आप ratings.csv की गायब उम्र को माध्यिका से भरना चाहते हैं। Fredit Flow खाली फ़ील्ड वाली पंक्तियाँ ढूँढने के लिए grep, prepare.py सहेजने के लिए write_file और उसे आपकी अपनी Python कमांड से चलाने के लिए Shell इस्तेमाल करता है। स्क्रिप्ट train_clean.csv और test_clean.csv लिखती है, जिसमें माध्यिका प्रशिक्षण की पंक्तियों पर निकाली जाती है और फिर परीक्षण की पंक्तियों पर लागू होती है। आपकी ratings.csv अछूती रहती है। Ask first मोड में कार्ड लिखने से पहले रुकता है, इसलिए आप diff पढ़ते हैं, स्क्रिप्ट द्वारा छापी गई पंक्ति-गिनतियों की तुलना करते हैं और हर नई फ़ाइल की 5 पंक्तियों की नमूना जाँच करते हैं। बेतरतीब असली डेटा साफ़ करने की पाइपलाइन इसी एक स्क्रिप्ट से शुरू हो सकती है।

सीमाएँ और असंभव मान जाँचें

असंभव मान, जैसे ऋणात्मक उम्र या ऋणात्मक कीमत, बड़ी फ़ाइलों में छिपे रहते हैं। अगर आप ML के लिए डेटा साफ़ करने में ज़्यादातर समय लगा रहे हैं, तो हर नियम एक बार लिखें और स्क्रिप्ट को उसे लागू करने दें। गायब मान, दोहराव और आउटलायर सँभालने के लिए हर एक का अलग नियम चाहिए, जो स्क्रिप्ट चलने से पहले लिखा गया हो। Fredit Flow कॉलम के नाम जाँचने के लिए read_file, स्क्रिप्ट में सीमा-जाँच जोड़ने के लिए edit_file और उसे चलाने के लिए Shell इस्तेमाल करता है, और एग्ज़िट कोड तथा सीमा के बाहर की पंक्तियों की गिनती बताता है। जो पंक्तियाँ असफल होती हैं वे समीक्षा फ़ाइल में जाती हैं। कुछ भी नहीं हटाया जाता। Plan only मोड इन जाँचों को पहले सूचीबद्ध करता है। कोई नियम बदलने से पहले समीक्षा फ़ाइल को पंक्ति-दर-पंक्ति पढ़ें।