يبدأ تنظيف البيانات في التعلم الآلي بقواعد توافق عليها

ما الذي يستطيع الوكيل فعله

• الملفاتتعمل read_file وwrite_file وedit_file وgrep وglob داخل مجلد عمل المحادثة، ويعرض عدّاد الملفات المُنشأة والمعدّلة والمقروءة.
• Shellيشغّل أمر Python الخاص بك على سكربت التنظيف ويبلغ برمز الخروج الفعلي؛ وتُحجب الأوامر الخطرة.
• الويبتقرأ web_search وhttp_get صفحات التوثيق الرسمي، مثلًا عندما تحتاج قاعدة إلى تفصيلة من المكتبة القياسية.
• لقطات الشاشة والصورتقرأ ocr النص من لقطة شاشة لجدول، ويستطيع write_file حفظ ذلك النص ليرتّبه سكربت.
• التنسيقتشغّل task وكلاء فرعيين بالتوازي، مثلًا واحدًا لكل ملف إدخال؛ ويرسل run_on_model خطوة صعبة إلى نموذج أكبر؛ وتحتفظ skills بأدلة عمل قابلة لإعادة الاستخدام.
• أوضاع الموافقةيتصرف Auto-run فورًا، ويتوقف Ask first قبل الإجراءات التي تغيّر شيئًا، ويكتب Plan only خطة ولا يشغّل شيئًا.
• Cronيشغّل طلبًا وفق جدول، فيمكن إعادة تشغيل سكربت تنظيف محفوظ عند وصول تصدير جديد.
• النماذجاربط مزوّدًا سحابيًا عبر نقطة نهاية API قياسية، أو نموذجًا يعمل محليًا على حاسوبك، أو النموذج المدمج؛ ويفحص زر Test نقطة النهاية.

مثالان خطوة بخطوة لتجهيز النموذج

املأ الأعمار المفقودة دون تسرّب

تضيف المعالجة المسبقة للبيانات في التعلم الآلي خطوات بعد التنظيف، مثل ترميز الفئات وتحجيم الأرقام، ويجب أن تأتي كل إحصائية من جزء التدريب وحده. لنفترض أنك تريد ملء الأعمار المفقودة في ratings.csv بالوسيط. يستخدم Fredit Flow الأداة grep للعثور على الأسطر ذات الحقول الفارغة، والأداة write_file لحفظ prepare.py، والأداة Shell لتشغيله بأمر Python الخاص بك. يكتب السكربت train_clean.csv وtest_clean.csv، ويُحسب الوسيط على صفوف التدريب ثم يُطبَّق على صفوف الاختبار. يبقى ratings.csv دون مساس. في وضع Ask first تتوقف البطاقة قبل الكتابة، فتقرأ الـ diff وتقارن أعداد الصفوف التي يطبعها السكربت وتفحص 5 صفوف بالعيّنة في كل ملف جديد. يمكن أن يبدأ خط معالجة لتنظيف البيانات الواقعية الفوضوية بهذا السكربت الواحد.

افحص النطاقات والقيم المستحيلة

القيم المستحيلة، مثل العمر السالب أو السعر السالب، تختبئ في الملفات الكبيرة. إذا كنت تقضي معظم وقتك في تنظيف البيانات للتعلم الآلي، فاكتب كل قاعدة مرة واحدة ودع السكربت يطبّقها. تتطلب معالجة القيم المفقودة والمكررة والشاذة قاعدة منفصلة لكل منها، تُكتب قبل تشغيل السكربت. يستخدم Fredit Flow الأداة read_file لفحص أسماء الأعمدة، والأداة edit_file لإضافة فحص للنطاق إلى السكربت، والأداة Shell لتشغيله، ويبلغ برمز الخروج وعدد الصفوف خارج النطاق. تذهب الصفوف الراسبة إلى ملف مراجعة. لا يُحذف شيء. يسرد وضع Plan only هذه الفحوص أولًا. اقرأ ملف المراجعة سطرًا سطرًا قبل أن تغيّر قاعدة.