ดูก่อนทำความสะอาด
read_file และ Shell แสดงค่าจริงในแต่ละคอลัมน์ก่อนที่จะเขียนกฎใด ๆ ค่าแปลก ๆ ซ่อนอยู่ตรงนั้น
ผลิตภัณฑ์
การทำความสะอาดข้อมูลใน machine learning เริ่มจากกฎที่คุณอนุมัติ
01
การทำความสะอาดข้อมูลใน machine learning สรุปลงที่กฎที่เขียนไว้ ว่าจะแก้ค่าใด ทิ้งแถวใด และทำเครื่องหมายช่องว่างใด Fredit Flow แปลงกฎเหล่านั้นเป็นสคริปต์ Python รันมัน บันทึกไฟล์ใหม่ และแสดง diff คุณตรวจทุกขั้นตอน
สคริปต์ที่รันซ้ำได้
write_file บันทึกสคริปต์ทำความสะอาดด้วย Python ไฟล์ส่งออกครั้งต่อไปจึงได้กฎเดิมแทนการแก้ไขด้วยมือแบบใหม่
diff สำหรับทุกการแก้ไข
edit_file แก้สคริปต์และแสดง diff ในโหมด Ask first คุณยอมรับหรือปฏิเสธก่อนที่มันจะถูกนำไปใช้
เอเจนต์ทำอะไรได้บ้าง
- ไฟล์read_file, write_file, edit_file, grep และ glob ทำงานภายในโฟลเดอร์ทำงานของแชต และตัวนับจะแสดงจำนวนไฟล์ที่สร้าง แก้ไข และอ่าน
- Shellรันคำสั่ง Python ของคุณกับสคริปต์ทำความสะอาดและรายงานรหัสออกจริง คำสั่งอันตรายจะถูกบล็อก
- เว็บweb_search และ http_get อ่านหน้าเอกสารทางการ เช่น เมื่อกฎต้องใช้รายละเอียดของไลบรารีมาตรฐาน
- ภาพหน้าจอและรูปภาพocr อ่านข้อความจากภาพหน้าจอของตาราง และ write_file บันทึกข้อความนั้นเพื่อให้สคริปต์จัดระเบียบ
- การประสานงานtask รันเอเจนต์ย่อยพร้อมกัน เช่น หนึ่งตัวต่อไฟล์อินพุต run_on_model ส่งขั้นตอนที่ยากไปยังโมเดลที่ใหญ่กว่า skills เก็บคู่มือที่นำกลับมาใช้ซ้ำได้
- โหมดอนุมัติAuto-run ลงมือทันที Ask first หยุดก่อนการกระทำที่เปลี่ยนแปลงบางสิ่ง และ Plan only เขียนแผนโดยไม่รันอะไร
- Cronรันพรอมต์ตามกำหนดเวลา เพื่อให้สคริปต์ทำความสะอาดที่บันทึกไว้รันซ้ำได้เมื่อมีไฟล์ส่งออกใหม่
- โมเดลเชื่อมต่อผู้ให้บริการคลาวด์ผ่านเอนด์พอยต์ API มาตรฐาน โมเดลที่รันในพีซีของคุณ หรือโมเดลที่มีมาในตัว ปุ่ม Test ตรวจเอนด์พอยต์
แบ่งก่อน แล้วค่อยปรับให้เข้า
แบ่งข้อมูลเป็นส่วนฝึกและส่วนทดสอบก่อนปรับการสเกลหรือการเติมด้วยค่ามัธยฐาน แล้วนำสิ่งที่คำนวณจากส่วนฝึกไปใช้กับส่วนทดสอบ สถิติมาจากส่วนฝึกเท่านั้น
แบ่ง ratings.csv เป็นไฟล์ฝึกและไฟล์ทดสอบ แล้วเติมอายุที่ขาดหายด้วยค่ามัธยฐานของส่วนฝึกเท่านั้น
- read_file
./ratings.csvอ่านตัวอย่างแล้ว - grep
,, ./ratings.csvตรงกัน 6 รายการ - write_file
./prepare.pyบันทึกแล้ว - Shell
your Python command prepare.pyรหัสออก 0 - read_file
./train_clean.csvเติมช่องว่างแล้ว - read_file
./test_clean.csvเติมช่องว่างแล้ว
กำลังรอการอนุมัติจากคุณก่อนขั้นตอนถัดไปปฏิเสธยอมรับ
สองตัวอย่างทีละขั้นสำหรับการเตรียมโมเดล
เติมอายุที่ขาดหายโดยไม่ให้ข้อมูลรั่วไหล
การประมวลผลข้อมูลล่วงหน้าใน machine learning เพิ่มขั้นตอนหลังการทำความสะอาด เช่น การเข้ารหัสหมวดหมู่และการปรับสเกลตัวเลข และทุกสถิติต้องมาจากส่วนฝึกเท่านั้น สมมุติว่าคุณต้องการเติมอายุที่ขาดหายใน ratings.csv ด้วยค่ามัธยฐาน Fredit Flow ใช้ grep หาบรรทัดที่มีช่องว่าง ใช้ write_file บันทึก prepare.py และใช้ Shell รันด้วยคำสั่ง Python ของคุณเอง สคริปต์เขียน train_clean.csv และ test_clean.csv โดยคำนวณค่ามัธยฐานจากแถวส่วนฝึกแล้วนำไปใช้กับแถวส่วนทดสอบ ratings.csv ของคุณไม่ถูกแตะต้อง ในโหมด Ask first การ์ดจะหยุดก่อนเขียน คุณจึงอ่าน diff เทียบจำนวนแถวที่สคริปต์พิมพ์ และสุ่มตรวจ 5 แถวในแต่ละไฟล์ใหม่ ไปป์ไลน์สำหรับทำความสะอาดข้อมูลจริงที่รกรุงรังเริ่มจากสคริปต์เดียวแบบนี้ได้
ตรวจช่วงค่าและค่าที่เป็นไปไม่ได้
ค่าที่เป็นไปไม่ได้ เช่น อายุติดลบหรือราคาติดลบ ซ่อนอยู่ในไฟล์ขนาดใหญ่ ถ้าคุณใช้เวลาส่วนใหญ่ไปกับการทำความสะอาดข้อมูลสำหรับ ML ให้เขียนแต่ละกฎเพียงครั้งเดียวแล้วปล่อยให้สคริปต์นำไปใช้ การจัดการค่าที่ขาดหาย ค่าซ้ำ และค่าผิดปกติต้องมีกฎแยกกัน เขียนไว้ก่อนที่สคริปต์จะรัน Fredit Flow ใช้ read_file ตรวจชื่อคอลัมน์ ใช้ edit_file เพิ่มการตรวจช่วงค่าลงในสคริปต์ และใช้ Shell รัน โดยรายงานรหัสออกและจำนวนแถวที่อยู่นอกช่วง แถวที่ไม่ผ่านจะไปอยู่ในไฟล์สำหรับตรวจทาน ไม่มีอะไรถูกลบ โหมด Plan only แสดงรายการการตรวจเหล่านี้ก่อน อ่านไฟล์ตรวจทานทีละบรรทัดก่อนเปลี่ยนกฎ
สิ่งที่ Fredit Flow ไม่ทำ
Fredit Flow ไม่ใช่บริการที่โฮสต์ไว้หรือปลั๊กอินสำหรับซอฟต์แวร์อื่น มีไว้สำหรับไฟล์ของคุณเอง พีซีของคุณ และเซิร์ฟเวอร์ที่คุณได้รับอนุญาตให้ใช้เท่านั้น ดังนั้นให้ทำงานกับข้อมูลที่คุณเป็นเจ้าของหรือมีสิทธิ์ประมวลผล คุณเป็นผู้ตรวจผลลัพธ์ ไม่มีสิ่งใดที่นี่สัญญาว่าโค้ดหรือกฎการทำความสะอาดนั้นถูกต้อง
