Làm sạch dữ liệu trong học máy bắt đầu từ các quy tắc bạn duyệt

Agent có thể làm gì

• Tệpread_file, write_file, edit_file, grep và glob hoạt động bên trong thư mục làm việc của cuộc trò chuyện, và một bộ đếm cho biết số tệp đã tạo, đã sửa và đã đọc.
• Shellchạy lệnh Python của bạn trên một script làm sạch và báo mã thoát thực tế; các lệnh nguy hiểm bị chặn.
• Webweb_search và http_get đọc các trang tài liệu chính thức, ví dụ khi một quy tắc cần chi tiết của thư viện chuẩn.
• Ảnh chụp màn hình và hình ảnhocr đọc văn bản từ ảnh chụp màn hình của một bảng, và write_file có thể lưu văn bản đó để script chỉnh lại.
• Điều phốitask chạy các tác tử con song song, ví dụ mỗi tệp đầu vào một cái; run_on_model gửi bước khó tới mô hình lớn hơn; skills lưu các cẩm nang dùng lại được.
• Chế độ duyệtAuto-run hành động ngay, Ask first dừng trước các hành động làm thay đổi thứ gì đó, còn Plan only viết kế hoạch và không chạy gì.
• Cronchạy một prompt theo lịch, nên một script làm sạch đã lưu có thể chạy lại khi có bản xuất mới.
• Mô hìnhkết nối nhà cung cấp đám mây qua điểm cuối API chuẩn, mô hình chạy cục bộ trên máy tính của bạn hoặc mô hình tích hợp sẵn; nút Test kiểm tra điểm cuối.

Hai hướng dẫn chuẩn bị cho mô hình

Điền tuổi bị thiếu mà không bị rò rỉ

Tiền xử lý dữ liệu trong học máy thêm các bước sau khi làm sạch, như mã hóa danh mục và chuẩn hóa thang số, và mọi số liệu thống kê phải lấy từ phần huấn luyện. Giả sử bạn muốn điền tuổi bị thiếu trong ratings.csv bằng trung vị. Fredit Flow dùng grep để tìm các dòng có trường trống, write_file để lưu prepare.py và Shell để chạy nó bằng lệnh Python của chính bạn. Script ghi ra train_clean.csv và test_clean.csv, với trung vị được tính trên các dòng huấn luyện rồi áp dụng cho các dòng kiểm tra. ratings.csv của bạn không bị đụng đến. Ở chế độ Ask first, thẻ dừng lại trước khi ghi, nên bạn đọc diff, so sánh số dòng mà script in ra và kiểm tra ngẫu nhiên 5 dòng trong mỗi tệp mới. Một quy trình để làm sạch dữ liệu thực tế lộn xộn có thể bắt đầu từ chính script này.

Kiểm tra phạm vi và giá trị bất khả thi

Giá trị bất khả thi, như tuổi âm hay giá âm, ẩn trong các tệp lớn. Nếu bạn dành phần lớn thời gian để làm sạch dữ liệu cho ML, hãy viết mỗi quy tắc một lần và để script áp dụng. Xử lý giá trị thiếu, dòng trùng và giá trị ngoại lai cần một quy tắc riêng cho mỗi loại, viết ra trước khi script chạy. Fredit Flow dùng read_file để kiểm tra tên cột, edit_file để thêm phép kiểm tra phạm vi vào script và Shell để chạy nó, báo mã thoát và số dòng nằm ngoài phạm vi. Các dòng không đạt được ghi vào một tệp để xem xét. Không có gì bị xóa. Chế độ Plan only liệt kê các phép kiểm tra này trước. Hãy đọc tệp xem xét từng dòng trước khi đổi một quy tắc.