Curățarea datelor în machine learning începe cu reguli pe care le aprobi

Ce poate face agentul

• Fișiereread_file, write_file, edit_file, grep și glob lucrează în folderul de lucru al chatului, iar un contor arată fișierele create, modificate și citite.
• Shellrulează comanda ta Python pe un script de curățare și raportează codul de ieșire real; comenzile periculoase sunt blocate.
• Webweb_search și http_get citesc pagini de documentație oficială, de exemplu atunci când o regulă are nevoie de un detaliu din biblioteca standard.
• Capturi de ecran și imaginiocr citește textul dintr-o captură de ecran cu un tabel, iar write_file poate salva acel text pentru ca un script să-l ordoneze.
• Orchestraretask rulează sub-agenți în paralel, de exemplu unul pentru fiecare fișier de intrare; run_on_model trimite un pas dificil unui model mai mare; skill-urile conțin proceduri reutilizabile.
• Moduri de aprobareAuto-run acționează imediat, Ask first se oprește înainte de acțiunile care schimbă ceva, iar Plan only scrie un plan și nu rulează nimic.
• Cronrulează un prompt după un program, astfel încât un script de curățare salvat poate rula din nou când sosește un export nou.
• Modeleconectează un furnizor din cloud printr-un punct final API standard, un model care rulează local pe PC-ul tău sau modelul încorporat; butonul Test verifică un punct final.

Două exemple de pregătire a unui model

Completează vârstele lipsă fără scurgeri de informații

Preprocesarea datelor în machine learning adaugă pași după curățare, precum codificarea categoriilor și scalarea numerelor, iar fiecare statistică trebuie să vină numai din partea de antrenare. Să zicem că vrei să completezi cu mediana vârstele lipsă din ratings.csv. Fredit Flow folosește grep ca să găsească rândurile cu câmpuri goale, write_file ca să salveze prepare.py și Shell ca să-l ruleze cu propria ta comandă Python. Scriptul scrie train_clean.csv și test_clean.csv, cu mediana calculată pe rândurile de antrenare și apoi aplicată pe cele de test. ratings.csv al tău rămâne neatins. În modul Ask first, cardul se oprește înainte de scriere, așa că citești diff-ul, compari numerele de rânduri afișate de script și verifici manual 5 rânduri din fiecare fișier nou. Un flux pentru curățarea datelor reale și dezordonate poate începe cu acest singur script.

Verifică intervalele și valorile imposibile

Valorile imposibile, precum o vârstă negativă sau un preț negativ, se ascund în fișierele mari. Dacă îți petreci cea mai mare parte a timpului curățând date pentru ML, scrie fiecare regulă o singură dată și lasă scriptul să o aplice. Tratarea valorilor lipsă, a duplicatelor și a valorilor aberante cere o regulă separată pentru fiecare, scrisă înainte să ruleze scriptul. Fredit Flow folosește read_file ca să verifice numele coloanelor, edit_file ca să adauge în script o verificare de interval și Shell ca să-l ruleze, raportând codul de ieșire și numărul de rânduri din afara intervalului. Rândurile care nu trec merg într-un fișier de revizuire. Nu se șterge nimic. Modul Plan only enumeră aceste verificări dinainte. Citește fișierul de revizuire rând cu rând înainte să schimbi o regulă.