Pulizia dei dati nel machine learning: parti da regole che approvi tu

Cosa può fare l'agente

• Fileread_file, write_file, edit_file, grep e glob lavorano nella cartella di lavoro della chat, e un contatore mostra i file creati, modificati e letti.
• Shellesegue il tuo comando Python su uno script di pulizia e riporta il vero codice di uscita; i comandi pericolosi vengono bloccati.
• Webweb_search e http_get leggono pagine della documentazione ufficiale, per esempio quando una regola richiede un dettaglio della libreria standard.
• Screenshot e immaginiocr legge il testo da uno screenshot di una tabella, e write_file può salvare quel testo perché uno script lo sistemi.
• Orchestrazionetask avvia sub-agenti in parallelo, per esempio uno per ogni file di input; run_on_model manda un passaggio difficile a un modello più grande; le skill contengono procedure riutilizzabili.
• Modalità di approvazioneAuto-run agisce subito, Ask first si ferma prima delle azioni che cambiano qualcosa e Plan only scrive un piano senza eseguire nulla.
• Cronesegue un prompt a intervalli programmati, così uno script di pulizia salvato può rigirare quando arriva una nuova esportazione.
• Modellicollega un provider cloud tramite un endpoint API standard, un modello in esecuzione in locale sul tuo PC o il modello integrato; il pulsante Test verifica un endpoint.

Due esempi per preparare un modello

Riempi le età mancanti senza fuga di informazioni

La preparazione dei dati nel machine learning aggiunge passaggi dopo la pulizia, come la codifica delle categorie e il ridimensionamento dei numeri, e ogni statistica deve venire solo dalla parte di addestramento. Supponi di voler riempire con la mediana le età mancanti in ratings.csv. Fredit Flow usa grep per trovare le righe con campi vuoti, write_file per salvare prepare.py e Shell per eseguirlo con il tuo comando Python. Lo script scrive train_clean.csv e test_clean.csv, con la mediana calcolata sulle righe di addestramento e poi applicata a quelle di test. Il tuo ratings.csv resta intatto. In modalità Ask first la scheda si ferma prima della scrittura, così leggi il diff, confronti i conteggi di righe stampati dallo script e controlli a mano 5 righe in ciascun file nuovo. Una pipeline per ripulire dati reali e disordinati può partire da questo unico script.

Controlla gli intervalli e i valori impossibili

I valori impossibili, come un'età negativa o un prezzo negativo, si nascondono nei file grandi. Se passi la maggior parte del tempo a pulire dati per il ML, scrivi ogni regola una volta e lascia che lo script la applichi. Gestire valori mancanti, duplicati e outlier richiede una regola separata per ciascuno, scritta prima che lo script giri. Fredit Flow usa read_file per controllare i nomi delle colonne, edit_file per aggiungere allo script un controllo di intervallo e Shell per eseguirlo, riportando il codice di uscita e il numero di righe fuori intervallo. Le righe che falliscono vanno in un file di revisione. Non si cancella nulla. La modalità Plan only elenca prima questi controlli. Leggi il file di revisione riga per riga prima di cambiare una regola.