Čištění dat ve strojovém učení začíná pravidly, která schvaluješ

Co agent umí

• Souboryread_file, write_file, edit_file, grep a glob pracují v pracovní složce chatu a počítadlo ukazuje vytvořené, upravené a přečtené soubory.
• Shellspouští tvůj příkaz Pythonu na čisticím skriptu a hlásí skutečný návratový kód; nebezpečné příkazy jsou blokované.
• Webweb_search a http_get čtou stránky oficiální dokumentace, například když pravidlo potřebuje detail standardní knihovny.
• Snímky obrazovky a obrázkyocr přečte text ze snímku tabulky a write_file může tento text uložit, aby ho skript upravil.
• Orchestracetask spouští podagenty paralelně, například jednoho na každý vstupní soubor; run_on_model pošle obtížný krok většímu modelu; skills obsahují opakovaně použitelné postupy.
• Režimy schvalováníAuto-run jedná hned, Ask first se zastaví před akcemi, které něco mění, a Plan only napíše plán a nic nespustí.
• Cronspouští prompt podle rozvrhu, takže uložený čisticí skript lze znovu spustit, když dorazí nový export.
• Modelypřipoj cloudového poskytovatele přes standardní koncový bod API, model běžící lokálně na tvém počítači, nebo vestavěný model; tlačítko Test koncový bod ověří.

Dva postupy pro přípravu modelu

Doplň chybějící věk bez úniku informací

Předzpracování dat ve strojovém učení přidává po čištění další kroky, například kódování kategorií a škálování čísel, a každá statistika musí pocházet jen z trénovací části. Řekněme, že chceš mediánem doplnit chybějící věk v ratings.csv. Fredit Flow pomocí grep najde řádky s prázdnými poli, write_file uloží prepare.py a Shell ho spustí tvým vlastním příkazem Pythonu. Skript zapíše train_clean.csv a test_clean.csv, přičemž medián spočítá z trénovacích řádků a pak ho použije na testovací. Tvůj ratings.csv zůstane nedotčený. V režimu Ask first se karta před zápisem zastaví, takže si přečteš diff, porovnáš počty řádků vypsané skriptem a ručně zkontroluješ 5 řádků v každém novém souboru. Potrubí pro čištění nepořádných reálných dat může začít právě tímto jedním skriptem.

Zkontroluj rozsahy a nemožné hodnoty

Nemožné hodnoty, jako záporný věk nebo záporná cena, se skrývají ve velkých souborech. Pokud trávíš většinu času čištěním dat pro ML, zapiš každé pravidlo jednou a nech skript, ať ho používá. Zacházení s chybějícími hodnotami, duplicitami a odlehlými hodnotami vyžaduje pro každou z nich samostatné pravidlo, zapsané před spuštěním skriptu. Fredit Flow pomocí read_file zkontroluje názvy sloupců, pomocí edit_file přidá do skriptu kontrolu rozsahu a pomocí Shell ho spustí, přičemž ohlásí návratový kód a počet řádků mimo rozsah. Řádky, které neprojdou, jdou do kontrolního souboru. Nic se nemaže. Režim Plan only tyto kontroly vypíše předem. Kontrolní soubor si přečti řádek po řádku, než změníš pravidlo.