Czyszczenie danych w uczeniu maszynowym zaczyna się od reguł, które zatwierdzasz

Co potrafi agent

• Plikiread_file, write_file, edit_file, grep i glob pracują w folderze roboczym czatu, a licznik pokazuje pliki utworzone, zmienione i odczytane.
• Shelluruchamia Twoje polecenie Pythona na skrypcie czyszczącym i podaje prawdziwy kod wyjścia; niebezpieczne polecenia są blokowane.
• Webweb_search i http_get czytają oficjalne strony dokumentacji, na przykład gdy reguła wymaga szczegółu z biblioteki standardowej.
• Zrzuty ekranu i obrazyocr odczytuje tekst ze zrzutu ekranu tabeli, a write_file może zapisać ten tekst, żeby skrypt go uporządkował.
• Orkiestracjatask uruchamia subagentów równolegle, na przykład jednego na każdy plik wejściowy; run_on_model wysyła trudny krok do większego modelu; skille zawierają wielokrotnego użytku instrukcje.
• Tryby zatwierdzaniaAuto-run działa od razu, Ask first zatrzymuje się przed akcjami, które coś zmieniają, a Plan only zapisuje plan i niczego nie uruchamia.
• Cronuruchamia prompt według harmonogramu, dzięki czemu zapisany skrypt czyszczący można puścić ponownie, gdy pojawi się nowy eksport.
• Modelepodłącz dostawcę w chmurze przez standardowy punkt końcowy API, model działający lokalnie na Twoim komputerze albo model wbudowany; przycisk Test sprawdza punkt końcowy.

Dwa przykłady przygotowania modelu

Wypełnij brakujący wiek bez wycieku informacji

Przygotowanie danych w uczeniu maszynowym dodaje po czyszczeniu kolejne kroki, takie jak kodowanie kategorii i skalowanie liczb, a każda statystyka musi pochodzić wyłącznie z części treningowej. Załóżmy, że chcesz wypełnić medianą brakujący wiek w ratings.csv. Fredit Flow używa grep, żeby znaleźć wiersze z pustymi polami, write_file, żeby zapisać prepare.py, i Shell, żeby uruchomić go Twoim własnym poleceniem Pythona. Skrypt zapisuje train_clean.csv i test_clean.csv, z medianą policzoną na wierszach treningowych i zastosowaną potem do testowych. Twój ratings.csv pozostaje nietknięty. W trybie Ask first karta zatrzymuje się przed zapisem, więc czytasz diff, porównujesz liczby wierszy wypisane przez skrypt i ręcznie sprawdzasz 5 wierszy w każdym nowym pliku. Potok do czyszczenia niechlujnych danych z prawdziwego świata może zacząć się od tego jednego skryptu.

Sprawdź zakresy i niemożliwe wartości

Niemożliwe wartości, takie jak ujemny wiek czy ujemna cena, ukrywają się w dużych plikach. Jeśli większość czasu spędzasz na czyszczeniu danych do ML, zapisz każdą regułę raz i pozwól skryptowi ją stosować. Obsługa brakujących wartości, duplikatów i wartości odstających wymaga osobnej reguły dla każdego przypadku, zapisanej przed uruchomieniem skryptu. Fredit Flow używa read_file, żeby sprawdzić nazwy kolumn, edit_file, żeby dodać do skryptu kontrolę zakresu, i Shell, żeby go uruchomić, podając kod wyjścia i liczbę wierszy poza zakresem. Wiersze, które nie przechodzą kontroli, trafiają do pliku do przeglądu. Nic nie jest usuwane. Tryb Plan only wylicza te kontrole z góry. Przeczytaj plik do przeglądu wiersz po wierszu, zanim zmienisz regułę.