Kijk voordat je opschoont
read_file en Shell tonen de echte waarden in elke kolom voordat er een regel wordt geschreven. Vreemde waarden verstoppen zich daar.
Product
Data opschonen bij machine learning begint met regels die jij goedkeurt
01
Data opschonen bij machine learning komt neer op opgeschreven regels: welke waarden je corrigeert, welke rijen je weglaat en welke gaten je markeert. Fredit Flow maakt van die regels een Python-script, draait het, bewaart een nieuw bestand en toont de diff. Jij controleert elke stap.
Scripts die je opnieuw kunt draaien
write_file bewaart een Python-opschoonscript, zodat de volgende export dezelfde regels krijgt in plaats van nieuwe handmatige aanpassingen.
Een diff bij elke wijziging
edit_file wijzigt een script en toont de diff; in de modus Ask first accepteer of weiger je die voordat hij wordt toegepast.
Wat de agent kan
- Bestandenread_file, write_file, edit_file, grep en glob werken binnen de werkmap van de chat, en een teller toont de aangemaakte, bewerkte en gelezen bestanden.
- Shelldraait je Python-opdracht op een opschoonscript en meldt de echte exitcode; gevaarlijke opdrachten worden geblokkeerd.
- Webweb_search en http_get lezen officiële documentatiepagina's, bijvoorbeeld wanneer een regel een detail uit de standaardbibliotheek nodig heeft.
- Screenshots en afbeeldingenocr leest tekst uit een screenshot van een tabel, en write_file kan die tekst opslaan zodat een script hem opschoont.
- Orkestratietask draait subagents parallel, bijvoorbeeld één per invoerbestand; run_on_model stuurt een lastige stap naar een groter model; skills bevatten herbruikbare draaiboeken.
- GoedkeuringsmodiAuto-run handelt meteen, Ask first pauzeert vóór acties die iets wijzigen en Plan only schrijft een plan en voert niets uit.
- Crondraait een prompt volgens een schema, zodat een opgeslagen opschoonscript opnieuw kan draaien wanneer er een nieuwe export binnenkomt.
- Modellenkoppel een cloudprovider via een standaard API-eindpunt, een model dat lokaal op je pc draait of het ingebouwde model; de knop Test controleert een eindpunt.
Eerst splitsen, dan fitten
Splits de data in een trainings- en een testdeel voordat je een schaling of mediaanvulling fit, en pas daarna op het testdeel toe wat je op het trainingsdeel hebt berekend. Statistieken komen alleen uit de training.
Splits ratings.csv in trainings- en testbestanden en vul ontbrekende leeftijden alleen met de mediaan van de training.
- read_file
./ratings.csvsteekproef gelezen - grep
,, ./ratings.csv6 treffers - write_file
./prepare.pyopgeslagen - Shell
your Python command prepare.pyexit 0 - read_file
./train_clean.csvgaten gevuld - read_file
./test_clean.csvgaten gevuld
Wacht op jouw OK voor de volgende stapWeigerenAccepteren
Twee uitwerkingen voor het voorbereiden van een model
Vul ontbrekende leeftijden zonder informatielek
Datavoorbewerking bij machine learning voegt na het opschonen stappen toe, zoals het coderen van categorieën en het schalen van getallen, en elke statistiek moet alleen uit het trainingsdeel komen. Stel dat je de ontbrekende leeftijden in ratings.csv met een mediaan wilt vullen. Fredit Flow gebruikt grep om regels met lege velden te vinden, write_file om prepare.py op te slaan en Shell om het met je eigen Python-opdracht te draaien. Het script schrijft train_clean.csv en test_clean.csv, met de mediaan berekend op de trainingsrijen en daarna toegepast op de testrijen. Je ratings.csv blijft onaangeroerd. In de modus Ask first pauzeert de kaart vóór het schrijven, zodat je de diff leest, de door het script afgedrukte rijaantallen vergelijkt en met de hand 5 rijen in elk nieuw bestand controleert. Een pijplijn om rommelige echte data op te schonen kan beginnen als dit ene script.
Controleer bereiken en onmogelijke waarden
Onmogelijke waarden, zoals een negatieve leeftijd of een negatieve prijs, verstoppen zich in grote bestanden. Als je het grootste deel van je tijd data voor ML opschoont, schrijf dan elke regel één keer op en laat het script hem toepassen. Het omgaan met ontbrekende waarden, duplicaten en uitschieters vraagt om een aparte regel voor elk, opgeschreven voordat het script draait. Fredit Flow gebruikt read_file om de kolomnamen te controleren, edit_file om een bereikcontrole aan het script toe te voegen en Shell om het te draaien, waarbij de exitcode en het aantal rijen buiten het bereik worden gemeld. Rijen die falen gaan naar een controlebestand. Er wordt niets verwijderd. De modus Plan only somt deze controles vooraf op. Lees het controlebestand regel voor regel voordat je een regel wijzigt.
Wat Fredit Flow niet doet
Fredit Flow is geen gehoste dienst en geen plug-in voor andere software. Het is alleen bedoeld voor je eigen bestanden, je pc en servers die je mag gebruiken, dus beperk het werk tot gegevens die van jou zijn of die je mag verwerken. Jij controleert de resultaten. Niets hier belooft dat code of opschoonregels juist zijn.
