Erst ansehen, dann bereinigen
read_file und Shell zeigen die echten Werte jeder Spalte, bevor eine Regel geschrieben wird. Auffällige Werte verstecken sich dort.
Produkt
Datenbereinigung im Machine Learning beginnt mit Regeln, die du freigibst
01
Datenbereinigung im Machine Learning läuft auf schriftliche Regeln hinaus: welche Werte zu korrigieren sind, welche Zeilen wegfallen und welche Lücken zu markieren sind. Fredit Flow macht aus diesen Regeln ein Python-Skript, führt es aus, speichert eine neue Datei und zeigt das Diff. Du prüfst jeden Schritt.
Skripte, die du wiederholen kannst
write_file speichert ein Python-Bereinigungsskript, sodass der nächste Export dieselben Regeln bekommt statt neuer manueller Änderungen.
Ein Diff für jede Änderung
edit_file ändert ein Skript und zeigt das Diff; im Modus Ask first nimmst du es an oder lehnst es ab, bevor es angewendet wird.
Was der Agent kann
- Dateienread_file, write_file, edit_file, grep und glob arbeiten im Arbeitsordner des Chats, und ein Zähler zeigt erstellte, bearbeitete und gelesene Dateien.
- Shellführt deinen Python-Befehl auf einem Bereinigungsskript aus und meldet den echten Exit-Code; gefährliche Befehle werden blockiert.
- Webweb_search und http_get lesen offizielle Dokumentationsseiten, zum Beispiel wenn eine Regel ein Detail der Standardbibliothek braucht.
- Screenshots und Bilderocr liest Text aus dem Screenshot einer Tabelle, und write_file kann diesen Text speichern, damit ein Skript ihn aufräumt.
- Orchestrierungtask startet Subagenten parallel, zum Beispiel einen pro Eingabedatei; run_on_model schickt einen schwierigen Schritt an ein größeres Modell; Skills enthalten wiederverwendbare Abläufe.
- FreigabemodiAuto-run handelt sofort, Ask first hält vor Aktionen an, die etwas verändern, und Plan only schreibt einen Plan und führt nichts aus.
- Cronführt einen Prompt nach Zeitplan aus, sodass ein gespeichertes Bereinigungsskript erneut laufen kann, wenn ein neuer Export eintrifft.
- ModelleVerbinde einen Cloud-Anbieter über einen Standard-API-Endpunkt, ein lokal auf deinem PC laufendes Modell oder das integrierte Modell; die Schaltfläche Test prüft einen Endpunkt.
Erst aufteilen, dann anpassen
Teile die Daten in Trainings- und Testteil auf, bevor du eine Skalierung oder Median-Füllung anpasst, und wende dann auf den Testteil an, was du am Trainingsteil berechnet hast. Statistiken stammen nur aus dem Training.
Teile ratings.csv in Trainings- und Testdateien auf und fülle fehlende Altersangaben nur mit dem Median des Trainingsteils.
- read_file
./ratings.csvStichprobe gelesen - grep
,, ./ratings.csv6 Treffer - write_file
./prepare.pygespeichert - Shell
your Python command prepare.pyexit 0 - read_file
./train_clean.csvLücken gefüllt - read_file
./test_clean.csvLücken gefüllt
Wartet auf dein OK für den nächsten SchrittAblehnenAnnehmen
Zwei Beispiele zur Modellvorbereitung
Fehlende Altersangaben füllen, ohne Informationen durchsickern zu lassen
Datenvorverarbeitung im Machine Learning fügt nach der Bereinigung Schritte hinzu, etwa das Kodieren von Kategorien und das Skalieren von Zahlen, und jede Statistik darf nur aus dem Trainingsteil stammen. Angenommen, du willst die fehlenden Altersangaben in ratings.csv mit einem Median füllen. Fredit Flow findet mit grep Zeilen mit leeren Feldern, speichert prepare.py mit write_file und führt es mit Shell über deinen eigenen Python-Befehl aus. Das Skript schreibt train_clean.csv und test_clean.csv, wobei der Median aus den Trainingszeilen berechnet und dann auf die Testzeilen angewendet wird. Deine ratings.csv bleibt unberührt. Im Modus Ask first hält die Karte vor dem Schreiben an, sodass du das Diff liest, die vom Skript ausgegebenen Zeilenzahlen vergleichst und je 5 Zeilen in jeder neuen Datei von Hand prüfst. Eine Pipeline zum Bereinigen chaotischer realer Daten kann mit genau diesem einen Skript beginnen.
Wertebereiche und unmögliche Werte prüfen
Unmögliche Werte, etwa ein negatives Alter oder ein negativer Preis, verstecken sich in großen Dateien. Wenn du die meiste Zeit mit dem Bereinigen von Daten für ML verbringst, schreibe jede Regel einmal auf und lass das Skript sie anwenden. Der Umgang mit fehlenden Werten, Duplikaten und Ausreißern braucht für jeden Fall eine eigene Regel, die vor dem Lauf des Skripts aufgeschrieben ist. Fredit Flow prüft mit read_file die Spaltennamen, ergänzt mit edit_file eine Bereichsprüfung im Skript und führt es mit Shell aus, wobei es den Exit-Code und die Zahl der Zeilen außerhalb des Bereichs meldet. Zeilen, die durchfallen, gehen in eine Prüfdatei. Nichts wird gelöscht. Der Modus Plan only listet diese Prüfungen vorab auf. Lies die Prüfdatei Zeile für Zeile, bevor du eine Regel änderst.
Was Fredit Flow nicht tut
Fredit Flow ist kein gehosteter Dienst und kein Plugin für andere Software. Es ist nur für deine eigenen Dateien, deinen PC und Server gedacht, die du nutzen darfst; beschränke die Arbeit daher auf Daten, die dir gehören oder die du verarbeiten darfst. Die Ergebnisse prüfst du. Nichts hier verspricht, dass Code oder Bereinigungsregeln korrekt sind.
