Nettoyage de données en machine learning : commence par des règles que tu valides

Ce que l'agent sait faire

• Fichiers read_file, write_file, edit_file, grep et glob travaillent dans le dossier de travail du chat, et un compteur indique les fichiers créés, modifiés et lus.
• Shell lance ta commande Python sur un script de nettoyage et rapporte le vrai code de sortie ; les commandes dangereuses sont bloquées.
• Web web_search et http_get lisent des pages de documentation officielle, par exemple quand une règle demande un détail de la bibliothèque standard.
• Captures et images ocr lit le texte d'une capture d'écran de tableau, et write_file peut enregistrer ce texte pour qu'un script le remette en forme.
• Orchestration task lance des sous-agents en parallèle, par exemple un par fichier d'entrée ; run_on_model envoie une étape difficile à un modèle plus grand ; les skills contiennent des procédures réutilisables.
• Modes d'approbation Auto-run agit tout de suite, Ask first s'arrête avant les actions qui modifient quelque chose, et Plan only écrit un plan sans rien exécuter.
• Cron lance un prompt à intervalle régulier, ce qui permet de relancer un script de nettoyage enregistré quand un nouvel export arrive.
• Modèles connecte un fournisseur cloud via un point d'accès d'API standard, un modèle qui tourne en local sur ton PC ou le modèle intégré ; le bouton Test vérifie un point d'accès.

Deux cas pratiques pour préparer un modèle

Remplis les âges manquants sans fuite d'information

Le prétraitement des données en machine learning ajoute des étapes après le nettoyage, comme l'encodage des catégories et la mise à l'échelle des nombres, et chaque statistique doit venir de la seule partie d'entraînement. Imagine que tu veuilles remplir par la médiane les âges manquants de ratings.csv. Fredit Flow utilise grep pour trouver les lignes à champs vides, write_file pour enregistrer prepare.py et Shell pour le lancer avec ta propre commande Python. Le script écrit train_clean.csv et test_clean.csv, avec la médiane calculée sur les lignes d'entraînement puis appliquée aux lignes de test. Ton ratings.csv reste intact. En mode Ask first, la carte s'arrête avant l'écriture : tu lis le diff, tu compares les nombres de lignes affichés par le script et tu vérifies à la main 5 lignes dans chaque nouveau fichier. Un pipeline pour nettoyer des données réelles et désordonnées peut commencer par ce seul script.

Vérifie les plages et les valeurs impossibles

Les valeurs impossibles, comme un âge négatif ou un prix négatif, se cachent dans les gros fichiers. Si tu passes l'essentiel de ton temps à nettoyer des données pour le ML, écris chaque règle une fois et laisse le script l'appliquer. Gérer les valeurs manquantes, les doublons et les valeurs aberrantes demande une règle distincte pour chacun, écrite avant l'exécution du script. Fredit Flow utilise read_file pour vérifier les noms de colonnes, edit_file pour ajouter au script un contrôle de plage et Shell pour le lancer, en rapportant le code de sortie et le nombre de lignes hors plage. Les lignes qui échouent vont dans un fichier de relecture. Rien n'est supprimé. Le mode Plan only liste d'abord ces contrôles. Relis le fichier de relecture ligne par ligne avant de modifier une règle.