Limpieza de datos en machine learning: empieza por reglas que apruebas

Qué puede hacer el agente

• Archivosread_file, write_file, edit_file, grep y glob trabajan dentro de la carpeta de trabajo del chat, y un contador muestra los archivos creados, editados y leídos.
• Shellejecuta tu comando de Python sobre un script de limpieza e informa del código de salida real; los comandos peligrosos se bloquean.
• Webweb_search y http_get leen páginas de documentación oficial, por ejemplo cuando una regla necesita un detalle de la biblioteca estándar.
• Capturas e imágenesocr lee texto de una captura de una tabla, y write_file puede guardar ese texto para que un script lo ordene.
• Orquestacióntask ejecuta subagentes en paralelo, por ejemplo uno por archivo de entrada; run_on_model envía un paso difícil a un modelo más grande; las skills guardan guías reutilizables.
• Modos de aprobaciónAuto-run actúa de inmediato, Ask first se detiene antes de las acciones que cambian algo y Plan only escribe un plan y no ejecuta nada.
• Cronejecuta un prompt según un horario, así un script de limpieza guardado puede volver a ejecutarse cuando llegue una exportación nueva.
• Modelosconecta un proveedor en la nube mediante un endpoint de API estándar, un modelo que corra en local en tu PC o el modelo integrado; el botón Test comprueba un endpoint.

Dos ejemplos para preparar un modelo

Rellena edades que faltan sin filtrar información

El preprocesamiento de datos en machine learning añade pasos después de la limpieza, como codificar categorías y escalar números, y cada estadística debe salir solo de la parte de entrenamiento. Imagina que quieres rellenar con la mediana las edades que faltan en ratings.csv. Fredit Flow usa grep para encontrar líneas con campos vacíos, write_file para guardar prepare.py y Shell para ejecutarlo con tu propio comando de Python. El script escribe train_clean.csv y test_clean.csv, con la mediana calculada sobre las filas de entrenamiento y aplicada después a las de prueba. Tu ratings.csv queda intacto. En modo Ask first la tarjeta se detiene antes de escribir, así que lees el diff, comparas los recuentos de filas que imprime el script y revisas a mano 5 filas de cada archivo nuevo. Una canalización para limpiar datos reales y desordenados puede empezar como este único script.

Comprueba rangos y valores imposibles

Los valores imposibles, como una edad negativa o un precio negativo, se esconden en archivos grandes. Si pasas la mayor parte del tiempo limpiando datos para ML, escribe cada regla una vez y deja que el script la aplique. Tratar valores que faltan, duplicados y valores atípicos exige una regla distinta para cada caso, escrita antes de ejecutar el script. Fredit Flow usa read_file para comprobar los nombres de columna, edit_file para añadir al script una comprobación de rango y Shell para ejecutarlo, e informa del código de salida y del número de filas fuera del rango. Las filas que fallan van a un archivo de revisión. No se borra nada. El modo Plan only enumera antes estas comprobaciones. Lee el archivo de revisión línea por línea antes de cambiar una regla.