Abre la carpeta del proyecto
Elige la carpeta que contiene tu propia exportación y una copia de ella. Las herramientas de archivos trabajan dentro de esa carpeta del chat.
Flujos de trabajo
Limpieza de datos automatizada, un paso revisado a la vez
03
Una exportación desordenada, un script y un archivo nuevo
Aquí, limpiar datos de forma automatizada significa un script de Python que aplica tus reglas escritas a un archivo y guarda el resultado en uno nuevo. Tienes una exportación con espacios sueltos, filas repetidas y números en texto. Te quedas con el script. Puedes leerlo y volver a ejecutarlo, y el original nunca es la salida.
Describe las reglas
Indica qué columnas recortar, qué clave detecta los duplicados y qué pasa con los huecos. Plan only enumera antes los pasos.
Ejecuta en una copia
Shell ejecuta el script con tu comando de Python y muestra el código de salida real y los recuentos de filas que imprime.
Revisa el resultado
Lee el diff, compara el archivo nuevo con el original y revisa filas a mano antes de aceptar.
Un script lo bastante corto para leerlo en un minuto
Escribe clean_customers.py, que limpie unas filas inventadas e imprima cuántas filas entraron y cuántas salieron.
- list_dir
./1 archivo - write_file
./clean_customers.pyguardado - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 líneas
Esperando tu OK antes del siguiente pasoRechazarAceptar
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Quita espacios, pasa el e-mail a minúsculas, omite repetidos con un set y convierte el texto de la edad en un número o None. Contiene 3 filas inventadas. Al ejecutarlo imprime 3 de entrada y 2 de salida.
Dos proyectos de limpieza de datos, paso a paso
Elimina duplicados de un CSV grande
Para eliminar duplicados de un CSV grande necesitas antes una clave clara, por ejemplo un e-mail normalizado, porque los duplicados exactos no detectan filas que solo difieren en espacios o mayúsculas. Fredit Flow usa grep para buscar en la columna clave espacios sueltos y letras mayúsculas, luego write_file guarda dedupe.py y Shell lo ejecuta sobre una copia de la exportación con tu propio comando de Python. El script conserva la primera fila de cada clave y escribe las demás en un archivo aparte. El original se queda. Comprueba los 2 recuentos de filas que imprime, abre el archivo de revisión y confirma que cada pareja es realmente el mismo cliente antes de aceptar la salida.
Vuelve a ejecutar el script tras una segunda revisión
Limpiar datos CSV rara vez se termina en una sola pasada, y las iteraciones entre la limpieza y el análisis son normales: un gráfico muestra un valor raro, añades una regla y ejecutas de nuevo. Pide el cambio. edit_file actualiza el script y muestra el diff, Shell lo vuelve a ejecutar sobre la misma copia, y la nueva ejecución debería escribir en un archivo de salida con otro nombre para conservar el primero, algo que puedes comprobar en el diff. Después ejecútalo una vez sobre un segundo archivo de muestra de la misma fuente. Si el código de salida o un recuento de filas no cuadra, paras, lees el diff otra vez y decides tú.
