Abra a pasta do projeto
Escolha a pasta que contém a sua própria exportação e uma cópia dela. As ferramentas de arquivo trabalham dentro dessa pasta do chat.
Fluxos de trabalho
Limpeza de dados automatizada, um passo revisado por vez
03
Uma exportação bagunçada, um script e um arquivo novo
Aqui, limpeza de dados automatizada significa um script de Python que aplica suas regras escritas a um arquivo e salva o resultado como arquivo novo. Você tem uma exportação com espaços soltos, linhas repetidas e números em texto. O script fica com você. Você pode lê-lo e executá-lo de novo, e o original nunca é a saída.
Descreva as regras
Diga quais colunas aparar, qual chave identifica duplicatas e o que acontece com os campos em branco. O Plan only lista os passos antes.
Rode em uma cópia
O Shell executa o script com o seu comando de Python e mostra o código de saída real e a contagem de linhas impressa.
Revise o resultado
Leia o diff, compare o arquivo novo com o original e confira linhas à mão antes de aceitar.
Um script pequeno o bastante para ler em um minuto
Escreva o clean_customers.py, que limpa algumas linhas inventadas e imprime quantas linhas entraram e quantas saíram.
- list_dir
./1 arquivo - write_file
./clean_customers.pysalvo - Shell
your Python command clean_customers.pyexit 0 - read_file
./clean_customers.py17 linhas
Aguardando seu OK antes do próximo passoRejeitarAceitar
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))Ele tira espaços, passa o e-mail para minúsculas, ignora repetidos com um set e transforma o texto da idade em número ou None. Tem 3 linhas inventadas. Ao rodar, imprime 3 de entrada e 2 de saída.
Dois projetos de limpeza de dados, passo a passo
Remova duplicatas de um CSV grande
Para remover duplicatas de um CSV grande, você precisa antes de uma chave clara, por exemplo um e-mail normalizado, porque duplicatas exatas deixam passar linhas que diferem só por espaços ou maiúsculas. O Fredit Flow usa o grep para procurar na coluna-chave espaços soltos e letras maiúsculas, depois o write_file salva o dedupe.py e o Shell o executa em uma cópia da exportação com o seu próprio comando de Python. O script mantém a primeira linha de cada chave e grava as outras em um arquivo separado. O original fica. Confira as 2 contagens de linhas que ele imprime, abra o arquivo de revisão e confirme que cada par é mesmo o mesmo cliente antes de aceitar a saída.
Rode o script de novo depois de uma segunda olhada
Limpar dados CSV raramente termina em uma única passada, e as iterações entre a limpeza e a análise são normais: um gráfico mostra um valor estranho, você acrescenta uma regra e roda de novo. Peça a mudança. O edit_file atualiza o script e mostra o diff, o Shell o executa de novo na mesma cópia, e a nova execução deve gravar em um arquivo de saída com outro nome para que o primeiro seja mantido, o que você pode conferir no diff. Depois rode uma vez em um segundo arquivo de amostra da mesma origem. Se o código de saída ou uma contagem de linhas parecer errado, você para, lê o diff de novo e decide por conta própria.
