Limpeza de dados em machine learning começa com regras que você aprova

O que o agente pode fazer

• Arquivosread_file, write_file, edit_file, grep e glob trabalham dentro da pasta de trabalho do chat, e um contador mostra os arquivos criados, editados e lidos.
• Shellexecuta o seu comando de Python em um script de limpeza e informa o código de saída real; comandos perigosos são bloqueados.
• Webweb_search e http_get leem páginas de documentação oficial, por exemplo quando uma regra precisa de um detalhe da biblioteca padrão.
• Capturas de tela e imagenso ocr lê o texto de uma captura de tela de uma tabela, e o write_file pode salvar esse texto para um script organizar.
• Orquestraçãoo task executa subagentes em paralelo, por exemplo um por arquivo de entrada; o run_on_model envia um passo difícil para um modelo maior; as skills guardam roteiros reutilizáveis.
• Modos de aprovaçãoo Auto-run age na hora, o Ask first pausa antes de ações que alteram algo e o Plan only escreve um plano e não executa nada.
• Cronexecuta um prompt em um horário agendado, e assim um script de limpeza salvo pode rodar de novo quando chegar uma exportação nova.
• Modelosconecte um provedor na nuvem por um endpoint de API padrão, um modelo rodando localmente no seu PC ou o modelo integrado; o botão Test verifica um endpoint.

Dois passo a passo para preparar um modelo

Preencha idades ausentes sem vazamento de dados

O pré-processamento de dados em machine learning acrescenta etapas depois da limpeza, como codificar categorias e escalar números, e toda estatística deve vir apenas da parte de treino. Digamos que você queira preencher com a mediana as idades ausentes do ratings.csv. O Fredit Flow usa o grep para achar linhas com campos vazios, o write_file para salvar o prepare.py e o Shell para executá-lo com o seu próprio comando de Python. O script grava train_clean.csv e test_clean.csv, com a mediana calculada nas linhas de treino e depois aplicada às de teste. Seu ratings.csv continua intacto. No modo Ask first, o cartão pausa antes da gravação, e você lê o diff, compara as contagens de linhas que o script imprime e confere à mão 5 linhas de cada arquivo novo. Um pipeline para limpar dados reais e bagunçados pode começar como este único script.

Verifique faixas de valores e valores impossíveis

Valores impossíveis, como uma idade negativa ou um preço negativo, se escondem em arquivos grandes. Se você passa a maior parte do tempo limpando dados para ML, escreva cada regra uma vez e deixe o script aplicá-la. Tratar valores ausentes, duplicatas e outliers exige uma regra separada para cada um, escrita antes de o script rodar. O Fredit Flow usa o read_file para conferir os nomes das colunas, o edit_file para acrescentar ao script uma verificação de faixa e o Shell para executá-lo, informando o código de saída e a contagem de linhas fora da faixa. As linhas que falham vão para um arquivo de revisão. Nada é apagado. O modo Plan only lista essas verificações antes. Leia o arquivo de revisão linha por linha antes de mudar uma regra.