머신러닝 데이터 정리는 내가 승인한 규칙에서 시작해요

에이전트가 할 수 있는 일

• 파일read_file, write_file, edit_file, grep, glob은 채팅의 작업 폴더 안에서 작동하며, 카운터가 만든 파일, 수정한 파일, 읽은 파일의 수를 보여줘요.
• Shell정리 스크립트에 대해 내 Python 명령을 실행하고 실제 종료 코드를 알려줘요. 위험한 명령은 차단돼요.
• 웹web_search와 http_get은 공식 문서 페이지를 읽어요. 예를 들어 규칙에 표준 라이브러리의 세부 사항이 필요할 때 써요.
• 스크린샷과 이미지ocr은 표 스크린샷에서 텍스트를 읽고, write_file은 그 텍스트를 저장해 스크립트가 다듬을 수 있게 해요.
• 오케스트레이션task는 입력 파일마다 하나씩 같은 하위 에이전트를 병렬로 실행해요. run_on_model은 어려운 단계를 더 큰 모델로 보내요. skills는 재사용할 수 있는 작업 지침서를 담아요.
• 승인 모드Auto-run은 즉시 실행하고, Ask first는 무언가를 바꾸는 동작 전에 멈추고, Plan only는 계획만 쓰고 아무것도 실행하지 않아요.
• Cron일정에 따라 프롬프트를 실행하므로, 새 내보내기 파일이 도착할 때 저장된 정리 스크립트를 다시 실행할 수 있어요.
• 모델표준 API 엔드포인트를 통한 클라우드 제공업체, PC에서 로컬로 실행되는 모델, 내장 모델을 연결할 수 있어요. Test 버튼이 엔드포인트를 확인해요.

모델 준비를 위한 따라 하기 두 가지

유출 없이 누락된 나이 채우기

머신러닝의 데이터 전처리는 정리 뒤에 범주 인코딩과 숫자 스케일링 같은 단계를 더하며, 모든 통계는 학습용에서만 가져와야 해요. ratings.csv에서 누락된 나이를 중앙값으로 채우고 싶다고 해요. Fredit Flow는 grep으로 빈 필드가 있는 행을 찾고, write_file로 prepare.py를 저장하고, Shell로 내 Python 명령을 써서 실행해요. 스크립트는 train_clean.csv와 test_clean.csv를 쓰며, 중앙값은 학습용 행에서 계산한 뒤 테스트용 행에 적용돼요. ratings.csv는 건드리지 않아요. Ask first 모드에서는 쓰기 전에 카드가 멈추므로 diff를 읽고, 스크립트가 출력하는 행 수를 비교하고, 새 파일마다 5행을 무작위로 확인해요. 지저분한 실제 데이터를 정리하는 파이프라인도 이런 스크립트 하나에서 시작할 수 있어요.

범위와 불가능한 값 확인하기

음수 나이나 음수 가격 같은 불가능한 값은 큰 파일 속에 숨어 있어요. ML용 데이터 정리에 대부분의 시간을 쓰고 있다면, 각 규칙을 한 번만 써 두고 스크립트가 적용하게 하세요. 누락된 값, 중복, 이상치를 다루려면 각각 별도의 규칙이 필요하고, 스크립트를 실행하기 전에 적어 두어야 해요. Fredit Flow는 read_file로 열 이름을 확인하고, edit_file로 스크립트에 범위 검사를 추가하고, Shell로 실행해서 종료 코드와 범위를 벗어난 행의 수를 알려줘요. 실패한 행은 검토용 파일로 가요. 지워지는 것은 없어요. Plan only 모드는 이런 검사를 먼저 나열해요. 규칙을 바꾸기 전에 검토용 파일을 한 줄씩 읽으세요.