프로젝트 폴더 열기
내 내보내기 파일과 그 사본이 있는 폴더를 선택하세요. 파일 도구는 그 채팅 폴더 안에서 작동해요.
워크플로
자동 데이터 정리, 한 번에 검토하는 한 단계씩
03
지저분한 내보내기 파일, 스크립트 하나, 새 파일
여기서 말하는 자동 데이터 정리는, 내가 적은 규칙을 파일에 적용하고 결과를 새 파일로 저장하는 Python 스크립트를 뜻해요. 불필요한 공백, 반복된 행, 문자열로 된 숫자가 있는 내보내기 파일 하나가 있다고 해요. 스크립트는 여러분이 가져요. 읽고 다시 실행할 수 있고, 원본이 출력이 되는 일은 절대 없어요.
규칙 설명하기
어느 열의 공백을 지울지, 어떤 키로 중복을 찾을지, 빈칸은 어떻게 할지 알려 주세요. Plan only는 단계를 먼저 나열해요.
사본에서 실행하기
Shell이 내 Python 명령으로 스크립트를 실행하고 실제 종료 코드와 출력된 행 수를 보여줘요.
결과 검토하기
수락하기 전에 diff를 읽고, 새 파일을 원본과 비교하고, 행을 직접 무작위로 확인하세요.
1분이면 읽을 수 있을 만큼 작은 스크립트
가상의 몇 행을 정리하고 들어간 행과 나온 행이 몇 개인지 출력하는 clean_customers.py를 써 줘.
- list_dir
./파일 1개 - write_file
./clean_customers.py저장됨 - Shell
your Python command clean_customers.py종료 코드 0 - read_file
./clean_customers.py17행
다음 단계 전에 내 승인을 기다리는 중이에요거부수락
clean_customers.py
rows = [
{"email": " Ann@Mail.com ", "age": "34"},
{"email": "ann@mail.com", "age": "34"},
{"email": "Bo@Mail.com", "age": "n/a"},
]
seen, clean = set(), []
for row in rows:
email = row["email"].strip().lower()
if email in seen:
continue
seen.add(email)
try:
age = int(row["age"].strip())
except ValueError:
age = None
clean.append({"email": email, "age": age})
print("rows in:", len(rows), "rows out:", len(clean))공백을 지우고, 이메일을 소문자로 바꾸고, set으로 반복을 건너뛰고, 나이 텍스트를 숫자 또는 None으로 바꿔요. 가상의 3행이 들어 있어요. 실행하면 입력 3, 출력 2가 출력돼요.
데이터 정리 프로젝트 두 가지, 단계별로
큰 CSV에서 중복 제거하기
큰 CSV에서 중복을 제거하려면 먼저 정규화한 이메일 주소 같은 명확한 키가 필요해요. 정확히 일치하는 중복만 찾으면 공백이나 대소문자만 다른 행을 놓치기 때문이에요. Fredit Flow는 grep으로 키 열에서 불필요한 공백과 대문자를 찾고, write_file로 dedupe.py를 저장하고, Shell이 내보내기 파일의 사본에서 내 Python 명령으로 실행해요. 스크립트는 키마다 첫 번째 행을 남기고 나머지는 별도 파일에 써요. 원본은 그대로 남아요. 스크립트가 출력하는 두 행 수를 확인하고, 검토용 파일을 열어 각 쌍이 정말 같은 고객인지 확인한 뒤에 출력을 수락하세요.
다시 살펴본 뒤 스크립트 재실행하기
CSV 데이터 정리는 한 번에 끝나는 일이 드물고, 정리와 분석 사이의 반복은 흔한 일이에요. 차트에서 이상한 값이 보이면 규칙을 추가하고 다시 실행해요. 변경을 요청하세요. edit_file이 스크립트를 업데이트하고 diff를 보여주며, Shell이 같은 사본에서 다시 실행해요. 새 실행은 이름이 다른 출력 파일에 쓰도록 해서 첫 번째 파일이 남게 하세요. 이것은 diff에서 확인할 수 있어요. 그다음 같은 출처의 두 번째 샘플 파일에서 한 번 실행해 보세요. 종료 코드나 행 수가 이상해 보이면 멈추고, diff를 다시 읽고, 직접 판단하세요.
