데이터 전처리 기법과 Fredit Flow: 자주 묻는 질문
데이터 정리 기본
데이터 전처리 기법이란 무엇인가요?
데이터 전처리 기법은 머신러닝을 위해 데이터셋을 준비하는 단계예요. 먼저 정리하고, 그다음 범주 인코딩과 숫자 스케일링 같은 단계가 이어져요. 먼저 나누세요. 모든 단계는 학습용에서만 맞추세요. “data pre processing”이라고 써도 같은 뜻이에요.
데이터 정리와 데이터 랭글링은 무엇이 다른가요?
데이터 정리는 잘못된 자료형, 불필요한 공백, 중복된 행, 누락된 값처럼 데이터셋의 오류를 찾아 고치는 일이에요. 데이터 랭글링은 표 합치기, 열 나누기, 피벗처럼 데이터의 모양을 바꾸고 결합하는 더 넓은 작업이에요. 랭글링이 더 넓어요.
누락된 값은 어떻게 처리해야 하나요?
하나뿐인 정답은 없어요. 행을 버리거나, 고정값으로 채우거나, 중앙값 같은 대푯값으로 채우거나, 빈칸을 그대로 두고 표시할 수 있어요. 선택은 열과 내가 던지는 질문에 따라 달라요. 결정한 내용은 적어 두세요.
중복된 행은 어떻게 찾나요?
중복을 찾으려면 정규화한 이메일 주소 같은 명확한 키가 필요해요. 정확히 일치하는 중복만 찾으면 공백이나 대소문자만 다른 행을 놓치기 때문이에요. 스크립트는 키마다 첫 번째 행을 남기고 나머지를 별도 파일에 쓸 수 있어요. 나머지를 검토하세요.
Fredit Flow 사용하기
freditcode.com은 Fredit Flow 공식 웹사이트인가요?
네, freditcode.com은 Fredit Flow 공식 웹사이트이고, 여기 있는 설치 프로그램은 원본 빌드예요. 아직 코드 서명이 되어 있지 않아요. SHA-256 체크섬을 공개된 매니페스트와 비교하고, 질문은 앱 안의 Send feedback 버튼으로 보내 주세요.
Fredit Flow는 완성된 정리 제품인가요?
아니요. Fredit Flow는 지저분한 데이터셋을 위한 완성된 CSV 정리 도구가 아니에요. 내 Python 명령을 사용해 Python 정리 스크립트를 대신 작성하고, 실행하고, 편집하는 에이전트이며, 규칙은 내가 승인한 규칙이에요.
OCR로 만든 텍스트 파일 정리에도 도움이 되나요?
네, 내가 가진 텍스트 파일이라면 가능해요. 에이전트가 read_file로 샘플을 읽고, 내가 짚어 준 반복되는 오류를 고치는 스크립트를 쓰고, 새 파일을 저장해요. ocr 도구로 표 스크린샷에서 텍스트를 읽을 수도 있어요. 출력은 직접 확인하세요.
결과가 항상 맞나요?
아니요. 에이전트는 내가 승인한 규칙을 적용할 뿐 값이 사실인지 판단할 수 없어요. 자동 정리는 어느 것도 완벽하지 않아요. 결과를 믿기 전에 diff를 읽고, 사본에서 스크립트를 테스트하고, 정리된 결과를 직접 무작위로 확인하세요.
모델, 개인정보, 다운로드
내 파일이 PC 밖으로 나가나요?
내가 고르는 대로예요. 클라우드 모델에서는 에이전트가 읽는 파일 텍스트를 포함한 프롬프트 텍스트가 그 제공업체로 가요. PC에서 로컬로 실행되는 모델에서는 컴퓨터 밖으로 아무것도 나가지 않으니, 개인정보가 든 데이터에는 이쪽을 고르세요.
첫 작은 작업은 어떻게 시작하나요?
내가 가진 작은 파일 하나가 시작하기에 알맞은 크기예요. Plan only 모드로 시작해서 에이전트가 나열하는 단계를 읽고, 그다음 Ask first로 전환해서 파일 사본에서 스크립트를 실행하세요. Plan only에서는 아무것도 실행되지 않아요.
다운로드 버튼이 나를 추적하나요?
버튼은 다운로드 수를 세기 위해 시간, IP 주소, 브라우저 사용자 에이전트, 있는 경우 유입 경로를 기록한 뒤 설치 프로그램으로 리디렉션해요. statinside.com의 방문 카운터는 페이지 방문을 기록해요. 자세한 내용은 개인정보 페이지에 있어요.