CSV 파일 두 개 비교

CSV 에 텍스트 비교를 쓰면 조용히 틀린다

CSV 비교 도구 대부분은 속이 텍스트 비교입니다. A 의 1행과 B 의 1행을 맞추고 아래로 내려갑니다. 소스 코드에는 정확히 맞고 내보낸 데이터에는 조용히 틀립니다. 내보내기에는 코드에 없는 두 가지가 일어나기 때문입니다.

• 정렬이 바뀐다. 같은 보고서를 내일 다시 돌리면 다른 순서로 돌아오거나, 위쪽에 한 행이 끼어듭니다. 줄 단위 비교는 그 아래를 전부 「변경」으로 보고하므로, 실제 차이 두 건이 사천 건으로 도착합니다.
• 열이 밀린다. 누군가 중간에 열을 하나 넣으면 그 뒤가 전부 오른쪽으로 한 칸씩 밀립니다.

키 열 짝짓기는 둘 다 없앱니다. 그 열의 값으로 짝을 지으므로 순서는 상관없어지고, 비교는 머리글 이름별로 이뤄집니다.

EUC-KR, CP949, 그리고 BOM

한국어 CSV 의 인코딩은 하나가 아닙니다. 기간계에서 내려온 파일은 EUC-KR/CP949, 엑셀이 「CSV UTF-8」로 저장한 파일은 BOM 붙은 UTF-8, 웹에서 내려받은 파일은 BOM 없는 UTF-8 —— 전부 「CSV」입니다. 구분자가 탭인 경우도 있습니다.

이것들은 파일마다 따로 판별합니다. 인코딩도 구분자도 다른 두 내보내기가 그래도 올바르게 비교됩니다. 깨져서 도착한 파일은 깨진 채로 비교하지 않고 디코딩합니다. 그 부분만 필요하다면 인코딩 고치기가 따로 해 줍니다.

무엇을 차이로 볼 것인가

값은 앞뒤 공백을 떼고 문자열로 비교합니다. 내보낸 데이터의 비교에서는 이것이 실용적입니다 —— 0012 는 숫자 12 가 되지 않고 0012 로 남으며, 한쪽 시스템이 넣은 공백 하나 때문에 모든 행이 빨개지지도 않습니다. 따옴표는 CSV 문법이지 데이터가 아니므로 정규화되고, 줄바꿈도 마찬가지입니다.

이 탭 밖으로 나가지 않습니다

CSV 내보내기는 대개 고객 테이블 전체, 주문 이력 전체, 또는 급여 계산입니다. 두 파일은 사용자 기기의 JavaScript 가 읽고 비교도 거기서 끝납니다. 전송 자체가 없으므로 가로채거나 기록하거나 보관할 것도 없습니다.