CSV ファイルを2つ比較

CSV にテキスト差分を使うと静かに間違える

CSV の比較ツールの多くは、中身はテキスト差分です。A の1行目と B の1行目を並べて下へ進みます。 ソースコードにはそれで正しく、書き出したデータには静かに誤ります。書き出しには、コードには 起きない二つのことが起きるからです。

• 並び順が変わる。 同じ帳票を明日もう一度出すと、並びが違って戻ってくる。あるいは 先頭近くに1行増える。行単位の差分はそこから下を全部「変更」と報告するので、実際には 2件の違いが4000件になって届きます。
• 列がずれる。 誰かが途中に1列足すと、それ以降が全部右に1つずれます。

キー列での対応付けは両方を消します。対応はその列の値で取るので並び順は関係なくなり、 比較は見出し名ごとになるので、途中に増えた列は「1列増えた」として出ます。

Shift-JIS と BOM —— 比較の前に済ませること

日本語の CSV は文字コードが一つではありません。基幹システムからの書き出しは Shift-JIS、Excel が「CSV UTF-8」で保存したものは BOM 付き UTF-8、 Web からの書き出しは BOM なし UTF-8 —— どれも「CSV」です。区切りがタブになっている 書き出しもあります。

これらはファイルごとに個別に判定します。文字コードも区切り文字も違う二つの書き出しが、 それでも正しく比較できます。文字化けして届いたファイルは、化けたまま比べるのではなく 復号します。その部分だけが必要なら 文字化けの修復 が単独でやります。

何を違いとみなすか

値は前後の空白を落としたうえで、文字列として比べます。書き出しデータの差分では これが実用的です —— 0012 は数値の 12 にならずに 0012 のまま残り、 片方のシステムが足した空白ひとつで全行が赤くなることもありません。引用符は CSV の構文であって データではないので正規化され、改行コードも同じです。Windows で保存した同じファイルと macOS で保存した同じファイルは、別のファイルではありません。

このタブから何も出ません

CSV の書き出しは、たいてい顧客表まるごと、受注履歴まるごと、あるいは給与計算です。 二つのファイルはお使いの端末上の JavaScript が読み、比較もそこで終わります。 送信そのものが無いので、傍受も記録も保持も起こりません。