2つのリストをあいまいに突き合わせる

あいまい一致とは

完全一致は「この値はもう片方のリストにあるか」を訊きます。あいまい一致は、実際に知りたいこと —— 「向こうのどれが、書き方を変えたこれなのか」を訊き、はい/いいえではなく 0〜100% の得点で答えます。

二つのリストの値が完全に同じで、重なりだけが要るのなら 完全一致のリスト比較 のほうが速く、 しきい値の設定を間違える余地もありません。

日本語の表記ゆれ —— 実測値で

このページの初期設定で測った値です。

• ＡＣＭＥ商事 と ACME商事 —— 100%。全角英字は 正規化(Unicode NFKC)で畳まれるので、そもそも差になりません。
• ｶﾌﾞｼｷｶﾞｲｼｬ と カブシキガイシャ —— 100%。 半角カナも同じく畳まれます。濁点が別文字で付いている場合も同じです。
• 山田 太郎 と 山田太郎 —— 80%。姓名の間の空白は 正規化では消えません。短い名前ほど1文字の重みが大きいので、名簿を突き合わせるときは しきい値を 75% あたりまで下げるのが実際的です。

これらの数字をここに書いているのは、得点が各行に出て、スライダーを動かすと再計算されるからです。 しきい値は勘で決めるものではなく、自分のデータの上で決めるものになります。

近さは三通りある

• 打ち間違い。 編集距離。隣り合う2文字の入れ替わりを1回の誤りとして数えます —— 打ち間違いの中でいちばん多い形だからです。
• 語順違い。 語を並べ替えた集合の上で同じ計算をします。 商事 ACME と ACME 商事 は 100% になります。
• 省略。 短いほうが長いほうにどれだけ収まるか、長さの比で割り引いて評価します —— 丸和 と 株式会社丸和 のような形です。

数字は表記ではなく識別子

請求書 1001 と 請求書 1002 は文字として 92% 似ていて、そして 別々の請求書です。それを黙って結びつける照合は、照合しないより悪い —— 誤りが結果の中で 見えないからです。そこで、両方の値に数字が含まれ、その数字が違うときは、 文字がどれだけ似ていてもしきい値より下に留めます。伝票番号・品番・顧客番号・郵便番号は 初期設定のまま安全です。

Fuzzy Lookup アドインとの違い

Microsoft の Fuzzy Lookup アドインはこの仕事をきちんとやりますが、二つ費用があります。 別途ダウンロードで Windows の Excel でしか動かないこと、そして多くの職場では アドインの導入が判断ではなく情シスへの申請になることです。Power Query の経路は ダウンロードは不要ですが、結合ステップと類似度の設定が要り、データが変わるたびに再実行になります。 どちらも行ごとの得点は見せてくれません —— しきい値を決めるのに必要なのは、まさにその数字です。

このタブから何も出ません

あいまいに突き合わせるのは顧客名簿、取引先名簿、従業員名簿です。二つのリストはこのタブの JavaScript が評価します。送信そのものが無いので、傍受も記録も保持も起こりません。