重複 —— 印を付ける、取り除く、まとめる
「重複を消す」と一言でいっても、需要は 3 つに分かれます。重複している行に印を付ける、重複のない一覧を作る、1 顧客の複数行を金額を合計して 1 行に畳む。主キーとの違いも扱います。
このマニュアルの日本語は解説文です。アプリの画面表示は英語のため、メニュー名・ボタン名・エラーメッセージは画面どおり英語で表記し、スクリーンショットも英語画面のものを使っています。
3 つのうちどれが欲しいか
| やりたいこと | 使うもの |
|---|---|
| どの行が重複しているか見たい | Tools → Find duplicate rows → Mark Duplicate Rows |
| 重複のない一覧が欲しい | Tools → Find duplicate rows → Remove duplicates |
| 複数行に現れる 1 顧客を、受注番号をつないで金額を合計して 1 行に畳みたい | Tools → Combine-duplicates |
Find duplicate rows
Tools → Find duplicate rows:
- 探す表を選ぶ、またはアップロードする。
- 探す列を選ぶ —— 何をもって「同じ」とするか。電話番号だけなら電話番号が同じ行が重複、氏名と電話番号なら両方一致が条件です。
- 種類を選びます:Mark Duplicate Rows(印の列を足し、行はすべて残す)か Remove duplicates(重複のない行だけの新しい表)。Advanced Options に Match case のスイッチがあります。
- OK。
印を付けるのは判断する前に眺めたいとき、取り除くのは答えに直行したいときです。どちらの結果も生きていて、元に新しい行が来ればまた判定されます。
Combine-duplicates
Tools → Combine-duplicates:
- 表を選ぶ、またはアップロードする。
- 重複を判定する列を選ぶ —— 2 行を「同じもの」にする条件です。たとえば Customer。
- 他の列をどうするか決める:
- 値を連結する —— 区切り文字はカンマ、スペース、セミコロン、改行から。受注番号の列を連結すると
A001, A007, A012のようになります。 - 値を計算する —— 合計、件数、平均、最小、最大。金額の列を Sum にすれば顧客ごとの総額になります。 列ごとに個別に設定します。Add a column を使うと上書きせず新しい列に結果を入れます。ここにも Advanced Options の Match case があります。
- 値を連結する —— 区切り文字はカンマ、スペース、セミコロン、改行から。受注番号の列を連結すると
- 実行。
結果は Customer で収束した新しい表です。1 顧客 1 行、受注番号は連結、金額は合計。実質的には Summarize の一種を、「重複」の側から入ったものです。
主キーとの違い
主キーを設定しても重複は解消しますが、それはデータが入ってくる時点で、キーごとに最後の 1 行だけを残す形で起きます。解くのは「同じレコードを二度取り込んでしまった」という問題です。このページの道具が解くのは「データの中に本当によく似たレコードが複数ある」という、分析側の問題です。前者は表が保存している内容そのものを変え、後者は新しい表や列を派生させるだけです。