重複削除ボタンだけでは、全角半角、空白、ハイフン、旧字体、法人格の違いまで同じとは判断できません。
自動で削除するのではなく、確実な重複と、似ているため人が確認する候補を分けると安全です。
商品コードや社員番号のような一意キーがあるなら、それを優先します。氏名や住所しかない場合は、文字を整えて比較し、疑わしい組み合わせを確認一覧にします。
自動で確定できる重複を見分ける
重複候補を機械的に出すには、同一人物・同一企業と判断する基準が必要です。削除まで自動にする範囲は、照合キーの確実さで決めます。
- 同じ人・商品が表記違いで複数登録される
- 全角半角や余分な空白が混ざる
- 電話番号や郵便番号の記号が統一されない
- 重複削除で別人まで消すのが怖い
- 毎月、新規データと既存台帳を照合する
照合キーと表記の統一ルールを決める
- 1比較用の形へ整える
空白、記号、文字種などを規則に沿ってそろえます。
- 2確実な一致を分ける
IDや完全一致で自動判定できるものを処理します。
- 3候補を人が確認する
似ているが確定できない行を一覧にします。
重複候補を絞り、変更履歴を残す
Power Queryや関数で正規化列を作り、既存データと突き合わせられます。似ている文字列の判定は誤判定があるため、確認対象を絞る用途として使います。
削除より、統合前の候補一覧と変更履歴を残す方が安全です。顧客や契約データでは、別人をまとめる影響が大きいためです。
同一・別物・判断保留の実例を分ける
同一と確定できる例、似ているが別と判断する例、判断に迷う例を分けて用意すると、誤判定を減らせます。
- 重複している実例を仮名化したもの
- 同一とみなすルール
- 別人として残す例
- 一意キーの有無
- 削除・統合後の履歴の残し方
件数が多く、誤削除の影響も大きいとき
- 数万件の台帳を毎月照合する
- 表記ゆれが多く完全一致だけでは足りない
- 誤削除の影響が大きい
- 複数システムのマスターを統合する
似ているだけで自動削除しない
- 似ている行を自動で全部削除する
- 氏名だけで同一人物と決める
- 元データを残さず上書きする
- 正規化ルールを文書化しない
よくある疑問
似ている会社名も見つけられますか?
法人格、空白、記号をそろえて候補を出せます。ただし、同一企業かの最終判断は住所や法人番号なども確認します。
重複を自動で削除して大丈夫ですか?
一意キーや完全一致など確実な条件以外は、候補一覧にして確認する方が安全です。
毎月の新規データだけ確認できますか?
既存台帳と新規分を照合し、新規、重複候補、更新候補に分けることができます。