重複削除ボタンだけでは、全角半角、空白、ハイフン、旧字体、法人格の違いまで同じとは判断できません。
自動で削除するのではなく、確実な重複と、似ているため人が確認する候補を分けると安全です。
先に結論
商品コードや社員番号のような一意キーがあるなら、それを優先します。氏名や住所しかない場合は、文字を整えて比較し、疑わしい組み合わせを確認一覧にします。
この作業は自動化候補です
次の項目が多いほど、手作業をそのまま続けるより、自動化の効果が出やすくなります。
- 同じ人・商品が表記違いで複数登録される
- 全角半角や余分な空白が混ざる
- 電話番号や郵便番号の記号が統一されない
- 重複削除で別人まで消すのが怖い
- 毎月、新規データと既存台帳を照合する
作業を三つに分けて考える
- 1比較用の形へ整える
空白、記号、文字種などを規則に沿ってそろえます。
- 2確実な一致を分ける
IDや完全一致で自動判定できるものを処理します。
- 3候補を人が確認する
似ているが確定できない行を一覧にします。
向いている方法の考え方
Power Queryや関数で正規化列を作り、既存データと突き合わせられます。似ている文字列の判定は誤判定があるため、確認対象を絞る用途として使います。
削除より、統合前の候補一覧と変更履歴を残す方が安全です。顧客や契約データでは、別人をまとめる影響が大きいためです。
相談前にそろえるもの
完成形を細かく設計する必要はありません。今の作業が再現できる材料をそろえる方が重要です。
- 重複している実例を仮名化したもの
- 同一とみなすルール
- 別人として残す例
- 一意キーの有無
- 削除・統合後の履歴の残し方
専門家へ頼んだ方がよい目安
- 数万件の台帳を毎月照合する
- 表記ゆれが多く完全一致だけでは足りない
- 誤削除の影響が大きい
- 複数システムのマスターを統合する
よくある失敗
- 似ている行を自動で全部削除する
- 氏名だけで同一人物と決める
- 元データを残さず上書きする
- 正規化ルールを文書化しない
よくある疑問
似ている会社名も見つけられますか？
法人格、空白、記号をそろえて候補を出せます。ただし、同一企業かの最終判断は住所や法人番号なども確認します。
重複を自動で削除して大丈夫ですか？
一意キーや完全一致など確実な条件以外は、候補一覧にして確認する方が安全です。
毎月の新規データだけ確認できますか？
既存台帳と新規分を照合し、新規、重複候補、更新候補に分けることができます。