企業はデータクレンジング（洗浄）の取り組みにおいて、大事な情報までうっかり捨ててしまってはいないだろうか？　不要と思われるデータの中に、重要な情報が含まれていないだろうか？

　企業はデータを洗浄、つまり削除する際に、顧客に関する有用な情報を失っている可能性がある。名前の別のスペリングや、古い住所などの情報だ。こうした古くなった情報は通常、「ダーティデータ」と呼ばれるが、そうしたデータを保存して分析すれば、マーケティングコストを削減できるほか、詐欺の検出にも役立ち、顧客を360度の視野から理解することにもつながる。「データを捨てれば、情報を捨てることになりかねない」と情報管理コンサルタント企業、ナレッジインテグリティの社長兼主任コンサルタント、デビッド・ローシン氏は語っている。

　「データクレンジングを行えば、そのデータに含まれる興味深い追加の情報まで削除することになりかねない」と同氏。

　ローシン氏によれば、人は実際の生活で多くのIDを持ち、状況に応じて、実名、ニックネーム、イニシャルなどを使い分けているため、名前を1種類しか保存しないのであれば、状況を完全に把握したとはいえない。ファイルに保存する名前情報とアドレスが最新のものだけであると、データベース全体、あるいは取得したリスト全体にわたって記録を照合する際に問題が生じかねない。また同氏によれば、情報は、例えば、その人物がほかにどのマーケティングリストに載っているか、勤務歴、以前の肩書きなど、「文脈を持ったメタデータ」から得られるものだという。

　だがローシン氏は次のようにも警告している。「まず最初にデータ品質プロセスを配備するなり、十分なデータ管理プロセスを備えるなりしないことには、データから有用な情報を引き出すことは期待できない」。同氏によれば、このコンセプトは、企業にデータを有益な方法で管理、処理する能力があってこそ、初めて有効となる。さらに企業は、履歴データを活用するためにシステムを刷新し、ツールを実装するに際してのコストとメリットを比較検討する必要がある。

　米インテリシンク傘下のアイデンティティシステムズなどのベンダーは、こうしたデータの処理で付加価値を提供したいと考えている。アイデンティティシステムズが提供しているデータ検索／照合ソフトは、アルゴリズムとファジー理論を用いて、システム中のIDデータの検索とグループ化を行う。同ソフトは自らが1人のビジネスユーザーであるかのように振る舞い、人間にとっては明白だがコンピュータにとっては明白ではないようなデータの照合を行う。

　アイデンティティシステムズの取り組みは、まず警察当局と情報機関との連携から始まった、と同社の北米事業担当副社長ラメッシュ・メノン氏は語っている。これらの機関には、人物や出来事に関して受け取ったデータをすべて保存する習慣がある。メノン氏によれば、この分野には、「たとえ古いデータでも、ごく小さなデータが将来何かしら役に立つ可能性があり、特に新しい出来事に関する情報や、別の機関からの情報と組み合わせた場合には、なおさらそうだ」という考えが浸透している。

　メノン氏は、こうした考え方は一般企業にとっても有効だと考えている。同氏によれば、ID照合は、買収、データベース共有、法令遵守などの分野に付加価値とコスト削減をもたらすからだ。

　例えば、顧客が最近引越したり結婚したりしたことが分かった場合、多くの企業は単に社内データベースの情報を更新し、それまでの履歴を削除するだけだろう。もしその企業が、その顧客の旧姓や古い住所の情報が含まれたデータベースを新たに入手した場合、その顧客は新しい人物として誤って認識されることになる。オリジナルの顧客データを保存しておけば、その記録が既存顧客に関するものであることを認識できだはずだ。こうした類の問題に伴う弊害としては、郵便物の重複や無駄な販促活動のほか、顧客に不快な思いをさせるなど、各種の影響が考えられる。

　だがメノン氏によれば、アイデンティティシステムズが奨励している「何でも保存する」というやり方は、顧客には通常、歓迎されない。改訂版のデータベース構造を実装し、より多くのデータを保存、処理する作業が大変であるのは明らかだ。だが実際のところ、問題はそれだけではない。

　「哲学上のハードルもある。最近は“データはクリーンでなければならず、クリーンでなければ価値がない”といった考え方が優勢だ」と同氏。

　とはいえ、メノン氏も、すべてを保存することがあらゆる企業にとって常に有意義なわけではないことは認めている。

　「組織にとって、顧客の潜在的な価値がどれほどかによって違ってくる」と同氏。あるいは、追い払うべき相手を知ることが重要となるケースもあるだろう、と同氏は続けている。例えば、米反テロ法（Patriot Act）では、警戒リストに載っている人物と事業を営んだ場合、その企業には重い罰金が科されることになっている。また、多くの企業にとっては、詐欺行為の検出が履歴データを保存すべき理由の1つとなっている。

　調査会社ガートナーの調査担当副社長テッド・フリードマン氏は、履歴データにはそれなりに価値があるとの意見に同意している。「だが、コスト面でのメリットを分析すれば、おそらく多くの企業にとっては、システムの刷新を正当化するほどの理由にはならないだろう」と同氏は指摘している。

　「古いデータをどの程度まで保存するかという判断は実際、業界やアプリケーションによって大きく異なる」とフリードマン氏は語り、警察当局や金融機関、詐欺行為の検出などの分野で履歴データが果たすであろう役割に言及している。「誰もが何もかもすべて保存すべきだとは思わない」と同氏は続けて語っている。

（この記事は2005年12月7日に掲載されたものを翻訳しました。）