SIGMA検索技術で高速、高精度な検索を実現

　一般的なデータクレンジング製品は、人名や地名、企業名を網羅した「辞書」を利用してクレンジング対象データの先頭から順に辞書と照合し、誤っている部分を修正する「前方一致」の処理方式を取る。前方一致方式は、処理が単純であり高速なのが利点だ。

　ただし、前方一致方式で住所をクレンジングする場合、住所の一部に欠損があると正しく処理ができないケースがある。「東京都港区東新橋1丁目」という正しい住所に対して、「東京都東新橋1丁目」と誤記された住所がある場合を例に挙げる（図3）。「東京都」は正しいと判断できるものの、その次にある「東新橋」が区名辞書にない語句であるため、修正できずにエラーとなってしまう。

図3：前方一致方式の場合、住所に欠損があるとエラーとなってしまう（出典：富士通の製品紹介資料を基に作成）

　IIQは、オートマトン（入力された情報により、ある状態からどの状態へ遷移するかを示す状態遷移グラフ）を使った高速検索アルゴリズム「SIGMA検索技術」を搭載し、エラーの発生を防ぎつつ高速処理を実現する（図3）。SIGMA検索技術は前方一致方式とは異なり、辞書に登録された全ての住所に対してクレンジング対象の住所との類似度を算出し、正しい住所を見つけ出すというアプローチを取る。

図4：IIQは、SIGMA検索技術でエラーを防ぎつつ高速なクレンジング処理を実現する（出典：富士通の製品紹介資料を基に作成）

　こうした処理方法は、前方一致方式と比べて処理件数が増えるので、一般的に処理速度が遅くなりやすい。SIGMA検索技術は、処理方法の工夫により、前方一致方式と同等の処理速度を実現。4コアのプロセッサ1個搭載のIAサーバで、1秒当たり3000件のデータをクレンジングできると富士通は説明する。

　クレンジング精度については、富士通の検証環境では97％のデータを正しく修正できたという。同社によると、一般的なデータクレンジング製品のクレンジング精度は90％程度。

　住所辞書の充実度も高めた。住所辞書には、国内の住所を1970年から現在までの変更履歴を含めて登録。旧住所で記載されている住所を最新の住所へ修正する際に役立つ。有償オプションとして、毎月最新の住所辞書データを提供するサービス「住所辞書更新サービス」も提供する。

絞り込みで名寄せを高速化

　名寄せは、比較対象のデータを絞り込むことで高速化を図る。例えば、「氏名」「住所」「生年月日」で構成される顧客マスターの場合、生年月日で絞り込んで名寄せする、といったことができる。文字や数値が少しずれていても候補として残すといった工夫により、絞り込みによるデータの漏れも防ぐ。

　こうした高速化の工夫により、富士通の検証環境では、他社製品で1時間半かかるクレンジング／名寄せ処理が9分で完了するケースもあったという。

事例と価格：流通／製造業を中心に導入、250万円から導入可能

　IIQの販売開始は2009年9月9日と、データクレンジング／名寄せ製品の中では比較的後発だ。ユーザー企業数は2桁で、100ライセンスを販売済みである。流通業と製造業でユーザー企業の半数近くを占めるという。また、NTTデータが2010年5月に販売開始した「OUSIA Lite」は、IIQのOEM製品だ。

　IIQの価格は、1000万円程度が相場のデータクレンジング製品の中では破格の250万円（税別、以下同じ）から。GUIなどの要素を可能な限りそぎ落としたことで、低価格を実現した。ライセンス体系はプロセッサコア単位であり、大半のユーザー企業が1、2ライセンスで運用しているという。24時間365日のサポートと無償バージョンアップを含む年間保守料金は、ライセンス価格の20％。

　住所辞書更新サービスは、辞書更新の頻度に応じて、更新辞書を毎月提供する1年契約サービス（年額払いか月額払い）と、契約ごとに1回だけ提供するスポットサービスから選択できる。1年契約サービスの場合は80万円、スポットサービスの場合は1回当たり15万円。