オープンソースベースのツールも登場

【製品動向】低価格化や辞書充実が進む「データクレンジング／名寄せ」

データの不備や重複を解消する「データクレンジング／名寄せ製品」。OSS化などで導入のハードルを下げたり、分析機能を追加するといった動きがある。最新動向をまとめた。

　住所／会社名の間違いに、記入漏れや表記揺れ――。ビジネスインテリジェンス（BI）などの分析ツールを導入したとしても、データにあるこうした不完全な部分を放置しておけば、意味のある分析結果を得ることはできない。データをきれいにし、使えるデータにするために役立つのが、「データクレンジング／名寄せ製品」である。本稿は、データクレンジング／名寄せ製品の最新動向を示す。

データクレンジング／名寄せ製品の現状

　データクレンジング／名寄せ製品は、データの表記の統一や類似データの突き合わせなどを自動実行する。存在しない会社名や地名など、明らかに間違ったデータを排除したり、同一人物なのに複数の顧客マスターが存在するといった重複データを特定する機能を持つ。

　一般的なデータクレンジング／名寄せ製品は、「クレンジング」「名寄せ」の2段階の処理をする。クレンジングでは、データの表記内容をルールに従って統一したり、内容の修正や補完を実施する。名寄せでは、クレンジングしたデータを対象に、複数のデータの中から同一データを特定する。

　データクレンジング／名寄せの専用製品に加え、ETLツールの一部がクレンジング／名寄せ機能を搭載する。例えば、SAPジャパンのETL製品「SAP BusinessObjects Data Services」は、データクレンジング／名寄せモジュールである「SAP BusinessObjects Data Quality Management」を用意する。

　リアライズやデータ総研といったデータマネジメントのコンサルティング企業などは、データクレンジング／名寄せをサービスとして提供している。エニイの「データクレンジング」など、ユーザー企業にスタッフが出張し、社外に持ち出せないデータのクレンジングを実施するサービスもある。

製品動向1：辞書の工夫で精度を向上

　データクレンジング／名寄せ製品は、省略された会社名を補完したり、合併後の正確な市区町村名に修正する際などに、住所や人名・企業名などに関する辞書を参照する。辞書の充実度が、クレンジングや名寄せの精度を左右する大きな要素となる。

　データクレンジング／名寄せの精度を高めるべく、各ベンダーとも辞書の提供方法や作成方法に工夫を凝らす。富士通のデータクレンジング／名寄せ製品「Interstage Information Quality」は、最新版の住所辞書を毎月提供する「住所辞書更新サービス」を有償オプションとして提供する。

　アグレックスがデータクレンジング／名寄せ製品「TS Quality」に採用している全国住所マスター「ADDRESS」は、京都地区については行政名に加え、公称として使用されている「通称名」も収録。1975年の提供開始時から蓄積した、累計約30万件の住所情報が収録されている。

製品動向2：OSSなどで製品価格を抑制

　欧米ベンダーを中心としたデータクレンジング／名寄せ製品の多くは、1サーバ当たり2000万円前後と価格が高いのがネックだ。導入のハードルを下げるべく、価格を抑えた製品を投入する動きがある。

この記事の著者