データクレンジング製品紹介： SAS Institute Japan編

操作性／管理性重視のクレンジングツール「SAS Data Management」

設定や運用を簡単にして、現場の従業員が難なく使えるデータクレンジングツールを目指す。こうした思想を具現化したのが、SAS Institute Japanの「SAS Data Management」だ。

公開 2012年12月27日 08時06分

[TechTargetジャパン]

印刷する連載新着通知を受け取る

　統計解析やビジネスインテリジェンス（BI）といったデータ分析製品を数多く手掛けるSAS Institute Japan（以下、SAS）。同社は、データ分析をいかにしやすくするか、現業部門にとっていかに使いやすくするかといった視点で、データクレンジングツールの機能を磨き続けている。SASのデータクレンジングツールの特徴について、同社ビジネス開発本部 Information Management & Analyticsグループマネージャーの小林泉氏に話を聞いた。

連載：データクレンジング製品紹介

連載インデックス

製品の概要

　SASは、データ分析に不可欠なデータマネジメント関連の方法論と製品群を組み合わせたサービス「SAS Data Management」の1コンポーネントとして、データクレンジングツールを提供する（画面1）。「名寄せのためのデータクレンジングではなく、分析のためのデータクレンジングを包括的に提供する」という意向が、こうした提供形式を取る背景にあるという。

画面1：SAS Data Managementのデータクレンジングツールを起動した直後。機能を選択するダイアログが表示される《クリックで拡大》

　SAS Data Managementは、サーバ版に加えてスタンドアロン版を用意。「分析をするときに自分たちでデータをきれいにしたいという、現業部門のニーズに応えた」。クレンジングエンジンやユーザーインタフェースはスタンドアロン版とサーバ版ともに同一であり、まずスタンドアロン版を導入し、クレンジング対象のデータが増加したらサーバ版へ移行する、といったことも容易にできる。

他社製品に対する特徴

　SASのデータクレンジングツールの特徴は、「ルールベースのクレンジング」「設定の容易さ」「プロファイリング機能の充実」の3点だ。それぞれについて詳しく見ていこう。

辞書更新不要の「ルールベース」クレンジング

　一般的なデータクレンジング製品は、人名や地名、企業名を網羅した「辞書」を利用し、データの先頭から辞書と照合するといった手順でクレンジングを実施する。対してSASのデータクレンジングツールは、ルールベースのクレンジング手法を用いる点が異なる。日本の場合、住所は「都道府県」「市区町村」「番地」「ビル／マンション名」の順番に並ぶといったルールがある。こうしたルールに基づいてデータを修正するのが、ルールベースのクレンジングの基本的な考え方だ。

　例えば、都道府県名が入るべきところに「千葉市」と入っていたら「千葉県」に修正する、といった処理をする。その他、「東京都」「トウキョウト」といった表記を「東京都」に統一するといった、データの標準化も実施する。

　辞書ベースのデータクレンジング製品の場合、辞書自体が高価なのに加え、地名や企業名の変化に追従するために頻繁な更新が必要になる。ルールベースであれば、辞書の購入や更新といった負担をなくすことができる。

GUIで設定を容易に

　現業部門が利用することを想定して開発されたSASのデータクレンジングツール。「最低でも、現場担当者が利用できるシステムでないといけない」という考えから、操作性の向上に工夫を凝らす。その具体策の1つが、GUIベースの設定ツールだ。

　設定ツールを使うと、事前に用意されたアイコンを並べることで、ソースデータの選択やデータのクレンジング、クレンジング済みデータの出力といった実行プロセスを自由に定義できる（画面2）。「一般的なデータクレンジングツールは、設定やカスタマイズの際にC言語でプログラムを書かないといけないなど、ハードルが高い」と小林氏は指摘する。

画面2：SAS Data Managementのデータクレンジングツールが備えるGUIベースの設定ツール。アイコンを並べることで、クレンジングプロセスを定義できる

「プロファイリング」で現状を把握、目標設定も支援

　SASのデータクレンジングツールが持つもう1つの特徴は、データの現状を可視化する「データプロファイリング」機能を充実させたことだ。データの書式が統一されているかどうか、数字が論理的に間違っていないかどうかなどを分析できる。「データがどれくらい汚いかが分からない」「欲しいデータがどこにあるかが分からない」といった課題がある場合、データプロファイリングが解決策となる。

　SASは、これに加えて「メタデータプロファイリング」の機能も用意する。メタデータプロファイリングは、複数システムのデータモデル間に不整合がないかどうかなどを解析する機能だ。例えば、表記ゆれを考慮した上でデータベースの項目名に関する類似度を分析する機能を搭載。「氏名」「NAME」「CONTACT」「顧客名」と項目名が異なっていても、全て顧客名が格納されている項目だと把握する。

　データプロファイリングやメタデータプロファイリングは、データクレンジングの目標設定にも有効だと小林氏は語る。「データクレンジングに関して、明確な目標を描けている企業はそれほど多くない」という現状を踏まえ、SASはデータがどれだけ汚れているかをツールで把握した上で、どのデータをどの程度クレンジングするかといった、具体的な目標設定までをサービスとして提供する。