セルフサービス？　ああ！　だから、今日はガソリンスタンドの給油ホースを持ってたんですね。ちなみになんで、ガソリンじゃなくて、スパークリングワインが出てきたんですか？　まあ、いいですよ、そんなことは。それよりも、セルフサービスデータマネジメントなんて、できるんですか？　Hadoopデータの抽出や加工って、ガソリンのセルフスタンドみたいに、ボタン1つで誰もがお手軽にできるような作業じゃないですよ。

　プログラムを書けないユーザーも多いし、正直あんまり現実的じゃないと思うんですけど……。

　ちっちっちっ。心配は無用じゃ。

　確かに一昔前は、ビッグデータを扱うためには特別なスキルや知識が必要だったの。それに世の中にある多くのアナリティクスツールは、PCやシングルサーバで利用することを前提としているため、ビッグデータに対応させて分散環境で動かすためには工夫が必要だったんじゃ。つまりスキル獲得や時間といった壁が大きく立ちはだかっていたといえるの。

　じゃが、今は、SASのように、Hadoopのスキルがなくても、GUI（グラフィカルユーザーインタフェース）操作や分析者になじみのある言語でHadoopで扱うデータを自由自在に加工できる便利なツールがあるんじゃぞ。プログラミングなんてしなくとも、マウスによるポイント＆クリック操作だけでデータ加工処理を作成し、実行エンジンとして「Apache Spark」や「Cloudera Impala」などを切り替えて実行することも可能じゃ。

　つまり大半の分析者は、「Spark入門」なんて入門書を読む必要もないんじゃ。

　お、出ましたね、Spark。さっき読んでいた本にも、SparkやらImpalaやら出てきたんですが、これって、Hadoopとどういう関係にあるんですか？　「Hadoopエコシステム」とか解説にあったんですが、何かチンプンカンプンで。

　はあ。全く世話が焼けるの。確かに昨今は、どの部分を「Hadoop」と呼べばいいのかよく分からなくなってきておるからの。じゃが、おおむねは、以下のようにイメージすればよいじゃろう。

Hadoopエコシステムを理解する《クリックで拡大》

　分散ファイルシステムの「HDFS」とクラスタ／スケジュール管理の「YARN」の組み合わせを昨今のHadoopフレームワークのコアと捉えれば、「Apache Hive」、 Spark、 ImpalaやSASも全てHadoopエコシステムの一員となる。SQLを使いたいのか、とんがったことをするためにプログラミングをしたいのか、はたまたビジネスのスピードを優先してポイント＆クリックで使いたいのか。企業、組織の体制や成熟度、スキルや目的に応じてさまざまな選択肢が広がっておる。今やITに詳しくなくてもこれらビッグデータテクノロジーの恩恵に預かることができるのじゃ。

　なるほど。で、セルフサービスデータマネジメントのツールを使えば、プログラムなしにSparkやImpalaまで活用できちゃうんだ。あ……、まさか「Spark」つながりで、スパークリングワインだったんですか？

　遅い、気付くのが遅過ぎる。キレが悪すぎる。

　まあ、よいわい。こうしたツールを活用すれば、データをHadoopに格納しておくだけで、データ分析者自身が生データに自らアクセスし、データのプロファイリング（品質や構造の明確化）や転置、変換、クレンジグに結合、集計まで行うことができるんじゃ。HadoopではRDBMS（リレーショナルデータベース管理システム）と異なり、データの整合性を保つ参照整合性制約などの機能がなく、データ品質が悪化しやすいので、プロファイリングクレンジング機能も普段以上に大事じゃぞ。

　すごい。それならユーザー部門もストレスなく分析用のデータ準備作業ができちゃいますね。というか、業務に詳しくない私に依頼内容の詳細を説明してもらって、やりとりを繰り返すよりも、ずっとスムーズに分析用のデータを準備できると思います。アナリティクスにとっては、これ、重要ですよね。

　そう、そこじゃ。アナリティクスにより具体的なビジネス価値を創出しようとするとき、スピードは何よりも重要じゃ。データの抽出と加工だけで2～3週間もかかっているようでは、意思決定のタイミングを逃してしまうからの。おぬしもだいぶ、アナリティクスに必要なデータマネジメントのポイントが分かってきたではないか……。

　ん、おぬし、何でまたため息をついておるんじゃ？