大量データ時代の分析インフラ構築法【前編】
ビッグデータ分析、Hadoop活用の意外な落とし穴
ビッグデータプロジェクトに取り組むIT担当者は、分析基盤の構築・運用では、仮想環境の一般的な運用管理アプローチが全く通用しないことを思い知らされることになるだろう。
ビッグデータがIT部門に付きつける課題
ビッグデータに備えよう。自社のデータセンターがその大波にまだ襲われていなくても、襲われるのは時間の問題だ。そうなれば、ITインフラとオペレーションの新たな要件に対応しなければならなくなる。
ビッグデータアナリティクスは、「eHarmony」のような結婚仲介サービスのWebサイトや、小売業者による顧客の購買行動予測、さらには医療機関による個人の寿命や疾病罹患の予測など、多種多様な用途で利用されている。こうしたデータ利用は、ジョージ・オーウェルの小説『1984年』で描かれた、ビッグブラザーが支配する監視社会を少し連想させるが、ビッグデータアナリティクスは、コンピューティングを利用して人間行動に解釈を加え、影響を与える方法に革命をもたらしている。
ビッグデータとは単に「増大の一途をたどるデータ」を指すものではない。「大規模なデータセットを高速に処理し、複雑な、そして多くはリアルタイムの意思決定を支援する一連のプロセスと技術」を指すのである。米ベス・イスラエル・ディーコネス・メディカルセンター(BIDMC)のストレージアーキテクト、マイケル・パース氏は、「予測分析を利用して治療を向上させることは、今後の医療が目指すべき方向だ。何らかの予測をしたい場合、ビッグデータはいつでも大いに役立ちそうだ」と語る。
明るい展望だ。しかし、ビッグデータ活用に携わる多くのIT担当者は、思わぬ壁に突き当たることになるだろう。
ビッグデータを分析するための方法が、「データセンターでこの10年間行われてきた仮想化やコンソリデーションの手法とは相入れない」と気付くことになるはずだ。
仮想化時代にありながら専用ハードウェアを求めるApache Hadoop
一般に、ビッグデータアナリティクスでは、ストレージとコンピューティングパワーを多数のノードに展開するインフラが必要になる。複雑なクエリに対してほぼ瞬時に答えを返すためだ。
ビッグデータアナリティクスで最もよく使われるプラットフォームは、オープンソースのApache Hadoopだ。このプラットフォームはHDFS(Hadoop Distributed File System)を使ってストレージを管理する。NoSQLやCassandraなどの分散データベースも、ビッグデータプロジェクトでよく採用されている。
だが、これらは比較的新しい技術であり、そのために成熟度に問題がある。米Evaluator Groupのシニアパートナー、ジョン・ウェブスター氏は、「例えばHDFSは、アーカイブ、バックアップ、スナップショット、高可用性といったストレージ管理者にとって当たり前の機能をネイティブにサポートしていない」と指摘する。
「経験豊富なHadoopユーザーは、ソーシャルメディア企業で働いていることが多い。彼らはHadoopの運用において、『ストレージは単純な機能しか提供しないダムディスクである』という考え方に立ってノードを作成し、そこで大量のI/Oを高速に処理している。過去20年間に開発されたストレージのインテリジェント機能など、全く存在していないかのように考えている」
さらにウェブスター氏は、「彼らは規制コンプライアンスについても『忘れよう』というスタンスだ。例えば、ファイルをロックダウンする方法もないと考えている」と付け加える。
また、Hadoopは通常、物理サーバのクラスタ上で運用され、そこではストレージネットワークとコンピュータネットワークが同一になっている。このため、企業のストレージやインフラの担当者は、Hadoop用の物理インフラを別個に管理しなければならないことが多い。
自動車メーカー、マツダの米開発拠点、Mazda North Americaでは、サーバの90%が仮想化されており、インフラアーキテクトのバリー・ブレークリー氏は、この比率の向上に取り組んでいる。しかしその一方で、Mazdaのビジネス部門の少なくとも1つが、BI(ビジネスインテリジェンス)ソフトウェアプロバイダー、米QlikTechの「QlikView」か、独SAPの「BusinessObjects」、あるいはその両方を使ったビッグデータプロジェクトを検討中だ。こうしたプロジェクトの多くでは、物理サーバとそれらに直結したローカルストレージが必要になる。
「私は仮想化を進めているが、このプロジェクトでは物理サーバを用意することになり、これは管理上の問題になる。異なる環境とデータのサイロがあると、ダッシュボードが多くなる。われわれ担当者の人数は非常に少ないため、異なる機器上の全てを管理するのは難しい」(バリー・ブレークリー氏)
HDFSの可用性の問題をどう解決するか
こうした問題の解決を目指すプロジェクトが進められている。その代表格が、米VMwareの後押しを受ける「Project Serengeti」だ。これはHadoopと同じく、Apache Software Foundationのオープンソースプロジェクトだ。最新版の「Serengeti 0.8」が2013年4月にリリースされている。
Project Serengetiの目的は、「ハードウェアやソフトウェアを追加購入することなく、空いているマシンサイクルを使って、標準化されたApache Hadoopクラスタを既存の仮想プラットフォーム上で迅速に展開することを可能にする」「自由にダウンロードできる製品を開発する」ことだと、VMwareのブログ投稿には記されている。
この「仮想Hadoopクラスタ」は、連続稼働の実現を目的としたVMwareのネイティブな高可用性機能とフォールトトレランス機能を利用でき、HDFSネームノードなどの基幹コンポーネントを保護するものだという。HDFSネームノードは、HDFS内の全てのファイルを追跡するノードであり、単一障害点となっている。ネームノードの高可用性はHadoopではまだネイティブに提供されていないためだ。このことは、企業のインフラ管理者、特に耐障害性を重視するストレージ担当者にとって大きな頭痛の種となっている。
これを受けて、米Symantecや米Red Hatは、HDFSに代わるスケールアウト型ファイルシステムとして、それぞれ「Clustered File System」「Gluster File System」を提唱している。より成熟度の高いこれらのファイルシステムは、スナップショットや高可用性のような機能を提供する。
自社製品とHDFSのネイティブな統合により、HDFSの可用性の問題を解決したと主張しているストレージベンダーもある。米EMCの「EMC IsilonスケールアウトNAS」だ。EMCのIsilonはHDFSが統合されているため、HDFSの単一障害点を解消するだけでなく、DAS(Direct Attached Storage)上に構築された物理クラスタと比べて、ビルトインデータ保護、高いストレージ効率、優れたパフォーマンスをHadoopユーザーに提供すると強調している。
前出のメディカルセンターBIDMCでは、Isilonストレージを使った臨床診療へのビッグデータアナリティクスの活用を模索している。別の目的でIsilonハードウェアを購入済みだったからだ。
「私がIsilonのインフラを使いたいのは、こうした取り組みのためのお試しキットではなく、専用の製品であり、非常に有用だからだ」とBIDMCのパース氏は語る。「既にIsilon製品を運用していたら、独自のディスクを搭載し、故障率が高い汎用的な製品を欲しがる理由があるだろうか」
少なくとも、Isilonストレージの利用はBIDMCの計画に沿っている。しかし現在、BIDMCは臨床診療で、米MicrosoftのSQL ServerとHadoopを統合した「HDInsight」も試用中だ。このソフトウェアは別の物理クラスタ上で動作している。このため、ビッグデータをBIDMCのITプラクティスに統合する上では、ストレージの集中化が課題となっているが、「課題はそれだけではない」とパース氏は説明する。Microsoftは、まだActive DirectoryとHDInsightを完全に統合しておらず、 BIDMCはこの統合を待ってから、ビッグデータの取り組みを発展させる計画だからだ。
「われわれはビッグデータの使い方と、われわれにとってのビッグデータの意味を理解し始めたばかりだ。次はインフラの観点から、ビッグデータをどのような形でサポートするのが最適かを見極めようとしている」(パース氏)
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
事例
[株式会社グローバルウェイ] 事例に学ぶ、マルチAIエージェント基盤による製造業DXの実現方法 -
事例
[株式会社グローバルウェイ] ポリプラスチックスに学ぶERP刷新 開発を大幅に効率化したアプローチとは? -
製品資料
[株式会社バッファロー] テナント入居時の落とし穴 節約のための「家庭用Wi-Fiルーター利用」がNGな訳 -
製品資料
[株式会社ネットワールド] サプライチェーンのリスク対応は急務 いま中小企業に必要なセキュリティ対策は -
製品資料
[パーソルクロステクノロジー株式会社] 失敗しない、「DXコンサルティング」活用ノウハウ
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
3
AIに長文を入力する際の「コンテキストウィンドウ」の適切な扱い方はどれ?
-
4
AI利用時に情報漏えいが起きた場合の適切な対応はどれ?
-
5
AIエージェントを「実験」から「本番」へ IBMとMSがタッグを組んだ狙い
-
6
「プロンプトインジェクション」の適切なリスク対策はどれ?
-
7
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
8
「nginx」のHTTP/2脆弱性(CVSS 9.2)、パッチ適用までの緊急チェックリスト
-
9
「会議・ミーティング」に関するアンケート
-
10
NVIDIA「一強体制」の終わりか データセンターを襲う“電力の壁”
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
4
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
5
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
6
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
7
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
8
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
-
9
「Microsoft 365」徹底解説ガイド テレワーク時代のセキュリティ対策編
-
10
AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー