大量データ時代の分析インフラ構築法【前編】
ビッグデータ分析、Hadoop活用の意外な落とし穴
ビッグデータプロジェクトに取り組むIT担当者は、分析基盤の構築・運用では、仮想環境の一般的な運用管理アプローチが全く通用しないことを思い知らされることになるだろう。
ビッグデータがIT部門に付きつける課題
ビッグデータに備えよう。自社のデータセンターがその大波にまだ襲われていなくても、襲われるのは時間の問題だ。そうなれば、ITインフラとオペレーションの新たな要件に対応しなければならなくなる。
ビッグデータアナリティクスは、「eHarmony」のような結婚仲介サービスのWebサイトや、小売業者による顧客の購買行動予測、さらには医療機関による個人の寿命や疾病罹患の予測など、多種多様な用途で利用されている。こうしたデータ利用は、ジョージ・オーウェルの小説『1984年』で描かれた、ビッグブラザーが支配する監視社会を少し連想させるが、ビッグデータアナリティクスは、コンピューティングを利用して人間行動に解釈を加え、影響を与える方法に革命をもたらしている。
ビッグデータとは単に「増大の一途をたどるデータ」を指すものではない。「大規模なデータセットを高速に処理し、複雑な、そして多くはリアルタイムの意思決定を支援する一連のプロセスと技術」を指すのである。米ベス・イスラエル・ディーコネス・メディカルセンター(BIDMC)のストレージアーキテクト、マイケル・パース氏は、「予測分析を利用して治療を向上させることは、今後の医療が目指すべき方向だ。何らかの予測をしたい場合、ビッグデータはいつでも大いに役立ちそうだ」と語る。
明るい展望だ。しかし、ビッグデータ活用に携わる多くのIT担当者は、思わぬ壁に突き当たることになるだろう。
ビッグデータを分析するための方法が、「データセンターでこの10年間行われてきた仮想化やコンソリデーションの手法とは相入れない」と気付くことになるはずだ。
仮想化時代にありながら専用ハードウェアを求めるApache Hadoop
一般に、ビッグデータアナリティクスでは、ストレージとコンピューティングパワーを多数のノードに展開するインフラが必要になる。複雑なクエリに対してほぼ瞬時に答えを返すためだ。
ビッグデータアナリティクスで最もよく使われるプラットフォームは、オープンソースのApache Hadoopだ。このプラットフォームはHDFS(Hadoop Distributed File System)を使ってストレージを管理する。NoSQLやCassandraなどの分散データベースも、ビッグデータプロジェクトでよく採用されている。
だが、これらは比較的新しい技術であり、そのために成熟度に問題がある。米Evaluator Groupのシニアパートナー、ジョン・ウェブスター氏は、「例えばHDFSは、アーカイブ、バックアップ、スナップショット、高可用性といったストレージ管理者にとって当たり前の機能をネイティブにサポートしていない」と指摘する。
「経験豊富なHadoopユーザーは、ソーシャルメディア企業で働いていることが多い。彼らはHadoopの運用において、『ストレージは単純な機能しか提供しないダムディスクである』という考え方に立ってノードを作成し、そこで大量のI/Oを高速に処理している。過去20年間に開発されたストレージのインテリジェント機能など、全く存在していないかのように考えている」
さらにウェブスター氏は、「彼らは規制コンプライアンスについても『忘れよう』というスタンスだ。例えば、ファイルをロックダウンする方法もないと考えている」と付け加える。
また、Hadoopは通常、物理サーバのクラスタ上で運用され、そこではストレージネットワークとコンピュータネットワークが同一になっている。このため、企業のストレージやインフラの担当者は、Hadoop用の物理インフラを別個に管理しなければならないことが多い。
自動車メーカー、マツダの米開発拠点、Mazda North Americaでは、サーバの90%が仮想化されており、インフラアーキテクトのバリー・ブレークリー氏は、この比率の向上に取り組んでいる。しかしその一方で、Mazdaのビジネス部門の少なくとも1つが、BI(ビジネスインテリジェンス)ソフトウェアプロバイダー、米QlikTechの「QlikView」か、独SAPの「BusinessObjects」、あるいはその両方を使ったビッグデータプロジェクトを検討中だ。こうしたプロジェクトの多くでは、物理サーバとそれらに直結したローカルストレージが必要になる。
「私は仮想化を進めているが、このプロジェクトでは物理サーバを用意することになり、これは管理上の問題になる。異なる環境とデータのサイロがあると、ダッシュボードが多くなる。われわれ担当者の人数は非常に少ないため、異なる機器上の全てを管理するのは難しい」(バリー・ブレークリー氏)
HDFSの可用性の問題をどう解決するか
こうした問題の解決を目指すプロジェクトが進められている。その代表格が、米VMwareの後押しを受ける「Project Serengeti」だ。これはHadoopと同じく、Apache Software Foundationのオープンソースプロジェクトだ。最新版の「Serengeti 0.8」が2013年4月にリリースされている。
Project Serengetiの目的は、「ハードウェアやソフトウェアを追加購入することなく、空いているマシンサイクルを使って、標準化されたApache Hadoopクラスタを既存の仮想プラットフォーム上で迅速に展開することを可能にする」「自由にダウンロードできる製品を開発する」ことだと、VMwareのブログ投稿には記されている。
この「仮想Hadoopクラスタ」は、連続稼働の実現を目的としたVMwareのネイティブな高可用性機能とフォールトトレランス機能を利用でき、HDFSネームノードなどの基幹コンポーネントを保護するものだという。HDFSネームノードは、HDFS内の全てのファイルを追跡するノードであり、単一障害点となっている。ネームノードの高可用性はHadoopではまだネイティブに提供されていないためだ。このことは、企業のインフラ管理者、特に耐障害性を重視するストレージ担当者にとって大きな頭痛の種となっている。
これを受けて、米Symantecや米Red Hatは、HDFSに代わるスケールアウト型ファイルシステムとして、それぞれ「Clustered File System」「Gluster File System」を提唱している。より成熟度の高いこれらのファイルシステムは、スナップショットや高可用性のような機能を提供する。
自社製品とHDFSのネイティブな統合により、HDFSの可用性の問題を解決したと主張しているストレージベンダーもある。米EMCの「EMC IsilonスケールアウトNAS」だ。EMCのIsilonはHDFSが統合されているため、HDFSの単一障害点を解消するだけでなく、DAS(Direct Attached Storage)上に構築された物理クラスタと比べて、ビルトインデータ保護、高いストレージ効率、優れたパフォーマンスをHadoopユーザーに提供すると強調している。
前出のメディカルセンターBIDMCでは、Isilonストレージを使った臨床診療へのビッグデータアナリティクスの活用を模索している。別の目的でIsilonハードウェアを購入済みだったからだ。
「私がIsilonのインフラを使いたいのは、こうした取り組みのためのお試しキットではなく、専用の製品であり、非常に有用だからだ」とBIDMCのパース氏は語る。「既にIsilon製品を運用していたら、独自のディスクを搭載し、故障率が高い汎用的な製品を欲しがる理由があるだろうか」
少なくとも、Isilonストレージの利用はBIDMCの計画に沿っている。しかし現在、BIDMCは臨床診療で、米MicrosoftのSQL ServerとHadoopを統合した「HDInsight」も試用中だ。このソフトウェアは別の物理クラスタ上で動作している。このため、ビッグデータをBIDMCのITプラクティスに統合する上では、ストレージの集中化が課題となっているが、「課題はそれだけではない」とパース氏は説明する。Microsoftは、まだActive DirectoryとHDInsightを完全に統合しておらず、 BIDMCはこの統合を待ってから、ビッグデータの取り組みを発展させる計画だからだ。
「われわれはビッグデータの使い方と、われわれにとってのビッグデータの意味を理解し始めたばかりだ。次はインフラの観点から、ビッグデータをどのような形でサポートするのが最適かを見極めようとしている」(パース氏)
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
技術文書・技術解説
[SAS Institute Japan株式会社] 生成AIを予知保全に組み込むことで「産業設備保全」はどこまで進化できるのか -
市場調査・トレンド
[SAS Institute Japan株式会社] 製造企業が「AIによる価値創出」を迅速に実現する方法 -
技術文書・技術解説
[株式会社日立ソリューションズ] 開発と運用の分断を解消、実践知に基づくプラットフォームエンジニアリングとは -
事例
[株式会社日立ソリューションズ] 開発・運用の属人化をどう打破した? 日立ソリューションズの実践事例 -
技術文書・技術解説
[Eleven Labs Japan合同会社] 問い合わせ解決単価を約9割削減する試算も 音声AIエージェントのROIと活用例
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜMicrosoftは「Rust」を標準言語に? AIで進むC/C++書き換えの課題
-
2
なぜ「WSUS」を捨てない? 非推奨でも35%が使い続けるワケ
-
3
Microsoft 365統一で「SharePoint」が1日2TB増 富士フイルムはどう管理した?
-
4
8割がアナログに逆戻りする“やっぱりな理由” DXを阻む2つの落とし穴
-
5
IT人材不足は言い訳だ 採用を妨げる元凶は「スパゲティ状態」のシステム
-
6
毎日2時間の“無駄”を生む「紙とExcel」管理 田中精密工業はどう脱却したのか
-
7
なぜ「Claude Code」拡張は消しても危ないのか? Cursorで不正版配信
-
8
なぜ「Microsoft Teams」がランサムウェアの入り口になるのか?
-
9
停滞する製造業のDX、開発の生産性を高める可視化の実践方法
-
10
Web攻撃を受ける企業に共通するセキュリティ対策の誤り
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
3
急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要?
-
4
法人向け光回線のプランはどう選ぶ? 機能面/保守体制/コストを一覧で比較
-
5
「テスト内製化&自動化」事例集:ディー・エヌ・エーなど9社に学ぶ実践のコツ
-
6
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
7
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
8
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
9
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
10
進化が遅れる「電話」をアップデート、AIを搭載した次世代の通話機能とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー