ビッグデータも世代交代の時期か
MapReduceよりApache Sparkを採用すべき理由、採用できない理由
Apache Sparkの採用が増えている。最大の魅力は、MapReduceよりも圧倒的に高速なことだという。それ以外にも、さまざまな人が多くのメリットを語る。一方、Sparkを採用しないという意見もある。なぜか？
「MapReduce」よ、道を譲ってくれ。君はここまでよく頑張ってくれたが、今日のビッグデータ開発者が求めているのは、処理速度と簡潔性だ。
「Apache Hadoop」（以下Hadoop）環境で稼働するフレームワークとして、最近登場した、高速処理が得意な「Apache Spark」（以下Spark）の採用が急増している。この現象は少なくとも、Sparkを前面に押し出し、ビッグデータ界の次の主流となるだろうと予測するビッグデータサプライヤーからのメッセージとなっている。
Computer Weekly日本語版 10月21日号無料ダウンロード
本記事は、プレミアムコンテンツ「Computer Weekly日本語版 10月21日号」（PDF）掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。
なお、同コンテンツのEPUB版およびKindle（MOBI）版も提供しています。
2015年6月、米サンフランシスコで「Spark Summit」カンファレンスが開催された。その席上で米Clouderaの最高戦略責任者、マイク・オルソン氏はSparkの急成長を「息もつかせぬ勢い」と表現。顧客が求めるものが（MapReduceからSparkへと）完全に移行していることを、Hadoopディストリビューションも販売している同社の立場で実感していると報告した。
「近いうちに、SparkがHadoop向けの汎用（はんよう）処理フレームワークの主流になるとわれわれは予測している」と同氏は話す。「一般的な目的に適したエンジンを探しているのなら、今ならMapReduceではなくSparkを選ぶだろう」
オルソン氏はこの発言の際、言葉を慎重に選んだようだ。特に「一般的な目的」（general purpose）と限定したところにそれがうかがえる。同氏がそう表現したのは、Hadoopでは検索用の「Apache Solr」やSQLクエリ用の「Cloudera Impala」など、特殊用途向けに開発されたエンジンが活躍する領域も小さくないからだ（だから「一般的な目的」と同氏は限定した）。しかし多岐にわたるアナリティクスのワークロードを新規に作成する際に開発者が利用するフレームワークの覇権争いは、一騎打ちの様相を呈している。そしてどうやらSparkが優勢のようだ。
これは極めて単純な話だ。Sparkは、開発者が以前から再三批判してきたMapReduceが抱える多数の問題、特にレイテンシが高いことと、バッチモードの応答の遅さに見事に対処しているからだ。
「Hadoopが成長してきた世界の中で、MapReduceは長い間、その堅牢性に対する定評を維持してきた」と話すのは、米Hortonworksの創設者でアーキテクトのアラン・マーフィー氏だ。
マーフィー氏はMapReduceについて、これがGoogleのラボで作られたテクノロジーであり、非常に特殊なユースケース、つまりWeb検索を処理するためのものだったと指摘する。10年以上の時間をかけてこのテクノロジーは進化を重ねてきたが、それでもビッグデータアプリケーションに対して大規模組織が求める要件を満たすには恐らく不十分だ。
「MapReduceの長所は、複数のユースケースに対処できる柔軟性だ」と同氏は付け加える。「MapReduceが長らく使われてきたのは、これで解決できるユースケースが確かに存在するためだ。ただその処理は最適なものとはいえない。MapReduceがかつて他のテクノロジーを駆逐したように、新しいテクノロジーが登場して、MapReduceをお払い箱にする、またはこれに取って代わるのは極めて自然な流れだ」
実行速度と簡素性
では、Sparkがそんなに優れている点はどこなのか。開発者にとっての主な利点は処理速度だ。
続きはComputer Weekly日本語版 10月21日号にて
本記事は抄訳版です。全文は、以下でダウンロード（無料）できます。
■Computer Weekly日本語版 最近のバックナンバー
Computer Weekly日本語版 10月7日号：ネットワークスローダウンの処方箋
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社シーイーシー] 脱VMwareに成功した企業は何をどう実践した？ 事例に学ぶ戦略立案＆実装のコツ -
製品資料
[株式会社オービックビジネスコンサルタント] ランサムウェア攻撃を“二重の防御構造”で防ぐ、クラウド型基幹システムの実力 -
製品資料
[株式会社オービックビジネスコンサルタント] 動画で知るランサムウェア被害企業のリアル、会計データが無事だった理由とは -
市場調査・トレンド
[セコムトラストシステムズ株式会社] EDR導入を成功に導くロードマップ：選定／稟議／運用のつまずきを防ぐコツ -
事例
[日本オラクル株式会社] ピンチをチャンスに変えたEPR製品は？ 先行企業の導入事例3選
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
2
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
3
「企業におけるAI導入検討度とIT投資優先度」に関するアンケート
-
4
「ノートPC派」は損をしている？ Dellと考える“自作PC”のメリット
-
5
生データを隠してデータ連携 KDDIが4000万人の顧客情報を安全に分析できた理由
-
6
慶應義塾が「Notion」を選んだ理由 AI導入の盲点になる“情報のサイロ化”
-
7
「0.3秒のスピード顔認証」の入退室管理が社員に好評 事例に学ぶオフィス改革
-
8
年収700万超エンジニアに共通するスキルと「もっと勉強すべきだった分野」
-
9
「また同じ説明か」 消費者の半数が離脱するAIチャットbotの“記憶喪失”
-
10
IT製品の導入に関するアンケート「サーバ＆ストレージ」編
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
DX／AI投資の壁を突破、現代の最高財務責任者が直面する課題と克服のヒント
-
3
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
4
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
5
システムの保守がモダン化を阻む？ 「変えない判断」から脱却する方法とは
-
6
生成AIを開発に導入しても効果が見えない？ 実証実験で分かった成果と課題
-
7
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
8
“あのファイル転送”で暗躍するノーウェアランサム
-
9
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー