Hadoopとの使い分けは？
ビッグデータを高速分散処理するSparkをAWSで動かすと何がすごいのか（2/2 ページ）
AWSのSparkが開く可能性
EMRではSparkが完全にサポートされているので、AWSにSparkを手動でインストールする必要はなくなった。EMRのドキュメントで手順を詳しく扱っているが、全ての手順はAWSマネジメントコンソールで実行され、クラスタを作成するときにSparkアプリケーションを選択するだけだ。開発者は、バッチジョブを実行するためにEMR Step APIにSparkアクションを送信し、対話型のワークフローを実行する場合はクラスタのマスターノードでSpark APIかSpark Shellを直接操作する。
AWSでSparkを使用すると、ビジネスの問題をテクノロジーではなくイマジネーションで解決できるようになる。例えば、AWSブログでは、Sparkの効率性を示すために、著名な米国連邦航空局によるフライトのデータセットを挙げている。なお、このデータセットは1億6200万行以上の4GBのデータセットを含む。EMRのSparkは、最も多くのフライトが出発する空港、フライトが15分以上遅延することが最も多い空港、フライトが60分以上遅延することが最も遅い空港、そしてフライトのキャンセルが最も多い空港トップ10を特定できる。EMRクラスタが大きくなればなるほど、結果も速く生成されるようになる。AWSは、コンテンツの推薦、ログデータの分析、リアルタイムのWebクリックストリーム処理など、他にもSparkの使用例を挙げている。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「Microsoft 365のセキュリティ運用」に関するアンケート
-
4
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには？
-
5
221人調査で分かった「情シス最大のストレス」は？
-
6
「Salesforceのテスト自動化ツール」に関するアンケート
-
7
「データストレージの活用方法」に関するアンケート
-
8
IT製品の導入に関するアンケート「サーバ＆ストレージ」編
-
9
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
10
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは？
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う？ いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには？ サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは？
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー