Hadoopとの使い分けは？
ビッグデータを高速分散処理するSparkをAWSで動かすと何がすごいのか（2/2 ページ）
AWSのSparkが開く可能性
EMRではSparkが完全にサポートされているので、AWSにSparkを手動でインストールする必要はなくなった。EMRのドキュメントで手順を詳しく扱っているが、全ての手順はAWSマネジメントコンソールで実行され、クラスタを作成するときにSparkアプリケーションを選択するだけだ。開発者は、バッチジョブを実行するためにEMR Step APIにSparkアクションを送信し、対話型のワークフローを実行する場合はクラスタのマスターノードでSpark APIかSpark Shellを直接操作する。
AWSでSparkを使用すると、ビジネスの問題をテクノロジーではなくイマジネーションで解決できるようになる。例えば、AWSブログでは、Sparkの効率性を示すために、著名な米国連邦航空局によるフライトのデータセットを挙げている。なお、このデータセットは1億6200万行以上の4GBのデータセットを含む。EMRのSparkは、最も多くのフライトが出発する空港、フライトが15分以上遅延することが最も多い空港、フライトが60分以上遅延することが最も遅い空港、そしてフライトのキャンセルが最も多い空港トップ10を特定できる。EMRクラスタが大きくなればなるほど、結果も速く生成されるようになる。AWSは、コンテンツの推薦、ログデータの分析、リアルタイムのWebクリックストリーム処理など、他にもSparkの使用例を挙げている。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社MatrixFlow] 「物流リソース最適化」ガイド：人員・配車・傭車を出庫依頼の確定前に決めきる -
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か？ PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える？ 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
なぜ「Gemini 4 Argon」は出遅れたのか？ Googleが狙う“逆転のシナリオ”
-
4
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
5
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
6
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
7
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
8
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
9
「結局使わなくなる」Microsoft 365 Copilotを半年で定着 キリンの3施策
-
10
「中堅・中小企業のネットワーク・セキュリティ運用実態」に関するアンケート
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険？ 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない？ 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー