2016年09月12日 15時00分 公開
特集/連載

ビッグデータを高速分散処理するSparkをAWSで動かすと何がすごいのかHadoopとの使い分けは?(1/2 ページ)

「Amazon Web Services」(AWS)のHadoopサービスとして特に魅力的なのが「Apache Spark」である。「Amazon Elastic MapReduce」と連係して高速処理や多用途性を実現する。

[Kurt Marko,TechTarget]
Amazon EMRで動かすApache Spark(出典:Amazon Web Services)《クリックで拡大》

 「Amazon Web Services」(AWS)のユーザーが利用できるアプリケーションサービスのラインアップは続々と増えている。特に多いのがデータ分析に関連するサービスだ。多くの企業がデータの海におぼれ、処理に困っている。そんな中AWSは、複雑なシステムをシンプルかつコスト効率よく構築できるようにするビッグデータツールとして重要な地位を確立した。例えば、AWSでは「Apache Spark」(Spark)が実行可能だ。

 AWSは多種多様なニーズに合わせて多くのデータベースを用意している。例えば「Amazon DynamoDB」でNoSQLデータベース、「Amazon RDS」と「Amazon Aurora」でリレーショナルデータベース(RDB)、「Amazon ElastiCache」でインメモリキャッシュ機能を提供したり、「Amazon Redshift」などのデータウェアハウスサービスを提供したりしている。またHadoopは、新種のデータ分析問題に対処する。これらの問題で使用されている極めて大きなデータセットを多くのシステム間で分散し、Hadoopクラスタを形成する。それでも、複数のソフトウェアコンポーネントが必要なスタックによって多数のシステムを導入するのはコストがかさむ上に複雑である。そのため、ほとんどの企業にとってHadoopの使用は現実的ではない。

       1|2 次のページへ

ITmedia マーケティング新着記事

news030.jpg

経営にSDGsを取り入れるために必要な考え方とは? 眞鍋和博氏(北九州市立大学教授)と語る【前編】
企業がSDGsを推進するために何が必要なのか。北九州市立大学の眞鍋和博教授と語り合った。

news022.jpg

「サイト内検索」ツール(有償版) 国内売れ筋TOP10(2021年7月)
サイト内検索(サイトサーチ)ツールは検索窓から自社サイト内のコンテンツを正確に、効...

news139.jpg

SNSの利用時間は77.8分、Instagram利用率は50%超え――Glossom調査
スマートフォンでの情報収集に関する定点調査。スマートフォンの利用時間は順調に増加し...