ビッグデータ分析にクラウドを活用するポイント【前編】
OSSやクラウド(AWS、GCP)を使ったビッグデータ分析、基本的な流れをつかもう
クラウドベンダー各社は、データ分析に特化したクラウドサービス提供に注力している。こうしたクラウドサービスやOSSツールを活用したビッグデータ分析の基本的な流れを紹介する。
2017年10月に都内で開催されたデータ活用関連イベント「Data Platform Conference 2017」において、ホートンワークスジャパンを始めとした3社が、クラウドを活用したビッグデータ分析について語った。「エキスパートに聞く! クラウドで実現するビッグデータ活用」と題したこのセッションでは、データの収集から分析、活用までの考え方に始まり、各社のサービスを使った具体的な手法について聞くことができた。前編では、ビッグデータ分析にオープンソースソフトウェア(OSS)を使う場合や、「Amazon Web Services」(AWS)、「Google Cloud Platform」(GCP)といったクラウドサービスを使う場合にフォーカスし、ツールやビッグデータ分析の基本的な流れを紹介する。
OSS、クラウドを使ったビッグデータ分析の方法
当然ながら、ビッグデータ分析に使うアプリケーションはクラウドベンダーにより異なる。講演ではそれらを簡単に比較するため、ホートンワークスジャパンの北瀬公彦氏はまず、ビッグデータ分析の一般的な流れを整理した。
ビッグデータ分析ではまず、センサー系のIoTデバイスからストリームデータ(連続的に発生し続けるデータ)を取得し、リアルタイム処理して分散ファイルシステムに渡す。それをビッグデータ分析に適したデータベースであるNoSQLデータベースに格納して、「Apache Hadoop」などの分散処理フレームワーク(ミドルウェア)で分散処理するか、アプリケーションからNoSQLデータベースへ直接アクセスする。または、取得したデータをデータウェアハウス(DWH)に格納してビジネスインテリジェンス(BI)ツールからアクセスすることも考えられる。
その後、北瀬氏はビッグデータ分析にOSSを使う場合、AWS、GCPなどのクラウドサービスを使う場合について、具体的にどのようなアプリケーションやサービスを組み合わせるべきかを紹介した。
例えばOSSを使う場合は、「Apache Sqoop」などのETL(データ抽出、変換、登録)ツールでデータをバルク(一括)転送し、分散ファイルシステム「HDFS」などに落とし込んでからHadoopや「Apache Spark」のようなフレームワークで分散処理をする。その後、リアルタイム分析ツール「Druid」やHadoop向けDWH構築ソフトウェア「Apache Hive」に格納して、「Apache Superset」などのBIツールからアクセスすることになる。
AWSの場合には、ストリーミングデータ蓄積サービス「Amazon Kinesis」でデータを受け取り、ストリーミング処理サービス「Amazon Kinesis Analytics」などで分析した上で、NoSQL型のマネージドデータベース「Amazon DynamoDB」に格納することになる。分析にはSQLクエリ実行サービス「Amazon Athena」やBIサービス「Amazon QuickSight」が利用できる。
GCPの場合は、メッセージングサービス「Google Cloud Pub/Sub」がデータを受け取る。「Google Cloud Storage」に蓄積したデータをバッチおよびストリーミング処理サービス「Cloud Dataflow」やHadoopのマネージドサービス「Cloud DataProc」で分散処理をし、DWHサービスの「Google BigQuery」に格納した上でBIツールなどのアプリケーションからアクセスするのが一般的ではないかと北瀬氏は説明する。
北瀬氏は続けて「IBM Bluemix」(Bluemix)や「Microsoft Azure」(Azure)といった他のクラウドサービスを使った場合の例も示した。後編では、BluemixおよびAzureのデータ分析サービスについて紹介する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[株式会社グローバルウェイ] 事例に学ぶ、マルチAIエージェント基盤による製造業DXの実現方法 -
事例
[株式会社グローバルウェイ] ポリプラスチックスに学ぶERP刷新 開発を大幅に効率化したアプローチとは? -
製品資料
[株式会社バッファロー] テナント入居時の落とし穴 節約のための「家庭用Wi-Fiルーター利用」がNGな訳 -
製品資料
[株式会社ネットワールド] サプライチェーンのリスク対応は急務 いま中小企業に必要なセキュリティ対策は -
製品資料
[パーソルクロステクノロジー株式会社] 失敗しない、「DXコンサルティング」活用ノウハウ
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
3
Java SEに「Java4Shell」、WebLogicも修正――今朝の情シスニュース
-
4
なぜ「WSUS」を捨てない? 非推奨でも35%が使い続けるワケ
-
5
なぜ「Microsoft Teams」がランサムウェアの入り口になるのか?
-
6
Wi-Fi 7導入で検討したい安定運用の要件 無線LANの不調を避けるには
-
7
WordPressサイトの4割が旧版のまま 自動更新が止まる組織の共通点
-
8
なぜ「PHP2Shell」はパッチを当てても終わらないのか?
-
9
「エンタープライズAI活用・基盤整備」に関するアンケート
-
10
「WSUS」更新終了で迫られる決断 8割が選んだ“本命”移行先ツールとは?
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
4
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
5
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
6
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
7
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
8
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
-
9
AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか?
-
10
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー