ビッグデータ分析にクラウドを活用するポイント【前編】
OSSやクラウド（AWS、GCP）を使ったビッグデータ分析、基本的な流れをつかもう
クラウドベンダー各社は、データ分析に特化したクラウドサービス提供に注力している。こうしたクラウドサービスやOSSツールを活用したビッグデータ分析の基本的な流れを紹介する。
ビッグデータ分析のデータパイプライン《クリックで拡大》
2017年10月に都内で開催されたデータ活用関連イベント「Data Platform Conference 2017」において、ホートンワークスジャパンを始めとした3社が、クラウドを活用したビッグデータ分析について語った。「エキスパートに聞く！ クラウドで実現するビッグデータ活用」と題したこのセッションでは、データの収集から分析、活用までの考え方に始まり、各社のサービスを使った具体的な手法について聞くことができた。前編では、ビッグデータ分析にオープンソースソフトウェア（OSS）を使う場合や、「Amazon Web Services」（AWS）、「Google Cloud Platform」（GCP）といったクラウドサービスを使う場合にフォーカスし、ツールやビッグデータ分析の基本的な流れを紹介する。
OSS、クラウドを使ったビッグデータ分析の方法
当然ながら、ビッグデータ分析に使うアプリケーションはクラウドベンダーにより異なる。講演ではそれらを簡単に比較するため、ホートンワークスジャパンの北瀬公彦氏はまず、ビッグデータ分析の一般的な流れを整理した。
ホートンワークスジャパンの北瀬公彦氏
ビッグデータ分析ではまず、センサー系のIoTデバイスからストリームデータ（連続的に発生し続けるデータ）を取得し、リアルタイム処理して分散ファイルシステムに渡す。それをビッグデータ分析に適したデータベースであるNoSQLデータベースに格納して、「Apache Hadoop」などの分散処理フレームワーク（ミドルウェア）で分散処理するか、アプリケーションからNoSQLデータベースへ直接アクセスする。または、取得したデータをデータウェアハウス（DWH）に格納してビジネスインテリジェンス（BI）ツールからアクセスすることも考えられる。
その後、北瀬氏はビッグデータ分析にOSSを使う場合、AWS、GCPなどのクラウドサービスを使う場合について、具体的にどのようなアプリケーションやサービスを組み合わせるべきかを紹介した。
例えばOSSを使う場合は、「Apache Sqoop」などのETL（データ抽出、変換、登録）ツールでデータをバルク（一括）転送し、分散ファイルシステム「HDFS」などに落とし込んでからHadoopや「Apache Spark」のようなフレームワークで分散処理をする。その後、リアルタイム分析ツール「Druid」やHadoop向けDWH構築ソフトウェア「Apache Hive」に格納して、「Apache Superset」などのBIツールからアクセスすることになる。
OSSを使ってビッグデータ分析をする場合のツール利用例
AWSの場合には、ストリーミングデータ蓄積サービス「Amazon Kinesis」でデータを受け取り、ストリーミング処理サービス「Amazon Kinesis Analytics」などで分析した上で、NoSQL型のマネージドデータベース「Amazon DynamoDB」に格納することになる。分析にはSQLクエリ実行サービス「Amazon Athena」やBIサービス「Amazon QuickSight」が利用できる。
AWSのビッグデータ関連機能
GCPの場合は、メッセージングサービス「Google Cloud Pub/Sub」がデータを受け取る。「Google Cloud Storage」に蓄積したデータをバッチおよびストリーミング処理サービス「Cloud Dataflow」やHadoopのマネージドサービス「Cloud DataProc」で分散処理をし、DWHサービスの「Google BigQuery」に格納した上でBIツールなどのアプリケーションからアクセスするのが一般的ではないかと北瀬氏は説明する。
GCPのビッグデータ関連機能
北瀬氏は続けて「IBM Bluemix」（Bluemix）や「Microsoft Azure」（Azure）といった他のクラウドサービスを使った場合の例も示した。後編では、BluemixおよびAzureのデータ分析サービスについて紹介する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社うるる] 「入札市場」攻略ガイド：効率的に落札するためのポイントを徹底解説 -
製品資料
[株式会社うるる] 入札情報に特化した「販路拡大」「効率化」のためのサポートツールとは？ -
市場調査・トレンド
[株式会社うるる] 公共入札に成功する企業と失敗する企業の「5つの違い」 -
製品資料
[日本ビジネスシステムズ株式会社] 専門家が教える、Microsoft 365の「テナント統合／分離」を成功に導く秘訣 -
製品資料
[rakumo株式会社] Microsoft 365での情報埋没を防ぐ、社内ナレッジを資産化する情報ポータル活用
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
PHP脆弱性「PHP2Shell」で2260万件に影響 情シスの緊急チェックリスト
-
2
Claude利用8割のGMO、AI人材の評価軸が「トークン管理」に変わった
-
3
「Microsoft 365」が乗っ取られる MFAを破る“本物の画面”の恐怖
-
4
「テザリング依存」に潜む落とし穴 “遅いVPN”を解消するネット構築術
-
5
なぜ「Gemini 4 Argon」は出遅れたのか？ Googleが狙う“逆転のシナリオ”
-
6
「IT運用・情報システム業務」に関するアンケート
-
7
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
8
半数がブルーカラー転向を視野に？ ベテランエンジニアを追い込む“54歳の壁”
-
9
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
10
被害額は過去最高額 それでも「サイバー犯罪者が捕まらない」3つの理由
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する？ 超速の攻撃からエンドポイントを保護する方法
-
2
2026年のサイバーセキュリティには何が必要か？ 最新データに学ぶ傾向と対策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
「IT史に名を残すシステム障害」8選
-
5
最速72分でデータが流出？ 最新の脅威トレンドや侵入手法から分かった防衛策
-
6
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
7
AI駆動開発のスピードと安全性を両立 「品質・セキュリティ管理」の実践ガイド
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
-
9
「標的型攻撃メール」事例・サンプル集
-
10
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー