ビッグデータ分析にクラウドを活用するポイント【前編】
OSSやクラウド（AWS、GCP）を使ったビッグデータ分析、基本的な流れをつかもう
クラウドベンダー各社は、データ分析に特化したクラウドサービス提供に注力している。こうしたクラウドサービスやOSSツールを活用したビッグデータ分析の基本的な流れを紹介する。
ビッグデータ分析のデータパイプライン《クリックで拡大》
2017年10月に都内で開催されたデータ活用関連イベント「Data Platform Conference 2017」において、ホートンワークスジャパンを始めとした3社が、クラウドを活用したビッグデータ分析について語った。「エキスパートに聞く！ クラウドで実現するビッグデータ活用」と題したこのセッションでは、データの収集から分析、活用までの考え方に始まり、各社のサービスを使った具体的な手法について聞くことができた。前編では、ビッグデータ分析にオープンソースソフトウェア（OSS）を使う場合や、「Amazon Web Services」（AWS）、「Google Cloud Platform」（GCP）といったクラウドサービスを使う場合にフォーカスし、ツールやビッグデータ分析の基本的な流れを紹介する。
OSS、クラウドを使ったビッグデータ分析の方法
当然ながら、ビッグデータ分析に使うアプリケーションはクラウドベンダーにより異なる。講演ではそれらを簡単に比較するため、ホートンワークスジャパンの北瀬公彦氏はまず、ビッグデータ分析の一般的な流れを整理した。
ホートンワークスジャパンの北瀬公彦氏
ビッグデータ分析ではまず、センサー系のIoTデバイスからストリームデータ（連続的に発生し続けるデータ）を取得し、リアルタイム処理して分散ファイルシステムに渡す。それをビッグデータ分析に適したデータベースであるNoSQLデータベースに格納して、「Apache Hadoop」などの分散処理フレームワーク（ミドルウェア）で分散処理するか、アプリケーションからNoSQLデータベースへ直接アクセスする。または、取得したデータをデータウェアハウス（DWH）に格納してビジネスインテリジェンス（BI）ツールからアクセスすることも考えられる。
その後、北瀬氏はビッグデータ分析にOSSを使う場合、AWS、GCPなどのクラウドサービスを使う場合について、具体的にどのようなアプリケーションやサービスを組み合わせるべきかを紹介した。
例えばOSSを使う場合は、「Apache Sqoop」などのETL（データ抽出、変換、登録）ツールでデータをバルク（一括）転送し、分散ファイルシステム「HDFS」などに落とし込んでからHadoopや「Apache Spark」のようなフレームワークで分散処理をする。その後、リアルタイム分析ツール「Druid」やHadoop向けDWH構築ソフトウェア「Apache Hive」に格納して、「Apache Superset」などのBIツールからアクセスすることになる。
OSSを使ってビッグデータ分析をする場合のツール利用例
AWSの場合には、ストリーミングデータ蓄積サービス「Amazon Kinesis」でデータを受け取り、ストリーミング処理サービス「Amazon Kinesis Analytics」などで分析した上で、NoSQL型のマネージドデータベース「Amazon DynamoDB」に格納することになる。分析にはSQLクエリ実行サービス「Amazon Athena」やBIサービス「Amazon QuickSight」が利用できる。
AWSのビッグデータ関連機能
GCPの場合は、メッセージングサービス「Google Cloud Pub/Sub」がデータを受け取る。「Google Cloud Storage」に蓄積したデータをバッチおよびストリーミング処理サービス「Cloud Dataflow」やHadoopのマネージドサービス「Cloud DataProc」で分散処理をし、DWHサービスの「Google BigQuery」に格納した上でBIツールなどのアプリケーションからアクセスするのが一般的ではないかと北瀬氏は説明する。
GCPのビッグデータ関連機能
北瀬氏は続けて「IBM Bluemix」（Bluemix）や「Microsoft Azure」（Azure）といった他のクラウドサービスを使った場合の例も示した。後編では、BluemixおよびAzureのデータ分析サービスについて紹介する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[LRM株式会社] 「標的型攻撃メール」事例・サンプル集 -
製品資料
[LRM株式会社] セキュリティ教育はなぜ「年間計画」を立てる必要があるのか？ -
製品資料
[LRM株式会社] セキュリティの重要性が伝わらない…… 効果がない社員教育から脱却する方法 -
製品資料
[LRM株式会社] 「標的型攻撃メール訓練」導入ガイド 社員の意識を確実に高める仕組みの作り方 -
事例
[株式会社マクニカ] アイカ工業に学ぶ脆弱性対策 情シスが把握できずにいたアセットも正確に把握
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
2
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
3
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
4
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
5
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
6
ただなのに「12時間以内の復旧」も要求 無償OSSに商用レベルを求める企業の末路
-
7
ANAが専用回線から移行した「NaaS」の全貌 ネットワーク準備が数カ月から数週間に
-
8
業務引き継ぎで困ったこと 大企業200人調査で判明した課題の第1位は
-
9
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
-
10
Netflixのバックエンドは「ほぼJava」 3000超のアプリを支える開発基盤の裏側
ホワイトペーパーランキング PR
-
1
生成AIのハルシネーションを防止 回答精度を高めるセマンティックレイヤーとは
-
2
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
3
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
-
5
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
6
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
7
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
8
マンガで解説：「ゼロトラスト」「SASE」の必要性とメリット
-
9
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
10
情報セキュリティ対策早分かりガイド：25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー