GCPの「ビッグデータ分析サービス」10選【前編】

「BigQuery」だけではない　GCPのビッグデータ分析サービスの違いは？

Googleは「Google Cloud Platform」（GCP）のサービスとして、ビッグデータ分析サービスを提供している。主要な10種類のうち、「BigQuery」を含む5種類を紹介する。

公開 2019年07月23日 05時03分

著者

Kathleen Casey

[TechTarget]

印刷する連載新着通知を受け取る

　ビッグデータを利用することで、企業は顧客について理解したり、プロセスを最適化したり、セキュリティを強化したりするのに役立つ重要な情報を把握できる。ただし大量のデータを分析するのは至難の業だ。こうした中、企業の間では、大手クラウドベンダーが提供するビッグデータ分析サービスの人気が高まりつつある。

　Googleもビッグデータ分析サービスを提供するベンダーの一つだ。同社の検索エンジン分野での実績は、ビッグデータ分析サービスにも生かされている。これらのサービスは同社のクラウドサービス群「Google Cloud Platform」（GCP）に含まれる。

併せて読みたいお薦め記事

DWHについて詳しく

ビッグデータ分析へのクラウド活用事例

　GCPには、コンピューティング（仮想マシン）、ストレージ、データベース、ネットワーク、機械学習のサービスの他、管理、開発、セキュリティ向けのサービスもある。Googleのビッグデータ分析サービスを利用すると、企業は最小限の作業で他のGCPサービスとデータを連携できる。

　本稿では前後編にわたり、Googleが提供する10個のビッグデータ関連サービスについて、具体的な機能と特徴を説明する。

BigQuery

　「BigQuery」はSQLクエリを使ってデータセットを処理／分析するデータウェアハウス（DWH）サービスだ。大量のデータを読み込んで、リアルタイムに分析できる。Googleの列型のデータ形式「Capacitor」でデータを保管し、ユーザーはデータを処理しながら読み込んだり、バッチ処理したりできる。データの読み込み、エクスポート、クエリ、コピーには、WebブラウザやGCPの管理コンソール「Google Cloud Platform Console」、BigQuery操作用のコマンドラインツール「bq」などを使用する。

Cloud Dataflow

　「Cloud Dataflow」はデータを連続的に処理するストリーム処理と、バッチ処理に利用するサービスだ。データ分析のためのリソースはCloud Dataflowが自動的に管理する。Cloud DataflowやBigQuery、「Cloud Machine Learning Engine」（Cloud ML Engine）などの他のGCPサービスと、分散処理ソフトウェア「Apache Spark」やストリーム／バッチ処理のプログラミングモデル「Apache Beam」などの他製品を連携できるようにする。

Cloud Dataproc

　分散処理ソフトウェア「Apache Hadoop」のクラスタとSparkクラスタのマネージドサービスである「Cloud Dataproc」は、バッチ処理やクエリ実行、ストリーム処理、機械学習用のインフラとして利用できる。ユーザーはオーケストレーションや自動化機能を使用して、いつでもHadoopクラスタやSparkクラスタを稼働させたり、スケーリングしたりできる。BigQueryや「Cloud Bigtable」といったGoogleのビッグデータ関連サービスと、同社のログ管理サービス「Stackdriver Logging」「Stackdriver Monitoring」などとも連携が可能だ。

Cloud Pub/Sub

　「Cloud Pub/Sub」は非同期メッセージングを実現するメッセージブローカーサービスだ。異なるアプリケーション間の通信を管理し、ストリーム処理の中核コンポーネントとして機能する。企業はCloud Pub/Subをイベントデータの取り込みと配布の汎用（はんよう）手段として使用できる。開発者はCloud Pub/Subを使用して、GCP内外のシステムを素早く連携させることが可能だ。

Cloud Data Fusion

　ETL（抽出、変換、読み込み）サービスの「Cloud Data Fusion」は、ポイントアンドクリック型のグラフィカルユーザーインタフェースにより、コーディングしないでETL処理のパイプラインを開発できる。そのため、ユーザーのスキルレベルを問わず、データの準備と転送、変換が可能になる。オープンソースソフトウェアをベースとするため、ハイブリッドクラウド環境やマルチクラウド環境でも高い移植性を実現する。

印刷する