ビッグデータ分析システムのインフラにGCPを採用
NTTドコモが「BigQuery」を導入した訳と、その後も「Redshift」を使い続ける訳
ビッグデータ分析システム「IDAP」を運用するNTTドコモは、システムのインフラに「AWS」を利用していたが、新たにGoogleの「BigQuery」を採用した。BigQueryを採用して得られた効果と、AWSとGCPを併用する理由とは。
NTTドコモはビッグデータ分析システム「IDAP」(Integrated Data Analytics Platform)を2014年から運用している。IDAPで扱うのは、同社が通信事業で収集した通信エラーログや通信速度などのネットワークデータと、スマートライフ事業の「dポイントクラブ」「dTV」といった各種サービスから収集した会員情報や決済履歴などのデータだ。運用開始から2021年現在までの累計で約2500人の従業員が利用し、1日当たり50TBのデータを処理する。保有データは年々増加しており、2021年時点でデータの保有量は5PBに達した。IDAPの稼働開始当初はオンプレミスインフラとAmazon Web Services(AWS)のクラウドサービス群を組み合わせて運用していたが、2020年10月からGoogleのクラウドデータウェアハウス(DWH)「BigQuery」を導入し、2021年7月に実運用を開始した。
NTTドコモはIDAPの稼働開始当初から現在も、AWSのクラウドDWH「Amazon Redshift」を利用している。NTTドコモでIDAPの開発と運用を担当する林 知範(とものり)氏によると、同社は2017年にIDAPのインフラを拡張した際に、BigQueryをはじめとするGoogleのクラウドサービス群「Google Cloud Platform」(GCP)の利用を検討した。だが「当時は性能やセキュリティ機能の要件を満たしていなかったことから採用には至りませんでした」と林氏は明かす。
データ量の急増に伴い「BigQuery」を再検討
従来のIDAPにおいて課題となっていたのが、同システムで扱うデータ量の急激な増加だ。NTTドコモはIDAPを大量のデータ分析に適したシステムに拡張するために、クラウドDWHの再検討を開始した。BigQuery導入の再検討に当たっては、クエリの並列処理機能で高速なデータ処理を実現できる点を評価した。IDAPにはデータ加工からロードまでのETL(抽出、返還、読み込み)処理といった運用面のワークロード(アプリケーション)と、IDAPユーザーの定期的または一時的なデータ分析ワークロードが存在する。「常時複数の処理プロセスが動いていることから、これらを同時に処理する能力が求められます」と林氏は説明する。地理空間分析機能「BigQuery GIS」、機械学習の実行機能「BigQuery ML」などの機能を備えている点も選定を後押しした。
膨大なデータを扱うIDAPの中には、社外に公開できない重要なデータが含まれている場合がある。そのためNTTドコモは、IDAPを構成する製品/サービスに厳格なセキュリティ要件を課している。BigQueryの場合、セキュリティ要件はネットワーク分離サービスの「VPC Service Controls」やアクセス制御サービスの「Identity and Access Management」(IAM)など、再検討時点で利用可能だったGCPのサービスで満たせたため、これらと併せてBigQueryの採用に至った。
「Google Cloud Platform」と「AWS」を両方使う理由
IDAPで扱うデータは閉域網で送受信されている。NTTドコモはVPC Service Controlsを使い、BigQueryやオブジェクトストレージサービス「Cloud Storage」をはじめとした各種GCPサービスへのアクセスを制限している。NTTドコモが承認していないネットワークからのアクセスがあった場合、遮断する仕組みだ。承認済みネットワーク以外の経路からの接続を遮断することで、情報漏えいを防ぐ。既存のオンプレミスインフラとの接続にはGoogleの閉域網サービス「Cloud Interconnect」を利用する。GCPインフラとAWSインフラの接続は、オンプレミスインフラが中継する形で経路を構築した(図)。
NTTドコモはIDAPを利用する際、用途に合わせてBigQueryとAmazon Redshiftを使い分けており、「全体で6~7割ほどのデータをBigQueryで処理している」(林氏)。完全にGCPへ移行せず、AWSの利用を継続するのはなぜか。それはGCPとAWSそれぞれのメリットを生かすためだ。NTTドコモは既にさまざまな用途でAWSを利用しており、データソースがAWSにある場合は、データ転送コストを抑えられるAmazon Redshiftを継続して利用している。一方でコストや処理速度の面でBigQueryが適している場合は、Amazon RedshiftではなくBigQueryを利用しているという。
林氏はBigQueryの利用において、現段階での課題は「特にない」と話す。期待を寄せるGCPの機能として、BigQuery MLを挙げる。BigQuery MLはデータベース言語の「SQL」で機械学習モデルを作成したり、実行したりすることが可能だ。「IDAPを使う従業員の中には、SQLを利用できるデータ分析者が多くいます」と同氏は言う。IDAPユーザーがSQLで機械学習を実行できるようにすることで、データ分析手法として機械学習を活用するハードルを下げられると同氏は考える。
NTTドコモは定期的にBigQueryのベンチマークテストを実施し、ビッグデータの処理速度のさらなる向上に向けてグーグル・クラウド・ジャパンに継続的に改善要望を出す意向だ。IaaS(Infrastructure as a Service)やPaaS(Platform as a Service)はサービスの種類が充実しつつある。NTTドコモが再検討の末にBigQueryを導入してメリットを引き出したように、一度採用を見送ったクラウドサービスでも、新たな課題が浮上したときに再考に値する可能性がある。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[株式会社グローバルウェイ] 事例に学ぶ、マルチAIエージェント基盤による製造業DXの実現方法 -
事例
[株式会社グローバルウェイ] ポリプラスチックスに学ぶERP刷新 開発を大幅に効率化したアプローチとは? -
製品資料
[株式会社バッファロー] テナント入居時の落とし穴 節約のための「家庭用Wi-Fiルーター利用」がNGな訳 -
製品資料
[株式会社ネットワールド] サプライチェーンのリスク対応は急務 いま中小企業に必要なセキュリティ対策は -
製品資料
[パーソルクロステクノロジー株式会社] 失敗しない、「DXコンサルティング」活用ノウハウ
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
3
Java SEに「Java4Shell」、WebLogicも修正――今朝の情シスニュース
-
4
「Copilot利用率99%」デンソー驚異の定着術 3万人を動かした“社長賞”の舞台裏
-
5
月15万件の電話をAIで自動化した「焼肉きんぐ」 AIエージェント活用術
-
6
「うまい棒」のやおきんが挑むランサムウェア対策 約2カ月で導入し、少人数運用を実現
-
7
なぜ「WSUS」を捨てない? 非推奨でも35%が使い続けるワケ
-
8
なぜ「Microsoft Teams」がランサムウェアの入り口になるのか?
-
9
大和証券や日経も被害に 2026年秋のインシデント集中で崩れた「防御の前提」
-
10
AI時代のITインフラ変革 ネットワークの重要性と「予測をやめる投資」とは
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
4
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
5
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
6
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
7
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
8
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
-
9
AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか?
-
10
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー