データ分析専門家が注目する「Apache Spark」
あなたにしか見えないテレビCMも可能？ ビッグデータ分析が変える広告配信
有料テレビ広告の最適化を手掛ける米BlackArrow。同社CTO（最高技術責任者）のジョー・マタレス氏は、ビッグデータ分析技術の「Apache Spark」が同社のITシステムの要だと語る。
米BlackArrowでは有料テレビ事業者向けの広告最適化サービスを手掛ける（画像はBlackArrowのWebサイトより）《クリックで拡大》
ジョー・マタレス氏が分散データ処理フレームワーク「Apache Spark」（以下Spark）に初めて興味を持ったのは、Sparkがまだ米カリフォルニア大学バークレー校のAMPLabで開発されていたころのこと。同氏が最も気に入ったのはSparkのスケーラビリティだ。このフレームワークによって、増加の一途をたどる膨大なデータを分析やステージングのために処理できる技術が実現できると思われた。
2014年6月、マタレス氏は米BlackArrowのCTO（最高技術責任者）としてSparkを導入する機会を得た。BlackArrowは米Comcastや米Time Warner Cableのようなケーブル・有料テレビ事業者が、視聴者層に応じて異なる広告を動的に番組に挿入できるように支援している。この広告挿入は、番組が従来のテレビサービスと新しいオンラインプラットフォームのどちらで放送されていても行われる。BlackArrowはこれらの広告が有効に機能しているかどうかを分析するサービスも提供している。マタレス氏は使用経験を踏まえ、「Sparkはまだ改良の余地があるが、豊富な機能を備えるに至っており、本格的な実用期に入ろうとしている」と考えている。
「Sparkは、それを導入した組織と開発者同士の良いコミュニティーが形成されている。私がSparkを好きなのはそのためだ。もっとも、Sparkはまだ比較的若い技術だ。われわれもさまざまな問題に直面したが、対処することができた。この技術には、機能が充実しているという魅力がある。それらの機能を活用していくつもりだ」（マタレス氏）
Sparkを使った分析データ収集
BlackArrowは現在、Sparkによる処理を利用して、ケーブル事業者からローカルデータを収集している。その中には、視聴されている番組と使われている視聴プラットフォームの詳細や、視聴者の基本情報などが含まれる。BlackArrowはこれらのデータを使って、視聴者の特性から見てコマーシャルをいつ表示すべきか、どのような広告が最も効果的かを判断している。広告の放送後には、Sparkは視聴者がどの広告を見たか、どの広告をスキップしたかのデータを、分析データベース「Infobright」に蓄積する。顧客のケーブル事業者はこのデータベースにアクセスし、作成済みのリポートを見たり、データ統合・分析基盤ソフトウェア「Pentaho」のBI（ビジネスインテリジェンス）ツールやデータ可視化ツールを使って、広告の効果について独自にアドホック分析を行ったりできる。
マタレス氏は他のデータ視覚化製品と比較した上で、2015年7月にPentahoを選定したという。Pentahoでは、BlackArrowの顧客にリポートを提供する方法をきめ細かくコントロールできるからだ。同社は従来、自社開発したリポーティングシステムを使っていた。だが、顧客から、アドホッククエリを行いたいという要望が数多く寄せられるようになったため、定型リポートとユーザークエリをサポートするパッケージツールが必要だと判断した。
マタレス氏は、データ処理の速度および能力に加え、SQLクエリ機能と機械学習機能を理由にSparkの採用を決めた。同氏はBlackArrowがこの2つのデータアナリティクス機能を具体的にどのように使っているかは明らかにせず、「BlackArrowがこれらの機能で行うのは独自の作業だ」と語る。だが、データのクエリと機械学習アルゴリズムの実行は、「広告の選択と配置を最適化する上で重要な役割を果たしている」とも述べている。
問題対処が必要な場面も
だが、Sparkはいいことずくめではない。例えば、マタレス氏のチームは導入以来、安定性の問題を経験しているという。BlackArrowは最初から、米ClouderaのSparkディストリビューションから「Hadoop」コンポーネントを除いたものを使用している。ある時、オープンソースのApache Sparkの最新バージョンをBlackArrowの開発環境に導入しようとしたところ、前のバージョンのSparkに組み込んでいたプロセスとのコンフリクトが発生した。マタレス氏は、この種の問題を解決するには、粘り強く取り組むことに加えて、「Sparkを導入したら、開発とメンテナンスを継続していかなければならない」という覚悟が必要だと語る。「いろいろなハードルを乗り越えていかなければならない」と同氏は注意を促す。
マタレス氏は、ビッグデータの専門家の間で以前から注目されている「Sparkのデータ処理フレームワークはHadoopに取って代わるか」という問題に関しては、この2つのシステムは、非常に異なるユースケースをサポートしているとの見方を示す。BlackArrowにとっては、データを顧客に届けることが最優先事項であるため、処理が高速で、クエリが簡単なSparkを使うことが理にかなっている。しかしマタレス氏は、Hadoopが役に立つ状況もあると考えており、その例として特に、データ量が膨大で、時間の制約が緩い場合を挙げている。
結局のところ、肝心なのは業務に最適なツールを選択することだ。「この選択の出発点は、自分たちが何をしようとしているか、どのような問題を解決しようとしているかという理解だ」（マタレス氏）
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か？ PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える？ 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣 -
製品資料
[サイボウズ株式会社] AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
4
なぜ「Gemini 4 Argon」は出遅れたのか？ Googleが狙う“逆転のシナリオ”
-
5
「中堅・中小企業のネットワーク・セキュリティ運用実態」に関するアンケート
-
6
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
7
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
8
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
9
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
10
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険？ 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない？ 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー