「AWS Summit Tokyo 2015」リポート：ゼンリンデータコム
ゼンリンデータコムのビッグデータチームが指南、AWSマネージドHadoopの勘所とは？（1/2 ページ）
ゼンリンデータコムは、位置情報に基づく高度な行動分析にAWSのマネージドHadoopサービスを使っている。その道のりは険しく、自前システムから4世代目で現在の姿にたどり着いた。試行錯誤の末に導き出したAWS活用方針とは。
地図情報データベース「glid」とは《クリックで拡大》
ゼンリンデータコムの高山敏典氏（モバイル開発本部 モバイル第二開発部 シニアエンジニア）と鈴木 順一郎氏（同部 エキスパートエンジニア）の両名が、ゼンリンデータコムが手掛ける「行動分析」サービスの中でどう「Amazon Web Services」（AWS）を活用しているかを語った。本稿は、アマゾン データ サービス ジャパンが2015年6月に開催したプライベートカンファレンス「AWS Summit Tokyo 2015」の講演と、その後の個別インタビューを基に構成している。
位置と地図のビッグデータで高度な行動分析
ゼンリンデータコム 高山敏典氏
ゼンリンデータコムは住宅地図最大手、ゼンリンの子会社である。地図配信やナビゲーションソフトなど位置情報サービスの提供、システム開発を手掛ける。サービスの1つである行動分析は、人や車など移動体の刻々と変わる位置情報（どこにいる）と地図情報（どんなところ）を組み合わせて行動パターンを解析することで統計処理をする。運送会社が配車を最適化したり、観光地や商業施設内の動線を見える化したりできる。
つまり、行動分析では大量データを高速に処理するが必要ある。多くの移動体からリアルタイムや任意の間隔で取得する位置情報に加え、位置と照らし合わせる地図情報データベース「glid」のデータ量が膨大だ。ゼンリンデータコムがキーバリューストア型で開発したglidは緯度経度を住所に変換する際、3メートルメッシュの緻密さで施設や道路状況など多種の地図情報を付加できる。「数十億件のレコードを扱うこともある」（高山氏）とまさにビッグデータ解析だ。そのため、行動分析で使うシステムの性能要件は厳しく、分析ロジックも特殊である。当然、「システム開発・運用は自前にこだわってきた」（鈴木氏）。それが2013年よりデータ分析基盤にAWSを活用する。
2010年当時は完全に内製したオンプレミスのシステムだった。バッチ処理の場合、各移動体から取得した位置情報のログをいったん共有ディスクに保存、そこで生成した点列データを分析サーバに送り、処理結果をRDBMSに格納する流れである。「並列化の取り扱いが難しい共有ディスクを使いながら、いかに大量データを高速処理するか、チューニングを重ねた。ITエンジニアとしてのやりがいはあったが、肝心の分析ロジックの改良にまで手が回らなかった」（高山氏）
図1 共有ディスクを使ったオンプレミス時代のシステム構成（出典：ゼンリンデータコム）《クリックで拡大》
Hadoopのメリットを享受するためAWS活用へ
ゼンリンデータコム 鈴木 順一郎氏
そうこうしているうちビックデータが流行し、オープンソースの分散データ処理ミドルウェアで汎用サーバをスケールアウトして並列処理できる「Hadoop」が耳目を集める。行動分析チームも2011年にHadoopを採用し、分析システムを再構築した。バッチ処理向けログデータの保存先は共有ディスクからHadoop向けNoSQLデータベース「HBase」に変え、複数の物理サーバを束ねた「Hadoopクラスタ」で大量データを並列処理する。「今まで自分たちでプログラミングしていた並列処理をHadoopに丸投げできるようになった」（高山氏）
ただ課題は残った。鈴木氏はこう振り返る。「十数台のマシンがフル回転状態で突発の案件を処理する余裕がなかった。マシン調達には時間がかかるし、予算的に固定コストのマシンを大量には抱えられなかった」。サーバがスケールアウトしないため、Hadoopのメリットが十分に得られなかったのだ。
そこでクラウド（AWS）である。行動分析チームは2012年、社内でAWS活用のパイロット役を担うべく、Hadoopシステムの物理サーバを仮想サーバの「Amazon Elastic Compute Cloud」（EC2）に置き換えた。これによりサーバ拡張は容易になった。もちろん初導入なので、「思ったほどコストが下がらない」「負荷分散がうまくいかない」などの問題も多々あったが、試行錯誤でAWSを自分たちのモノにしていった。
図2 AWS導入でHadoopシステムの物理サーバをクラウド化（出典：ゼンリンデータコム）《クリックで拡大》
そして2013年、AWS活用を大幅に進め、現状のマネージド型Hadoop「Amzon Elastic MapReduce」（EMR）中心のシステムへと発展させる。いわば、データ分析基盤全体をAWS環境に委ねる格好だ。自前にこだわってきた行動分析チームにしてみれば方向転換である。高山氏はこう指摘する。「われわれがあれこれ調整してシステムの性能や可用性を上げることが本当に必要なのか。それはAWSに任せ、分析ロジックに専念した方がビジネス上のメリットは大きい」。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
事例
[テクバン株式会社] 1画面でITサービスデスク業務が完結 太陽ホールディングスに学ぶデバイス管理 -
製品資料
[デジタルサーカス株式会社] ライセンス無料 Drupalベースの「多言語ECサイト開発用パッケージ」の実力は？ -
製品資料
[デジタルサーカス株式会社] 日本発グローバル企業用Drupal「Risley（リズリー）」の実力とは？ -
製品資料
[デジタルサーカス株式会社] Drupalサイト運用のリスク解消 潜在的なセキュリティ問題を迅速に発見する方法 -
製品資料
[株式会社ソースポッド] SCS評価制度への対応で工数が増大？ 取得後の管理・運用をどう進めるべきか
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
2
なぜ「Gemini 4 Argon」は出遅れたのか？ Googleが狙う“逆転のシナリオ”
-
3
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
4
世界PC出荷数が20％急減 情シスを直撃するPC先行調達の反動と価格高騰
-
5
脱VMwareか、継続か？ 仮想化ソフト主要6製品の運用管理と統制機能を徹底比較
-
6
326のIPアドレスで1200超のアクセス AIエージェント関与が疑われる攻撃の中身
-
7
セキュリティは「情シス任せ」が過半数 漏えい発生時やSCS評価制度の課題は？
-
8
半数がブルーカラー転向を視野に？ ベテランエンジニアを追い込む“54歳の壁”
-
9
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
10
「企業内サーバ環境の利用実態」に関するアンケート
ホワイトペーパーランキング PR
-
1
家庭用Wi-Fiルーターの業務利用は危険？ 避けるべき理由と具体的な対策
-
2
システムの保守がモダン化を阻む？ 「変えない判断」から脱却する方法とは
-
3
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
4
AI駆動攻撃にどう対抗する？ 超速の攻撃からエンドポイントを保護する方法
-
5
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
-
6
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
7
東大教授と考える、AI時代の「データ主権」「信頼性」「ガバナンス」の在り方
-
8
Linux初心者でも知らないとまずい「RHEL」「SLES」の違いとは？
-
9
最速72分でデータが流出？ 最新の脅威トレンドや侵入手法から分かった防衛策
-
10
生成AIの活用を阻む「5つの壁」とは？ AIネイティブ組織へ変革を遂げる方法
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー