エコシステムの充実が採用を後押し
【事例】じゃらん、ゼクシィにも活用、リクルートはなぜ「Hadoop」を使う?
Hadoopの活用を「ほぼ全事業」に広げる勢いのリクルートグループ。同グループは、Hadoopの何に魅力を感じたのか。システム構築を担うリクルートテクノロジーズの担当者に聞いた。
リクルートグループは、自社のサービスに分散データ処理技術の「Apache Hadoop」を徹底活用している。リクルートグループは、Hadoopをどう活用しているのか。Hadoop採用の理由とは。2012年10月に開催されたデータ活用関連イベント「第1回 ビッグデータ&データマネジメント展」で講演した、リクルートテクノロジーズ ITソリューショングループ ビッグデータグループの石川信行氏の話を基に紹介する。リクルートテクノロジーズは、2012年10月に持ち株会社制に移行したリクルートグループでシステム開発を担う。
リクルートグループは現在、住宅情報や宿泊予約など全13事業と、「グループの全事業で利用しているといっても過言ではない」ほどにHadoopの利用を進めていると、石川氏は明かす。主要な活用事例を4つ見ていこう。
活用事例1:「カーセンサー」関連事業の基盤をHadoopで構築
リクルートグループでHadoopを商用サービスの基盤として初めて活用したのが、リクルートマーケティングパートナーズの中古車情報事業「カーセンサー」である。カーセンサーの関連サービスとして開始した、ショッピングセンターのカウンターで中古車をあっせんする「クルマなびカウンター」のサービス基盤として、Hadoopを活用している。
Hadoopを活用するのは、クルマの価格設定だ。中古車市場は「正価」がないため、価格算出は人の感覚に頼るしかなかった。「中古車は、走行距離が1キロ違ったり、販売地域が異なるだけでも価格が大きく変化する。こうした状況で、統計的に価格を算出するのは難しい」。
適切な価格算出のためには、「過去の算出価格を徹底的に集計、分析することが不可欠」だ。だが価格データが月間1億件のペースで増えていくカーセンサーの場合、全データを集計、分析しようとすると「数週間かかることもある」。分析対象を絞り込めば分析時間は短縮されるが、分析精度は当然ながら低くなる。
そこで白羽の矢を立てたのが、Hadoopである。既に他のシステムで、バッチ処理の高速化を実証済みだったことが、Hadoop採用を後押しした。Hadoopシステムの活用により、数週間かかっていた毎月950車種の価格分析が1時間30分に短縮。改良を進めた現在のHadoopシステムでは、さらに高速化して30分での分析が可能になったという。「従業員は、分析以外のコア業務に時間を割くことができるようになった」
活用事例2:「じゃらん」の予約・宿泊履歴から宿泊地の特性を分析
年間の延べ宿泊者・予約者数が6020万人泊超に及ぶ、国内最大級の宿泊予約サイト「じゃらんnet」。運営元であるリクルートライフスタイルは、じゃらんnetの膨大な宿泊・予約データから得た情報を地方自治体などに伝える事業を展開している。そこで宿泊・予約データの解析に利用しているのがHadoopである。
じゃらんnet開始時の2000年11月から2012年までの12年に蓄積された宿泊・予約データから、地域ごとの宿泊者の特性を分析。「例えば、南関東居住者が北海道に旅行した場合は本州に近い地域での転泊が多く、北海道居住者は道東や道北の転泊が多い、といった傾向を分析し、セミナーなどで自治体に開示している」
活用事例3:「ゼクシィ」の広告効果を分析
結婚情報サイト「ゼクシィnet」のユーザー行動解析や広告効果測定などに利用する「効果基盤システム」でも、Hadoopを利用する。
データが複数のデータベースに分散して管理が一元化できず、データ品質の低下していたり、大規模データを高速に処理できないといった課題を解決するために、システム刷新に伴いHadoopを導入した。Hadoopベースのシステムに移行したことで、データ処理時間が従来の14時間から15分へ短縮したといった効果があったという。
活用事例4:「SUUMO」の情報を基に提案資料やレコメンドを生成
住宅情報サイト「SUUMO」で用意する不動産会社向けの物件リポート作成ツール「オーナーレポート」にも、Hadoopを活用する。オーナーレポートは、不動産会社が物件のオーナーにリフォームなどを提案する際の参考資料を作成するツールだ。SUUMOに登録された物件情報や物件の検索率といったデータを基に、どういった設備を持つ物件が売れているか、といったことを分析できる。
この他、SUUMOのサイト閲覧者に対するレコメンドエリアの算出にも利用。検索条件間の関連性を分析し、「このエリアを探している人は他にこんなエリアも見ています」といったレコメンド情報を検索結果画面に表示したりする。
なぜリクルートはHadoopを選んだのか?
リクルートグループが、大規模データ処理システムとしてHadoopを選択したのはなぜか。
石川氏は、オープンソースソフトウェア(OSS)特有のコストの低さに加え、「活発で巨大なHadoopのエコシステムが他にはない魅力だった」と説明する。Hadoopを使いやすくするツールは、エコシステムから絶えず生まれている。「データ活用時に直面した課題も、エコシステムから生まれたツールを利用することで解決できると判断した」
Hadoopエコシステムの成果物の中で、リクルートグループが利用する主要なツールは、HadoopをRDBMSのように利用可能にする「Apache Hive」、データマイニング/機械学習ライブラリの「Apache Mahout」、RDBMSとHDFS間でデータ転送をする「Apache Sqoop」の3種である。「データ抽出の工数を削減したい、既存システムへの影響を軽減したい、機械学習に関する知識が不足しているといった課題の解決に、こうしたツールを役立てている」
このうち、利用者の利便性向上に最も役立っているのがHiveだ。「データ分析の専門ではない事業部の担当者が、Hiveを使って自ら分析する動きが活発化している」と石川氏は語る。「WebHive」という、WebブラウザでSQLライクのHive独自言語「HiveQL」を動作させるツールも自社で開発。既に、「事業部の担当者だけで、4カ月で58種のHiveQLクエリを登録するほど利用が浸透している」という。
HadoopソフトウェアにはGreenplum MRを採用、その理由は?
現在の第2世代Hadoopシステムでは、EMCジャパンの「EMC Greenplum MR」(開発:米MapR Technologies)が稼働している。Greenplum MRを選定した最大の理由は、「通常のHadoopと異なり、マスターサーバとスレーブサーバの厳密な区別を必要とせず、サーバ構成の自由度が高まる」ことだったという。さらに、「Java言語で記述されているHadoopのコア部分をC++言語で書き直しており、処理性能が高いことも魅力的だった」という。
ただし、石川氏は、「これからもずっとGreenplum MRを使い続けると決めているわけではない」と強調する。あくまでも「システム環境や最新技術の動向を踏まえ、その場その場で最適な製品を選択する」というスタンスだ。
Hadoop活用の経緯:2008年ごろから「ゲリラ的」に利用
リクルートグループにおけるHadoop活用が始まったのは、2008~2009年ごろのことだ。当初は実験機3~4台で稼働し、Webサイトのバッチ処理などで検証作業を「ゲリラ的に」実施した。2010年に入ると、システムのサーバ規模を20台に拡大。同時期に進行中だったシステム基盤統合プロジェクトで廃棄対象となったサーバを活用したり、「秋葉原で50円のケーブルを購入する」などの工夫により、低予算で検証を進めた。
本格的なHadoop利用に乗り出したのは、2011年のことだ。リクルートグループが構築したプライベートクラウドのインフラとHadoopのシステムを連係させたり、システム監視やセキュリティ対策を施すことで、「商用利用に耐える」、サーバ台数120台の“第1世代”Hadoopシステムを完成させた。前述したカーセンサーのクルマなびカウンターは、この第1世代Hadoopシステムでスタートした。
2012年現在、システム構成を見直した“第2世代”のHadoopシステムが稼働する。Greenplum MRを初めて搭載したのも、この第2世代Hadoopシステムである。第2世代Hadoopシステムは、プライベートクラウドのインフラで運用。能力を維持しつつ、サーバ台数を40台規模に縮小し、サーバ購入費用や消費電力の削減を実現している。
今後の展望:テキストマイニングの活用も視野に
現在は購買履歴といったログの分析がHadoopの主な用途だが、石川氏は「テキストマイニングの活用も進めたい」と考えているという(テキストマイニングについては「【製品動向】ソーシャルやビッグデータで変わる『テキストマイニング』」も参照)。具体的には、Mahoutのテキストマイニング機能をHadoopと連係させることで、口コミ分析やリアルタイムのレコメンド提示などに応用するといった施策を描く。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
製品資料
[株式会社うるる] 「入札市場」攻略ガイド:効率的に落札するためのポイントを徹底解説 -
製品資料
[株式会社うるる] 入札情報に特化した「販路拡大」「効率化」のためのサポートツールとは? -
市場調査・トレンド
[株式会社うるる] 公共入札に成功する企業と失敗する企業の「5つの違い」 -
製品資料
[日本ビジネスシステムズ株式会社] 専門家が教える、Microsoft 365の「テナント統合/分離」を成功に導く秘訣 -
製品資料
[rakumo株式会社] Microsoft 365での情報埋没を防ぐ、社内ナレッジを資産化する情報ポータル活用
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
PHP脆弱性「PHP2Shell」で2260万件に影響 情シスの緊急チェックリスト
-
2
「Microsoft 365」が乗っ取られる MFAを破る“本物の画面”の恐怖
-
3
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
4
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
5
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
6
「有線LAN環境」に関するアンケート
-
7
生成AIが普及しても「技術書」を手放せないエンジニアの本音
-
8
「テザリング依存」に潜む落とし穴 “遅いVPN”を解消するネット構築術
-
9
積水化学工業が「SAP S/4HANA Cloud」の“全グループ導入”に踏み切った訳
-
10
データセンター事業者が「脱VMware」をした“例のライセンス問題”じゃない理由
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
2
2026年のサイバーセキュリティには何が必要か? 最新データに学ぶ傾向と対策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
「IT史に名を残すシステム障害」8選
-
5
最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策
-
6
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
AI駆動開発のスピードと安全性を両立 「品質・セキュリティ管理」の実践ガイド
-
9
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
-
10
「標的型攻撃メール」事例・サンプル集
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー