エコシステムの充実が採用を後押し
【事例】じゃらん、ゼクシィにも活用、リクルートはなぜ「Hadoop」を使う?
Hadoopの活用を「ほぼ全事業」に広げる勢いのリクルートグループ。同グループは、Hadoopの何に魅力を感じたのか。システム構築を担うリクルートテクノロジーズの担当者に聞いた。
リクルートグループは、自社のサービスに分散データ処理技術の「Apache Hadoop」を徹底活用している。リクルートグループは、Hadoopをどう活用しているのか。Hadoop採用の理由とは。2012年10月に開催されたデータ活用関連イベント「第1回 ビッグデータ&データマネジメント展」で講演した、リクルートテクノロジーズ ITソリューショングループ ビッグデータグループの石川信行氏の話を基に紹介する。リクルートテクノロジーズは、2012年10月に持ち株会社制に移行したリクルートグループでシステム開発を担う。
リクルートグループは現在、住宅情報や宿泊予約など全13事業と、「グループの全事業で利用しているといっても過言ではない」ほどにHadoopの利用を進めていると、石川氏は明かす。主要な活用事例を4つ見ていこう。
活用事例1:「カーセンサー」関連事業の基盤をHadoopで構築
リクルートグループでHadoopを商用サービスの基盤として初めて活用したのが、リクルートマーケティングパートナーズの中古車情報事業「カーセンサー」である。カーセンサーの関連サービスとして開始した、ショッピングセンターのカウンターで中古車をあっせんする「クルマなびカウンター」のサービス基盤として、Hadoopを活用している。
Hadoopを活用するのは、クルマの価格設定だ。中古車市場は「正価」がないため、価格算出は人の感覚に頼るしかなかった。「中古車は、走行距離が1キロ違ったり、販売地域が異なるだけでも価格が大きく変化する。こうした状況で、統計的に価格を算出するのは難しい」。
適切な価格算出のためには、「過去の算出価格を徹底的に集計、分析することが不可欠」だ。だが価格データが月間1億件のペースで増えていくカーセンサーの場合、全データを集計、分析しようとすると「数週間かかることもある」。分析対象を絞り込めば分析時間は短縮されるが、分析精度は当然ながら低くなる。
そこで白羽の矢を立てたのが、Hadoopである。既に他のシステムで、バッチ処理の高速化を実証済みだったことが、Hadoop採用を後押しした。Hadoopシステムの活用により、数週間かかっていた毎月950車種の価格分析が1時間30分に短縮。改良を進めた現在のHadoopシステムでは、さらに高速化して30分での分析が可能になったという。「従業員は、分析以外のコア業務に時間を割くことができるようになった」
活用事例2:「じゃらん」の予約・宿泊履歴から宿泊地の特性を分析
年間の延べ宿泊者・予約者数が6020万人泊超に及ぶ、国内最大級の宿泊予約サイト「じゃらんnet」。運営元であるリクルートライフスタイルは、じゃらんnetの膨大な宿泊・予約データから得た情報を地方自治体などに伝える事業を展開している。そこで宿泊・予約データの解析に利用しているのがHadoopである。
じゃらんnet開始時の2000年11月から2012年までの12年に蓄積された宿泊・予約データから、地域ごとの宿泊者の特性を分析。「例えば、南関東居住者が北海道に旅行した場合は本州に近い地域での転泊が多く、北海道居住者は道東や道北の転泊が多い、といった傾向を分析し、セミナーなどで自治体に開示している」
活用事例3:「ゼクシィ」の広告効果を分析
結婚情報サイト「ゼクシィnet」のユーザー行動解析や広告効果測定などに利用する「効果基盤システム」でも、Hadoopを利用する。
データが複数のデータベースに分散して管理が一元化できず、データ品質の低下していたり、大規模データを高速に処理できないといった課題を解決するために、システム刷新に伴いHadoopを導入した。Hadoopベースのシステムに移行したことで、データ処理時間が従来の14時間から15分へ短縮したといった効果があったという。
活用事例4:「SUUMO」の情報を基に提案資料やレコメンドを生成
住宅情報サイト「SUUMO」で用意する不動産会社向けの物件リポート作成ツール「オーナーレポート」にも、Hadoopを活用する。オーナーレポートは、不動産会社が物件のオーナーにリフォームなどを提案する際の参考資料を作成するツールだ。SUUMOに登録された物件情報や物件の検索率といったデータを基に、どういった設備を持つ物件が売れているか、といったことを分析できる。
この他、SUUMOのサイト閲覧者に対するレコメンドエリアの算出にも利用。検索条件間の関連性を分析し、「このエリアを探している人は他にこんなエリアも見ています」といったレコメンド情報を検索結果画面に表示したりする。
なぜリクルートはHadoopを選んだのか?
リクルートグループが、大規模データ処理システムとしてHadoopを選択したのはなぜか。
石川氏は、オープンソースソフトウェア(OSS)特有のコストの低さに加え、「活発で巨大なHadoopのエコシステムが他にはない魅力だった」と説明する。Hadoopを使いやすくするツールは、エコシステムから絶えず生まれている。「データ活用時に直面した課題も、エコシステムから生まれたツールを利用することで解決できると判断した」
Hadoopエコシステムの成果物の中で、リクルートグループが利用する主要なツールは、HadoopをRDBMSのように利用可能にする「Apache Hive」、データマイニング/機械学習ライブラリの「Apache Mahout」、RDBMSとHDFS間でデータ転送をする「Apache Sqoop」の3種である。「データ抽出の工数を削減したい、既存システムへの影響を軽減したい、機械学習に関する知識が不足しているといった課題の解決に、こうしたツールを役立てている」
このうち、利用者の利便性向上に最も役立っているのがHiveだ。「データ分析の専門ではない事業部の担当者が、Hiveを使って自ら分析する動きが活発化している」と石川氏は語る。「WebHive」という、WebブラウザでSQLライクのHive独自言語「HiveQL」を動作させるツールも自社で開発。既に、「事業部の担当者だけで、4カ月で58種のHiveQLクエリを登録するほど利用が浸透している」という。
HadoopソフトウェアにはGreenplum MRを採用、その理由は?
現在の第2世代Hadoopシステムでは、EMCジャパンの「EMC Greenplum MR」(開発:米MapR Technologies)が稼働している。Greenplum MRを選定した最大の理由は、「通常のHadoopと異なり、マスターサーバとスレーブサーバの厳密な区別を必要とせず、サーバ構成の自由度が高まる」ことだったという。さらに、「Java言語で記述されているHadoopのコア部分をC++言語で書き直しており、処理性能が高いことも魅力的だった」という。
ただし、石川氏は、「これからもずっとGreenplum MRを使い続けると決めているわけではない」と強調する。あくまでも「システム環境や最新技術の動向を踏まえ、その場その場で最適な製品を選択する」というスタンスだ。
Hadoop活用の経緯:2008年ごろから「ゲリラ的」に利用
リクルートグループにおけるHadoop活用が始まったのは、2008~2009年ごろのことだ。当初は実験機3~4台で稼働し、Webサイトのバッチ処理などで検証作業を「ゲリラ的に」実施した。2010年に入ると、システムのサーバ規模を20台に拡大。同時期に進行中だったシステム基盤統合プロジェクトで廃棄対象となったサーバを活用したり、「秋葉原で50円のケーブルを購入する」などの工夫により、低予算で検証を進めた。
本格的なHadoop利用に乗り出したのは、2011年のことだ。リクルートグループが構築したプライベートクラウドのインフラとHadoopのシステムを連係させたり、システム監視やセキュリティ対策を施すことで、「商用利用に耐える」、サーバ台数120台の“第1世代”Hadoopシステムを完成させた。前述したカーセンサーのクルマなびカウンターは、この第1世代Hadoopシステムでスタートした。
2012年現在、システム構成を見直した“第2世代”のHadoopシステムが稼働する。Greenplum MRを初めて搭載したのも、この第2世代Hadoopシステムである。第2世代Hadoopシステムは、プライベートクラウドのインフラで運用。能力を維持しつつ、サーバ台数を40台規模に縮小し、サーバ購入費用や消費電力の削減を実現している。
今後の展望:テキストマイニングの活用も視野に
現在は購買履歴といったログの分析がHadoopの主な用途だが、石川氏は「テキストマイニングの活用も進めたい」と考えているという(テキストマイニングについては「【製品動向】ソーシャルやビッグデータで変わる『テキストマイニング』」も参照)。具体的には、Mahoutのテキストマイニング機能をHadoopと連係させることで、口コミ分析やリアルタイムのレコメンド提示などに応用するといった施策を描く。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
4
221人調査で分かった「情シス最大のストレス」は?
-
5
「データストレージの活用方法」に関するアンケート
-
6
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
7
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
8
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
9
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
10
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー