エコシステムの充実が採用を後押し
【事例】じゃらん、ゼクシィにも活用、リクルートはなぜ「Hadoop」を使う?
Hadoopの活用を「ほぼ全事業」に広げる勢いのリクルートグループ。同グループは、Hadoopの何に魅力を感じたのか。システム構築を担うリクルートテクノロジーズの担当者に聞いた。
リクルートグループは、自社のサービスに分散データ処理技術の「Apache Hadoop」を徹底活用している。リクルートグループは、Hadoopをどう活用しているのか。Hadoop採用の理由とは。2012年10月に開催されたデータ活用関連イベント「第1回 ビッグデータ&データマネジメント展」で講演した、リクルートテクノロジーズ ITソリューショングループ ビッグデータグループの石川信行氏の話を基に紹介する。リクルートテクノロジーズは、2012年10月に持ち株会社制に移行したリクルートグループでシステム開発を担う。
リクルートグループは現在、住宅情報や宿泊予約など全13事業と、「グループの全事業で利用しているといっても過言ではない」ほどにHadoopの利用を進めていると、石川氏は明かす。主要な活用事例を4つ見ていこう。
活用事例1:「カーセンサー」関連事業の基盤をHadoopで構築
リクルートグループでHadoopを商用サービスの基盤として初めて活用したのが、リクルートマーケティングパートナーズの中古車情報事業「カーセンサー」である。カーセンサーの関連サービスとして開始した、ショッピングセンターのカウンターで中古車をあっせんする「クルマなびカウンター」のサービス基盤として、Hadoopを活用している。
Hadoopを活用するのは、クルマの価格設定だ。中古車市場は「正価」がないため、価格算出は人の感覚に頼るしかなかった。「中古車は、走行距離が1キロ違ったり、販売地域が異なるだけでも価格が大きく変化する。こうした状況で、統計的に価格を算出するのは難しい」。
適切な価格算出のためには、「過去の算出価格を徹底的に集計、分析することが不可欠」だ。だが価格データが月間1億件のペースで増えていくカーセンサーの場合、全データを集計、分析しようとすると「数週間かかることもある」。分析対象を絞り込めば分析時間は短縮されるが、分析精度は当然ながら低くなる。
そこで白羽の矢を立てたのが、Hadoopである。既に他のシステムで、バッチ処理の高速化を実証済みだったことが、Hadoop採用を後押しした。Hadoopシステムの活用により、数週間かかっていた毎月950車種の価格分析が1時間30分に短縮。改良を進めた現在のHadoopシステムでは、さらに高速化して30分での分析が可能になったという。「従業員は、分析以外のコア業務に時間を割くことができるようになった」
活用事例2:「じゃらん」の予約・宿泊履歴から宿泊地の特性を分析
年間の延べ宿泊者・予約者数が6020万人泊超に及ぶ、国内最大級の宿泊予約サイト「じゃらんnet」。運営元であるリクルートライフスタイルは、じゃらんnetの膨大な宿泊・予約データから得た情報を地方自治体などに伝える事業を展開している。そこで宿泊・予約データの解析に利用しているのがHadoopである。
じゃらんnet開始時の2000年11月から2012年までの12年に蓄積された宿泊・予約データから、地域ごとの宿泊者の特性を分析。「例えば、南関東居住者が北海道に旅行した場合は本州に近い地域での転泊が多く、北海道居住者は道東や道北の転泊が多い、といった傾向を分析し、セミナーなどで自治体に開示している」
活用事例3:「ゼクシィ」の広告効果を分析
結婚情報サイト「ゼクシィnet」のユーザー行動解析や広告効果測定などに利用する「効果基盤システム」でも、Hadoopを利用する。
データが複数のデータベースに分散して管理が一元化できず、データ品質の低下していたり、大規模データを高速に処理できないといった課題を解決するために、システム刷新に伴いHadoopを導入した。Hadoopベースのシステムに移行したことで、データ処理時間が従来の14時間から15分へ短縮したといった効果があったという。
活用事例4:「SUUMO」の情報を基に提案資料やレコメンドを生成
住宅情報サイト「SUUMO」で用意する不動産会社向けの物件リポート作成ツール「オーナーレポート」にも、Hadoopを活用する。オーナーレポートは、不動産会社が物件のオーナーにリフォームなどを提案する際の参考資料を作成するツールだ。SUUMOに登録された物件情報や物件の検索率といったデータを基に、どういった設備を持つ物件が売れているか、といったことを分析できる。
この他、SUUMOのサイト閲覧者に対するレコメンドエリアの算出にも利用。検索条件間の関連性を分析し、「このエリアを探している人は他にこんなエリアも見ています」といったレコメンド情報を検索結果画面に表示したりする。
なぜリクルートはHadoopを選んだのか?
リクルートグループが、大規模データ処理システムとしてHadoopを選択したのはなぜか。
石川氏は、オープンソースソフトウェア(OSS)特有のコストの低さに加え、「活発で巨大なHadoopのエコシステムが他にはない魅力だった」と説明する。Hadoopを使いやすくするツールは、エコシステムから絶えず生まれている。「データ活用時に直面した課題も、エコシステムから生まれたツールを利用することで解決できると判断した」
Hadoopエコシステムの成果物の中で、リクルートグループが利用する主要なツールは、HadoopをRDBMSのように利用可能にする「Apache Hive」、データマイニング/機械学習ライブラリの「Apache Mahout」、RDBMSとHDFS間でデータ転送をする「Apache Sqoop」の3種である。「データ抽出の工数を削減したい、既存システムへの影響を軽減したい、機械学習に関する知識が不足しているといった課題の解決に、こうしたツールを役立てている」
このうち、利用者の利便性向上に最も役立っているのがHiveだ。「データ分析の専門ではない事業部の担当者が、Hiveを使って自ら分析する動きが活発化している」と石川氏は語る。「WebHive」という、WebブラウザでSQLライクのHive独自言語「HiveQL」を動作させるツールも自社で開発。既に、「事業部の担当者だけで、4カ月で58種のHiveQLクエリを登録するほど利用が浸透している」という。
HadoopソフトウェアにはGreenplum MRを採用、その理由は?
現在の第2世代Hadoopシステムでは、EMCジャパンの「EMC Greenplum MR」(開発:米MapR Technologies)が稼働している。Greenplum MRを選定した最大の理由は、「通常のHadoopと異なり、マスターサーバとスレーブサーバの厳密な区別を必要とせず、サーバ構成の自由度が高まる」ことだったという。さらに、「Java言語で記述されているHadoopのコア部分をC++言語で書き直しており、処理性能が高いことも魅力的だった」という。
ただし、石川氏は、「これからもずっとGreenplum MRを使い続けると決めているわけではない」と強調する。あくまでも「システム環境や最新技術の動向を踏まえ、その場その場で最適な製品を選択する」というスタンスだ。
Hadoop活用の経緯:2008年ごろから「ゲリラ的」に利用
リクルートグループにおけるHadoop活用が始まったのは、2008~2009年ごろのことだ。当初は実験機3~4台で稼働し、Webサイトのバッチ処理などで検証作業を「ゲリラ的に」実施した。2010年に入ると、システムのサーバ規模を20台に拡大。同時期に進行中だったシステム基盤統合プロジェクトで廃棄対象となったサーバを活用したり、「秋葉原で50円のケーブルを購入する」などの工夫により、低予算で検証を進めた。
本格的なHadoop利用に乗り出したのは、2011年のことだ。リクルートグループが構築したプライベートクラウドのインフラとHadoopのシステムを連係させたり、システム監視やセキュリティ対策を施すことで、「商用利用に耐える」、サーバ台数120台の“第1世代”Hadoopシステムを完成させた。前述したカーセンサーのクルマなびカウンターは、この第1世代Hadoopシステムでスタートした。
2012年現在、システム構成を見直した“第2世代”のHadoopシステムが稼働する。Greenplum MRを初めて搭載したのも、この第2世代Hadoopシステムである。第2世代Hadoopシステムは、プライベートクラウドのインフラで運用。能力を維持しつつ、サーバ台数を40台規模に縮小し、サーバ購入費用や消費電力の削減を実現している。
今後の展望:テキストマイニングの活用も視野に
現在は購買履歴といったログの分析がHadoopの主な用途だが、石川氏は「テキストマイニングの活用も進めたい」と考えているという(テキストマイニングについては「【製品動向】ソーシャルやビッグデータで変わる『テキストマイニング』」も参照)。具体的には、Mahoutのテキストマイニング機能をHadoopと連係させることで、口コミ分析やリアルタイムのレコメンド提示などに応用するといった施策を描く。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か? PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える? 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣 -
製品資料
[サイボウズ株式会社] AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
4
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
5
「中堅・中小企業のネットワーク・セキュリティ運用実態」に関するアンケート
-
6
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
7
「Wi-Fi 7」経由でWindowsが乗っ取られる? 最高権限奪取の恐怖
-
8
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
9
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
10
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない? 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー