Hadoopを使って「大容量」「高速」を実現
佐川急便の荷物は年間13億件 そのビッグデータ処理技術とは
佐川急便を中核とするSGHグループでは、1日350万、1年13億件もの荷物に関わる膨大な運輸データを扱っている。このビッグデータを、どのように収集・管理し、活用しているのか。講演内容を中心に紹介する。
Pivotalジャパンは、クラウド、ビッグデータ、モバイル、ソーシャルといった新たな市場を支える「第3のプラットフォーム」ベンダーとして、米EMCや米VMware、米GEの出資によって2013年4月に設立された。同社は2013年12月12日、EMCジャパンと共同で「Pivotalジャパン サミット」を開催し、同社の戦略や最新技術動向の他、2社の事例などを紹介した。
※一部事実と異なる情報が含まれることが分かったため、記事を修正しました(1月30日)
その事例の1つとして、日本企業の最先端ビッグデータ活用基盤の構築事例にSGシステム 代表取締役社長、安延 申氏が登壇し、「SGHグループにおけるBigData利用戦略」と題した講演を行った。
本稿では、佐川急便を中核とするSGホールディングスグループ(以下、SGHグループ)が、どのようにビッグデータを収集・管理し、活用しているのかを講演内容を中心に紹介する。
高速に大量の荷物を扱うための基幹システム
SGHグループは、佐川急便を中心としたデリバリー事業と倉庫や海外取引を中心としたロジスティクス事業を2大柱として、不動産や金融、自動車整備といったその他多数の事業会社で形成される。
同グループは、2013年3月決算時に約7万人の従業員を抱え、約8700億円の売り上げを計上する大企業だ。特にグループの中核となるデリバリー事業は、年間で13億個以上もの宅配便を扱い、7500億円超の売り上げを達成しているという。
安延氏が率いるSGシステムは、グループのIT統括企業として全IT資産を保有し、システムの開発・保守・運用を担当している。
同グループのITの特徴の1つは、「大容量」であることだ。
「私たちは、1日に約350万個、1年で13億個もの荷物を運んでいます。これらの荷物を発送した後、経過を追跡し、PCやスマートデバイスなどから到着を確認できるようにして、法人向けには料金の計算や請求・精算といった処理を実行しなければなりません」(安延氏)
もう1つの特徴は、「高速」であることだという。
「現在では、ネットショッピングの“即日配達”サービスに代表されるように、荷物が1日前後で届くのが普通です。つまり、追跡データは発送して到着までの間にインターネットで確認できるようになっていなければならないのです。荷物が到着してから追跡しても意味はありません」(同氏)
さらに佐川急便で扱う荷物のデータの特徴として、350万個のうちの約3割が、紙の伝票に記入された手書きのアナログデータだという点である。また、受け取る際の確認は、ハンコやサインで紙の伝票に記すことになる。
「つまり、出と入は紙のものが大量に存在するのです。にもかかわらず、そこに記入されたデータは、数時間後にはシステムに入力されなければならない。それが、宅配業界の大きな特徴であり、課題なのです」と安延氏は話す。
そこでSGHグループでは、手書きの伝票をデジタルデータに変換する「スキャニングセンター」を福島・東京・大阪の3カ所に設置しており、最大で1日に380万枚もの伝票を処理できるとのことだ。少なくとも当日中にはデータ入力が必要であるため、遠隔地からは航空便で伝票を集めているという。
「日本の法人顧客は非常に厳しいため、“ちゃんと届いたかどうか証拠がほしい”“何時についたかチェックしたい”“抜き打ちチェックする”といった要望をいただきます。中には“伝票の画像が見たい”という方もおられる。そうしたニーズに応えられるように、データを処理して記録しているのです」(同氏)
Hadoopで生きる13億件×3年分のビッグデータ
運輸業は許認可業務であり、その条件の1つとして運輸証票を7年間保存する義務がある。これまでSGHグループでは、外部記憶媒体に保存していたが、膨大なデータなため高額になってしまう。
「保存に高額なコストが掛かるにもかかわらず、これらのデータは活用できなかったのです。そこに、『Apache Hadoop』が登場し、これらの巨大なデータを活用する方法が見えてきました。低コストで、しかもさまざまな処理が可能です。そこで当社はこの1年をかけて、ためる一方だったデータを2つの方法で活用できるような仕組みを作ってきました」(安延氏)
1つ目として、伝票のイメージデータを「Greenplum」の分散ファイルシステムに格納し、その前段に「Apache HBase」データベースを設置して、約80Tバイトの“イメージデータ蓄積基盤システム”を構築した。これを各種の基幹システムと連係し、証票を出力したり請求書を作成したりする仕組みを作った。
もう1つは、13億個分の荷物に関わる便種や時間、差出元・宛先といった基幹システムから出力される経営情報データを蓄積し、分析するための70Tバイトの容量を持つ“ビッグデータ分析基盤システム”だ。例えば、過去数年間のうちに出荷実績が伸びている顧客を検索し、単価やコスト、損益がどうなっているかといった経営情報を分析することができる。
「現状、この分析システムには過去3年分の全データを格納し、把握できるようになっています。ここに、Hadoopが登場した最大のメリットがあると感じています。例えば、この1週間のデータを精査するのであれば、Hadoopは必要ありません。しかし私たちは、1年13億個の荷物に関わる3年分の膨大なデータについて、さまざまな手法・計算で分析する必要があるのです」(安延氏)
SGシステムは、このシステムをHadoopとGreenplumで構築しているが、その理由は「拡張性」にあるという。従来型のRDBで構築した場合、将来的な拡張の際のハードウェア/ソフトウェアの購入コストや開発コストが膨大になり、時間もかかってしまう。
「この組み合わせであれば、乱暴にいえばサーバを追加していくだけで、比較的安価に、かつ短時間で拡張していくことができます」
ビッグデータ蓄積・分析基盤を外部ユーザーへ提供
「せっかく構築したシステムですから、これを社内だけで使うのはもったいないのではないかと思いました。そこで当社は、これを外部向けのサービスとして活用しようと考えています」(安延氏)
1つは、経営情報基盤として構築したビッグデータの抽出・分析基盤を、ユーザー企業の分析基盤として貸し出すクラウドサービスだ。これにより、拠点・サービス・商品・顧客ごとの分析や収支シミュレーション、顧客特性や地域特性分析、営業戦略策定・評価といったビジネスインテリジェンス(BI)サービスとして活用できる。
「例えば航空会社のチケットは、私たちが扱う伝票に似ています。従って、季節ごとのパックツアーの値段設定や効果分析などを行う仕組みが作れると思われます」(同氏)
この分析基盤サービスは準備段階だが、より計画が進んでいるのがイメージデータの蓄積基盤を活用した“ドキュメントソリューション”である。もともとSGHグループでは、この基盤を社内でも横展開しようと考えているという。
「多くの企業では、さまざまな契約書などを取り扱っていると思います。自社の契約書はデジタル化されているかもしれませんが、相手から受け取ったものは紙のままで保存することが多いです。この他にも、多数の文書を持て余しているのではないでしょうか」(安延氏)
そこでSGHグループが持つ運送トラックを生かし、ユーザーから書類を受け取ってスキャニングセンターでデジタル化し、納品するというのである。また希望があれば、SGHグループが保有するセキュアなデータセンターで書類イメージを保管するというサービスも提供できる。またグループの倉庫で原本を預かることもできるし、溶解処理も対応可能だ。
「書類データは、Webサービスで検索・参照できるため、ユーザーはペーパレスでビジネスを回すことができるようになります。このサービスは、2014年の早いうちには提供したいと思っています」(同氏)
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か? PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える? 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣 -
製品資料
[サイボウズ株式会社] AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
-
4
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
5
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
6
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
7
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
8
BMWも導入 78兆円市場に化ける「フィジカルAI」の衝撃
-
9
「Wi-Fi 7」経由でWindowsが乗っ取られる? 最高権限奪取の恐怖
-
10
「AI活用を前提とした業務PCへの移行」に関するアンケート
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない? 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー