Hadoopを使って「大容量」「高速」を実現
佐川急便の荷物は年間13億件 そのビッグデータ処理技術とは
佐川急便を中核とするSGHグループでは、1日350万、1年13億件もの荷物に関わる膨大な運輸データを扱っている。このビッグデータを、どのように収集・管理し、活用しているのか。講演内容を中心に紹介する。
Pivotalジャパンは、クラウド、ビッグデータ、モバイル、ソーシャルといった新たな市場を支える「第3のプラットフォーム」ベンダーとして、米EMCや米VMware、米GEの出資によって2013年4月に設立された。同社は2013年12月12日、EMCジャパンと共同で「Pivotalジャパン サミット」を開催し、同社の戦略や最新技術動向の他、2社の事例などを紹介した。
※一部事実と異なる情報が含まれることが分かったため、記事を修正しました(1月30日)
その事例の1つとして、日本企業の最先端ビッグデータ活用基盤の構築事例にSGシステム 代表取締役社長、安延 申氏が登壇し、「SGHグループにおけるBigData利用戦略」と題した講演を行った。
本稿では、佐川急便を中核とするSGホールディングスグループ(以下、SGHグループ)が、どのようにビッグデータを収集・管理し、活用しているのかを講演内容を中心に紹介する。
高速に大量の荷物を扱うための基幹システム
SGHグループは、佐川急便を中心としたデリバリー事業と倉庫や海外取引を中心としたロジスティクス事業を2大柱として、不動産や金融、自動車整備といったその他多数の事業会社で形成される。
同グループは、2013年3月決算時に約7万人の従業員を抱え、約8700億円の売り上げを計上する大企業だ。特にグループの中核となるデリバリー事業は、年間で13億個以上もの宅配便を扱い、7500億円超の売り上げを達成しているという。
安延氏が率いるSGシステムは、グループのIT統括企業として全IT資産を保有し、システムの開発・保守・運用を担当している。
同グループのITの特徴の1つは、「大容量」であることだ。
「私たちは、1日に約350万個、1年で13億個もの荷物を運んでいます。これらの荷物を発送した後、経過を追跡し、PCやスマートデバイスなどから到着を確認できるようにして、法人向けには料金の計算や請求・精算といった処理を実行しなければなりません」(安延氏)
もう1つの特徴は、「高速」であることだという。
「現在では、ネットショッピングの“即日配達”サービスに代表されるように、荷物が1日前後で届くのが普通です。つまり、追跡データは発送して到着までの間にインターネットで確認できるようになっていなければならないのです。荷物が到着してから追跡しても意味はありません」(同氏)
さらに佐川急便で扱う荷物のデータの特徴として、350万個のうちの約3割が、紙の伝票に記入された手書きのアナログデータだという点である。また、受け取る際の確認は、ハンコやサインで紙の伝票に記すことになる。
「つまり、出と入は紙のものが大量に存在するのです。にもかかわらず、そこに記入されたデータは、数時間後にはシステムに入力されなければならない。それが、宅配業界の大きな特徴であり、課題なのです」と安延氏は話す。
そこでSGHグループでは、手書きの伝票をデジタルデータに変換する「スキャニングセンター」を福島・東京・大阪の3カ所に設置しており、最大で1日に380万枚もの伝票を処理できるとのことだ。少なくとも当日中にはデータ入力が必要であるため、遠隔地からは航空便で伝票を集めているという。
「日本の法人顧客は非常に厳しいため、“ちゃんと届いたかどうか証拠がほしい”“何時についたかチェックしたい”“抜き打ちチェックする”といった要望をいただきます。中には“伝票の画像が見たい”という方もおられる。そうしたニーズに応えられるように、データを処理して記録しているのです」(同氏)
Hadoopで生きる13億件×3年分のビッグデータ
運輸業は許認可業務であり、その条件の1つとして運輸証票を7年間保存する義務がある。これまでSGHグループでは、外部記憶媒体に保存していたが、膨大なデータなため高額になってしまう。
「保存に高額なコストが掛かるにもかかわらず、これらのデータは活用できなかったのです。そこに、『Apache Hadoop』が登場し、これらの巨大なデータを活用する方法が見えてきました。低コストで、しかもさまざまな処理が可能です。そこで当社はこの1年をかけて、ためる一方だったデータを2つの方法で活用できるような仕組みを作ってきました」(安延氏)
1つ目として、伝票のイメージデータを「Greenplum」の分散ファイルシステムに格納し、その前段に「Apache HBase」データベースを設置して、約80Tバイトの“イメージデータ蓄積基盤システム”を構築した。これを各種の基幹システムと連係し、証票を出力したり請求書を作成したりする仕組みを作った。
もう1つは、13億個分の荷物に関わる便種や時間、差出元・宛先といった基幹システムから出力される経営情報データを蓄積し、分析するための70Tバイトの容量を持つ“ビッグデータ分析基盤システム”だ。例えば、過去数年間のうちに出荷実績が伸びている顧客を検索し、単価やコスト、損益がどうなっているかといった経営情報を分析することができる。
「現状、この分析システムには過去3年分の全データを格納し、把握できるようになっています。ここに、Hadoopが登場した最大のメリットがあると感じています。例えば、この1週間のデータを精査するのであれば、Hadoopは必要ありません。しかし私たちは、1年13億個の荷物に関わる3年分の膨大なデータについて、さまざまな手法・計算で分析する必要があるのです」(安延氏)
SGシステムは、このシステムをHadoopとGreenplumで構築しているが、その理由は「拡張性」にあるという。従来型のRDBで構築した場合、将来的な拡張の際のハードウェア/ソフトウェアの購入コストや開発コストが膨大になり、時間もかかってしまう。
「この組み合わせであれば、乱暴にいえばサーバを追加していくだけで、比較的安価に、かつ短時間で拡張していくことができます」
ビッグデータ蓄積・分析基盤を外部ユーザーへ提供
「せっかく構築したシステムですから、これを社内だけで使うのはもったいないのではないかと思いました。そこで当社は、これを外部向けのサービスとして活用しようと考えています」(安延氏)
1つは、経営情報基盤として構築したビッグデータの抽出・分析基盤を、ユーザー企業の分析基盤として貸し出すクラウドサービスだ。これにより、拠点・サービス・商品・顧客ごとの分析や収支シミュレーション、顧客特性や地域特性分析、営業戦略策定・評価といったビジネスインテリジェンス(BI)サービスとして活用できる。
「例えば航空会社のチケットは、私たちが扱う伝票に似ています。従って、季節ごとのパックツアーの値段設定や効果分析などを行う仕組みが作れると思われます」(同氏)
この分析基盤サービスは準備段階だが、より計画が進んでいるのがイメージデータの蓄積基盤を活用した“ドキュメントソリューション”である。もともとSGHグループでは、この基盤を社内でも横展開しようと考えているという。
「多くの企業では、さまざまな契約書などを取り扱っていると思います。自社の契約書はデジタル化されているかもしれませんが、相手から受け取ったものは紙のままで保存することが多いです。この他にも、多数の文書を持て余しているのではないでしょうか」(安延氏)
そこでSGHグループが持つ運送トラックを生かし、ユーザーから書類を受け取ってスキャニングセンターでデジタル化し、納品するというのである。また希望があれば、SGHグループが保有するセキュアなデータセンターで書類イメージを保管するというサービスも提供できる。またグループの倉庫で原本を預かることもできるし、溶解処理も対応可能だ。
「書類データは、Webサービスで検索・参照できるため、ユーザーはペーパレスでビジネスを回すことができるようになります。このサービスは、2014年の早いうちには提供したいと思っています」(同氏)
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社うるる] 「入札市場」攻略ガイド:効率的に落札するためのポイントを徹底解説 -
製品資料
[株式会社うるる] 入札情報に特化した「販路拡大」「効率化」のためのサポートツールとは? -
市場調査・トレンド
[株式会社うるる] 公共入札に成功する企業と失敗する企業の「5つの違い」 -
製品資料
[日本ビジネスシステムズ株式会社] 専門家が教える、Microsoft 365の「テナント統合/分離」を成功に導く秘訣 -
製品資料
[rakumo株式会社] Microsoft 365での情報埋没を防ぐ、社内ナレッジを資産化する情報ポータル活用
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Microsoft 365」が乗っ取られる MFAを破る“本物の画面”の恐怖
-
2
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
3
PHP脆弱性「PHP2Shell」で2260万件に影響 情シスの緊急チェックリスト
-
4
「テザリング依存」に潜む落とし穴 “遅いVPN”を解消するネット構築術
-
5
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
6
「IT運用・情報システム業務」に関するアンケート
-
7
Claude利用8割のGMO、AI人材の評価軸が「トークン管理」に変わった
-
8
AI導入が失敗する“真犯人”は現場のマニュアル 7割が陥る「標準化」のわな
-
9
被害額は過去最高額 それでも「サイバー犯罪者が捕まらない」3つの理由
-
10
「Wi-Fi 7」経由でWindowsが乗っ取られる? 最高権限奪取の恐怖
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
2
2026年のサイバーセキュリティには何が必要か? 最新データに学ぶ傾向と対策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
「IT史に名を残すシステム障害」8選
-
5
最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策
-
6
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
AI駆動開発のスピードと安全性を両立 「品質・セキュリティ管理」の実践ガイド
-
9
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
-
10
「標的型攻撃メール」事例・サンプル集
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー