Hadoopを使って「大容量」「高速」を実現
佐川急便の荷物は年間13億件 そのビッグデータ処理技術とは
佐川急便を中核とするSGHグループでは、1日350万、1年13億件もの荷物に関わる膨大な運輸データを扱っている。このビッグデータを、どのように収集・管理し、活用しているのか。講演内容を中心に紹介する。
Pivotalジャパンは、クラウド、ビッグデータ、モバイル、ソーシャルといった新たな市場を支える「第3のプラットフォーム」ベンダーとして、米EMCや米VMware、米GEの出資によって2013年4月に設立された。同社は2013年12月12日、EMCジャパンと共同で「Pivotalジャパン サミット」を開催し、同社の戦略や最新技術動向の他、2社の事例などを紹介した。
※一部事実と異なる情報が含まれることが分かったため、記事を修正しました(1月30日)
その事例の1つとして、日本企業の最先端ビッグデータ活用基盤の構築事例にSGシステム 代表取締役社長、安延 申氏が登壇し、「SGHグループにおけるBigData利用戦略」と題した講演を行った。
本稿では、佐川急便を中核とするSGホールディングスグループ(以下、SGHグループ)が、どのようにビッグデータを収集・管理し、活用しているのかを講演内容を中心に紹介する。
高速に大量の荷物を扱うための基幹システム
SGHグループは、佐川急便を中心としたデリバリー事業と倉庫や海外取引を中心としたロジスティクス事業を2大柱として、不動産や金融、自動車整備といったその他多数の事業会社で形成される。
同グループは、2013年3月決算時に約7万人の従業員を抱え、約8700億円の売り上げを計上する大企業だ。特にグループの中核となるデリバリー事業は、年間で13億個以上もの宅配便を扱い、7500億円超の売り上げを達成しているという。
安延氏が率いるSGシステムは、グループのIT統括企業として全IT資産を保有し、システムの開発・保守・運用を担当している。
同グループのITの特徴の1つは、「大容量」であることだ。
「私たちは、1日に約350万個、1年で13億個もの荷物を運んでいます。これらの荷物を発送した後、経過を追跡し、PCやスマートデバイスなどから到着を確認できるようにして、法人向けには料金の計算や請求・精算といった処理を実行しなければなりません」(安延氏)
もう1つの特徴は、「高速」であることだという。
「現在では、ネットショッピングの“即日配達”サービスに代表されるように、荷物が1日前後で届くのが普通です。つまり、追跡データは発送して到着までの間にインターネットで確認できるようになっていなければならないのです。荷物が到着してから追跡しても意味はありません」(同氏)
さらに佐川急便で扱う荷物のデータの特徴として、350万個のうちの約3割が、紙の伝票に記入された手書きのアナログデータだという点である。また、受け取る際の確認は、ハンコやサインで紙の伝票に記すことになる。
「つまり、出と入は紙のものが大量に存在するのです。にもかかわらず、そこに記入されたデータは、数時間後にはシステムに入力されなければならない。それが、宅配業界の大きな特徴であり、課題なのです」と安延氏は話す。
そこでSGHグループでは、手書きの伝票をデジタルデータに変換する「スキャニングセンター」を福島・東京・大阪の3カ所に設置しており、最大で1日に380万枚もの伝票を処理できるとのことだ。少なくとも当日中にはデータ入力が必要であるため、遠隔地からは航空便で伝票を集めているという。
「日本の法人顧客は非常に厳しいため、“ちゃんと届いたかどうか証拠がほしい”“何時についたかチェックしたい”“抜き打ちチェックする”といった要望をいただきます。中には“伝票の画像が見たい”という方もおられる。そうしたニーズに応えられるように、データを処理して記録しているのです」(同氏)
Hadoopで生きる13億件×3年分のビッグデータ
運輸業は許認可業務であり、その条件の1つとして運輸証票を7年間保存する義務がある。これまでSGHグループでは、外部記憶媒体に保存していたが、膨大なデータなため高額になってしまう。
「保存に高額なコストが掛かるにもかかわらず、これらのデータは活用できなかったのです。そこに、『Apache Hadoop』が登場し、これらの巨大なデータを活用する方法が見えてきました。低コストで、しかもさまざまな処理が可能です。そこで当社はこの1年をかけて、ためる一方だったデータを2つの方法で活用できるような仕組みを作ってきました」(安延氏)
1つ目として、伝票のイメージデータを「Greenplum」の分散ファイルシステムに格納し、その前段に「Apache HBase」データベースを設置して、約80Tバイトの“イメージデータ蓄積基盤システム”を構築した。これを各種の基幹システムと連係し、証票を出力したり請求書を作成したりする仕組みを作った。
もう1つは、13億個分の荷物に関わる便種や時間、差出元・宛先といった基幹システムから出力される経営情報データを蓄積し、分析するための70Tバイトの容量を持つ“ビッグデータ分析基盤システム”だ。例えば、過去数年間のうちに出荷実績が伸びている顧客を検索し、単価やコスト、損益がどうなっているかといった経営情報を分析することができる。
「現状、この分析システムには過去3年分の全データを格納し、把握できるようになっています。ここに、Hadoopが登場した最大のメリットがあると感じています。例えば、この1週間のデータを精査するのであれば、Hadoopは必要ありません。しかし私たちは、1年13億個の荷物に関わる3年分の膨大なデータについて、さまざまな手法・計算で分析する必要があるのです」(安延氏)
SGシステムは、このシステムをHadoopとGreenplumで構築しているが、その理由は「拡張性」にあるという。従来型のRDBで構築した場合、将来的な拡張の際のハードウェア/ソフトウェアの購入コストや開発コストが膨大になり、時間もかかってしまう。
「この組み合わせであれば、乱暴にいえばサーバを追加していくだけで、比較的安価に、かつ短時間で拡張していくことができます」
ビッグデータ蓄積・分析基盤を外部ユーザーへ提供
「せっかく構築したシステムですから、これを社内だけで使うのはもったいないのではないかと思いました。そこで当社は、これを外部向けのサービスとして活用しようと考えています」(安延氏)
1つは、経営情報基盤として構築したビッグデータの抽出・分析基盤を、ユーザー企業の分析基盤として貸し出すクラウドサービスだ。これにより、拠点・サービス・商品・顧客ごとの分析や収支シミュレーション、顧客特性や地域特性分析、営業戦略策定・評価といったビジネスインテリジェンス(BI)サービスとして活用できる。
「例えば航空会社のチケットは、私たちが扱う伝票に似ています。従って、季節ごとのパックツアーの値段設定や効果分析などを行う仕組みが作れると思われます」(同氏)
この分析基盤サービスは準備段階だが、より計画が進んでいるのがイメージデータの蓄積基盤を活用した“ドキュメントソリューション”である。もともとSGHグループでは、この基盤を社内でも横展開しようと考えているという。
「多くの企業では、さまざまな契約書などを取り扱っていると思います。自社の契約書はデジタル化されているかもしれませんが、相手から受け取ったものは紙のままで保存することが多いです。この他にも、多数の文書を持て余しているのではないでしょうか」(安延氏)
そこでSGHグループが持つ運送トラックを生かし、ユーザーから書類を受け取ってスキャニングセンターでデジタル化し、納品するというのである。また希望があれば、SGHグループが保有するセキュアなデータセンターで書類イメージを保管するというサービスも提供できる。またグループの倉庫で原本を預かることもできるし、溶解処理も対応可能だ。
「書類データは、Webサービスで検索・参照できるため、ユーザーはペーパレスでビジネスを回すことができるようになります。このサービスは、2014年の早いうちには提供したいと思っています」(同氏)
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「データストレージの活用方法」に関するアンケート
-
4
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
5
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
6
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
-
7
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
8
221人調査で分かった「情シス最大のストレス」は?
-
9
LLMの「過学習」、正しく説明している文章はどれ?
-
10
レガシー基幹システムをSAPに統合 山善が突き止めた「標準化と個別最適」の境界線
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー