Hadoopを使って「大容量」「高速」を実現
佐川急便の荷物は年間13億件 そのビッグデータ処理技術とは
佐川急便を中核とするSGHグループでは、1日350万、1年13億件もの荷物に関わる膨大な運輸データを扱っている。このビッグデータを、どのように収集・管理し、活用しているのか。講演内容を中心に紹介する。
Pivotalジャパンは、クラウド、ビッグデータ、モバイル、ソーシャルといった新たな市場を支える「第3のプラットフォーム」ベンダーとして、米EMCや米VMware、米GEの出資によって2013年4月に設立された。同社は2013年12月12日、EMCジャパンと共同で「Pivotalジャパン サミット」を開催し、同社の戦略や最新技術動向の他、2社の事例などを紹介した。
※一部事実と異なる情報が含まれることが分かったため、記事を修正しました(1月30日)
その事例の1つとして、日本企業の最先端ビッグデータ活用基盤の構築事例にSGシステム 代表取締役社長、安延 申氏が登壇し、「SGHグループにおけるBigData利用戦略」と題した講演を行った。
本稿では、佐川急便を中核とするSGホールディングスグループ(以下、SGHグループ)が、どのようにビッグデータを収集・管理し、活用しているのかを講演内容を中心に紹介する。
高速に大量の荷物を扱うための基幹システム
SGHグループは、佐川急便を中心としたデリバリー事業と倉庫や海外取引を中心としたロジスティクス事業を2大柱として、不動産や金融、自動車整備といったその他多数の事業会社で形成される。
同グループは、2013年3月決算時に約7万人の従業員を抱え、約8700億円の売り上げを計上する大企業だ。特にグループの中核となるデリバリー事業は、年間で13億個以上もの宅配便を扱い、7500億円超の売り上げを達成しているという。
安延氏が率いるSGシステムは、グループのIT統括企業として全IT資産を保有し、システムの開発・保守・運用を担当している。
同グループのITの特徴の1つは、「大容量」であることだ。
「私たちは、1日に約350万個、1年で13億個もの荷物を運んでいます。これらの荷物を発送した後、経過を追跡し、PCやスマートデバイスなどから到着を確認できるようにして、法人向けには料金の計算や請求・精算といった処理を実行しなければなりません」(安延氏)
もう1つの特徴は、「高速」であることだという。
「現在では、ネットショッピングの“即日配達”サービスに代表されるように、荷物が1日前後で届くのが普通です。つまり、追跡データは発送して到着までの間にインターネットで確認できるようになっていなければならないのです。荷物が到着してから追跡しても意味はありません」(同氏)
さらに佐川急便で扱う荷物のデータの特徴として、350万個のうちの約3割が、紙の伝票に記入された手書きのアナログデータだという点である。また、受け取る際の確認は、ハンコやサインで紙の伝票に記すことになる。
「つまり、出と入は紙のものが大量に存在するのです。にもかかわらず、そこに記入されたデータは、数時間後にはシステムに入力されなければならない。それが、宅配業界の大きな特徴であり、課題なのです」と安延氏は話す。
そこでSGHグループでは、手書きの伝票をデジタルデータに変換する「スキャニングセンター」を福島・東京・大阪の3カ所に設置しており、最大で1日に380万枚もの伝票を処理できるとのことだ。少なくとも当日中にはデータ入力が必要であるため、遠隔地からは航空便で伝票を集めているという。
「日本の法人顧客は非常に厳しいため、“ちゃんと届いたかどうか証拠がほしい”“何時についたかチェックしたい”“抜き打ちチェックする”といった要望をいただきます。中には“伝票の画像が見たい”という方もおられる。そうしたニーズに応えられるように、データを処理して記録しているのです」(同氏)
Hadoopで生きる13億件×3年分のビッグデータ
運輸業は許認可業務であり、その条件の1つとして運輸証票を7年間保存する義務がある。これまでSGHグループでは、外部記憶媒体に保存していたが、膨大なデータなため高額になってしまう。
「保存に高額なコストが掛かるにもかかわらず、これらのデータは活用できなかったのです。そこに、『Apache Hadoop』が登場し、これらの巨大なデータを活用する方法が見えてきました。低コストで、しかもさまざまな処理が可能です。そこで当社はこの1年をかけて、ためる一方だったデータを2つの方法で活用できるような仕組みを作ってきました」(安延氏)
1つ目として、伝票のイメージデータを「Greenplum」の分散ファイルシステムに格納し、その前段に「Apache HBase」データベースを設置して、約80Tバイトの“イメージデータ蓄積基盤システム”を構築した。これを各種の基幹システムと連係し、証票を出力したり請求書を作成したりする仕組みを作った。
もう1つは、13億個分の荷物に関わる便種や時間、差出元・宛先といった基幹システムから出力される経営情報データを蓄積し、分析するための70Tバイトの容量を持つ“ビッグデータ分析基盤システム”だ。例えば、過去数年間のうちに出荷実績が伸びている顧客を検索し、単価やコスト、損益がどうなっているかといった経営情報を分析することができる。
「現状、この分析システムには過去3年分の全データを格納し、把握できるようになっています。ここに、Hadoopが登場した最大のメリットがあると感じています。例えば、この1週間のデータを精査するのであれば、Hadoopは必要ありません。しかし私たちは、1年13億個の荷物に関わる3年分の膨大なデータについて、さまざまな手法・計算で分析する必要があるのです」(安延氏)
SGシステムは、このシステムをHadoopとGreenplumで構築しているが、その理由は「拡張性」にあるという。従来型のRDBで構築した場合、将来的な拡張の際のハードウェア/ソフトウェアの購入コストや開発コストが膨大になり、時間もかかってしまう。
「この組み合わせであれば、乱暴にいえばサーバを追加していくだけで、比較的安価に、かつ短時間で拡張していくことができます」
ビッグデータ蓄積・分析基盤を外部ユーザーへ提供
「せっかく構築したシステムですから、これを社内だけで使うのはもったいないのではないかと思いました。そこで当社は、これを外部向けのサービスとして活用しようと考えています」(安延氏)
1つは、経営情報基盤として構築したビッグデータの抽出・分析基盤を、ユーザー企業の分析基盤として貸し出すクラウドサービスだ。これにより、拠点・サービス・商品・顧客ごとの分析や収支シミュレーション、顧客特性や地域特性分析、営業戦略策定・評価といったビジネスインテリジェンス(BI)サービスとして活用できる。
「例えば航空会社のチケットは、私たちが扱う伝票に似ています。従って、季節ごとのパックツアーの値段設定や効果分析などを行う仕組みが作れると思われます」(同氏)
この分析基盤サービスは準備段階だが、より計画が進んでいるのがイメージデータの蓄積基盤を活用した“ドキュメントソリューション”である。もともとSGHグループでは、この基盤を社内でも横展開しようと考えているという。
「多くの企業では、さまざまな契約書などを取り扱っていると思います。自社の契約書はデジタル化されているかもしれませんが、相手から受け取ったものは紙のままで保存することが多いです。この他にも、多数の文書を持て余しているのではないでしょうか」(安延氏)
そこでSGHグループが持つ運送トラックを生かし、ユーザーから書類を受け取ってスキャニングセンターでデジタル化し、納品するというのである。また希望があれば、SGHグループが保有するセキュアなデータセンターで書類イメージを保管するというサービスも提供できる。またグループの倉庫で原本を預かることもできるし、溶解処理も対応可能だ。
「書類データは、Webサービスで検索・参照できるため、ユーザーはペーパレスでビジネスを回すことができるようになります。このサービスは、2014年の早いうちには提供したいと思っています」(同氏)
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
製品資料
[LRM株式会社] 「標的型攻撃メール」事例・サンプル集 -
製品資料
[LRM株式会社] セキュリティ教育はなぜ「年間計画」を立てる必要があるのか? -
製品資料
[LRM株式会社] セキュリティの重要性が伝わらない…… 効果がない社員教育から脱却する方法 -
製品資料
[LRM株式会社] 「標的型攻撃メール訓練」導入ガイド 社員の意識を確実に高める仕組みの作り方 -
事例
[株式会社マクニカ] アイカ工業に学ぶ脆弱性対策 情シスが把握できずにいたアセットも正確に把握
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
2
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
3
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
4
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
5
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
-
6
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
7
Netflixのバックエンドは「ほぼJava」 3000超のアプリを支える開発基盤の裏側
-
8
エンジニアが選考を辞退する本当の理由 7割が隠す“面接の違和感”とは
-
9
「Windows派」「Linux派」を分ける決定的な違い
-
10
「技術屋」で終わらないために 情シスが今取るべき認定資格5選
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
-
3
5回聞くだけじゃ足りない? トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
5
「脱Excel」か「Excel快適化」か? 現場にやさしい業務改善の進め方
-
6
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
7
PostgreSQLの「機能」「性能」「運用」「拡張性」に関する悩みの解消法
-
8
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
9
Macの安全神話は崩壊? 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
10
情報セキュリティ対策早分かりガイド:25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー