Computer Weekly製品導入ガイド

英国気象庁はどうやって膨大なデータを処理しているのか

前例のない量のデータに対応している英天気予報サービス機関は、「怠慢な」オープンソースツールに支えられている。

　真のビッグデータを扱う状況になったとき、どんな課題に直面するかを正確に予想したければ、Met Office（英国気象庁）の事例が参考になる。

　世界最大級のスーパーコンピュータ数台を保有する同庁は、現在およそ60P（ペタ）Bものデータを保持し、1日当たり1P（ペタ）B前後のデータを処理している。同庁のデータアーカイブは1週間に約1.4PBずつ増大し、2020年までには300PBを超す見通しだ。

　「これより少ない量のデータ（たとえ現時点で多くの人に『ビッグ』データと呼ばれている量だったとしても）に対して通用しているデータ管理技術は、そうした領域に踏み込めば通用しなくなる」。最高情報責任者（CIO）のチャールズ・イーウェン氏は言う。「われわれが今直面している課題は、あと5～20年もすれば、大部分の組織が突き当たるだろう。多くの場所にデータセットを分散させる昔ながらの蓄積交換モデルは、いずれ通用しなくなる」

クラウドのデータ

　膨大な量のデータセットを自前のシステム経由で提供すれば、英国気象庁の帯域幅はたちまち飽和状態になる。そこで最初の課題は、一定量のビッグデータをパブリッククラウドに移転することだった。同庁はそのために、Amazon Web Services（AWS）の「Snowball」サービスを利用した。「AWSから最大100TBの膨大な容量のHDDが郵送されてくる。これに接続し、データを保存して返送すると、向こうで接続してクラウドストレージの『Amazon S3』に転送してくれる」とトムリンソン氏は説明する。

　これまでにクラウドに保存されたデータは80TB前後。英国気象庁が保存している総量に比べればほんの一部にすぎない。だが同庁は、最も多くの顧客の役に立つデータに重点を置いているという。「現時点ではわれわれが2016年に実施した全グローバルモデリングと、2013年～2016年の全英モデリング全てが含まれる。いずれはこれに加えて、新しいデータを何回にも分けて追加していく」

　多くのビッグデータセットと違って、気象データは多次元で構成され、従来のテーブル構造に当てはまらない。そこでデータは「Zオーダー曲線」を使って保存する。

関連記事

• 

  Office 2016だけではまねできない、Office 365の多彩なデータ処理機能

• 

  端末追跡に「Wi-Fi as a Service」……ワイヤレスネットワーク最新トレンド

新着ホワイトペーパー PR

• 製品資料
  [o9ソリューションズ・ジャパン株式会社] 「改正物流効率化法対策」徹底解説　総物流費を抑制するサプライチェーン戦略
• 製品資料
  [o9ソリューションズ・ジャパン株式会社] 「サプライチェーン最適化」実践ガイド：効果的な意思決定を実現する秘訣とは？
• 製品資料
  [株式会社リンプレス] 非デジタル／IT人材を「自走するDX推進者」に変えるための育成ロードマップ
• 市場調査・トレンド
  [ワンアイルコンサルティング株式会社] AI時代の組織設計：「判断と責任」を人に残すための2つの原則とは？
• 技術文書・技術解説
  [ワンアイルコンサルティング株式会社] システムの保守がモダン化を阻む？　「変えない判断」から脱却する方法とは