Computer Weekly製品導入ガイド
英国気象庁はどうやって膨大なデータを処理しているのか
前例のない量のデータに対応している英天気予報サービス機関は、「怠慢な」オープンソースツールに支えられている。
真のビッグデータを扱う状況になったとき、どんな課題に直面するかを正確に予想したければ、Met Office(英国気象庁)の事例が参考になる。
Computer Weekly製品導入ガイド無料ダウンロード
本記事は、プレミアムコンテンツ「Computer Weekly製品導入ガイド」(PDF)掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。
世界最大級のスーパーコンピュータ数台を保有する同庁は、現在およそ60P(ペタ)Bものデータを保持し、1日当たり1P(ペタ)B前後のデータを処理している。同庁のデータアーカイブは1週間に約1.4PBずつ増大し、2020年までには300PBを超す見通しだ。
「これより少ない量のデータ(たとえ現時点で多くの人に『ビッグ』データと呼ばれている量だったとしても)に対して通用しているデータ管理技術は、そうした領域に踏み込めば通用しなくなる」。最高情報責任者(CIO)のチャールズ・イーウェン氏は言う。「われわれが今直面している課題は、あと5~20年もすれば、大部分の組織が突き当たるだろう。多くの場所にデータセットを分散させる昔ながらの蓄積交換モデルは、いずれ通用しなくなる」
クラウドのデータ
膨大な量のデータセットを自前のシステム経由で提供すれば、英国気象庁の帯域幅はたちまち飽和状態になる。そこで最初の課題は、一定量のビッグデータをパブリッククラウドに移転することだった。同庁はそのために、Amazon Web Services(AWS)の「Snowball」サービスを利用した。「AWSから最大100TBの膨大な容量のHDDが郵送されてくる。これに接続し、データを保存して返送すると、向こうで接続してクラウドストレージの『Amazon S3』に転送してくれる」とトムリンソン氏は説明する。
これまでにクラウドに保存されたデータは80TB前後。英国気象庁が保存している総量に比べればほんの一部にすぎない。だが同庁は、最も多くの顧客の役に立つデータに重点を置いているという。「現時点ではわれわれが2016年に実施した全グローバルモデリングと、2013年~2016年の全英モデリング全てが含まれる。いずれはこれに加えて、新しいデータを何回にも分けて追加していく」
多くのビッグデータセットと違って、気象データは多次元で構成され、従来のテーブル構造に当てはまらない。そこでデータは「Zオーダー曲線」を使って保存する。
続きはComputer Weekly製品導入ガイドにて
本記事は抄訳版です。全文は、以下でダウンロード(無料)できます。
■Computer Weekly日本語版 最近のバックナンバー
Computer Weekly日本語版 8月21日号 Windows 10更新管理 ダメなやり方
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社インターネットイニシアティブ] 人材不足と属人化が深刻に 「攻められない情シス」を変革する一手とは? -
製品資料
[株式会社イトーキ] 会議室が「空いてるのに使えない」問題の解決策とは? -
事例
[株式会社イトーキ] 製造現場を取り巻く経営課題 「持続的な現場力」を強化する方法とは? -
製品資料
[株式会社イトーキ] 社員の力を引き出す、「ABW(Activity Based Working)」を実現する秘訣とは? -
事例
[テクバン株式会社] ITサービスデスクの負荷激減、太陽HDに学ぶデバイス統合管理の秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
2
Claude Codeで開発生産性は本当に上がったか? 3社の取り組みに学ぶ次なる手段
-
3
「セキュリティ運用と侵入後の初動防御」に関するアンケート
-
4
IT製品の導入に関するアンケート「セキュリティ」編
-
5
社員一人一人が「データの民主化」の恩恵を得られる環境の構築には何が必要?
-
6
「オフィス移転・刷新に伴うネットワーク環境の実態」に関するアンケート
-
7
「業務PC/ワークステーション」に関するアンケート
-
8
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
9
ソフトウェア開発の成果は人とAIでどう違う? DMM.comの実測データから学ぶ
-
10
なぜノートPCの更新が「4年→6年」に? AIインフラ急拡大の余波
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
3
急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要?
-
4
法人向け光回線のプランはどう選ぶ? 機能面/保守体制/コストを一覧で比較
-
5
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
6
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
9
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
10
サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー