前例のない量のデータに対応している英天気予報サービス機関は、「怠慢な」オープンソースツールに支えられている。
真のビッグデータを扱う状況になったとき、どんな課題に直面するかを正確に予想したければ、Met Office(英国気象庁)の事例が参考になる。
本記事は、プレミアムコンテンツ「Computer Weekly製品導入ガイド」(PDF)掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。
世界最大級のスーパーコンピュータ数台を保有する同庁は、現在およそ60P(ペタ)Bものデータを保持し、1日当たり1P(ペタ)B前後のデータを処理している。同庁のデータアーカイブは1週間に約1.4PBずつ増大し、2020年までには300PBを超す見通しだ。
「これより少ない量のデータ(たとえ現時点で多くの人に『ビッグ』データと呼ばれている量だったとしても)に対して通用しているデータ管理技術は、そうした領域に踏み込めば通用しなくなる」。最高情報責任者(CIO)のチャールズ・イーウェン氏は言う。「われわれが今直面している課題は、あと5〜20年もすれば、大部分の組織が突き当たるだろう。多くの場所にデータセットを分散させる昔ながらの蓄積交換モデルは、いずれ通用しなくなる」
膨大な量のデータセットを自前のシステム経由で提供すれば、英国気象庁の帯域幅はたちまち飽和状態になる。そこで最初の課題は、一定量のビッグデータをパブリッククラウドに移転することだった。同庁はそのために、Amazon Web Services(AWS)の「Snowball」サービスを利用した。「AWSから最大100TBの膨大な容量のHDDが郵送されてくる。これに接続し、データを保存して返送すると、向こうで接続してクラウドストレージの『Amazon S3』に転送してくれる」とトムリンソン氏は説明する。
これまでにクラウドに保存されたデータは80TB前後。英国気象庁が保存している総量に比べればほんの一部にすぎない。だが同庁は、最も多くの顧客の役に立つデータに重点を置いているという。「現時点ではわれわれが2016年に実施した全グローバルモデリングと、2013年〜2016年の全英モデリング全てが含まれる。いずれはこれに加えて、新しいデータを何回にも分けて追加していく」
多くのビッグデータセットと違って、気象データは多次元で構成され、従来のテーブル構造に当てはまらない。そこでデータは「Zオーダー曲線」を使って保存する。
本記事は抄訳版です。全文は、以下でダウンロード(無料)できます。
■Computer Weekly日本語版 最近のバックナンバー
Computer Weekly日本語版 8月21日号 Windows 10更新管理 ダメなやり方
Computer Weekly日本語版 8月7日号 光無線技術Li-Fiが「アリ」な理由
Computer Weekly日本語版 7月17日号 ツールを使え!
IASがブランドセーフティーの計測を拡張 誤報に関するレポートを追加
IASは、ブランドセーフティーと適合性の計測ソリューションを拡張し、誤報とともに広告が...
【Googleが公式見解を発表】中古ドメインを絶対に使ってはいけない理由とは?
Googleが中古ドメインの不正利用を禁止を公式に発表しました。その理由や今後の対応につ...
「TikTok禁止法案」に米大統領が署名 気になるこれからにまつわる5つの疑問
米連邦上院が、安全保障上の理由からTikTokの米国事業の売却を要求する法案を可決し、バ...