捨てられないコールドデータをどう保存するか
徹底比較:HDD、テープ、SSD、光ディスク コスト効率の高いコールドストレージは?(1/2 ページ)
コスト効率に優れたコールドストレージ製品、サービス、メディアへの需要が急速に高まっている。それには多くの理由がある。非構造化データが飛躍的に増加していることも理由の1つだ。関連技術を比較する。
データがコールドストレージに移されるのは、アクセス頻度が少なくなった場合や、全くアクセスされなくなった場合だ。コンプライアンスに準拠するためや、将来的に必要な場合に備えてデータを保管しておく。また、削除したデータが後になって必要になることをIT部門が懸念している場合もある。そのような理由で残されるデータ用にコールドストレージが存在する。この種のストレージは、一般に、プライマリーストレージやセカンダリーストレージよりも大幅に低コストで、その分パフォーマンスも低くてよい。
コールドデータは、コールドストレージと一緒に扱われることが多い。だが実際には、コールドデータはどのストレージメディアやストレージシステムにも存在する可能性がある。一方、コールドストレージは、コールドデータの保管専用に設計されたシステムだ。コールドストレージはデータアクセスの頻度やパフォーマンスから、メディアの有効期間、データの回復性や耐久性まで、あらゆる要素が大きく異なっている。ユーザーが突如データを必要とすると、コールドデータの使用頻度が再び高まり、「ホット」になることもある。このように状況が変わるとシステム自体の利用が複雑化し、予想外のコストが増えることがある。
併せて読みたいお薦め記事
コールドストレージ入門
アーカイブストレージの選び方
コールドストレージが注目される理由
最近、コールドストレージの注目度が上がっている。これには幾つか理由がある。その理由を以下に示す。
データの急激な増加
信じられないことに、IDCのアナリストは、1年間に生み出されるデータ量が2020年までに44Z(ゼタ)Bを超えると予測している。しかも、そこから加速度的に増加が続くという。その大部分はアクティブなデータではない。つまり、頻繁にはアクセスされないデータだ。そのようなデータの約80%以上が非構造化データであり、多くはセキュリティビデオやログファイルのようなものから機械的に生成される。
プライマリーストレージの消費
ストレージはデータセンターで消費される唯一のテクノロジーだ。大半のデータはそのライフサイクルの間、最初に配置されたストレージ上にとどまる。そうしたデータのライフサイクルには実質的に終わりがない。プライマリーストレージが刷新される場合でさえ、コールドデータは新しいシステムに移される。そして、高額なプライマリーストレージやNANDフラッシュSSDメディアを消費し続けることになる。
アクティブデータのためにこうした資産を使用することは、全く問題がない。だが、めったにアクセスすることがないコールドデータのために使うのは合理的ではない。コールドデータがプライマリーストレージを消費すると、アクティブデータ用にプライマリーストレージを追加購入して実装しなければならなくなる。コールドデータには高いパフォーマンスも、低遅延であることも、プライマリーストレージシステムの機能も必要ない。
残念ながら、プライマリーストレージに保存されているデータの大半は、コールドデータやアクセス頻度の少ないデータが占める。データセンターストレージの75~90%は、こうしたデータによって消費されている。時間と共にデータを追跡するヒートマップでは、データが作成された直後の72時間が最もアクセス頻度が高いことを示している。その後は急速にアクセス頻度が下がり、30日後にはほとんど使用されなくなる。そして90日後には事実上コールドデータになる。
「いつか使うかもしれない」症候群
IT部門はデータを捨てたがらない。その根底には、廃棄したデータが突然必要になることに対する不安がある。これは、良くも悪くも全てのデータには価値があるという認識と密接に関係している。
規制順守
データ関連のコンプライアンスを求める新しい標準や規制が増加する傾向にある。具体的には、EU一般データ保護規則(GDPR)、金融機関を対象としたニューヨーク州の銀行とサイバーセキュリティの規制、医療保険の相互運用性と説明責任に関する法令(HIPAA)、経済的および臨床的健全性のための医療情報技術に関する法律(HITECH法)、バーゼルI、バーゼルII、バーゼルIII、サーベンス・オクスリー法(SOX法)、労働安全衛生法などがある。こうした規制の多くは、特定の種類のデータを数十年から数百年にもわたって保持することを義務付けている。
非構造化データ分析
全ての新規データのうち、非構造化データが80%にも上る。そのため、実用的な洞察を得るためにこうしたデータをマイニングする方法を探すのは当然のことだ。IDCによると、こうした状況が非構造化データ分析の爆発的増加へとつながり、こうした製品からもたらされる収益が2015年に1250億ドルを超えるまでに成長したいう。将来の分析に備えてこのような非構造化データを保管する際には、その方法のコスト効率が優れていなければならない。
コスト効率
コールドストレージが実際に使用されているのは、コールドデータの保管コストがその価値の低さに見合っているためだ。利用可能なコールドストレージシステムやメディアのオプションは複数ある。また、クラウドサービスのオプションも多数存在する。各オプションは長短併せ持つが、どれもコールドストレージのコストを押し下げている。それにより、非常に手頃なコストでコールドストレージが可能になる。
コールドストレージシステム
コールドストレージシステムは何十年も前から存在している。当初は、自動テープライブラリや、取り外し可能なメディアを使用した光学ストレージシステムが大手企業で使用されていた。非構造化データの急増に伴い、そうした問題に対応するために進化したコールドストレージシステムも飛躍的に増えている。Linear Tape File System(LTFS)とオブジェクトストレージをベースにした新しいコールドストレージシステムも登場した。Facebookと、同社が設立したオープンソースのハードウェア設計組織Open Compute Projectは、これらの新しいシステムを推進する上で大きな役割を果たしている。このような開発により、次の4種類のコールドストレージシステムがもたらされている。
1.LTFSフロントエンド自動テープライブラリ(ATL)
LTFSやオブジェクトストアのフロントエンドは、ATLにとっては比較的拡張性の高い小規模なローカルキャッシュになる。これはアプリケーションやユーザーからすると、ディスクストレージシステムのように見える。また、書き込み速度や、場合によっては読み取り速度を向上させることにより、HDDベースのNASやオブジェクトストア並のパフォーマンスを実現する。ベンダーには、Dell EMC、富士フイルム - StrongBox Data Solutions、富士通、Hewlett Packard Enterprise(HPE)、IBM、Oracle、Quantum、Siemens、Spectra Logicなどがある。
2.スキニーオブジェクトストレージ/スケールアウトNASのHDDシステム
従来のオブジェクトストレージは無制限の拡張性を備えており、これまでコストの低い大容量のアクティブアーカイブ用に使用されてきた。これをストレージサーバのノード数を減らすことでスリム化した「スキニー」バージョンが、コールドストレージ用に使用される。このバージョンでは、高度なイレージャーコーディングを使用することで、非常に優れたデータ耐久性が提供される。多くの場合、99.999999999%もの高い耐久性が実現する。また、コピーを複数用意するミラーリングに比べてオーバーヘッドが大幅に少なくなる。例えば、「Hadoop」ストレージで3つのコピーを作成するミラーリングを行う場合、コピーごとに100%のストレージを追加で使用する。3つのコピーは300%増のストレージを消費する。イレージャーコーディングを使って3つの障害の同時発生を防ぐ場合は、多くても33%増か、それ以下のストレージしか使用されないのが一般的だ。またイレージャーコーディングでは、基盤になるメディアハードウェアにかかわらず、極めて高いデータ耐久性を実現する。
ベンダーには、Caringo、Cloudian、Concurrent(「Aquari」製品)、DataDirect Networks、Dell EMC、Elastifile、Hitachi Data Systems、Hewlett Packard Enterprise(HPE)、IBM Cleversafe、NooBaa、OpenIO、Quantum、Qumulo、Red Hat(「Red Hat Ceph Storage」)、Rozo Systems、Scality、SwiftStack、Western Digital HGSTなどがある。
3.スキニーオブジェクトストレージまたはスケールアウトNASの3D QLC(Quad Level Cell)フラッシュシステム
これら未完成のコールドストレージシステムは2018年前半までに稼働する予定だ。これはスキニーオブジェクトストレージのHDDシステムと同じように動作するが、重要な違いがある。3D QLS SSDはHDDよりも高速かつ高密度で、その密度は10~20倍にもなる。さらに重要なのは、全く異なった方法でデータが保存されることだ。
SSDでは書き換え(PE)ブロックが最小書き込み単位となり、その範囲は512Bから256KBになる。PEブロックに書き込まれたデータは変更できない。つまりPEブロックはまず消去する必要がある。消去できる回数も限られている。一方、書き込み回数はセル当たりのビット数によって決まる。QLCフラッシュは、PEブロックごとに100~1000回の書き込みが限度となる。また、PEブロックはSSDドライブ全体よりも障害が起こる可能性が低い。イレージャーコーディングでは、ドライブと同じようにPEブロックを扱える。ただし、それを行うにはフラッシュ変換層での変更が必要となる。このアプローチにより、3D QLC SSDを使用したオブジェクトストレージまたはスケールアウトNASが、コールドストレージ用として非常に実用的かつコスト効率に優れたものになっている。
本稿執筆時点で3D QLC SSDに取り組んでいるベンダーはTachyumのみだ。
4.拡張性の高い光アーカイブコールドストレージシステム
光ディスクは、コールドデータの急増に対応している。従来、こうしたシステムで使用されるメディアは容量が少なく、ストリーミングパフォーマンスも低かった。だが、それはもう当てはまらない。
光ディスクの容量は100GBから300GBへと増加しており、数年以内に500GBと1TBの光ディスクが登場する見込みだ。12枚の光ディスクを束にしてテープのようなカートリッジにまとめ、各カートリッジを単一のストレージドライブとしてアドレス指定できる。光ストレージシステムではこれらのカートリッジを数十~数百個まで使用でき、並列にアドレス指定を行う。このアプローチにより転送、つまりスループットパフォーマンスが360 MBpsにまで改善され、ディスク、テープ、SSDに匹敵するほどになった。
拡張性の高い光アーカイブコールドストレージシステムのベンダーには、パナソニックとソニーがある。以下に、コールドストレージメディアの比較表を掲載する。
| メディア | HDD | テープ | NAND | 光ディスク | ||
|---|---|---|---|---|---|---|
| 7200RPM | LTO | 3D QLC | Blu-ray | アーカイバルディスク | M-DISC ※1 | |
| 電力不要のデータ耐久性 | 4年未満 | 30年以上 | 1年未満 | 最大50年 | 最大100年 | 最大1000年 |
| カートリッジ/ドライブ単位の物理容量 | 12TB | 6TB | 最大128TB ※3 | 1.2TB | 4.8TB | 1.2TB |
| 目標最大物理容量 | 20TB | 330TB | 最大256TB | 1.2TB | 12TB | 1.2TB |
| フォームファクター | 3.5インチ | 2.5インチ | 2.5インチ | 5.1×0.8×5.2インチ | ||
| 不変性 | SW-WORM | SW-WORM | SW-WORM | メディア特性 | ||
| 暗号化 | ○ | ○ | ○ | ○ | ||
| 下位互換性 | 無制限 | LTO-2以降 | 無制限 | 無制限 | ||
| 最大転送速度(MBps) | 最大261 | 最大300~750 ※2 | 最大500 | 最大30 | 最大360 | 最大30 |
| イレージャーコーディング対応 | ○ | × | ○ ※4 | ○ | ||
| 重複排除可能 | ○ | × | ○ | × | ||
| 圧縮可能 | ○ | ○ | ○ | ○ | ||
| 取り外し可能なカートリッジ/ドライブ | × | ○ | × | ○ | ||
| GB単位相対の入手コスト | 低 | 最低 | 中 ※5 | 中 | 低 | 中 |
| GB単位相対のTCO | 中 | 低 | 低~中 | 低 | 最低 | 低 |
出展:MARC STAIMAR。※1:Blu-rayテクノロジーがベース。※2:圧縮比2.5:1。※3:本稿執筆時点ではまだ利用不可。2018年前半の予定。※4:変更済みのフラッシュ変換層が必要。※5:3D QLCの生産量、需要、工場生産能力に応じてコストと価格が低下する見込み。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[サイボウズ株式会社] DXに必要な「Dスキル」「Xスキル」を持った人材を育成するには? -
市場調査・トレンド
[サイボウズ株式会社] データで見る、DXが「順調に進む企業」と「つまずく企業」の違い -
製品資料
[サイボウズ株式会社] 賛否が割れがちな「Notesからの移行」 新環境への移行を納得してもらうには? -
事例
[ServiceNow Japan合同会社] 農林中金に学ぶ内製開発 処理効率を約2倍に高めAI活用も加速させた方法とは? -
事例
[ServiceNow Japan合同会社] NTTグループのデジタル変革術、17万人が利用する決裁プロセス刷新の全貌
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
AI全部入り「Microsoft 365 E7」に企業が二の足を踏む訳 移行意向はわずか4%
-
2
「高すぎるGPU」を捨てAI推論をCPUへ Armが示す電力とコストの現実解
-
3
なぜOpenAIやAnthropicのAIは「脱走」したのか 情シスが迫られるエージェント統制
-
4
GitHubが指摘 AIが書いた「おそらく動くコード」が招くシステム崩壊
-
5
Anthropicが明かす AIは入力データを「どこまで覚えているのか」
-
6
【基本情報技術者試験】「デュプレックスシステム」と「デュアルシステム」の違いは?
-
7
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
8
サーバ約70台をAWSへ ヤナセが移行前にやった「通信要件の可視化」
-
9
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
10
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
ホワイトペーパーランキング PR
-
1
生成AIのハルシネーションを防止 回答精度を高めるセマンティックレイヤーとは
-
2
5回聞くだけじゃ足りない? トヨタ式「なぜなぜ分析」の正しい実践方法
-
3
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
4
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
5
「脱Excel」か「Excel快適化」か? 現場にやさしい業務改善の進め方
-
6
マンガで解説:「ゼロトラスト」「SASE」の必要性とメリット
-
7
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
8
情報セキュリティ対策早分かりガイド:25の自社診断で弱点と解決策を理解
-
9
国税庁の次世代基幹システム「KSK2」稼働開始に向けて、対応すべき変更点とは?
-
10
AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー