捨てられないコールドデータをどう保存するか
徹底比較:HDD、テープ、SSD、光ディスク コスト効率の高いコールドストレージは?(1/2 ページ)
コスト効率に優れたコールドストレージ製品、サービス、メディアへの需要が急速に高まっている。それには多くの理由がある。非構造化データが飛躍的に増加していることも理由の1つだ。関連技術を比較する。
データがコールドストレージに移されるのは、アクセス頻度が少なくなった場合や、全くアクセスされなくなった場合だ。コンプライアンスに準拠するためや、将来的に必要な場合に備えてデータを保管しておく。また、削除したデータが後になって必要になることをIT部門が懸念している場合もある。そのような理由で残されるデータ用にコールドストレージが存在する。この種のストレージは、一般に、プライマリーストレージやセカンダリーストレージよりも大幅に低コストで、その分パフォーマンスも低くてよい。
コールドデータは、コールドストレージと一緒に扱われることが多い。だが実際には、コールドデータはどのストレージメディアやストレージシステムにも存在する可能性がある。一方、コールドストレージは、コールドデータの保管専用に設計されたシステムだ。コールドストレージはデータアクセスの頻度やパフォーマンスから、メディアの有効期間、データの回復性や耐久性まで、あらゆる要素が大きく異なっている。ユーザーが突如データを必要とすると、コールドデータの使用頻度が再び高まり、「ホット」になることもある。このように状況が変わるとシステム自体の利用が複雑化し、予想外のコストが増えることがある。
併せて読みたいお薦め記事
コールドストレージ入門
アーカイブストレージの選び方
コールドストレージが注目される理由
最近、コールドストレージの注目度が上がっている。これには幾つか理由がある。その理由を以下に示す。
データの急激な増加
信じられないことに、IDCのアナリストは、1年間に生み出されるデータ量が2020年までに44Z(ゼタ)Bを超えると予測している。しかも、そこから加速度的に増加が続くという。その大部分はアクティブなデータではない。つまり、頻繁にはアクセスされないデータだ。そのようなデータの約80%以上が非構造化データであり、多くはセキュリティビデオやログファイルのようなものから機械的に生成される。
プライマリーストレージの消費
ストレージはデータセンターで消費される唯一のテクノロジーだ。大半のデータはそのライフサイクルの間、最初に配置されたストレージ上にとどまる。そうしたデータのライフサイクルには実質的に終わりがない。プライマリーストレージが刷新される場合でさえ、コールドデータは新しいシステムに移される。そして、高額なプライマリーストレージやNANDフラッシュSSDメディアを消費し続けることになる。
アクティブデータのためにこうした資産を使用することは、全く問題がない。だが、めったにアクセスすることがないコールドデータのために使うのは合理的ではない。コールドデータがプライマリーストレージを消費すると、アクティブデータ用にプライマリーストレージを追加購入して実装しなければならなくなる。コールドデータには高いパフォーマンスも、低遅延であることも、プライマリーストレージシステムの機能も必要ない。
残念ながら、プライマリーストレージに保存されているデータの大半は、コールドデータやアクセス頻度の少ないデータが占める。データセンターストレージの75~90%は、こうしたデータによって消費されている。時間と共にデータを追跡するヒートマップでは、データが作成された直後の72時間が最もアクセス頻度が高いことを示している。その後は急速にアクセス頻度が下がり、30日後にはほとんど使用されなくなる。そして90日後には事実上コールドデータになる。
「いつか使うかもしれない」症候群
IT部門はデータを捨てたがらない。その根底には、廃棄したデータが突然必要になることに対する不安がある。これは、良くも悪くも全てのデータには価値があるという認識と密接に関係している。
規制順守
データ関連のコンプライアンスを求める新しい標準や規制が増加する傾向にある。具体的には、EU一般データ保護規則(GDPR)、金融機関を対象としたニューヨーク州の銀行とサイバーセキュリティの規制、医療保険の相互運用性と説明責任に関する法令(HIPAA)、経済的および臨床的健全性のための医療情報技術に関する法律(HITECH法)、バーゼルI、バーゼルII、バーゼルIII、サーベンス・オクスリー法(SOX法)、労働安全衛生法などがある。こうした規制の多くは、特定の種類のデータを数十年から数百年にもわたって保持することを義務付けている。
非構造化データ分析
全ての新規データのうち、非構造化データが80%にも上る。そのため、実用的な洞察を得るためにこうしたデータをマイニングする方法を探すのは当然のことだ。IDCによると、こうした状況が非構造化データ分析の爆発的増加へとつながり、こうした製品からもたらされる収益が2015年に1250億ドルを超えるまでに成長したいう。将来の分析に備えてこのような非構造化データを保管する際には、その方法のコスト効率が優れていなければならない。
コスト効率
コールドストレージが実際に使用されているのは、コールドデータの保管コストがその価値の低さに見合っているためだ。利用可能なコールドストレージシステムやメディアのオプションは複数ある。また、クラウドサービスのオプションも多数存在する。各オプションは長短併せ持つが、どれもコールドストレージのコストを押し下げている。それにより、非常に手頃なコストでコールドストレージが可能になる。
コールドストレージシステム
コールドストレージシステムは何十年も前から存在している。当初は、自動テープライブラリや、取り外し可能なメディアを使用した光学ストレージシステムが大手企業で使用されていた。非構造化データの急増に伴い、そうした問題に対応するために進化したコールドストレージシステムも飛躍的に増えている。Linear Tape File System(LTFS)とオブジェクトストレージをベースにした新しいコールドストレージシステムも登場した。Facebookと、同社が設立したオープンソースのハードウェア設計組織Open Compute Projectは、これらの新しいシステムを推進する上で大きな役割を果たしている。このような開発により、次の4種類のコールドストレージシステムがもたらされている。
1.LTFSフロントエンド自動テープライブラリ(ATL)
LTFSやオブジェクトストアのフロントエンドは、ATLにとっては比較的拡張性の高い小規模なローカルキャッシュになる。これはアプリケーションやユーザーからすると、ディスクストレージシステムのように見える。また、書き込み速度や、場合によっては読み取り速度を向上させることにより、HDDベースのNASやオブジェクトストア並のパフォーマンスを実現する。ベンダーには、Dell EMC、富士フイルム - StrongBox Data Solutions、富士通、Hewlett Packard Enterprise(HPE)、IBM、Oracle、Quantum、Siemens、Spectra Logicなどがある。
2.スキニーオブジェクトストレージ/スケールアウトNASのHDDシステム
従来のオブジェクトストレージは無制限の拡張性を備えており、これまでコストの低い大容量のアクティブアーカイブ用に使用されてきた。これをストレージサーバのノード数を減らすことでスリム化した「スキニー」バージョンが、コールドストレージ用に使用される。このバージョンでは、高度なイレージャーコーディングを使用することで、非常に優れたデータ耐久性が提供される。多くの場合、99.999999999%もの高い耐久性が実現する。また、コピーを複数用意するミラーリングに比べてオーバーヘッドが大幅に少なくなる。例えば、「Hadoop」ストレージで3つのコピーを作成するミラーリングを行う場合、コピーごとに100%のストレージを追加で使用する。3つのコピーは300%増のストレージを消費する。イレージャーコーディングを使って3つの障害の同時発生を防ぐ場合は、多くても33%増か、それ以下のストレージしか使用されないのが一般的だ。またイレージャーコーディングでは、基盤になるメディアハードウェアにかかわらず、極めて高いデータ耐久性を実現する。
ベンダーには、Caringo、Cloudian、Concurrent(「Aquari」製品)、DataDirect Networks、Dell EMC、Elastifile、Hitachi Data Systems、Hewlett Packard Enterprise(HPE)、IBM Cleversafe、NooBaa、OpenIO、Quantum、Qumulo、Red Hat(「Red Hat Ceph Storage」)、Rozo Systems、Scality、SwiftStack、Western Digital HGSTなどがある。
3.スキニーオブジェクトストレージまたはスケールアウトNASの3D QLC(Quad Level Cell)フラッシュシステム
これら未完成のコールドストレージシステムは2018年前半までに稼働する予定だ。これはスキニーオブジェクトストレージのHDDシステムと同じように動作するが、重要な違いがある。3D QLS SSDはHDDよりも高速かつ高密度で、その密度は10~20倍にもなる。さらに重要なのは、全く異なった方法でデータが保存されることだ。
SSDでは書き換え(PE)ブロックが最小書き込み単位となり、その範囲は512Bから256KBになる。PEブロックに書き込まれたデータは変更できない。つまりPEブロックはまず消去する必要がある。消去できる回数も限られている。一方、書き込み回数はセル当たりのビット数によって決まる。QLCフラッシュは、PEブロックごとに100~1000回の書き込みが限度となる。また、PEブロックはSSDドライブ全体よりも障害が起こる可能性が低い。イレージャーコーディングでは、ドライブと同じようにPEブロックを扱える。ただし、それを行うにはフラッシュ変換層での変更が必要となる。このアプローチにより、3D QLC SSDを使用したオブジェクトストレージまたはスケールアウトNASが、コールドストレージ用として非常に実用的かつコスト効率に優れたものになっている。
本稿執筆時点で3D QLC SSDに取り組んでいるベンダーはTachyumのみだ。
4.拡張性の高い光アーカイブコールドストレージシステム
光ディスクは、コールドデータの急増に対応している。従来、こうしたシステムで使用されるメディアは容量が少なく、ストリーミングパフォーマンスも低かった。だが、それはもう当てはまらない。
光ディスクの容量は100GBから300GBへと増加しており、数年以内に500GBと1TBの光ディスクが登場する見込みだ。12枚の光ディスクを束にしてテープのようなカートリッジにまとめ、各カートリッジを単一のストレージドライブとしてアドレス指定できる。光ストレージシステムではこれらのカートリッジを数十~数百個まで使用でき、並列にアドレス指定を行う。このアプローチにより転送、つまりスループットパフォーマンスが360 MBpsにまで改善され、ディスク、テープ、SSDに匹敵するほどになった。
拡張性の高い光アーカイブコールドストレージシステムのベンダーには、パナソニックとソニーがある。以下に、コールドストレージメディアの比較表を掲載する。
| メディア | HDD | テープ | NAND | 光ディスク | ||
|---|---|---|---|---|---|---|
| 7200RPM | LTO | 3D QLC | Blu-ray | アーカイバルディスク | M-DISC ※1 | |
| 電力不要のデータ耐久性 | 4年未満 | 30年以上 | 1年未満 | 最大50年 | 最大100年 | 最大1000年 |
| カートリッジ/ドライブ単位の物理容量 | 12TB | 6TB | 最大128TB ※3 | 1.2TB | 4.8TB | 1.2TB |
| 目標最大物理容量 | 20TB | 330TB | 最大256TB | 1.2TB | 12TB | 1.2TB |
| フォームファクター | 3.5インチ | 2.5インチ | 2.5インチ | 5.1×0.8×5.2インチ | ||
| 不変性 | SW-WORM | SW-WORM | SW-WORM | メディア特性 | ||
| 暗号化 | ○ | ○ | ○ | ○ | ||
| 下位互換性 | 無制限 | LTO-2以降 | 無制限 | 無制限 | ||
| 最大転送速度(MBps) | 最大261 | 最大300~750 ※2 | 最大500 | 最大30 | 最大360 | 最大30 |
| イレージャーコーディング対応 | ○ | × | ○ ※4 | ○ | ||
| 重複排除可能 | ○ | × | ○ | × | ||
| 圧縮可能 | ○ | ○ | ○ | ○ | ||
| 取り外し可能なカートリッジ/ドライブ | × | ○ | × | ○ | ||
| GB単位相対の入手コスト | 低 | 最低 | 中 ※5 | 中 | 低 | 中 |
| GB単位相対のTCO | 中 | 低 | 低~中 | 低 | 最低 | 低 |
出展:MARC STAIMAR。※1:Blu-rayテクノロジーがベース。※2:圧縮比2.5:1。※3:本稿執筆時点ではまだ利用不可。2018年前半の予定。※4:変更済みのフラッシュ変換層が必要。※5:3D QLCの生産量、需要、工場生産能力に応じてコストと価格が低下する見込み。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
2
「Microsoft 365のセキュリティ運用」に関するアンケート
-
3
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
4
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
5
221人調査で分かった「情シス最大のストレス」は?
-
6
「Salesforceのテスト自動化ツール」に関するアンケート
-
7
「データストレージの活用方法」に関するアンケート
-
8
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
9
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
10
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー