中国Alibaba Infrastructure Service（AIS）チームがLambertのハードウェア設計に着手したときの最優先課題は「高い持続性」「低コスト」「柔軟性」だった。安価なストレージメディアにデータを保存して、データを長期利用できるようにする必要があった。テープはストレージメディアの有力候補の1つだったが、「小さな部屋で自動ロボットを使用するのはコストが高すぎることにAISチームは気付いた」とリー氏はいう。

　Alibaba Groupが中国市場で抱える課題の1つは「データセンター」だ。Alibaba Groupは電源や冷却、ラック容量がサイトや地域によって異なる可能性があるサードパーティーのデータセンターを借りなければならないと同氏は語る。「インフラは既に存在しているため、当社固有の標準に従うようサードパーティーに求めることはできない」（リー氏）

　Alibaba Groupは、次にコールドストレージにBlu-rayディスクを使用している米Facebookのアプローチを検討した。AISチームは、現時点ではBlu-rayディスクが低コストと耐久性の要件を満たすという確証を得ていないとリー氏は述べる。また、Alibaba Groupは複数のBlu-rayベンダーに接触したが、十分な進展はないと補足する。

　そのためAISチームは、安価でパフォーマンスが低いHDDを使用することにした。Alibaba Groupの設計は、Alibaba Groupと中国Baidu、中国Tencentが共同開発したデータセンター標準「Project Scorpio」のストレージサーバの部分に基づいている。1Uサーバに4Tバイトまたは8Tバイトの3.5インチHDDが18台、ラック1架には1Uサーバ32台が必要になると同氏は語る。サーバには米Intelの「Intel Atom」プロセッサが搭載され、システムでは10ギガビットイーサネットネットワークを使用している。

　AISチームは、システムをできるだけ早くオンラインで公開することを望んでいた。そのため、大規模なクラスタは構築しないことに決めたとリー氏はいう。代わりにソフトウェア定義の分散型サブクラスタを使用して、Scorpioハードウェアラック4台で構成するユニットを設計した。このユニットのサイズは、データセンターのスペースに応じて、より多くのラックやサブクラスタに拡張できるが、個別のサブクラスタの品質に重点が置かれている点は変わらない。「実装が適切な場合、シンプルであることは信頼性と高品質の証となることが多い」（リー氏）

　フロントエンドシステムではさまざまな形式のデータを収集し、Lambertに保存するためにデータをラージオブジェクト（LOB）に変換している。データは圧縮されたものもあれば、暗号化されたものもある。また、内部ソースから取得したり、パブリックソースから取得したデータも存在する。現在、Lambertに保存されているオブジェクトの平均サイズは約100Gバイトだが、必要に応じてサイズは変更できるとリー氏は語る。Sheepdogシステムにおけるデータオブジェクトの最大サイズは16Pバイトだ。

　データオブジェクトは、単一のサブクラスタに格納される。同氏によると、空き容量がなくなるとサブクラスタはアイドル状態に変化する。HDDの電源はオフになり、メモリやCPUは待機状態になるため、電力消費はかなり抑えられる。データのオブジェクトは、隣接する利用可能なソフトウェア定義のサブクラスタに格納される。

　アイドル状態の各サブクラスタでは、障害に耐え得るだけの十分な空き領域（HDDの約10～15％）が確保されているとリー氏は語る。AISチームがHDDを変更するのは、復元のための領域がない場合だけだという。

　大規模な導入の場合、Lambertシステムは「アイドル状態のサーバ」「データを格納している稼働中のサーバ」「ストレージとして利用できる待機状態のサーバ」で構成される。アクティブなサーバのグループは最小限に抑えられている。Alibaba GroupがVault 2015のプレゼンで示した図によると、どんなときでも、少数のサブクラスタだけが稼働状態になっているという。

消失訂正符号とRESTful APIで向上したパフォーマンスと容量

　AISでコールドデータストレージのチーフソフトウェアエンジニアを務めるロビン・ドン氏によると「Alibaba Groupは、シンプルさという点で他のオープンソースのオブジェクトストレージではなく、Sheepdogを選択した」という。Sheepdogには3万5000行のコードしか含まれていないと同氏は話す。Alibaba Groupは、ファイルシステムや米IEEEの「POSIX」インタフェースは必要としておらず、分散型ブロックストレージ機能を利用できるシステムだけしか検討しなかった。

　ドン氏はAlibaba Groupの元従業員で、Sheepdogの保守管理を担当しているユアン・リュウ氏の功績をたたえている。具体的には、HDDのスペースを節約するのに役立つ消失訂正符号のサポートがSheepdogに追加されている点だ。消失訂正符号がなければ、Sheepdogのトリプルレプリケーションでは、100Mバイトのデータごとに300Mバイトのデータを格納する必要が生じる。だが、消失訂正符号があれば、4つのブロックごとに2つのパリティブロックを使用することで、AISチームは2台のサーバ障害から保護されるようになり、100Mバイトのデータごとに150Mバイトのデータを格納するだけで済む。データブロックは4つのピースに分割され、この4つのピースのブロックのうち任意の2つがパリティピースになる。

　AISは、8つのデータブロックごとに4つのパリティブロックを使用して4台のサーバ障害から保護する。また、要件によっては消失訂正符号を使用して、より多くのサーバ障害から保護することも可能だとリー氏はいう。

　リュウ氏は消失訂正符号だけではなく、オープンソースの「OpenStack Swift RESTful API」のサポートにも貢献しているとドン氏は語る。このAPIは、データのアクセスと制御、ラージオブジェクトを格納するための600Pバイト以上の巨大ボリューム、データ復元のためのパフォーマンス向上を目的としている。

　Sheepdogが一貫性のあるハッシュアルゴリズムを維持するためにサーバをノードとして使用していたとき、パフォーマンスは低速だったとドン氏は指摘する。あるディスクで障害が発生した場合、そのサーバは別のサーバからデータを取得し、消失訂正符号の結果を計算して消失したデータを復元していた。

　ボトルネックを取り除くために、AISチームは、一貫性のあるハッシュアルゴリズムを維持するためのサーバの代わりにHDDをノードとして使用することにした。その結果、HDDで障害が発生した場合にサブクラスタの全てのサーバが復元作業に参加できるようになった。「改良後、復元のパフォーマンスは4倍になり、持続性が飛躍的に向上した」（ドン氏）