Dropboxは全てのデータをAmazon S3に置いたわけではなく、ファイルを管理するためのデータであるメタデータを管理するシステムは自社構築した。かなり早い時期から、クラウドサービスとオンプレミスのインフラを組み合わせて活用する「ハイブリッドクラウド」の構成を採用していたことになる。

　オンプレミスのストレージシステムで自社サービスを運用する構想は「2010年頃からあった」とコーリング氏は語る。これを実行に移すためには、自社サービスが十分に成長すること、さらにはニーズに合わせたストレージシステムを構築できる優秀なエンジニアを自社で確保する必要もあった。

　自社サービスが成長を続け、「Magic Pocket」と名付けたオンプレミスのストレージシステムの構築に乗り出したのは2013年のことだ。当時Amazon S3に保管していたデータ量は数百P（ペタ）Bだったが、すぐにE（エクサ）B規模になることが見えていた。このペースでデータ量が増え、かつAmazon S3を使い続ければ「膨大なコストがかかることは明らかだった」とコーリング氏は語る。ストレージシステムの構築にも膨大な初期投資がかかるが、Amazon S3の利用で発生するランニングコストを削減し、将来的に開発に投資できる資金を捻出することの方が重要だった。

　データ量の増加に伴うコスト最適化に加えてDropboxが重要視したのは、ソフトウェアとハードウェアの両面で自社サービスに適したストレージシステムを設計することだった。コーリング氏は「Amazon S3は複数の企業に対して1つのストレージシステムを提供するが、Dropboxは自社サービスのユーザーに最適な1つのストレージシステムを必要としていた」と説明する。

　その着想に至ったのは、ユーザーがどのように自社サービスを利用しているか、その傾向に関する知見を蓄積してきたからでもある。例えばDropboxは、次のような傾向があることを把握していた。

• ユーザーがDropboxにアップロードする平均的なファイルサイズは約1.6MB
• ユーザーのアクセス数が最も多くなるのは、Dropboxを使い始めてから最初の24時間
• ユーザーのファイルへのアクセス数は、アップロードから24時間が経過すると急激に減少

　Dropboxはこうしたファイルサイズやアクセス頻度を基にしてストレージシステムを設計することを重視した。今すぐ必要なファイルの読み込みを高速化するといったユーザーエクスペリエンスの向上、無駄なくハードウェアリソースを用いることによる運用効率の向上を実現することが目的だった。

毎日約5PBを移行

　2015年10月の時点で、Dropboxはほぼ全てのデータをAmazon S3からオンプレミスのストレージシステムに移行した。数百PBに上る膨大なデータをどのようにして移行したのか、その方法についてもここで触れておこう。

　データ量を考慮すればハードウェアに移し替えて移動する手段も選択肢になるが、Dropboxはネットワークを介してデータをコピーする手段を採用した。オンプレミスのデータセンターとAWSのデータセンターを直接接続する500Gbps以上の回線容量（帯域幅）があるネットワークを使用した。「自社サービスのダウンタイムを発生させないことに加え、セキュリティの観点で物理的にはデータセンターの外側に一切データを出さないことを重要視した」（コーリング氏）

　毎日約5PBずつのデータを転送し、移行対象の全データを転送するのに約半年を要した。もちろんネットワークだけでなく、オンプレミスのデータセンター側で受ける膨大な数のストレージも必要だ。ストレージ搬入用のトラックが事故に遭遇するなど想定外のトラブルもあり、コーリング氏は「かなりの集中を要する期間だった」と振り返る。

　自社サービスへの致命的な影響はなく、DropboxはAWSからオンプレミスのストレージシステムへのデータ移行作業を完了させた。Dropboxのオンプレミスデータセンターは米国の西海岸と東海岸にある3カ所に分かれ、データを冗長化する構成となっている。

　Dropboxは、その後完全にAWSを利用しなくなったわけでもない。後編は、Dropboxがハイブリッドクラウドの構成要素としてAWSを利用する理由や、オンプレミスのデータセンターに導入する製品の選定方針などを紹介する。