初代マスタングの新聞広告もはっきり表示

New York Timesは4万6592号分ものバックナンバー配信をどう実現したのか

米New York Timesが刷新した「TimesMachine」では、何十億枚にも及ぶ小さな画像を処理し、1851～1980年のバックナンバーを配信できるようになった。その実現に不可欠だったのが米Amazon Web Servicesのクラウドサービスだった。

公開 2014年06月23日 12時01分

著者

Beth Pariseau

[TechTarget]

印刷する

　米New York Times紙は2014年、米Amazon Web Services（以下、AWS）のクラウドサービスを用いてデジタルアーカイブを刷新した。何十億枚にも及ぶ小さな画像を処理し、関心のある購読者に1851～1980年のバックナンバーを配信できるようにした。

　アーカイブサービス「TimesMachine」が開始された2008年当時から、AWSのストレージサービスが使われていた。ところが、検索／アーカイブ／言語解析担当ディレクターのエバン・サンドハウス氏によれば、2014年4月に実施したTimesMachineの刷新プロジェクトはさらに複雑だったという。

　TimesMachineでは当初、紙面のプレビュー画像をクリックすると、拡大画像が表示される仕組みだった。読者は記事の見出しを判読することはできても、本文を読むことはできなかった。紙面の拡大画像にはPDFファイルへのリンクがあり、そこから記事を閲覧できた。

　「新しいTimesMachineでは、1つの体験の中で、全体として新聞らしさを感じてもらいながら、各記事も読んでもらえるようにすることを目標とした」とサンドハウス氏は説明する。

膨大な小さな画像を処理

　同紙の日曜版を全てダウンロードするためには、クライアント側で約300Mバイトという巨大な帯域幅が必要になり、ほとんどの読者のマシンが対応できなくなる。

　「1つの号として見せようとすれば、iTunesのアルバム数枚分のデータに匹敵する。しかし読者の関心は恐らく、記事1本だけなど非常に限られる」（サンドハウス氏）

　そこで同氏とプロジェクトチームは、地理情報システム（GIS）で地図製作を行っている業界からヒントを得た。この業界は、大型地図の詳細表示で同じ問題に直面していた。

　GISコミュニティーでは、画像のタイル化を通じてこの問題に対応している。新しいTimesMachineでは、9000×7000ピクセルの画像を、複数の拡大レベルでコンピュータ処理して256×256ピクセルのタイルに分割した。フロントエンドではオープンソースのGISソフトウェア「Leaflet」を使い、読者が見たい部分に対応したタイルを取得できるようにした。

　サンドハウス氏は言う。「まず250万枚の画像からスタートした。これは大体、新しいTimesMachineのページ数に相当する。古いTimesMachineではページごとに拡大版と縮小版の2枚の画像をコンピュータ処理していたが、新しいTimesMachineでは各ページにつき約1000枚の画像を処理している」

AWSストレージの現在と過去

　これにより、New York Times紙が必要とするAWSストレージの大きさは、約500万からほぼ25億個のオブジェクトに相当するサイズへと増大した。データは「Amazon Elastic MapReduce」（以下、Amazon EMR）サービスで処理され、「Amazon Simple Storage Service」（以下、Amazon S3）のストレージに保存される。

　古いTimesMachineでは、まだAmazon EMRが存在していなかったため、同紙自らが「Apache Hadoop」環境を構築してMapReduceの作業を行う必要があった。

　しかし今回は「多くのインフラがすぐに使える状態で存在していたので、はるかに簡単だった。自分たちの作業に合った設定値を提供するだけで済み、サーバを適切に設定するために割いていた数週間が大幅に短縮された」（サンドハウス氏）

　コンピュータ処理する画像ファイルの量は桁違いに増えたが、MapReduceの作業は、「Amazon Elastic Compute Cloud」（Amazon EC2）の「c1.xlarge」インスタンスのマシン400台を使い、わずか3日で完了できた。古いTimesMachineのときは数千台が必要だった。