初代マスタングの新聞広告もはっきり表示
New York Timesは4万6592号分ものバックナンバー配信をどう実現したのか
米New York Timesが刷新した「TimesMachine」では、何十億枚にも及ぶ小さな画像を処理し、1851~1980年のバックナンバーを配信できるようになった。その実現に不可欠だったのが米Amazon Web Servicesのクラウドサービスだった。
米New York Times紙は2014年、米Amazon Web Services(以下、AWS)のクラウドサービスを用いてデジタルアーカイブを刷新した。何十億枚にも及ぶ小さな画像を処理し、関心のある購読者に1851~1980年のバックナンバーを配信できるようにした。
アーカイブサービス「TimesMachine」が開始された2008年当時から、AWSのストレージサービスが使われていた。ところが、検索/アーカイブ/言語解析担当ディレクターのエバン・サンドハウス氏によれば、2014年4月に実施したTimesMachineの刷新プロジェクトはさらに複雑だったという。
TimesMachineでは当初、紙面のプレビュー画像をクリックすると、拡大画像が表示される仕組みだった。読者は記事の見出しを判読することはできても、本文を読むことはできなかった。紙面の拡大画像にはPDFファイルへのリンクがあり、そこから記事を閲覧できた。
「新しいTimesMachineでは、1つの体験の中で、全体として新聞らしさを感じてもらいながら、各記事も読んでもらえるようにすることを目標とした」とサンドハウス氏は説明する。
膨大な小さな画像を処理
同紙の日曜版を全てダウンロードするためには、クライアント側で約300Mバイトという巨大な帯域幅が必要になり、ほとんどの読者のマシンが対応できなくなる。
「1つの号として見せようとすれば、iTunesのアルバム数枚分のデータに匹敵する。しかし読者の関心は恐らく、記事1本だけなど非常に限られる」(サンドハウス氏)
そこで同氏とプロジェクトチームは、地理情報システム(GIS)で地図製作を行っている業界からヒントを得た。この業界は、大型地図の詳細表示で同じ問題に直面していた。
GISコミュニティーでは、画像のタイル化を通じてこの問題に対応している。新しいTimesMachineでは、9000×7000ピクセルの画像を、複数の拡大レベルでコンピュータ処理して256×256ピクセルのタイルに分割した。フロントエンドではオープンソースのGISソフトウェア「Leaflet」を使い、読者が見たい部分に対応したタイルを取得できるようにした。
サンドハウス氏は言う。「まず250万枚の画像からスタートした。これは大体、新しいTimesMachineのページ数に相当する。古いTimesMachineではページごとに拡大版と縮小版の2枚の画像をコンピュータ処理していたが、新しいTimesMachineでは各ページにつき約1000枚の画像を処理している」
AWSストレージの現在と過去
これにより、New York Times紙が必要とするAWSストレージの大きさは、約500万からほぼ25億個のオブジェクトに相当するサイズへと増大した。データは「Amazon Elastic MapReduce」(以下、Amazon EMR)サービスで処理され、「Amazon Simple Storage Service」(以下、Amazon S3)のストレージに保存される。
古いTimesMachineでは、まだAmazon EMRが存在していなかったため、同紙自らが「Apache Hadoop」環境を構築してMapReduceの作業を行う必要があった。
しかし今回は「多くのインフラがすぐに使える状態で存在していたので、はるかに簡単だった。自分たちの作業に合った設定値を提供するだけで済み、サーバを適切に設定するために割いていた数週間が大幅に短縮された」(サンドハウス氏)
コンピュータ処理する画像ファイルの量は桁違いに増えたが、MapReduceの作業は、「Amazon Elastic Compute Cloud」(Amazon EC2)の「c1.xlarge」インスタンスのマシン400台を使い、わずか3日で完了できた。古いTimesMachineのときは数千台が必要だった。
歴史に脈絡を
このプロジェクトによって、New York Times紙の4万6592号分のデジタルアーカイブが出来上がり、新聞のページから画像スキャンした文字は全て、Webブラウザを離れることなく簡単に読めるようになった。
同紙はこのアーカイブを使い、例えば1964年の万国博覧会開催から50年、米Ford Motor製自動車「Mustang」(マスタング)登場から50年といった記事を囲んで脈絡を持たせている。初代マスタングが発売された1964年当時の全面広告もはっきり読める。
全体的にはAWSの新しいサービスによって、新しいTimesMachineの開発作業は大幅に進歩した。ただサンドハウス氏は、ZIPファイルのような形で大量のファイルを1本のファイルとしてアップロードして、Amazon側で解凍できる機能を望んでいる。
「それができればAmazon S3にデータを保存しやすくなる。ただこれは、本当に取るに足りないリクエストだが」と同氏は語った。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社インターネットイニシアティブ] 人材不足と属人化が深刻に 「攻められない情シス」を変革する一手とは? -
製品資料
[株式会社イトーキ] 会議室が「空いてるのに使えない」問題の解決策とは? -
事例
[株式会社イトーキ] 製造現場を取り巻く経営課題 「持続的な現場力」を強化する方法とは? -
製品資料
[株式会社イトーキ] 社員の力を引き出す、「ABW(Activity Based Working)」を実現する秘訣とは? -
製品資料
[株式会社BREXA Technology] 「インシデント初動対応」が遅れる3つの構造的要因とは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
2
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
3
なぜノートPCの更新が「4年→6年」に? AIインフラ急拡大の余波
-
4
企業が「Microsoft Azure」を選ばざるを得ない理由
-
5
「RAGは終わった」は本当か――ロングコンテキストが変えたこと、変えられないこと
-
6
複雑化するフォント管理に終止符を Monotypeが提唱する安全な運用方法
-
7
なぜMicrosoftは「Rust」を標準言語に? AIで進むC/C++書き換えの課題
-
8
従業員1600人、端末2000台のID管理を一元化 急成長タイミーの選択
-
9
“RAG is dead”は本当? AIエージェントが切り拓く「次世代RAG」と検索の未来
-
10
「セキュリティ運用と侵入後の初動防御」に関するアンケート
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
3
急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要?
-
4
法人向け光回線のプランはどう選ぶ? 機能面/保守体制/コストを一覧で比較
-
5
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
6
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
9
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
10
サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー