初代マスタングの新聞広告もはっきり表示
New York Timesは4万6592号分ものバックナンバー配信をどう実現したのか
米New York Timesが刷新した「TimesMachine」では、何十億枚にも及ぶ小さな画像を処理し、1851～1980年のバックナンバーを配信できるようになった。その実現に不可欠だったのが米Amazon Web Servicesのクラウドサービスだった。
米New York Times紙は2014年、米Amazon Web Services（以下、AWS）のクラウドサービスを用いてデジタルアーカイブを刷新した。何十億枚にも及ぶ小さな画像を処理し、関心のある購読者に1851～1980年のバックナンバーを配信できるようにした。
アーカイブサービス「TimesMachine」が開始された2008年当時から、AWSのストレージサービスが使われていた。ところが、検索／アーカイブ／言語解析担当ディレクターのエバン・サンドハウス氏によれば、2014年4月に実施したTimesMachineの刷新プロジェクトはさらに複雑だったという。
TimesMachineでは当初、紙面のプレビュー画像をクリックすると、拡大画像が表示される仕組みだった。読者は記事の見出しを判読することはできても、本文を読むことはできなかった。紙面の拡大画像にはPDFファイルへのリンクがあり、そこから記事を閲覧できた。
「新しいTimesMachineでは、1つの体験の中で、全体として新聞らしさを感じてもらいながら、各記事も読んでもらえるようにすることを目標とした」とサンドハウス氏は説明する。
膨大な小さな画像を処理
同紙の日曜版を全てダウンロードするためには、クライアント側で約300Mバイトという巨大な帯域幅が必要になり、ほとんどの読者のマシンが対応できなくなる。
「1つの号として見せようとすれば、iTunesのアルバム数枚分のデータに匹敵する。しかし読者の関心は恐らく、記事1本だけなど非常に限られる」（サンドハウス氏）
そこで同氏とプロジェクトチームは、地理情報システム（GIS）で地図製作を行っている業界からヒントを得た。この業界は、大型地図の詳細表示で同じ問題に直面していた。
GISコミュニティーでは、画像のタイル化を通じてこの問題に対応している。新しいTimesMachineでは、9000×7000ピクセルの画像を、複数の拡大レベルでコンピュータ処理して256×256ピクセルのタイルに分割した。フロントエンドではオープンソースのGISソフトウェア「Leaflet」を使い、読者が見たい部分に対応したタイルを取得できるようにした。
サンドハウス氏は言う。「まず250万枚の画像からスタートした。これは大体、新しいTimesMachineのページ数に相当する。古いTimesMachineではページごとに拡大版と縮小版の2枚の画像をコンピュータ処理していたが、新しいTimesMachineでは各ページにつき約1000枚の画像を処理している」
AWSストレージの現在と過去
これにより、New York Times紙が必要とするAWSストレージの大きさは、約500万からほぼ25億個のオブジェクトに相当するサイズへと増大した。データは「Amazon Elastic MapReduce」（以下、Amazon EMR）サービスで処理され、「Amazon Simple Storage Service」（以下、Amazon S3）のストレージに保存される。
古いTimesMachineでは、まだAmazon EMRが存在していなかったため、同紙自らが「Apache Hadoop」環境を構築してMapReduceの作業を行う必要があった。
しかし今回は「多くのインフラがすぐに使える状態で存在していたので、はるかに簡単だった。自分たちの作業に合った設定値を提供するだけで済み、サーバを適切に設定するために割いていた数週間が大幅に短縮された」（サンドハウス氏）
コンピュータ処理する画像ファイルの量は桁違いに増えたが、MapReduceの作業は、「Amazon Elastic Compute Cloud」（Amazon EC2）の「c1.xlarge」インスタンスのマシン400台を使い、わずか3日で完了できた。古いTimesMachineのときは数千台が必要だった。
歴史に脈絡を
このプロジェクトによって、New York Times紙の4万6592号分のデジタルアーカイブが出来上がり、新聞のページから画像スキャンした文字は全て、Webブラウザを離れることなく簡単に読めるようになった。
同紙はこのアーカイブを使い、例えば1964年の万国博覧会開催から50年、米Ford Motor製自動車「Mustang」（マスタング）登場から50年といった記事を囲んで脈絡を持たせている。初代マスタングが発売された1964年当時の全面広告もはっきり読める。
全体的にはAWSの新しいサービスによって、新しいTimesMachineの開発作業は大幅に進歩した。ただサンドハウス氏は、ZIPファイルのような形で大量のファイルを1本のファイルとしてアップロードして、Amazon側で解凍できる機能を望んでいる。
「それができればAmazon S3にデータを保存しやすくなる。ただこれは、本当に取るに足りないリクエストだが」と同氏は語った。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[o9ソリューションズ・ジャパン株式会社] 「改正物流効率化法対策」徹底解説 総物流費を抑制するサプライチェーン戦略 -
製品資料
[o9ソリューションズ・ジャパン株式会社] 「サプライチェーン最適化」実践ガイド：効果的な意思決定を実現する秘訣とは？ -
製品資料
[株式会社リンプレス] 非デジタル／IT人材を「自走するDX推進者」に変えるための育成ロードマップ -
市場調査・トレンド
[ワンアイルコンサルティング株式会社] AI時代の組織設計：「判断と責任」を人に残すための2つの原則とは？ -
技術文書・技術解説
[ワンアイルコンサルティング株式会社] システムの保守がモダン化を阻む？ 「変えない判断」から脱却する方法とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
1200万円のSaaS導入を回避 スギ薬局「運用費10万円」のAIエージェント構築術
-
2
「完璧な設計」なのに3000万円溶けた AWSの失敗事例から学ぶ3つの教訓
-
3
クラウド資格コレクターは評価されない？ 年収1000万を分ける“OSの理解度”
-
4
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
5
「AIバブル」は崩壊するのか？ 熱狂の後に来る“尻拭い”と4つの防衛策
-
6
高額な「AI PC」を一般従業員も使えたら？ 費用のハードルを一気に下げる方法
-
7
LLMの「過学習」、正しく説明している文章はどれ？
-
8
「コピペ運用の限界」に直面するAI活用 7割超が“別画面”のまま使う理由は？
-
9
IT調達担当者が知るべき「IT機器 大インフレ時代の前向きな選択肢」
-
10
「RAGの利用」に関するアンケート
ホワイトペーパーランキング PR
-
1
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
2
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
3
Windows PCとMacの選択制で生産性向上 LINEヤフーが実践する運用管理方法とは
-
4
DX／AI投資の壁を突破、現代の最高財務責任者が直面する課題と克服のヒント
-
5
「Google Workspace」活用事例34選、先進の生成AIによる組織変革の全貌
-
6
生成AIで文書活用を進めるには？ 効率化と安全性をどう両立する
-
7
「人員を増やす」という選択肢はない 情シスが負の連鎖から抜け出すには？
-
8
「問題が深刻化しやすいプロジェクト管理」から脱却する方法とは？
-
9
Linuxのスキルを証明する“激推し”の認定資格はこれだ
-
10
NTTドコモが実践したクラウド統合監視 業務量2倍でも残業削減を実現できた理由
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー