クラウドストレージ大規模活用事例NASDAQ、Amazon S3で株式市場データをクラウドに移行
NASDAQ証券取引所の「NASDAQ Data-On-Demand」は、Amazon S3に10分間隔で保存する膨大な公開市場データをユーザーが利用できるようにするクラウドサービスだ。
米NASDAQ証券取引所は、その膨大な公開市場データをクラウドコンピューティングサービスとして提供することにより一般の人々が利用できるようにしている。さらに同取引所では、米AmazonのSimple Storage Service（S3）を利用して、クラウドストレージの斬新な活用方法を試している。
NASDAQは、同取引所で毎日取引される株式に関する何十万件もの情報を収集・分類し、Market Replayサービス（専門家やアナリスト向けのオンライン参照ツール）を通じてそれらを提供している。
「NASDAQ証券情報プロセッサとSIACプロセッサから出力された相場情報は、過去3年分にわたってすべて保管してある」と話すのは、米NASDAQ OMXで製品管理を担当するジェフ・キムジー共同副社長だ。これは「レベルI株式情報」と呼ばれ、取引銘柄と売買高のデータが含まれる。NASDAQの新サービスは、このデータへのアクセスとその利用方法を大きく変えるものとなった。
「NASDAQ Data-On-Demand」と呼ばれるこのサービスは、ユーザーがNASDAQの巨大なデータストアにプログラム経由で接続することを可能にするもので、オンラインでデータを参照したり、膨大な生データをダウンロードして自分で分類したりする必要はない。アプリケーションプログラミングインタフェース（API）により、先進的なユーザー（財務アナリストは一般にコンピュータも得意だ）は、データに直接クエリを実行することができるため、既存の分析ツールをデータに直接接続するのも簡単だ。
キムジー氏によると、ユーザーは調査、コンプライアンス、トレーニング、自社の履歴情報の確認などに必要な特定の情報を得ることができるという。アルゴリズムトレーディングを行っているユーザーの場合は、過去数年分の実績データに対して自動トレーディングスキームを実行することによって、株式売買の新手法をバックテストすることができる。これは株式市場を研究する人々にも役立つ。
「履歴アプリケーションを作成するのは、スイッチをポンと入れるのと同じくらい簡単だ」と同氏は語る。
NASDAQはこのデータをクラウドサービスとして提供しているが、それが可能なのは、同社が既にデータをS3上に置いていたからだ。技術的な課題は、毎日入ってくる洪水のようなデータを整理・分類することだ。
フラットファイルでトランザクション処理を高速化
活発に取引される株式銘柄の中には1日で何Mバイトもの取引データが記録されるものがある一方で、取引データがはるかに少ない銘柄もある。管理と分類が容易な分量にデータを分割するために、データはS3上で10分間隔でフラットファイルに保存される。検索とクエリはこれらのフラットファイルに対して行われる。キムジー氏によると、これがデータを高速かつ安価に保存するのに最も効率的な方法だという。
「われわれのアプリケーションは、特定のインスタンスに素早くアクセスできるように設計されている」と同氏は語る。「高速なアクセスを可能にするために採用したのが、10分間隔でデータを保存するという方法だ。これにより、検索対象のデータに素早くかつ容易にアクセスすることが可能になる」
「われわれは各データベースで何T（テラ）バイトものデータを扱っているが、百万ドルのデータベースを構築しなくても、高速なデータアクセスを実現するにはどうすればいいかという問題で苦労した」とキムジー氏は語る。
NASDAQは膨大な量の履歴データを保有しているため、これらのデータをAmazon Web Services（AWS）に保存して利用すれば、1カ月当たり数百ドル、あるいは数千ドルという費用が掛かる。といっても、大企業の運営経費としては取るに足らない金額だ。NASDAQのサービスは既に本稼働を開始しており、ユーザーは登録することによりデータにアクセスできる。さらに詳細なデータへのアクセスが必要な場合は、NASDAQの支援を得ることができるという。
NASDAQは米Xigniteと共同で新サービスを開発した。Xigniteは金融業界向けのオンデマンドデータ製品を専門とする企業。Xigniteのマーケティングディレクター、チャス・クーパー氏は「金融企業やNASDAQのような情報処理企業は、時代に取り残されてはならないというプレッシャーを感じ始めている」と話す。
クーパー氏によると、XigniteはNASDAQが収集したデータ上で動作するWebサービスフレームワークを提供したという。同社はデータに対して実行される各種の処理を開発した。ユーザーがクエリに関する新たなアイデアを出してきた場合でも、機能を追加するのは比較的簡単だ、とクーパー氏は付け加える。「われわれはWebサービスをAPIレイヤーに提供しており、ユーザーはそこにデータアクセスレイヤーをプラグインする形になる」と同氏は説明する。
クーパー氏は、これは長期的なトレンドの一部になると考えているようだ。大量の重要な情報が一般に公開されながらも、情報に対して厳しい規制を受けている金融業界では、同氏の言う「市場データクラウド」がいずれ標準になるという。
NASDAQのキムジー氏も同じ考えだ。同氏によると、NASDAQのビジネスは情報処理から情報配信へ移行しつつあるという。
「分散保存されるデータが減少する一方で、より多くのデータが一元的リポジトリに保存されるという方向にわれわれは進んでいる」（同氏）
本稿筆者のリン・ヘイバー氏はIT記事ライター。
この記事を読んだ人にお薦めのホワイトペーパー
この記事を読んだ人にお薦めの関連記事
ITmediaはアイティメディア株式会社の登録商標です。