ネットワーク運用も委託できる点を高評価

　ソネット・メディア・ネットワークスが分析環境の見直しに着手したのは2014年4月のことだ。技術・開発部では、サーバやHadoopディストリビューションの選定とともに、同年6月からはAmazon S3からデータを取り込むための開発作業を本格化した。そして、同年8月にはシステムの本番稼働にまでこぎ着ける。

　新環境は具体的に以下のような構成となる。

システム構成図（出典：ソネット・メディア・ネットワークス）《クリックで拡大》

　まず、ログ保管先としてAmazon S3を利用することに変わりはない。ただし、自社データセンターの代替としてビットアイルのデータセンターにHadoop環境を新たに整備した。Amazon S3のデータを取り込むために、インターネットを介さないビットアイルの専用ネットワーク「ビットアイル コネクト」で接続する。ビットアイルのHadoop環境にダウンロードしたデータはカラム型データに変換され、「Cloudera Impala」や「Apache Hive」などで分析される。

　ビットアイルのデータセンターをハウジング先に選定した背景には、既にLogicadの広告出稿取引用サーバをビットアイルのデータセンターで運用してきたことがあった。

　「広告出稿取引用サーバでの高い安定性や実績を考慮すれば、この選択は必然と言えました。また、当社には専任のネットワークエンジニアがいないため、ネットワークも含めて運用をビットアイルに一任できることも見逃せないメリットです」と安田氏。また、オフィスとデータセンターが近く、HDD交換の手間などが少ないことも評価したという。

　Hadoopを構成するサーバにはデルの「PowerEdge R720xd」を採用。選択の決め手は、一筐体に12のHDDを格納でき、4TバイトのHDDを積むことで、1台当たり48Tバイトのデータを格納できたこと。さらに、背面に2.5インチのディスクを2つ接続でき、ここにOSを格納することで、HDD容量を最大限に活用できたことであった。現状では9台構成で432Tバイトのデータを格納可能だ。

　なお、Amazon EMRやAmazon Redshiftは、各種リポート出力などのために、今でも継続利用しているという。

クラウドとオンプレミスの良いとこ取りを

　環境整備に当たっては苦労も少なくなかった。

　例えばHadoop環境では、サーバが高密度化しノード間のトラフィック増が避けられない。そのため、データの転送量に対応できるネットワーク機器を導入する必要があったが、ビットアイルの基本メニューにあるものでは対応できない事態に直面した。これに対してソネット・メディア・ネットワークスは、デルから提案のあった10ギガビットイーサネット（10GbE）のL2スイッチの採用を検討。ビットアイルに利用を打診したところ、同スイッチの運用にも対応するとの返事が得られたことで、無事、問題を解決できたという。

　データ保護に関しては、喪失リスクに備えたレプリケーションが不可欠であり、Hadoopはそのための機能も備えている。ただし、既に述べたように、データの中には使われないものも多分に含まれ、単純なレプリケーションでは不要なデータも急増する可能性があった。これに対しては、データの種類によってレプリケーションの頻度を変えることで対応を図っている。

　他にも安田氏は、「システムの高密度化によって、ハウジング先で十分な電源容量を確保できないという問題にも直面しました。これは到底、われわれの手に追えるものではありません。幸いなことに、別のサーバルームを確保してもらうことで、何とか対応できましたが、こうしたビットアイルの手厚い支援を抜きに、システムのカットオーバーにまでたどり着くこと困難だったはずです」と述べる。

　システムが本番稼働を開始して以来、HDD障害こそ数回発生したものの、大きなトラブルは起きていないという。分析作業も運用に乗ることで、投入されるクエリ数は当初の月当たり200から4000～8000にまで増加。これはすなわち、分析能力の向上を通じた同社の競争力の向上を意味する。加えて、システムの運用コストも2分の1にまで圧縮し、その分、戦略投資のための予算的な余裕も確保できた。

　安田氏は、分析環境の刷新を終えた今、今後の分析環境の在り方を次のように展望する。

　「クラウドはシステムの迅速な立ち上げには非常に有効です。ただし、使い方によってはメモリやCPUなどの利用コストが、オンプレミスよりもはるかに高額になることがあります。この点を考慮すれば、クラウドとオンプレミスの“良いとこ取り”を目指すことが、IT部門が限られた予算の中で取るべきアプローチとなるはずです」

　同社がAmazon S3をログデータの格納先として継続利用しているのも、コストや信頼性の両面で優れていると判断しているからこそだ。クラウド活用に向けた試行錯誤は、今後もしばらく続くことになりそうだ。