事前に必要なコンピューティングリソースが分からない。そんな要件に悩んでいたあるスタートアップ企業。Amazon EC2やAzureでも解決しなかった課題をどうやってクリアしたのか?
企業Webサイトの監査サービス「seopler.com」を提供しているExpert Digital Marketingは、新興企業がクラウドでビジネスを行う際に直面する、請求とサポートにまつわる課題をどのように解決したのか。
本記事は、プレミアムコンテンツ「Computer Weekly日本語版 4月6日号」(PDF)掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。
なお、同コンテンツのEPUB版およびKindle(MOBI)版も提供しています。
ダブリンを拠点とする同社のサービスは、Nissan Irelandなどの企業に利用されている。同サービスは、Webサイトクロールソフトウェア(クローラー)を使って、機能しないリンク、サイトリダイレクト、無効なHTMLマークアップなど、検索エンジンのランク付けに悪影響を及ぼす恐れのある要素を見つけ出す。サイトのクロールが完了すると、検索エンジン最適化(SEO)を改善するために取るべき措置についてのアドバイスを記載したPDFを生成してユーザーに送信する。
クロールに必要なコンピューティングリソースは、対象Webサイトのサイズとページ数によって変わる。同社がクローラーをクラウドで運用することに決めた理由の1つはここにある。
顧客から依頼を受けた際、対象Webサイトの規模を事前に詳しく知らされることはほとんどない。これが、クロールに必要な処理能力の把握を困難にしている。
「クロールするWebサイトの規模が大きくなるほど、多くのデータを収集することになる。当社はデータベースエンジンの『SQLite』をインメモリに保持して、Webサイトのデータ収集を高速化している」とExpert Digital MarketingのCEO、グラハム・オシェイ氏はComputer Weeklyのインタビューに答えた。
このプロセスは、時間が最も重要な要素になる。クロールを長時間行えば、監査中のWebサイトに影響が生じる可能性が高くなる。
2015年に同社を設立するまで、オシェイ氏はクローラーの実行に適切したIaaSプラットフォームの調査を続けた。最初に選択したのは「Amazon Elastic Compute Cloud」(EC2)だった。
だが、クローラーが実行する作業の規模を予測できないことで、コストとリソースプロビジョニングに予想外の問題が発生した。
「Amazon EC2で問題になったのは、クロールを行う前にコストとリソースを指定しなくてはならないことだ。100万ページもあるWebサイトでは、8GBのメモリと50G〜60GBのHDDを搭載したEC2仮想マシンを事前に確保する必要がある」と同氏は語る。
「最初は非常に安上がりだと思ったが、届いた請求書を見ると、長期間使用を続けると追加料金が必要になることが分かった」
「また、顧客のWebサイトのことが分かっているわけではない。顧客と契約する時点では、サイトの実際の規模は把握できない。顧客ごとにサイトの規模を調べていたのではコストが非常に高くなる。『Microsoft Azure』でも試してみたが同じことだった」
同社がこうした課題に取り組んでいるとき、「Web Summit Conference」(2015年11月3日にダブリンで開催されたイベント)でソフトウェアのデモを行うという新たなプレッシャーが持ち上がった。
本記事は抄訳版です。全文は、以下でダウンロード(無料)できます。
■Computer Weekly日本語版 最近のバックナンバー
Computer Weekly日本語版 3月16日号:Microsoftが米国政府と全面対決
Computer Weekly日本語版 3月2日号:ストレージ階層化活用の勘所
Computer Weekly日本語版 2月17日号:ストレージアーキテクチャ二番勝負
次世代生成AIで優位に立つのはMeta? Google? それともマスク氏のあの会社?
生成AI時代において、データは新たな金と言える。より人間らしい反応ができるようになる...
GoogleからTikTokへ 「検索」の主役が交代する日(無料eBook)
若年層はGoogle検索ではなくTikTokやInstagramを使って商品を探す傾向が強まっているとい...
B2B企業の市場開拓で検討すべきプロセスを定義 デジタルマーケティング研究機構がモデル公開
日本アドバタイザーズ協会 デジタルマーケティング研究機構は、B2B企業が新製品やサービ...