ログとイベントデータはアプリDBと分離せよ
賢いログ管理で、SQL Serverのパフォーマンスを改善
大規模なアプリケーションを支えるデータベースは、ログやイベントデータが多くのトラフィックを占める。こうしたデータ量増大にも耐えられるデータベースを構築するにはどのような仕組みが最適か。
Webサイトやアプリケーションのバックエンドデータベースが大規模になり、使用率が上がったら、膨大なトラフィックでアプリケーションが使用不能になるかもしれない。アプリケーションアーキテクトと開発者は、そうなる前に、データベースのスケーリング方法を迅速に見いだす必要がある。
データベースのパフォーマンスに関する記事
アプリケーションが使用不能になることを防ぐ最良の方法の1つは、最初から大規模化を想定し、全てを単一のデータベースに保存しないようにすることだ。データを複数の論理的なグループに分類し、機能別に分離したデータベースにそれらを保存することで、将来の拡張がより容易に行えるようになる。
適切に設計されたアプリケーションは、エラーを処理し、ユーザーにエラーを表示するだけでなく、エラーログをデータベースに記録することもできるはずだ。また、現在では多くのWebサイトが、訪問者がどのようにWebサイトを使うか(何をクリックするかなど)を追跡している。このため、アプリケーションがデータベースに保存しなければならないイベントがたくさんある。
これらのことから、大規模で使用率の高いアプリケーションでは、データベースに何百万行ものデータがどんどん蓄積されていく可能性がある。
ビジネス用のアプリケーションは、こうしたイベントデータやログデータをアプリケーションの稼働を支えるデータベースに保存していることが多く、データベースの大規模化の大きな要因となっている。こうしたデータの保存は、データベースをホストしメンテナンスするために必要なコストを増大させてしまう。
ログデータやイベントデータと、データベースアプリケーションで使われるデータとを分離すれば、以下のようなメリットが得られる。
- 使用率が上がりすぎてデータベースサーバがワークロードを処理できなくなった場合、ログデータベースを別のサーバに移せる。また、ログデータベースを複数のサーバに置けば、ワークロードをさらに分散できる。
- このデータ分離アーキテクチャによって、ログデータやイベントデータを中央のデータウェアハウスに移動することや、ログデータベースから定期的にデータを削除することが容易になる。
- データを分離しておけば、アプリケーションデータベースの規模を抑えることができる。これによって関連する管理作業だけでなく、開発環境やQA(品質保証)環境、ステージング環境へのデータコピーが容易になる。
- データベースの使用率が上がると、アプリケーションは、ビジーサーバで発生するタイムアウトなどの問題によって、多くのエラーログを残す傾向がある。ログデータがアプリケーションで使われるデータと同じデータベースに保存されている場合、アプリケーションがエラーログを残すと、サーバの負荷をさらに増やし、問題を悪化させる恐れがある。だが、データ分離アーキテクチャを採用すれば、こうした事態を避けられる。
- ログデータベースを独立したサーバで動かしている場合、SQL ServerのStandard Editionが使えるかもしれない。アプリケーションのバックエンドデータベースに要求されるような高い可用性は必要ないことが多いからだ。
このアーキテクチャによるイベントログ管理のアプローチでは、複数のアプリケーションのログデータを1カ所に集約できる。アプリケーションが記録したログデータを、複数の場所にアクセスして分析するのではなく、中央の1カ所にログインして分析することが可能だ。
私は、複数の安価なロギングサーバを運用し、それらから毎日、データウェアハウスにデータを取り込む方式が気に入っている。このアーキテクチャでは、ロギングサーバを簡単に追加できる他、このロギングフレームワークを使用するアプリケーションの接続文字列を変更するだけで、ロギング先をあるサーバから別のサーバに切り替えることも選択できる。
ログデータのタイプごとに多様なデータを記録する必要があるかもしれないため、最初はデータの一部をXMLドキュメントとして保存するとよいだろう。そうすれば、データをデータウェアハウスに移動する際に、イベントタイプに基づいてXMLノードを解析し、クエリとレポーティングが容易なリレーショナルテーブルにデータを抽出できる。
エラーログを記録するための書き込みコードは既存のものが利用できるため、最初から作り直す必要はない。幾つかのオープンソースのライブラリが公開されており、ダウンロードして自社のソリューションに統合できる。その一例としてLog4Netがある。Log4Netは、ロギングフレームワークであるApache log4jから移植された.NETライブラリだ。非常に使いやすいライブラリであり、良い出発点になる。そのまま使えるし、独自のコードで拡張して自社のロギング要件に対応させることもできる。
自分の経験を踏まえ、最初からデータの廃棄方針を立てておくこともお勧めする。大量のデータを記録していると、Tバイト規模のログデータがどんどん蓄積され、管理や廃棄が難しい状況に陥るかもしれない。
1つの解決策は、イベントを分類し、各タイプのログデータの保存期間を決め、定義したしきい値を基に、保存期間が終了した行を削除するという廃棄作業だ。場合によっては、データの集計値(例えば、ボタンが1日当たり何回クリックされたか、データベースのタイムアウトが特定の時間帯に何回発生したかなど)だけを保存すればよい。
ログおよびイベントデータを分離するアーキテクチャは、負荷分散、リポーティングの集中管理、高可用性要件の簡素化などのメリットをもたらす。以上のステップを実践することで、SQL Serverデータベースのパフォーマンスが改善されるだろう。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
製品資料
[株式会社MatrixFlow] 「物流リソース最適化」ガイド:人員・配車・傭車を出庫依頼の確定前に決めきる -
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か? PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える? 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
2
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
3
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
4
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
5
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
6
「IBM iはDXのボトルネック」は誤解 意外と知らない今風モダナイズの効果
-
7
「朝8時にバッチが終わらない」データ爆発の危機をJPX総研はどう乗り越えたか
-
8
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
9
「中堅・中小企業のネットワーク・セキュリティ運用実態」に関するアンケート
-
10
AI導入後に発覚する「社内文書を読めない」問題 情シスは何を直せばいい?
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
5
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
6
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
7
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
-
9
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
10
“あのファイル転送”で暗躍するノーウェアランサム
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー