システム障害は起こさない！　バッチ処理を最適化する3つのホワイトペーパー：ホワイトペーパーレビュー

基幹システムで一般的に行われているバッチ処理。失敗すると大規模なシステム障害につながりかねない。バッチ処理の課題と解決策が分かるホワイトペーパーを紹介する。

≫ 2011年07月04日 09時00分公開

[垣内郁栄，TechTargetジャパン]

　基幹システムでは売り上げデータや在庫データなどさまざまなデータを一定期間ごとにまとめて処理するバッチ処理が欠かせない。最近では、BI（ビジネスインテリジェンス）の利用が増えていて、BIで分析するために大量のデータをバッチ処理するというケースもある。しかし、多くの企業はそのバッチ処理に悩んでいる。2011年3月には、みずほ銀行で勘定系システムの夜間バッチ処理が予定時間に終わらず、大規模なシステム障害が発生した。日常的に行われているバッチ処理だが、企業の基幹システムにとっては失敗が許されないミッションクリティカルな作業といえる。バッチ処理の課題とその解決策が分かるホワイトペーパーを紹介しよう。

ERPのトレンドが分かるホワイトペーパーレビュー

ハードウェアだけでは解決しないバッチ処理問題

「そのバッチジョブ大丈夫？　大規模アプリのデータ量はわずか1年で1.5倍に！」

提供：アシスト、ページ数：6

　バッチ処理を難しくしている要因の1つは増え続けるデータだ。企業のストレージには、ERPなどの業務アプリケーションが出力するデータだけではなく、電子メールデータやログデータ、そして画像や動画などの非構造データまで、大量で多様なデータが蓄積される。

　このホワイトペーパーは「大規模アプリケーションのデータは1年で平均1.5倍に膨れあがる」という調査結果を紹介し、適切な対処が必要なことを指摘している。特に問題になるのはバッチ処理に時間がかかってしまい、他の業務に影響が出ることだ。バッチ処理の速度を上げるには処理するサーバを高パフォーマンスな最新サーバにリプレースすることが真っ先に思い付く。プロセッサは日進月歩で進化していてその性能は数年で2倍以上になる。

　しかし、プロセッサの計算処理能力が2倍になってもバッチ処理システム全体の速度は2倍にはならない。サーバとストレージ間のI/Oやアプリケーション性能が変わらないためだ。ホワイトペーパーでは「実行時間と処理するデータ量はリニアな関係ではない」と指摘。「データ量が2倍になれば、2倍以上の処理時間が必要になる。また、CPUの数を2倍に増やしても、スループットは2倍にはならない」としている。

　バッチ処理を予定時間内に確実に終えるためにはハードウェアの強化だけではなく、アプリケーションを含めた総合的な対策が必要になるといえるだろう。このホワイトペーパーではデータ加工ユーティリティ「Syncsort DMExpress」を紹介。バッチ処理時間を短縮できた事例も解説している。

バッチ処理の分散化、並列化

「グリッドバッチソリューションのご紹介」

提供：日立製作所、ページ数：52

　このホワイトペーパーでは基幹システムのバッチ処理について、処理速度の低下、データ容量の増大、IT投資削減圧力などの課題に直面していると説明する。これを解決するために提供するのが「グリッドバッチソリューション」。その手法は、バッチ処理の分散化、並列化だ。従来のバッチシステムでは1つのサーバでバッチ処理を行ってきた。しかし、サーバが低価格になり、ネットワーク回線も高速になった。インメモリ技術など新しい手法も開発されている。これらの最新技術を生かすことでバッチ処理の問題を解決できるという。

　グリッドバッチソリューションでは、バッチ処理を分散化し、複数のサーバを並列化して処理できる。これによってバッチ処理の高速化を実現する。メインフレームなどの高価なホストコンピュータではなく、安価なx86サーバを使うことで、IT投資の抑制にも寄与するという。また、データを複数サーバで分散して処理するため、仮に1台のサーバに障害が発生してもデータ損失の被害を最少にできるとしている。

　このホワイトペーパーでは大規模データの分散処理で知られるフレームワーク「Hadoop」についても解説し、グリッドバッチソリューションとの違いを説明している。

並列分散処理関連の記事

大量データの高速処理化が進むDWH、積極化するユーザー企業の投資意欲

専用高速アプライアンスでバッチ処理

「30時間の処理が21分に！　実環境で検証された高速マシンによる基幹業務の速度アップ」

提供：日本オラクル、ページ数：4

　これまで月次で行っていたバッチ処理を週次、もしくは日次に変えることでビジネスも変わる。月次のバッチ処理では1カ月たたないとビジネスの状況を分析できないが、日次の処理ならほぼリアルタイムでビジネスの状況を分析し、次の手を打つことができるからだ。このビジネスのリアルタイム化に注目し、戦略的な投資を行う企業も増えてきた。

　ここで紹介するホワイトペーパーでは、データベースとストレージ、ネットワークなどを最適化した上で統合した高性能なデータウェアハウス（DWH）用アプライアンス「Oracle Exadata」を紹介している。Oracle ExadataはBIやDWHだけでなく、基幹システムのトランザクション処理も高速化する。これまで4時間かかっていた取引データの加工集計バッチ処理がOracle Exadataを使うことで10分に短縮されたことなどを紹介している。

　高パフォーマンスを追求し、ハードウェアやソフトウェアを組み合わせてアプライアンスとして提供する例は他のベンダーでも増えてきた。企業が扱うデータ量は今後も増大が予測されるだけに、基幹システムにおける高速専用アプライアンスの利用は増えるだろう。