ビッグデータのためのDWH基盤【第4回】
ビッグデータ対応のために進化するDWHアプライアンス
標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることで、DWHのボトルネックを解消するDWHアプライアンス。ビッグデータ対応が注目を浴びる今、独自技術を採用する製品が登場している。
DWHアプライアンスとは
これまでの連載で紹介してきたNoSQLデータベース(関連記事:NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ)やカラム型データベース(関連記事:列単位格納でビッグデータの高速処理を実現するカラム型データベース)は、従来の標準的なリレーショナルデータベース管理システム(RDBMS)とは違ったアーキテクチャを持つデータベース技術を用いることで、データウェアハウス(DWH)特有のボトルネックを解消するアプローチだった。それに対してDWHアプライアンスは、標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることによって、DWH特有のボトルネックを解消するアプローチといえる。
シェアードナッシングアーキテクチャによる高速化
主なDWHアプライアンス製品に採用されている高速化技術で代表的なものが、「シェアードナッシングアーキテクチャ」だ。シェアードナッシングアーキテクチャでは、CPU、メモリおよびディスクのセットが独立して並列に配置される。このため、DWHで最もボトルネックになりやすいディスクI/Oも含めて並列処理が可能となる。
| 製品名 | ベンダー | 備考 |
|---|---|---|
| Greenplum Data Computing Appliance | EMC | - |
| HP Enterprise Data Warehouse Appliance | HP | データベースとしてMicrosoft SQL Server Parallel Data Warehouse Editionを使用 |
| IBM Netezza High Capacity Appliance | IBM | - |
| Oracle Exadata Database Machine | Oracle | シェアードディスクアーキテクチャを採用 |
| Teradata Active Enterprise Data Warehouse | Teradata | - |
表に示した代表的なDWHアプライアンス製品のうち、「Oracle Exadata Database Machine」(以下、Oracle Exadata)以外は、シェアードナッシングアーキテクチャを採用している。ただし、シェアードナッシングアーキテクチャでは、障害発生時の切り替え処理が複雑になるなどの弱点があり、業務アプリケーションを実行する場合には不向きなアーキテクチャといえる。しかし、DWHに特化して使用する場合、これらの弱点よりもディスクI/Oのボトルネックを回避しつつスケールアウトできる利点が上回るため、シェアードナッシングアーキテクチャはDWHアプライアンスで用いられる代表的な高速化技術となっている。
DWHアプライアンスにおけるその他の高速化技術
Oracle Exadataは、表に示した代表的なDWHアプライアンス製品のうちで唯一、複数のサーバノードでディスクを共有する「シェアードディスクアーキテクチャ」を採用している。シェアードディスクアーキテクチャでは、ディスクI/Oのボトルネックが発生しやすいため、Oracle Exadataではディスク側でクエリを処理して該当する行と列のみをサーバに返す「Exadata Smart Scan」という技術が用いられている。
Oracle Exadataではそれ以外にも、ディスクとサーバ間のデータ転送を高速化する「InfiniBand」や、ディスクのキャッシュとしてSSD(ソリッドステートドライブ)を使用する「Smart Flash Cache」などが用いられているが、これらは業務アプリケーションを実行する場合にも有効な高速化技術といえる。そのため、Oracle ExadataはDWH専用アプライアンスというよりも、より汎用的な「OLTP兼用アプライアンス」として位置付けられる。
Oracle Exadata関連コンテンツ
ビッグデータが変えつつあるDWH基盤
本連載では、ビッグデータのためのDWH基盤のアプローチとして、NoSQLデータベース、カラム型データベース、DWHアプライアンスの3つを紹介したが、あくまで従来のDWHが格納・分析の対象とする構造化データ(定型データ)のみを取り扱うという前提で解説してきた(関連記事:読めば分かる! ビッグデータのためのデータウェアハウス(DWH)とは?)。
しかし、広義のビッグデータを対象としてDWH基盤を考える場合、非構造化(非定型)データへの対応も考慮する必要がある。また、ビッグデータの発生源としてスマートメーターなどが最近注目されている公共・公益分野では、従来のDWHにはなかったリアルタイム分析への対応も重要なポイントとなるであろう。
非構造化データへの対応
本来ビッグデータは構造化データのみを対象とするわけではない。SNSがビッグデータの1つの主要な発生源とするならば、ドキュメント、画像、動画などの非構造化(非定型)データもこれからのDWHの格納対象となっていくだろう。
その際のデータベースとして有力な選択肢となるのが、「NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ」で紹介したNoSQLデータベースである。「HBase」や「Cassandra」は、もともとGoogleやFacebookといった非構造化データが大量に発生するサービスを前提として開発されている。つまり、カラムの値としてバイナリデータを格納することは標準的な機能となっている。
また、NoSQLデータベースには、「MongoDB」に代表されるドキュメント指向データベースというカテゴリも存在する。MongoDBでは格納されたデータに対して値による検索も可能となっており、例えば全文検索などといった機能も簡単に実現できる。
リアルタイム分析への対応
従来のDWHは、定期的な大量データのロードとユーザー要求による検索・分析処理の実行が一般的だった。しかし、一般家庭で消費した電力量データをリアルタイムで送信するスマートメーターをソースデータとするような場合、DWHには大量データを逐次ロードし、リアルタイムに分析することが求められる。
このようなリアルタイム分析の分野で注目されている高速化技術が、「インメモリデータベース」である。インメモリデータベース(オンメモリデータベースとも呼ぶ)は、データベースをメモリ上に常駐させることにより、データ更新・検索速度を飛躍的に向上させる技術であり、主に高速なOLTP処理を求められるシステムに採用されてきた。
DWHの分野では、メモリ上に常駐させるデータ量の大きさがコスト高を招くため、これまでは積極的には採用されていなかったが、最近になって、大量データのリアルタイム分析を目的としたインメモリデータベースのアプライアンス製品が登場している。「SAP HANA」や「Oracle Exalytics」が代表的な製品といえるが、これらの製品は、1Tバイトないし2Tバイトのメモリを搭載している。
平井明夫
株式会社アイエイエフコンサルティング
マーケティング部 マーケティングディレクター
日本DEC(現日本ヒューレット・パッカード)、コグノス(現日本アイ・ビー・エム)、日本オラクルを経て、現在はアイエイエフコンサルティングに在籍。一貫してソフトウェア製品の開発、マーケティング、導入コンサルティングを歴任。特に、DWH、BIを得意分野とする。現在はBI技術の啓蒙のため、講演・執筆に積極的に取り組んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
ビッグデータのためのDWH基盤
この記事の著者
新着ホワイトペーパー PR
-
製品資料
[株式会社MatrixFlow] 「物流リソース最適化」ガイド:人員・配車・傭車を出庫依頼の確定前に決めきる -
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か? PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える? 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
4
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
5
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
6
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
7
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
8
「Wi-Fi 7」経由でWindowsが乗っ取られる? 最高権限奪取の恐怖
-
9
「結局使わなくなる」Microsoft 365 Copilotを半年で定着 キリンの3施策
-
10
「中堅・中小企業のネットワーク・セキュリティ運用実態」に関するアンケート
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない? 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー