ビッグデータのためのDWH基盤【第4回】
ビッグデータ対応のために進化するDWHアプライアンス
標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることで、DWHのボトルネックを解消するDWHアプライアンス。ビッグデータ対応が注目を浴びる今、独自技術を採用する製品が登場している。
DWHアプライアンスとは
これまでの連載で紹介してきたNoSQLデータベース(関連記事:NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ)やカラム型データベース(関連記事:列単位格納でビッグデータの高速処理を実現するカラム型データベース)は、従来の標準的なリレーショナルデータベース管理システム(RDBMS)とは違ったアーキテクチャを持つデータベース技術を用いることで、データウェアハウス(DWH)特有のボトルネックを解消するアプローチだった。それに対してDWHアプライアンスは、標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることによって、DWH特有のボトルネックを解消するアプローチといえる。
シェアードナッシングアーキテクチャによる高速化
主なDWHアプライアンス製品に採用されている高速化技術で代表的なものが、「シェアードナッシングアーキテクチャ」だ。シェアードナッシングアーキテクチャでは、CPU、メモリおよびディスクのセットが独立して並列に配置される。このため、DWHで最もボトルネックになりやすいディスクI/Oも含めて並列処理が可能となる。
| 製品名 | ベンダー | 備考 |
|---|---|---|
| Greenplum Data Computing Appliance | EMC | - |
| HP Enterprise Data Warehouse Appliance | HP | データベースとしてMicrosoft SQL Server Parallel Data Warehouse Editionを使用 |
| IBM Netezza High Capacity Appliance | IBM | - |
| Oracle Exadata Database Machine | Oracle | シェアードディスクアーキテクチャを採用 |
| Teradata Active Enterprise Data Warehouse | Teradata | - |
表に示した代表的なDWHアプライアンス製品のうち、「Oracle Exadata Database Machine」(以下、Oracle Exadata)以外は、シェアードナッシングアーキテクチャを採用している。ただし、シェアードナッシングアーキテクチャでは、障害発生時の切り替え処理が複雑になるなどの弱点があり、業務アプリケーションを実行する場合には不向きなアーキテクチャといえる。しかし、DWHに特化して使用する場合、これらの弱点よりもディスクI/Oのボトルネックを回避しつつスケールアウトできる利点が上回るため、シェアードナッシングアーキテクチャはDWHアプライアンスで用いられる代表的な高速化技術となっている。
DWHアプライアンスにおけるその他の高速化技術
Oracle Exadataは、表に示した代表的なDWHアプライアンス製品のうちで唯一、複数のサーバノードでディスクを共有する「シェアードディスクアーキテクチャ」を採用している。シェアードディスクアーキテクチャでは、ディスクI/Oのボトルネックが発生しやすいため、Oracle Exadataではディスク側でクエリを処理して該当する行と列のみをサーバに返す「Exadata Smart Scan」という技術が用いられている。
Oracle Exadataではそれ以外にも、ディスクとサーバ間のデータ転送を高速化する「InfiniBand」や、ディスクのキャッシュとしてSSD(ソリッドステートドライブ)を使用する「Smart Flash Cache」などが用いられているが、これらは業務アプリケーションを実行する場合にも有効な高速化技術といえる。そのため、Oracle ExadataはDWH専用アプライアンスというよりも、より汎用的な「OLTP兼用アプライアンス」として位置付けられる。
Oracle Exadata関連コンテンツ
ビッグデータが変えつつあるDWH基盤
本連載では、ビッグデータのためのDWH基盤のアプローチとして、NoSQLデータベース、カラム型データベース、DWHアプライアンスの3つを紹介したが、あくまで従来のDWHが格納・分析の対象とする構造化データ(定型データ)のみを取り扱うという前提で解説してきた(関連記事:読めば分かる! ビッグデータのためのデータウェアハウス(DWH)とは?)。
しかし、広義のビッグデータを対象としてDWH基盤を考える場合、非構造化(非定型)データへの対応も考慮する必要がある。また、ビッグデータの発生源としてスマートメーターなどが最近注目されている公共・公益分野では、従来のDWHにはなかったリアルタイム分析への対応も重要なポイントとなるであろう。
非構造化データへの対応
本来ビッグデータは構造化データのみを対象とするわけではない。SNSがビッグデータの1つの主要な発生源とするならば、ドキュメント、画像、動画などの非構造化(非定型)データもこれからのDWHの格納対象となっていくだろう。
その際のデータベースとして有力な選択肢となるのが、「NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ」で紹介したNoSQLデータベースである。「HBase」や「Cassandra」は、もともとGoogleやFacebookといった非構造化データが大量に発生するサービスを前提として開発されている。つまり、カラムの値としてバイナリデータを格納することは標準的な機能となっている。
また、NoSQLデータベースには、「MongoDB」に代表されるドキュメント指向データベースというカテゴリも存在する。MongoDBでは格納されたデータに対して値による検索も可能となっており、例えば全文検索などといった機能も簡単に実現できる。
リアルタイム分析への対応
従来のDWHは、定期的な大量データのロードとユーザー要求による検索・分析処理の実行が一般的だった。しかし、一般家庭で消費した電力量データをリアルタイムで送信するスマートメーターをソースデータとするような場合、DWHには大量データを逐次ロードし、リアルタイムに分析することが求められる。
このようなリアルタイム分析の分野で注目されている高速化技術が、「インメモリデータベース」である。インメモリデータベース(オンメモリデータベースとも呼ぶ)は、データベースをメモリ上に常駐させることにより、データ更新・検索速度を飛躍的に向上させる技術であり、主に高速なOLTP処理を求められるシステムに採用されてきた。
DWHの分野では、メモリ上に常駐させるデータ量の大きさがコスト高を招くため、これまでは積極的には採用されていなかったが、最近になって、大量データのリアルタイム分析を目的としたインメモリデータベースのアプライアンス製品が登場している。「SAP HANA」や「Oracle Exalytics」が代表的な製品といえるが、これらの製品は、1Tバイトないし2Tバイトのメモリを搭載している。
平井明夫
株式会社アイエイエフコンサルティング
マーケティング部 マーケティングディレクター
日本DEC(現日本ヒューレット・パッカード)、コグノス(現日本アイ・ビー・エム)、日本オラクルを経て、現在はアイエイエフコンサルティングに在籍。一貫してソフトウェア製品の開発、マーケティング、導入コンサルティングを歴任。特に、DWH、BIを得意分野とする。現在はBI技術の啓蒙のため、講演・執筆に積極的に取り組んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
ビッグデータのためのDWH基盤
この記事の著者
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「データストレージの活用方法」に関するアンケート
-
4
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
5
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
6
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
7
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
-
8
レガシー基幹システムをSAPに統合 山善が突き止めた「標準化と個別最適」の境界線
-
9
AI完全自律化はわずか9% 日本は「進化に追い付けない経営陣」が足かせに
-
10
LLMの「過学習」、正しく説明している文章はどれ?
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー