ビッグデータのためのDWH基盤【第4回】
ビッグデータ対応のために進化するDWHアプライアンス
標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることで、DWHのボトルネックを解消するDWHアプライアンス。ビッグデータ対応が注目を浴びる今、独自技術を採用する製品が登場している。
DWHアプライアンスとは
これまでの連載で紹介してきたNoSQLデータベース(関連記事:NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ)やカラム型データベース(関連記事:列単位格納でビッグデータの高速処理を実現するカラム型データベース)は、従来の標準的なリレーショナルデータベース管理システム(RDBMS)とは違ったアーキテクチャを持つデータベース技術を用いることで、データウェアハウス(DWH)特有のボトルネックを解消するアプローチだった。それに対してDWHアプライアンスは、標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることによって、DWH特有のボトルネックを解消するアプローチといえる。
シェアードナッシングアーキテクチャによる高速化
主なDWHアプライアンス製品に採用されている高速化技術で代表的なものが、「シェアードナッシングアーキテクチャ」だ。シェアードナッシングアーキテクチャでは、CPU、メモリおよびディスクのセットが独立して並列に配置される。このため、DWHで最もボトルネックになりやすいディスクI/Oも含めて並列処理が可能となる。
| 製品名 | ベンダー | 備考 |
|---|---|---|
| Greenplum Data Computing Appliance | EMC | - |
| HP Enterprise Data Warehouse Appliance | HP | データベースとしてMicrosoft SQL Server Parallel Data Warehouse Editionを使用 |
| IBM Netezza High Capacity Appliance | IBM | - |
| Oracle Exadata Database Machine | Oracle | シェアードディスクアーキテクチャを採用 |
| Teradata Active Enterprise Data Warehouse | Teradata | - |
表に示した代表的なDWHアプライアンス製品のうち、「Oracle Exadata Database Machine」(以下、Oracle Exadata)以外は、シェアードナッシングアーキテクチャを採用している。ただし、シェアードナッシングアーキテクチャでは、障害発生時の切り替え処理が複雑になるなどの弱点があり、業務アプリケーションを実行する場合には不向きなアーキテクチャといえる。しかし、DWHに特化して使用する場合、これらの弱点よりもディスクI/Oのボトルネックを回避しつつスケールアウトできる利点が上回るため、シェアードナッシングアーキテクチャはDWHアプライアンスで用いられる代表的な高速化技術となっている。
DWHアプライアンスにおけるその他の高速化技術
Oracle Exadataは、表に示した代表的なDWHアプライアンス製品のうちで唯一、複数のサーバノードでディスクを共有する「シェアードディスクアーキテクチャ」を採用している。シェアードディスクアーキテクチャでは、ディスクI/Oのボトルネックが発生しやすいため、Oracle Exadataではディスク側でクエリを処理して該当する行と列のみをサーバに返す「Exadata Smart Scan」という技術が用いられている。
Oracle Exadataではそれ以外にも、ディスクとサーバ間のデータ転送を高速化する「InfiniBand」や、ディスクのキャッシュとしてSSD(ソリッドステートドライブ)を使用する「Smart Flash Cache」などが用いられているが、これらは業務アプリケーションを実行する場合にも有効な高速化技術といえる。そのため、Oracle ExadataはDWH専用アプライアンスというよりも、より汎用的な「OLTP兼用アプライアンス」として位置付けられる。
Oracle Exadata関連コンテンツ
ビッグデータが変えつつあるDWH基盤
本連載では、ビッグデータのためのDWH基盤のアプローチとして、NoSQLデータベース、カラム型データベース、DWHアプライアンスの3つを紹介したが、あくまで従来のDWHが格納・分析の対象とする構造化データ(定型データ)のみを取り扱うという前提で解説してきた(関連記事:読めば分かる! ビッグデータのためのデータウェアハウス(DWH)とは?)。
しかし、広義のビッグデータを対象としてDWH基盤を考える場合、非構造化(非定型)データへの対応も考慮する必要がある。また、ビッグデータの発生源としてスマートメーターなどが最近注目されている公共・公益分野では、従来のDWHにはなかったリアルタイム分析への対応も重要なポイントとなるであろう。
非構造化データへの対応
本来ビッグデータは構造化データのみを対象とするわけではない。SNSがビッグデータの1つの主要な発生源とするならば、ドキュメント、画像、動画などの非構造化(非定型)データもこれからのDWHの格納対象となっていくだろう。
その際のデータベースとして有力な選択肢となるのが、「NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ」で紹介したNoSQLデータベースである。「HBase」や「Cassandra」は、もともとGoogleやFacebookといった非構造化データが大量に発生するサービスを前提として開発されている。つまり、カラムの値としてバイナリデータを格納することは標準的な機能となっている。
また、NoSQLデータベースには、「MongoDB」に代表されるドキュメント指向データベースというカテゴリも存在する。MongoDBでは格納されたデータに対して値による検索も可能となっており、例えば全文検索などといった機能も簡単に実現できる。
リアルタイム分析への対応
従来のDWHは、定期的な大量データのロードとユーザー要求による検索・分析処理の実行が一般的だった。しかし、一般家庭で消費した電力量データをリアルタイムで送信するスマートメーターをソースデータとするような場合、DWHには大量データを逐次ロードし、リアルタイムに分析することが求められる。
このようなリアルタイム分析の分野で注目されている高速化技術が、「インメモリデータベース」である。インメモリデータベース(オンメモリデータベースとも呼ぶ)は、データベースをメモリ上に常駐させることにより、データ更新・検索速度を飛躍的に向上させる技術であり、主に高速なOLTP処理を求められるシステムに採用されてきた。
DWHの分野では、メモリ上に常駐させるデータ量の大きさがコスト高を招くため、これまでは積極的には採用されていなかったが、最近になって、大量データのリアルタイム分析を目的としたインメモリデータベースのアプライアンス製品が登場している。「SAP HANA」や「Oracle Exalytics」が代表的な製品といえるが、これらの製品は、1Tバイトないし2Tバイトのメモリを搭載している。
平井明夫
株式会社アイエイエフコンサルティング
マーケティング部 マーケティングディレクター
日本DEC(現日本ヒューレット・パッカード)、コグノス(現日本アイ・ビー・エム)、日本オラクルを経て、現在はアイエイエフコンサルティングに在籍。一貫してソフトウェア製品の開発、マーケティング、導入コンサルティングを歴任。特に、DWH、BIを得意分野とする。現在はBI技術の啓蒙のため、講演・執筆に積極的に取り組んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
ビッグデータのためのDWH基盤
この記事の著者
新着ホワイトペーパー PR
-
事例
[株式会社キーエンス] PCが苦手でも自動化できる ポポラマーマなど4事例に学ぶ「ナビ搭載型RPA」活用 -
製品資料
[株式会社クレオ] IT部門を“価値創造組織”へ転換 IT管理プロセスの改革で戦略的リソースを確保 -
製品資料
[株式会社クレオ] Excel管理が限界に――ITサービス管理の脱・属人化と運用高度化を実現する方法 -
製品資料
[株式会社クレオ] 西武グループやイオングループも実践 事例に学ぶ「ITサービスデスク業務」改善 -
製品レビュー
[株式会社クレオ] 「使われないITシステム」から脱却 現場が求める業務改善を実現する方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
生成AIが普及しても「技術書」を手放せないエンジニアの本音
-
2
IT製品の導入に関するアンケート「サーバ&ストレージ」編
-
3
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
4
世界PC出荷数が20%急減 情シスを直撃するPC先行調達の反動と価格高騰
-
5
326のIPアドレスで1200超のアクセス AIエージェント関与が疑われる攻撃の中身
-
6
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
7
「企業におけるAI導入検討度とIT投資優先度」に関するアンケート
-
8
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
9
IT業界の女性は9割が10年で消える 人材枯渇を招く“見えない壁”の正体
-
10
「企業内サーバ環境の利用実態」に関するアンケート
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
3
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
6
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
7
東大教授と考える、AI時代の「データ主権」「信頼性」「ガバナンス」の在り方
-
8
Linux初心者でも知らないとまずい「RHEL」「SLES」の違いとは?
-
9
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
10
ランサムウェア攻撃“究極の対策”はこれだ
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー