ビッグデータのためのDWH基盤【第4回】
ビッグデータ対応のために進化するDWHアプライアンス
標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることで、DWHのボトルネックを解消するDWHアプライアンス。ビッグデータ対応が注目を浴びる今、独自技術を採用する製品が登場している。
DWHアプライアンスとは
これまでの連載で紹介してきたNoSQLデータベース(関連記事:NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ)やカラム型データベース(関連記事:列単位格納でビッグデータの高速処理を実現するカラム型データベース)は、従来の標準的なリレーショナルデータベース管理システム(RDBMS)とは違ったアーキテクチャを持つデータベース技術を用いることで、データウェアハウス(DWH)特有のボトルネックを解消するアプローチだった。それに対してDWHアプライアンスは、標準的なRDBMSとハードウェアレベルでの高速化技術を組み合わせることによって、DWH特有のボトルネックを解消するアプローチといえる。
シェアードナッシングアーキテクチャによる高速化
主なDWHアプライアンス製品に採用されている高速化技術で代表的なものが、「シェアードナッシングアーキテクチャ」だ。シェアードナッシングアーキテクチャでは、CPU、メモリおよびディスクのセットが独立して並列に配置される。このため、DWHで最もボトルネックになりやすいディスクI/Oも含めて並列処理が可能となる。
| 製品名 | ベンダー | 備考 |
|---|---|---|
| Greenplum Data Computing Appliance | EMC | - |
| HP Enterprise Data Warehouse Appliance | HP | データベースとしてMicrosoft SQL Server Parallel Data Warehouse Editionを使用 |
| IBM Netezza High Capacity Appliance | IBM | - |
| Oracle Exadata Database Machine | Oracle | シェアードディスクアーキテクチャを採用 |
| Teradata Active Enterprise Data Warehouse | Teradata | - |
表に示した代表的なDWHアプライアンス製品のうち、「Oracle Exadata Database Machine」(以下、Oracle Exadata)以外は、シェアードナッシングアーキテクチャを採用している。ただし、シェアードナッシングアーキテクチャでは、障害発生時の切り替え処理が複雑になるなどの弱点があり、業務アプリケーションを実行する場合には不向きなアーキテクチャといえる。しかし、DWHに特化して使用する場合、これらの弱点よりもディスクI/Oのボトルネックを回避しつつスケールアウトできる利点が上回るため、シェアードナッシングアーキテクチャはDWHアプライアンスで用いられる代表的な高速化技術となっている。
DWHアプライアンスにおけるその他の高速化技術
Oracle Exadataは、表に示した代表的なDWHアプライアンス製品のうちで唯一、複数のサーバノードでディスクを共有する「シェアードディスクアーキテクチャ」を採用している。シェアードディスクアーキテクチャでは、ディスクI/Oのボトルネックが発生しやすいため、Oracle Exadataではディスク側でクエリを処理して該当する行と列のみをサーバに返す「Exadata Smart Scan」という技術が用いられている。
Oracle Exadataではそれ以外にも、ディスクとサーバ間のデータ転送を高速化する「InfiniBand」や、ディスクのキャッシュとしてSSD(ソリッドステートドライブ)を使用する「Smart Flash Cache」などが用いられているが、これらは業務アプリケーションを実行する場合にも有効な高速化技術といえる。そのため、Oracle ExadataはDWH専用アプライアンスというよりも、より汎用的な「OLTP兼用アプライアンス」として位置付けられる。
Oracle Exadata関連コンテンツ
ビッグデータが変えつつあるDWH基盤
本連載では、ビッグデータのためのDWH基盤のアプローチとして、NoSQLデータベース、カラム型データベース、DWHアプライアンスの3つを紹介したが、あくまで従来のDWHが格納・分析の対象とする構造化データ(定型データ)のみを取り扱うという前提で解説してきた(関連記事:読めば分かる! ビッグデータのためのデータウェアハウス(DWH)とは?)。
しかし、広義のビッグデータを対象としてDWH基盤を考える場合、非構造化(非定型)データへの対応も考慮する必要がある。また、ビッグデータの発生源としてスマートメーターなどが最近注目されている公共・公益分野では、従来のDWHにはなかったリアルタイム分析への対応も重要なポイントとなるであろう。
非構造化データへの対応
本来ビッグデータは構造化データのみを対象とするわけではない。SNSがビッグデータの1つの主要な発生源とするならば、ドキュメント、画像、動画などの非構造化(非定型)データもこれからのDWHの格納対象となっていくだろう。
その際のデータベースとして有力な選択肢となるのが、「NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ」で紹介したNoSQLデータベースである。「HBase」や「Cassandra」は、もともとGoogleやFacebookといった非構造化データが大量に発生するサービスを前提として開発されている。つまり、カラムの値としてバイナリデータを格納することは標準的な機能となっている。
また、NoSQLデータベースには、「MongoDB」に代表されるドキュメント指向データベースというカテゴリも存在する。MongoDBでは格納されたデータに対して値による検索も可能となっており、例えば全文検索などといった機能も簡単に実現できる。
リアルタイム分析への対応
従来のDWHは、定期的な大量データのロードとユーザー要求による検索・分析処理の実行が一般的だった。しかし、一般家庭で消費した電力量データをリアルタイムで送信するスマートメーターをソースデータとするような場合、DWHには大量データを逐次ロードし、リアルタイムに分析することが求められる。
このようなリアルタイム分析の分野で注目されている高速化技術が、「インメモリデータベース」である。インメモリデータベース(オンメモリデータベースとも呼ぶ)は、データベースをメモリ上に常駐させることにより、データ更新・検索速度を飛躍的に向上させる技術であり、主に高速なOLTP処理を求められるシステムに採用されてきた。
DWHの分野では、メモリ上に常駐させるデータ量の大きさがコスト高を招くため、これまでは積極的には採用されていなかったが、最近になって、大量データのリアルタイム分析を目的としたインメモリデータベースのアプライアンス製品が登場している。「SAP HANA」や「Oracle Exalytics」が代表的な製品といえるが、これらの製品は、1Tバイトないし2Tバイトのメモリを搭載している。
平井明夫
株式会社アイエイエフコンサルティング
マーケティング部 マーケティングディレクター
日本DEC(現日本ヒューレット・パッカード)、コグノス(現日本アイ・ビー・エム)、日本オラクルを経て、現在はアイエイエフコンサルティングに在籍。一貫してソフトウェア製品の開発、マーケティング、導入コンサルティングを歴任。特に、DWH、BIを得意分野とする。現在はBI技術の啓蒙のため、講演・執筆に積極的に取り組んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
ビッグデータのためのDWH基盤
この記事の著者
新着ホワイトペーパー PR
-
製品資料
実際に悪用される脆弱性は4%前後 優先的に対処すべき脆弱性を把握するには? -
事例
三菱ケミカルが脆弱性への迅速な対応フローを実現した方法とは? -
技術文書・技術解説
MDMだけでは防げない? Appleデバイスに潜む5つのセキュリティギャップ -
事例
大阪市の未来を創る「行政DX」の本質と、その取り組みを支える統合基盤の実力 -
事例
【行政DX先進事例】横浜市が「市民に大切な時間を返す」を実現できた理由とは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
2
【漫画付き】"RAG導入失敗3例"と処方箋 「入れても使われない」を終わらせる
-
3
「HDD終了」は本当か 巨大クラウド2社が下した大容量フラッシュへの決断
-
4
管理職542人に聞いた AIやデジタル化でなくしたい主な事務作業第1位は?
-
5
IT人材の42%が転職予備軍 辞めさせない組織の4つの共通
-
6
Claudeが耐量子暗号を攻略 迫られる暗号移行計画の見直し
-
7
「データ集約」はリスクだらけ? 分散型データセンターが“必然”になる理由
-
8
LLMの「過学習」、正しく説明している文章はどれ?
-
9
ただなのに「12時間以内の復旧」も要求 無償OSSに商用レベルを求める企業の末路
-
10
【マンガ付き】ひとり情シス支援の第一人者が教える”中堅中小企業こそRAGを使うべき理由”
ホワイトペーパーランキング PR
-
1
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
2
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
3
属人化や仕様バグはなぜ起きる? AI時代に必須のドキュメント文化の作り方
-
4
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
5
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
6
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
7
中小企業必見、Microsoft 365でゼロトラストセキュリティを実現する方法
-
8
5分で分かる「AI駆動開発エージェント」 要件定義から設計・実装・テストまで
-
9
動画で知るランサムウェア被害企業のリアル、会計データが無事だった理由とは
-
10
“あのファイル転送”で暗躍するノーウェアランサム
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー