ビッグデータ活用法を考える
徹底比較:データウェアハウス、データレイク、データマート、ODSの違いは?
データウェアハウス、データレイク、データマートなど、ビッグデータを収容する方法は少なくない。とはいえ、どの方法を選ぶかはデータの使用目的や使用者によって変わる。本稿では、これらの違いを考える。
企業はさまざまなソースから膨大な量のデータを収集する。その量は従来のリレーショナルデータベース(RDB)では処理しきれない。これがデータウェアハウスとデータレイクを比較する背景にあるものだ。データウェアハウスとデータレイクを使うのはそれぞれどういった場合で、何に適しているのか、またデータマート、オペレーショナルデータストア(ODS)、RDBとどう違うのか、などについても考える必要がある。
以上で挙げたデータリポジトリは、いずれも核となる機能が似ている。ビジネスに関するレポートと分析のためにデータを収容するという点だ。違いは、目的、格納するデータの種類、データの取得元、データにアクセスするユーザーなどにある。
一般に、こうしたデータリポジトリに収容されるデータは、CRM、ERP、HRや財務関連のシステムで生成される。このようなシステムが生成したデータレコードは、ビジネスルールに準拠しているかどうかが検証された後、データウェアハウスやデータレイクなどのデータストレージに送られる。
さまざまなビジネスアプリケーションで生成されたデータを1つのデータプラットフォームに集め、それらのデータをビジネス分析ツールで使用する。これによりトレンドを見極めたり洞察を得たりして、ビジネス判断を下すことが可能になる。
データウェアハウス vs. データレイク
仮に、システムから取得したデータが大量にあり、そのデータを分析に使う必要があるとする。この場合は、データウェアハウスかデータレイクいずれかを選ぶのが一般的だ。データウェアハウスは、信頼できる単一のデータソースとしての役割を果たす。データを格納する際、データの履歴から余分な情報を削除し、分類しているためだ。
これに対し、データレイクは複数のソースからデータを収集し、格納する。基本的に、データレイクはソースから取得したさまざまなデータを加工せず、そのまま保持する。
データレイクはビジネス分析の標準的なユーザーにはあまり適していない。さまざまなソースからデータを取得する上、データが整理されていないことがあるためだ。データサイエンティストなどのデータ分析を専門とする者がデータレイクを使用する。
実際のウェアハウス(倉庫)とレイク(湖)を思い浮かべれば、データウェアハウスとデータレイクの違いが理解できるだろう。倉庫では、特定のソースから取得した商品を整理して保管する。一方、湖には小川や河川などのさまざまなソースから水がそのまま流れ込む。
データウェアハウスのベンダーは、Amazon Web Services(AWS)、Cloudera、IBM、Google、Microsoft、Oracle、Teradata、SAP、SnapLogic、Snowflakeなど選択肢が多彩だ。データレイクを提供するのは、AWS、Google、Informatica、Microsoft、Teradataといったデータ管理プロバイダーだ。
データウェアハウス vs. データマート
データマートはデータウェアハウスと混同されることが少なくない。だが、この2つは目的が明確に異なる。
一般に、データマートはデータウェアハウスの部分集合になる。つまり、データマートに収容されるデータはデータウェアハウスがソースになる。ただし、データマートがデータウェアハウス以外のソースからデータを取得することもある。データマートに送られるデータは、営業チームなど特定の組織に所属するユーザー向けに厳選される。これによりユーザーが必要なデータを素早く見つけられるようにする。すなわち、財務分析など特定の用途で使用されるデータがデータマートに保持される。
データマートはデータウェアハウスよりも規模がはるかに小さい。データマートで保持するデータ量は数十GB程度だが、データウェアハウスは数百GB~数P(ペタ)Bのデータ量を保持する。
データマートは既存のデータウェアハウスやその他のデータソースを持つシステムによって構築できる。データマートは構築の際、データベースのテーブルを設計し、関連のあるデータを設定し、データにアクセスできるユーザーを決める。
データウェアハウス vs. ODS
ODSはデータベースの一種だ。データウェアハウスに収容する全データを一時的に保持する領域として機能する。倉庫で例えれば積み降ろし場に当たる。ここでは到着した商品が検査される。ODSで保持している間に、データの不純物を取り除き、重複をなくす。ビジネスルールに準拠しているかどうかもチェックする。これらを経て、ODSは必要なデータをデータウェアハウスに送る。
ODS内のデータにはクエリを実行できる。だが、ODSでは一時的にしかデータを保持しないため、特定のクエリに対する情報しか提供されない。例えば進行中の顧客注文に関する情報などがそれに該当する。
ODSはRDBMS(リレーショナルデータベース管理システム)か、オープンソースの分散処理プラットフォーム「Apache Hadoop」上で実行されるのが一般的だ。データは「Attunity Replicate」や「Hortonworks DataFlow」などのデータ統合ツール、データ取得ツールを使用してODSに供給される。
データウェアハウス vs. データレイク、RDB
データウェアハウス、データレイク、RDBの主な違いは次のように説明できる。RDBは、単一のソースから取得した構造化データを格納、整理するために使用される。データウェアハウスは、複数のソースから取得した構造化データを保持するために構築される。データレイクはこの2つとは異なり、非構造化データ、半構造化データ、構造化データを格納する。
RDBは比較的簡単に作成でき、トランザクションデータを格納、整理するために使用できる。しかしRDBには非構造化データをサポートしない、膨大な量のデータを扱えない、といったデメリットがある。そのため非構造化データや膨大な量のデータを扱う場合は、データウェアハウスかデータレイクかの選択になる。とはいえ、運用データ分析やトレンド分析のようなタスクには、最近でも相変わらずRDBを使う企業が少なくない。
RDBはオンプレミスかクラウドかを選択できる。選択肢として「Microsoft SQL Server」「Oracle Database」「MySQL」「IBM DB2」「Amazon Relational Database Service」(Amazon RDS)、「Cloud Spanner」などがある。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
市場調査・トレンド
データ侵害の被害は平均440万米ドル、Linux環境のリスクはどう軽減する? -
製品資料
ハイブリッドクラウド環境の管理を単純化するために知りたい「4つの方法」 -
市場調査・トレンド
「OSの選択」が戦略的な課題に? 次世代のLinux基盤に求められる機能や要件 -
製品資料
SaaS企業のカスタマーサクセス、少人数で成果を上げる運用体制をどう作る? -
製品資料
カスタマーサポートの投資効果が見えない? 実態把握から始める改善方法とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
AI全部入り「Microsoft 365 E7」に企業が二の足を踏む訳 移行意向はわずか4%
-
4
なぜ人はいるのにDXが進まない? ライオンも直面した“老害”レガシーシステム
-
5
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
6
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
7
エンジニアが選考を辞退する本当の理由 7割が隠す“面接の違和感”とは
-
8
AI時代の競争力はデータ基盤で決まる 仮想化刷新を未来への投資に変える条件
-
9
「Linuxサーバの長期運用とRed Hat Enterprise Linux」に関するアンケート
-
10
IT人材の42%が転職予備軍 辞めさせない組織の4つの共通
ホワイトペーパーランキング PR
-
1
属人化や仕様バグはなぜ起きる? AI時代に必須のドキュメント文化の作り方
-
2
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
3
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
4
5分で分かる「AI駆動開発エージェント」 要件定義から設計・実装・テストまで
-
5
コスト分析で見る「デバイス復旧」の代償 損失額から導きだされた投資戦略とは
-
6
マンガで解説:「ゼロトラスト」「SASE」の必要性とメリット
-
7
“あのファイル転送”で暗躍するノーウェアランサム
-
8
オープンウェイトLLMの推論最適化事例:ローカル環境で応答速度を約15分の1へ
-
9
「結局、一部の人しか使わない」 AI活用が業務に定着しない根本的な理由
-
10
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー