ビッグデータ活用法を考える
徹底比較:データウェアハウス、データレイク、データマート、ODSの違いは?
データウェアハウス、データレイク、データマートなど、ビッグデータを収容する方法は少なくない。とはいえ、どの方法を選ぶかはデータの使用目的や使用者によって変わる。本稿では、これらの違いを考える。
企業はさまざまなソースから膨大な量のデータを収集する。その量は従来のリレーショナルデータベース(RDB)では処理しきれない。これがデータウェアハウスとデータレイクを比較する背景にあるものだ。データウェアハウスとデータレイクを使うのはそれぞれどういった場合で、何に適しているのか、またデータマート、オペレーショナルデータストア(ODS)、RDBとどう違うのか、などについても考える必要がある。
以上で挙げたデータリポジトリは、いずれも核となる機能が似ている。ビジネスに関するレポートと分析のためにデータを収容するという点だ。違いは、目的、格納するデータの種類、データの取得元、データにアクセスするユーザーなどにある。
一般に、こうしたデータリポジトリに収容されるデータは、CRM、ERP、HRや財務関連のシステムで生成される。このようなシステムが生成したデータレコードは、ビジネスルールに準拠しているかどうかが検証された後、データウェアハウスやデータレイクなどのデータストレージに送られる。
さまざまなビジネスアプリケーションで生成されたデータを1つのデータプラットフォームに集め、それらのデータをビジネス分析ツールで使用する。これによりトレンドを見極めたり洞察を得たりして、ビジネス判断を下すことが可能になる。
データウェアハウス vs. データレイク
仮に、システムから取得したデータが大量にあり、そのデータを分析に使う必要があるとする。この場合は、データウェアハウスかデータレイクいずれかを選ぶのが一般的だ。データウェアハウスは、信頼できる単一のデータソースとしての役割を果たす。データを格納する際、データの履歴から余分な情報を削除し、分類しているためだ。
これに対し、データレイクは複数のソースからデータを収集し、格納する。基本的に、データレイクはソースから取得したさまざまなデータを加工せず、そのまま保持する。
データレイクはビジネス分析の標準的なユーザーにはあまり適していない。さまざまなソースからデータを取得する上、データが整理されていないことがあるためだ。データサイエンティストなどのデータ分析を専門とする者がデータレイクを使用する。
実際のウェアハウス(倉庫)とレイク(湖)を思い浮かべれば、データウェアハウスとデータレイクの違いが理解できるだろう。倉庫では、特定のソースから取得した商品を整理して保管する。一方、湖には小川や河川などのさまざまなソースから水がそのまま流れ込む。
データウェアハウスのベンダーは、Amazon Web Services(AWS)、Cloudera、IBM、Google、Microsoft、Oracle、Teradata、SAP、SnapLogic、Snowflakeなど選択肢が多彩だ。データレイクを提供するのは、AWS、Google、Informatica、Microsoft、Teradataといったデータ管理プロバイダーだ。
データウェアハウス vs. データマート
データマートはデータウェアハウスと混同されることが少なくない。だが、この2つは目的が明確に異なる。
一般に、データマートはデータウェアハウスの部分集合になる。つまり、データマートに収容されるデータはデータウェアハウスがソースになる。ただし、データマートがデータウェアハウス以外のソースからデータを取得することもある。データマートに送られるデータは、営業チームなど特定の組織に所属するユーザー向けに厳選される。これによりユーザーが必要なデータを素早く見つけられるようにする。すなわち、財務分析など特定の用途で使用されるデータがデータマートに保持される。
データマートはデータウェアハウスよりも規模がはるかに小さい。データマートで保持するデータ量は数十GB程度だが、データウェアハウスは数百GB~数P(ペタ)Bのデータ量を保持する。
データマートは既存のデータウェアハウスやその他のデータソースを持つシステムによって構築できる。データマートは構築の際、データベースのテーブルを設計し、関連のあるデータを設定し、データにアクセスできるユーザーを決める。
データウェアハウス vs. ODS
ODSはデータベースの一種だ。データウェアハウスに収容する全データを一時的に保持する領域として機能する。倉庫で例えれば積み降ろし場に当たる。ここでは到着した商品が検査される。ODSで保持している間に、データの不純物を取り除き、重複をなくす。ビジネスルールに準拠しているかどうかもチェックする。これらを経て、ODSは必要なデータをデータウェアハウスに送る。
ODS内のデータにはクエリを実行できる。だが、ODSでは一時的にしかデータを保持しないため、特定のクエリに対する情報しか提供されない。例えば進行中の顧客注文に関する情報などがそれに該当する。
ODSはRDBMS(リレーショナルデータベース管理システム)か、オープンソースの分散処理プラットフォーム「Apache Hadoop」上で実行されるのが一般的だ。データは「Attunity Replicate」や「Hortonworks DataFlow」などのデータ統合ツール、データ取得ツールを使用してODSに供給される。
データウェアハウス vs. データレイク、RDB
データウェアハウス、データレイク、RDBの主な違いは次のように説明できる。RDBは、単一のソースから取得した構造化データを格納、整理するために使用される。データウェアハウスは、複数のソースから取得した構造化データを保持するために構築される。データレイクはこの2つとは異なり、非構造化データ、半構造化データ、構造化データを格納する。
RDBは比較的簡単に作成でき、トランザクションデータを格納、整理するために使用できる。しかしRDBには非構造化データをサポートしない、膨大な量のデータを扱えない、といったデメリットがある。そのため非構造化データや膨大な量のデータを扱う場合は、データウェアハウスかデータレイクかの選択になる。とはいえ、運用データ分析やトレンド分析のようなタスクには、最近でも相変わらずRDBを使う企業が少なくない。
RDBはオンプレミスかクラウドかを選択できる。選択肢として「Microsoft SQL Server」「Oracle Database」「MySQL」「IBM DB2」「Amazon Relational Database Service」(Amazon RDS)、「Cloud Spanner」などがある。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「データストレージの活用方法」に関するアンケート
-
4
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
5
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
6
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
-
7
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
8
221人調査で分かった「情シス最大のストレス」は?
-
9
LLMの「過学習」、正しく説明している文章はどれ?
-
10
レガシー基幹システムをSAPに統合 山善が突き止めた「標準化と個別最適」の境界線
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー