データレイクハウスとは
データレイクハウス＝データレイク＋データウェアハウス
「データレイクハウス」という新たな考え方が登場した。名前から概要は想像が付くが、具体的にどのような特徴があるのだろうか。
データレイクハウスとは、データウェアハウスとデータレイクのギャップを埋めるという考え方だ。言い換えると、データレイクの比較的低コストの柔軟性とデータウェアハウスのアクセス性を結び付けることがデータレイクハウスの目的だ。
データレイクとデータウェアハウス
まずデータレイクとデータウェアハウスの主な機能をまとめ、データレイクハウスという考え方がそのどこに落ち着くかを考えてみよう。
データレイクはデータ管理の最も上流に位置する。データレイクには企業の全てのデータが流れ込む。XMLやJSONなどを介して非構造化データ、構造化データ、画像ファイル、PDF、データベースなどさまざまな形式のデータがそのままの形式で存在する。データレイクにはメタデータを使った検索機能があり、データサイエンティストがアドホックな分析を実行できる。
データウェアハウスはこの対極にある。データウェアハウスでは、データレイクでの作業を終えたデータセットが定期的かつ日常的な分析作業に利用できるようになる。
データウェアハウスでは、データがパッケージ化された処理済みの形式に変換される。つまり、データは常に調査、評価、ラングリング（訳注：クレンジングや整形などの加工）などを終え、迅速かつ定期的にアクセスされる構造化データになる。
データウェアハウスのコンピューティングとストレージは、必要なアクセスの種類と処理のタイプに合わせて最適化される。
データレイクからデータレイクハウスへ
データレイクハウスは、日常的な利用を考慮していない大規模で無定型の塊であるデータレイクと、厳密かつ高度に構造化され、比較的高価なデータウェアハウスの間に位置する。
基本的には、データレイクハウスはACID（原子性、一環性、独立性、永続性）サポートの導入を考える。つまり複数のユーザーが同時にデータの読み取りと書き込みができるトランザクション処理を視野に入れている。これにはスキーマを適用する方法とデータの整合性を推定する方法によるガバナンスを確保することも必要になる。
データレイクハウスは非構造化（半構造化）データへの対応の一環でもある。こうしたデータはテキスト、画像、動画、音声などさまざまな形式になり、AIツールによって分析される可能性がある。
これは、さまざまな種類のワークロードをサポートすることも意味する。データウェアハウスが常にデータベースの使用を意味するとしたら、データレイクはデータサイエンス、AI、SQLなどの形式の分析対象になる可能性がある。
主なメリットは、Python、R、機械学習といった言語やツールを使ってさまざまなデータに迅速かつ容易にアクセスでき、アプリケーションに統合される点にある。
既に使えるデータレイクハウス
データレイクハウスのパイオニア的存在がDatabricksだ。Databricksはオープンソースのクラウドデータレイクハウス「Delta Lake」に貢献している。
Databricksは「Amazon Web Services」（AWS）で利用できる。AWSはデータウェアハウスサービスの「Amazon Redshift」もデータレイクハウスとして位置付けており、構造化データ（リレーショナルデータベース）と非構造化データ（「Amazon S3」、Amazon Redshift）にまたがってクエリを実行する機能を備えている。ここで重要なのは、データウェアハウスに必要な準備をすることなく任意のデータソースにクエリできることだ。
「Microsoft Azure」にも「Azure Databricks」がある。Azure DatabricksはSQL、Python、R、ScalaをサポートするAPIを備えたDelta Lakeエンジンと「Apache Spark」、最適化されたAzureコンピューティングライブラリおよび機械学習ライブラリを使用している。
DatabricksとGoogleは「Google Cloud Platform」での利用と、「BigQuery」と「Google Cloud AI Platform」の統合を発表している。
Snowflakeもデータレイクハウスサプライヤーだ。同社は「データレイクハウス」という用語の発案者だと主張し、データウェアハウスとデータの構造化が進んでいないシナリオでデータと分析のプラットフォームを売り込んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly日本語版
この記事の著者
関連記事
新着ホワイトペーパー PR
-
比較資料
[セコムトラストシステムズ株式会社] 「自社に合うEDR」はどれか分かる？ 比較・検討時の見極めポイントを解説 -
製品資料
[アルプス システム インテグレーション株式会社] まだ社内で眠らせたまま？ AI活用の糧となる「データ資産」を有効利用するには -
市場調査・トレンド
[AvePoint Japan株式会社] “SCS評価制度”対応の第一歩、自社環境と要求事項とのギャップを把握する方法 -
製品資料
[株式会社BREXA Technology] 情報整理の自動化でインシデントの初動対応を効率化、AIエージェント活用のコツ -
製品レビュー
[ヴィーム・ソフトウェア株式会社] SCS評価制度を導入するだけで十分？ 組織の防御力を高める活用方法とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
パッチなしで「今すぐサーバを落とせ」 Kiteworks異例警告の波紋
-
2
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
3
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
4
Claude Codeでは「エージェントを作るな、スキルを作れ」 Anthropicが示すAI構築術
-
5
デンソークリエイト、Excelからの移行も簡単に行えるプロジェクト管理ツールを発表
-
6
「WSUS」終了の時限爆弾 “本命”移行先ツールとMicrosoft提唱の新管理手法
-
7
いまさら聞けない「ゼロクライアント」と「シンクライアント」の違いを比較
-
8
攻撃で“大慌て”になる企業に欠けていた「サイバーレジリエンス」の視点
-
9
「GPUが待ちぼうけ」の悪夢を防げ AIストレージベンダー7選
-
10
CCの“本来の意味”は？ あれじゃないCPUとは 頭文字B、Cの必修ビジネス略語
ホワイトペーパーランキング PR
-
1
「Google Workspace」活用事例34選、先進の生成AIによる組織変革の全貌
-
2
DX／AI投資の壁を突破、現代の最高財務責任者が直面する課題と克服のヒント
-
3
Linuxのスキルを証明する“激推し”の認定資格はこれだ
-
4
バックアップは“取っているから大丈夫”なのか？ ランサムウェア時代の備え方
-
5
ネットワーク遅延の原因、「パケットロス」の基礎知識と効果的な解決策
-
6
月1000枚の紙を削減 9年動けなかった組織が、業務改革のその先に得たもの
-
7
「改正物流効率化法対策」徹底解説 総物流費を抑制するサプライチェーン戦略
-
8
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
9
5分で分かる Microsoft 365のデータ損失に備えるためのバックアップの仕組み
-
10
Windows PCとMacの選択制で生産性向上 LINEヤフーが実践する運用管理方法とは
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー