データレイクハウスとは
データレイクハウス＝データレイク＋データウェアハウス
「データレイクハウス」という新たな考え方が登場した。名前から概要は想像が付くが、具体的にどのような特徴があるのだろうか。
データレイクハウスとは、データウェアハウスとデータレイクのギャップを埋めるという考え方だ。言い換えると、データレイクの比較的低コストの柔軟性とデータウェアハウスのアクセス性を結び付けることがデータレイクハウスの目的だ。
データレイクとデータウェアハウス
まずデータレイクとデータウェアハウスの主な機能をまとめ、データレイクハウスという考え方がそのどこに落ち着くかを考えてみよう。
データレイクはデータ管理の最も上流に位置する。データレイクには企業の全てのデータが流れ込む。XMLやJSONなどを介して非構造化データ、構造化データ、画像ファイル、PDF、データベースなどさまざまな形式のデータがそのままの形式で存在する。データレイクにはメタデータを使った検索機能があり、データサイエンティストがアドホックな分析を実行できる。
データウェアハウスはこの対極にある。データウェアハウスでは、データレイクでの作業を終えたデータセットが定期的かつ日常的な分析作業に利用できるようになる。
データウェアハウスでは、データがパッケージ化された処理済みの形式に変換される。つまり、データは常に調査、評価、ラングリング（訳注：クレンジングや整形などの加工）などを終え、迅速かつ定期的にアクセスされる構造化データになる。
データウェアハウスのコンピューティングとストレージは、必要なアクセスの種類と処理のタイプに合わせて最適化される。
データレイクからデータレイクハウスへ
データレイクハウスは、日常的な利用を考慮していない大規模で無定型の塊であるデータレイクと、厳密かつ高度に構造化され、比較的高価なデータウェアハウスの間に位置する。
基本的には、データレイクハウスはACID（原子性、一環性、独立性、永続性）サポートの導入を考える。つまり複数のユーザーが同時にデータの読み取りと書き込みができるトランザクション処理を視野に入れている。これにはスキーマを適用する方法とデータの整合性を推定する方法によるガバナンスを確保することも必要になる。
データレイクハウスは非構造化（半構造化）データへの対応の一環でもある。こうしたデータはテキスト、画像、動画、音声などさまざまな形式になり、AIツールによって分析される可能性がある。
これは、さまざまな種類のワークロードをサポートすることも意味する。データウェアハウスが常にデータベースの使用を意味するとしたら、データレイクはデータサイエンス、AI、SQLなどの形式の分析対象になる可能性がある。
主なメリットは、Python、R、機械学習といった言語やツールを使ってさまざまなデータに迅速かつ容易にアクセスでき、アプリケーションに統合される点にある。
既に使えるデータレイクハウス
データレイクハウスのパイオニア的存在がDatabricksだ。Databricksはオープンソースのクラウドデータレイクハウス「Delta Lake」に貢献している。
Databricksは「Amazon Web Services」（AWS）で利用できる。AWSはデータウェアハウスサービスの「Amazon Redshift」もデータレイクハウスとして位置付けており、構造化データ（リレーショナルデータベース）と非構造化データ（「Amazon S3」、Amazon Redshift）にまたがってクエリを実行する機能を備えている。ここで重要なのは、データウェアハウスに必要な準備をすることなく任意のデータソースにクエリできることだ。
「Microsoft Azure」にも「Azure Databricks」がある。Azure DatabricksはSQL、Python、R、ScalaをサポートするAPIを備えたDelta Lakeエンジンと「Apache Spark」、最適化されたAzureコンピューティングライブラリおよび機械学習ライブラリを使用している。
DatabricksとGoogleは「Google Cloud Platform」での利用と、「BigQuery」と「Google Cloud AI Platform」の統合を発表している。
Snowflakeもデータレイクハウスサプライヤーだ。同社は「データレイクハウス」という用語の発案者だと主張し、データウェアハウスとデータの構造化が進んでいないシナリオでデータと分析のプラットフォームを売り込んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly日本語版
この記事の著者
関連記事
新着ホワイトペーパー PR
-
技術文書・技術解説
[Jamf Japan 合同会社] MDMだけでモバイルセキュリティは十分？ 不足する対策を16項目でチェック -
事例
[Wrike Japan 株式会社] 世界的な家電メーカーが実践する「クリエイティブプロセス効率化」の方法とは？ -
事例
[Wrike Japan 株式会社] 世界的テクノロジー企業に学ぶ、プロセス標準化とプロジェクト納品自動化の秘訣 -
事例
[Wrike Japan 株式会社] ソニー・ピクチャーズ テレビジョンに学ぶ、次世代サービスデリバリーのヒント -
事例
[Wrike Japan 株式会社] ソミック石川に学ぶ、ICT浸透後に直面した「工数管理」の課題と解決策
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Copilot」はなぜ放置される？ “議事録要約止まり”を脱する処方箋
-
2
脱VMwareの前提が崩れる BroadcomのVDDK公開停止で確認すべき点
-
3
「有線LAN環境」に関するアンケート
-
4
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
5
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
6
「データストレージの活用方法」に関するアンケート
-
7
「自動化」で「DX」は強制的に進む？ そのシンプルな理由
-
8
AWS障害でも補償ゼロの衝撃 サイバー保険で情シスが見落とす「細則の壁」
-
9
AI全部入り「Microsoft 365 E7」に企業が二の足を踏む訳 移行意向はわずか4％
-
10
「データを国内に置く」だけでは不十分 情シスが知るべきAI時代の「デジタル主権」
ホワイトペーパーランキング PR
-
1
マンガで解説：「ゼロトラスト」「SASE」の必要性とメリット
-
2
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
3
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
4
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
5
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
6
国税庁の次世代基幹システム「KSK2」稼働開始に向けて、対応すべき変更点とは？
-
7
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
8
ドラマで分かる、標的型攻撃メールの被害を受ける企業と回避できる企業の分岐点
-
9
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
10
少額減価償却資産が40万円未満へ拡大、令和8年度税制改正で押さえるべき変更点
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー