データレイクハウスとは
データレイクハウス=データレイク+データウェアハウス
「データレイクハウス」という新たな考え方が登場した。名前から概要は想像が付くが、具体的にどのような特徴があるのだろうか。
データレイクハウスとは、データウェアハウスとデータレイクのギャップを埋めるという考え方だ。言い換えると、データレイクの比較的低コストの柔軟性とデータウェアハウスのアクセス性を結び付けることがデータレイクハウスの目的だ。
データレイクとデータウェアハウス
まずデータレイクとデータウェアハウスの主な機能をまとめ、データレイクハウスという考え方がそのどこに落ち着くかを考えてみよう。
データレイクはデータ管理の最も上流に位置する。データレイクには企業の全てのデータが流れ込む。XMLやJSONなどを介して非構造化データ、構造化データ、画像ファイル、PDF、データベースなどさまざまな形式のデータがそのままの形式で存在する。データレイクにはメタデータを使った検索機能があり、データサイエンティストがアドホックな分析を実行できる。
データウェアハウスはこの対極にある。データウェアハウスでは、データレイクでの作業を終えたデータセットが定期的かつ日常的な分析作業に利用できるようになる。
データウェアハウスでは、データがパッケージ化された処理済みの形式に変換される。つまり、データは常に調査、評価、ラングリング(訳注:クレンジングや整形などの加工)などを終え、迅速かつ定期的にアクセスされる構造化データになる。
データウェアハウスのコンピューティングとストレージは、必要なアクセスの種類と処理のタイプに合わせて最適化される。
データレイクからデータレイクハウスへ
データレイクハウスは、日常的な利用を考慮していない大規模で無定型の塊であるデータレイクと、厳密かつ高度に構造化され、比較的高価なデータウェアハウスの間に位置する。
基本的には、データレイクハウスはACID(原子性、一環性、独立性、永続性)サポートの導入を考える。つまり複数のユーザーが同時にデータの読み取りと書き込みができるトランザクション処理を視野に入れている。これにはスキーマを適用する方法とデータの整合性を推定する方法によるガバナンスを確保することも必要になる。
データレイクハウスは非構造化(半構造化)データへの対応の一環でもある。こうしたデータはテキスト、画像、動画、音声などさまざまな形式になり、AIツールによって分析される可能性がある。
これは、さまざまな種類のワークロードをサポートすることも意味する。データウェアハウスが常にデータベースの使用を意味するとしたら、データレイクはデータサイエンス、AI、SQLなどの形式の分析対象になる可能性がある。
主なメリットは、Python、R、機械学習といった言語やツールを使ってさまざまなデータに迅速かつ容易にアクセスでき、アプリケーションに統合される点にある。
既に使えるデータレイクハウス
データレイクハウスのパイオニア的存在がDatabricksだ。Databricksはオープンソースのクラウドデータレイクハウス「Delta Lake」に貢献している。
Databricksは「Amazon Web Services」(AWS)で利用できる。AWSはデータウェアハウスサービスの「Amazon Redshift」もデータレイクハウスとして位置付けており、構造化データ(リレーショナルデータベース)と非構造化データ(「Amazon S3」、Amazon Redshift)にまたがってクエリを実行する機能を備えている。ここで重要なのは、データウェアハウスに必要な準備をすることなく任意のデータソースにクエリできることだ。
「Microsoft Azure」にも「Azure Databricks」がある。Azure DatabricksはSQL、Python、R、ScalaをサポートするAPIを備えたDelta Lakeエンジンと「Apache Spark」、最適化されたAzureコンピューティングライブラリおよび機械学習ライブラリを使用している。
DatabricksとGoogleは「Google Cloud Platform」での利用と、「BigQuery」と「Google Cloud AI Platform」の統合を発表している。
Snowflakeもデータレイクハウスサプライヤーだ。同社は「データレイクハウス」という用語の発案者だと主張し、データウェアハウスとデータの構造化が進んでいないシナリオでデータと分析のプラットフォームを売り込んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly日本語版
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[ServiceNow Japan合同会社] 大阪市の未来を創る「行政DX」の本質と、その取り組みを支える統合基盤の実力 -
事例
[ServiceNow Japan合同会社] 【行政DX先進事例】横浜市が「市民に大切な時間を返す」を実現できた理由とは? -
市場調査・トレンド
[ServiceNow Japan合同会社] 「行政DXの利益」を得られていない行政機関はどこでつまずいているのか? -
事例
[ServiceNow Japan合同会社] 藤沢市の「シン・シヤクショプラットフォーム」が問い合わせ電話を減らせた理由 -
市場調査・トレンド
[SAS Institute Japan株式会社] 79%が直面したAI判断手動修正のワナ 手戻りを防ぎ、ROIを最大化する方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「Microsoft Teams」がランサムウェアの入り口になるのか?
-
2
企業が「Microsoft Azure」を選ばざるを得ない理由
-
3
PC選びの妙で差がつくAI時代 通常PC、AI PC、Copilot+ PCをどう使い分ける?
-
4
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
5
「転職意向あり」の情シスが約半数 現場を追い詰める“業務過多”の解消術
-
6
NVIDIA、フアンCEO辞任で揺らぐ“AI帝国” IT調達計画への影響は?
-
7
「オフィス移転・刷新に伴うネットワーク環境の実態」に関するアンケート
-
8
なぜノートPCの更新が「4年→6年」に? AIインフラ急拡大の余波
-
9
「AI PCの導入状況と課題」に関するアンケート
-
10
IT製品の導入に関するアンケート「PC&デバイス」編
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
3
急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要?
-
4
法人向け光回線のプランはどう選ぶ? 機能面/保守体制/コストを一覧で比較
-
5
サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには
-
6
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
-
7
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
8
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
9
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
10
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー