データレイク構築のススメ【前編】
データレイクとは何か――メリット、ストレージ、オンプレ／クラウドの是非
データレイクを構築するメリットは何か。データレイクに適したストレージとは何か。クラウド化すべきかオンプレミスで運用すべきか。基礎から解説する。
DX（デジタルトランスフォーメーション）にとって大量データの処理は前提条件だ。その鍵となるのがデータレイクという概念だ。組織がデータから可能な限り価値を引き出そうと試みる際、データレイクがそのコアとなる。データレイクはデータ管理と分析の分野に属し、ストレージに依存する。クラウドへの移行の機が熟したアクティビティーだが、オンプレミスのままでも可能だ。
本稿では、データレイクに必要なストレージ（多くの場合オブジェクトストレージ）と、オンプレミスとクラウドそれぞれの長所と短所を見ていく。
データレイクとデータウェアハウスの違い
データレイクは、企業のデータが最初に流れ込む場所であると考えて構わない。集められた全データのリポジトリであり、大体のデータは未加工のまま存在する。
データの検索を容易にするため、メタデータでタグ付けする場合もある。だがデータレイクのデータは、データサイエンティストやデータレイクの下流でタッチポイントを開発するスペシャリストがアクセスすることを目的とする。
データレイクは、実際の湖（レイク）のようにあらゆるデータソースからそこにデータが流れ込む。そのデータの多くは多様かつ未処理のため、その下流工程が重要になる。
データレイクから下流に流れるデータが行きつく先がデータウェアハウスだ。データはデータウェアハウスでさらに処理され、パッケージ化され、利用の準備が整っている状態だと想定される。
データレイクには複数のデータストアが含まれている。大半の従業員にとっては簡単にアクセスや読み取りができない形式（非構造化、半構造化、構造化）になっている。これに対してデータウェアハウスは、アプリケーションや従業員がアクセスできるデータベース内に構造化データとして構成される。データマートやデータハブでは、部門ごとにさらに利用しやすいデータに加工される可能性がある。
つまりデータレイクは大量のデータをそのデータ本来の形式で保持する。データウェアハウスやデータマートへのクエリとは異なり、データレイクへの問い合わせにはスキーマ・オン・リード（Schema on Read）のアプローチが必要だ。
データレイク：データ型とアクセス方式
データレイク内のデータのソースには、組織あるいはその各部門の全データが含まれる。リレーショナルデータベースの構造化データ、CSVファイルやログファイル、XML形式やJSON形式などの半構造化データ、メール、ドキュメントやPDFのような非構造化データ、画像、音声、動画のようなバイナリデータが含まれる可能性がある。
ストレージプロトコルに関しては、ファイル、ブロック、オブジェクトの各ストレージのデータを収容する必要があることになる。だが、データレイク自体のプロトコルとして一般的に選択されるのはオブジェクトストレージだ。覚えておきたいのは、ここでアクセスされるのはデータ自体ではなく、そのデータを説明するメタデータヘッダだ。メタデータヘッダは、データベースから写真まであらゆるものに添付できる。多くの場合、データへの詳細なクエリはデータレイクではなく他の場所で行われる。
オブジェクトストレージは、大量のデータを非構造化データとして格納するのに非常に適している。ブロックストレージのデータベースのようにクエリを実行することはできないが、複数の種類のオブジェクトを大きなフラット構造に格納でき、そこに何があるかを調べることが可能だ。
オブジェクトストレージは通常、高速性を目的とした設計にはなっていない。そのためオブジェクトストレージは、データウェアハウスのリレーショナルデータベースよりもクエリの構築や処理が複雑なデータレイクのユースケースに適している。データレイクレベルでのクエリ処理の多くでは、より容易にクエリできるデータストアを下流のデータウェアハウス用に用意することになる。
オンプレミスとクラウドのデータレイク
オンプレミスとクラウドの比較で行われる全ての議論がデータレイクの運用にも当てはまる。
オンプレミスのデータレイクは、設置スペースと電力、設計、ハードウェアとソフトウェアの調達、管理、それを運用するスキル、それら全ての領域に対応するコストを考慮しなければならない。
データレイクをクラウドに外部委託することは、設備投資（CAPEX）費用をクラウドプロバイダーへの支払いという運用支出（OPEX）費用にオフロードするというメリットがある。ただし、データの増加やクラウドとオンプレミス間のデータ移動は課金対象となることもあるため、予期しないコストが発生する可能性がある。
ストレージやデータレイクのアーキテクチャだけでなく、コンプライアンスや接続性などについても考慮する必要がある。
もちろん、クラウドとオンプレミスの両方で運用し、必要に応じてクラウドにバーストすることも可能だ。
後編では、オンプレミスのデータレイク製品と3大クラウドベンダーのデータレイクサービスを紹介する。
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly日本語版
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[ゾーホージャパン株式会社] サイバー攻撃からネットワークを守る上で確実に押さえておきたいポイントとは？ -
事例
[アルプス システム インテグレーション株式会社] 中小企業でも安心して活用できる「手ごろなSOCサービス」とは？ -
製品資料
[株式会社シーイーシー] 脱VMwareに成功した企業は何をどう実践した？ 事例に学ぶ戦略立案＆実装のコツ -
製品資料
[株式会社オービックビジネスコンサルタント] ランサムウェア攻撃を“二重の防御構造”で防ぐ、クラウド型基幹システムの実力 -
製品資料
[株式会社オービックビジネスコンサルタント] 動画で知るランサムウェア被害企業のリアル、会計データが無事だった理由とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
2
AIの導入効果はどう測る？ DMM.comのエンジニア組織に学ぶ効果検証のノウハウ
-
3
鹿島建設のDXを阻む「10年前のAWS」 安全性と自由度を両立したモダナイズ
-
4
「データストレージの活用方法」に関するアンケート
-
5
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
6
「AI活用を前提とした業務PCへの移行」に関するアンケート
-
7
「企業におけるAI導入検討度とIT投資優先度」に関するアンケート
-
8
「ITインフラとデータ保護・バックアップ対策」に関するアンケート
-
9
「データ活用とAI活用の実態」に関するアンケート
-
10
慶應義塾が「Notion」を選んだ理由 AI導入の盲点になる“情報のサイロ化”
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
DX／AI投資の壁を突破、現代の最高財務責任者が直面する課題と克服のヒント
-
3
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
4
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
5
システムの保守がモダン化を阻む？ 「変えない判断」から脱却する方法とは
-
6
生成AIを開発に導入しても効果が見えない？ 実証実験で分かった成果と課題
-
7
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
8
“あのファイル転送”で暗躍するノーウェアランサム
-
9
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー