いまさら聞けない「データレイク」とは? データウェアハウスとの違いは:クラウドデータレイクとは何か【前編】
ビジネスにおけるデータ活用が求められる中、クラウドデータレイクへの注目が高まっている。なぜデータレイクをオンプレミスシステムではなくクラウドサービスで運用する必要性があるのか。
増え続けるデータを効率的に管理するための仕組みとして「データレイク」の活用が広がっている。データレイクという大規模なデータリポジトリを活用することで、企業は構造化データと非構造化データを収集し、保存できる。それらのデータをデータウェアハウス(DWH)やデータベース、業務アプリケーションに送ったり、データサイエンティストや分析ツール、人工知能(AI)ツールに渡したりすることで、さらなるデータの活用が可能になる。
膨大な量のデータの蓄積や、ビジネスの成長に合わせたデータレイクの拡大を見据えると、クラウドサービスにデータレイクを配置することが視野に入る。そうした「クラウドデータレイク」にはどのようなメリットやデメリットがあるのかを知る前に、まずはデータレイクの概要を学ぼう。
そもそもデータレイクとは?
データレイクは、データを加工せずに保存する保管庫だ。保存したデータは、必要に応じて追加処理をしたり、データベースや業務アプリケーションに送ったりする。データレイクには、以下をはじめビジネスに関するさまざまなデータが集まる。
- サプライチェーンデータ
- 顧客データ
- マーケティングデータ
- 在庫データ
- 工場や機械のセンサーデータ
データレイクには、構造化データ、非構造化データ、半構造化データのいずれも格納可能だ。データを検索する際は、メタデータを使ったタグ付け機能を利用する。格納したデータは、専用アプリケーションで処理するか、データサイエンティストや開発者が加工することになる。従業員や業務アプリケーションが使用できるよう、データを整形して保存するDWHとは対照的だ。
クラウドサービス群「Amazon Web Services」(AWS)は、データレイクを以下のように定義している。
データレイクは、規模にかかわらず、すべての構造化データと非構造化データを保存できる一元化されたリポジトリです。データをそのままの形で保存できるため、データを構造化しておく必要がありません。
クラウドデータレイクの主な特徴
クラウドデータレイクの特徴は、保存容量の拡張性と管理のしやすさだ。主要クラウドベンダーが提供するクラウドデータレイクはオブジェクトストレージで稼働し、事実上容量の制限がない。
他のクラウドストレージと同様、クラウドデータレイクも容量を増減できる。企業はビジネス要件に応じて容量を調整し、料金を抑えることが可能だ。容量の増減、ハードウェアとソフトウェアの保守、冗長化、セキュリティ対策をクラウドベンダーが担当するため、企業の負担軽減につながる。コンサルティング企業PA Consulting Groupでデータエキスパートを務めるスリバッツァ・ノリ氏は、「企業のデータエンジニアリングチームはビジネスの分析に専念できるようになり、オンプレミスインフラのメンテナンスから解放される」と説明する。
「信頼性と可用性を備え、最新技術を取り入れたデータレイクは、安定したパフォーマンスと最小限のダウンタイム(停止時間)を実現する」(ノリ氏)
クラウドベンダーは、アクセス制御と監査機能だけではなく、クラウドリソースへのタグ付けによる効率的な管理方法も提供している。
これまで企業やベンダーはデータレイクとDWHを別々の仕組みとして扱っていたが、最近は同一システムで運用したり、「データレイクハウス」として統合したりするようになった。「最新のデータ管理において、データレイクとDWHは互いに補完し合っており、クラウドサービスはこれら2つを効果的に統合する」とノリ氏は述べる。
次回は、クラウドデータレイクの長所と短所、具体的なクラウドデータレイクを解説する。
Computer Weekly発 世界に学ぶIT導入・活用術
米国Informa TechTargetが運営する英国Computer Weeklyの豊富な記事の中から、海外企業のIT製品導入事例や業種別のIT活用トレンドを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.