データレイクとDWHのいいとこ取り
GoogleやAWSなど大手ITベンダーがこぞって採用 「Apache Iceberg」とは何者か
大手IT企業が、自社サービスで「Apache Iceberg」形式のデータテーブルを扱えるようにする動きが進んでいる。データレイクとDWH双方の特徴を持つ「データレイクハウス」の土台になる、Apache Icebergの仕組みとは。
「Apache Iceberg」は、大規模なテーブル形式のオープンソースデータフォーマットだ。その役割は、いまや現代の「データレイクハウス」を支える中核技術へと進化した。データレイクハウスは、大量の未加工データを蓄積する「データレイク」と、特定の目的のために整理、加工されたデータを格納する「データウェアハウス」(DWH)を融合させた技術を指す。
Google、Amazon Web Services(AWS)、Snowflake、Apple、Netflix、Databricks、Qlik Technologies、Clouderaといった主要IT企業がこぞってApache Icebergを採用している事実は、Apache Icebergが単なる一時的な流行ではないことを物語っている。この動きは、オンプレミスシステムとクラウドサービスが共存する「ハイブリッドクラウド」において、オープンで特定のベンダーに縛られないアーキテクチャへの移行が進んでいることを示唆している。Apache Icebergの台頭を支えている、その特徴とは。
IT業界で急速に浸透している理由
Apache Icebergは、2017年にNetflixが開発し、2018年にオープンソース化された。主な採用例を以下に示す。
- Google
- データレイクハウスサービス「BigLake」およびデータベースサービス「BigQuery」でApache Iceberg形式のテーブルを扱えるようにしており、オープンフォーマットの活用を推進している。
- AWS
- 「Amazon Athena」「Amazon Redshift」「AWS Glue」といった主要な分析関連サービスでApache Iceberg形式のテーブルを利用可能にしている。
- Snowflake
- 2023年に、Apache Iceberg形式のデータを同社のクラウドDWHで使える機能「Unified Iceberg Tables」を発表した。2025年にはAI(人工知能)技術を活用した分析機能やデータレプリケーション機能などを追加した。
- Apple
- 数百の社内データチームでApache Icebergを採用した。その知見を基にした「Copy-on-Write」「Merge-on-Read」といった機能がApache Icebergに実装された。
- Databricks
- Apache Icebergの開発者が設立したTabularを買収した後、データ管理ツール「Unity Catalog」とデータベースサービス「Lakebase」で、Apache Iceberg形式のテーブルを利用可能にしている。
- Cloudera
- 早期からApache Icebergに着目し、自社が提供するデータ管理・分析ツールでApache Iceberg形式のテーブルを利用可能にしている。
- Qlik Technologies
- クラウド型データ変換・集約ツール「Qlik Talend Cloud」で、Apache Iceberg形式のテーブルを使ったデータパイプラインの構築を支援する機能「Open Lakehouse」を提供開始した。
- Dremio
- 自社のデータレイクハウスの中核にApache Icebergを据えており、その中でApache Iceberg形式のテーブルに対する操作機能を提供している。
- Oracle
- データベース「Oracle Autonomous Database」とクエリ(問い合わせ)高速化エンジン「MySQL Heatwave Lakehouse」で、Apache Iceberg形式のテーブルを扱えるようにした。
2025年6月に策定されたApache Icebergバージョン3の仕様では、異なるデータ関連製品間での連携性、特定ベンダーに依存しない中立性が強化された。
いま、Apache Icebergが重要視される理由
Apache Icebergが支持を集めている背景には、幾つかの要因がある。
1.データレイクハウスの真価を発揮する機能群
Apache Icebergは、これまでのデータレイクでは搭載することが難しかった以下の機能をもたらす。
- ACID特性を保証したトランザクションの実行
- 「ACID」は原子性(Atomicity)、一貫性(Consistency)、独立性(Isolation)、永続性(Durability)の略。
- データの整合性を保証したトランザクション(一連の処理)を実行できる。
- これによって、複数エンドユーザーによるデータ読み書きの同時実行を可能にする。
- スキーマやパーティションの動的な変更
- テーブルのスキーマ(列定義)、パーティション(データのグルーピング)を、テーブルの運用開始後でも変更できる。
- タイムトラベル
- 過去の任意の時点にテーブルの状態を戻したり、その時点のデータを参照したりできる。
この他、Apache Icebergはメタデータを実データと切り離して管理する構造になっているため、クラウドサービスのオブジェクトストレージでも効率的に処理できるという特徴もある。これは、テーブルを構成するファイル一覧をメタデータとして管理することで、オブジェクトストレージが苦手とするファイル一覧の取得処理を回避できるためだ。
2.ベンダーに依存しないオープンなデータフォーマット
特定のベンダーが管理するプロプライエタリ(ソースコード非公開)なデータフォーマットとは異なり、Apache Icebergはオープンなデータ仕様だ。「Apache Spark」「Apache Flink」「Trino」「Presto」「Apache Hive」「Amazon Athena」など、さまざまなデータ処理エンジンでApache Iceberg形式のテーブルを利用可能だ。このオープンな設計によって、企業はベンダーロックインを回避し、自由に技術や製品を選択できるようになる。
3.コミュニティー主導の活発な技術革新
Netflix、Apple、AWS、Snowflake、Dremio、Tabularなどが主要なコントリビューターとして参加する活発なオープンソースコミュニティーが、Apache Icebergの機能開発を後押ししている。
4.AI技術、データ分析技術との親和性
画像やテキストを自動生成するAI技術「生成AI」や、大規模データの分析システムが急速に発展したことで、Apache Icebergのようなオープンなデータ形式の採用が広がっている。これによって企業は、データ形式を一元化でき、データを変換、移動する手間なく、ペタバイト規模のデータを用いたAIモデルの学習を効率的に進められるようになる。タイムトラベル機能によってデータのロールバックや再現性を確保できるため、監査においても重要な役割を果たす。
5.多様なインフラ形態への適応力
Apache Icebergはデータを保管するストレージ層と、データを処理するコンピュート層を分離するという設計思想を持つ。これによって、機密性の高いデータはオンプレミスサーバに置き、データ処理は複数のクラウドサービスに分散させるといったハイブリッドなレイクハウスアーキテクチャが構築可能になる。Apache Icebergは、こうした複雑な構成においてもメタデータ管理とデータ一貫性の課題を解決するのに役立つ。
Apache Icebergは統一性、オープン性、自由度を兼ね備えたデータアーキテクチャを実現するための重要な技術だ。豊富な機能群、特定のベンダーに依存しない設計、活発なオープンソースのエコシステム、AI技術との親和性といった点を、主要IT企業が評価して採用している。データレイクの自由度とDWHの信頼性を両立させた、次世代のデータレイクハウスの実現を支える技術だと言える。
TechTarget.AIとは
TechTarget.AIは、TechTargetジャパンの記事の一部で生成AIを補助的に活用し、米国Informa TechTargetの記事を翻訳・編集して国内向けにお届けします。編集部による内容の確認を徹底しています。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
TechTarget.AI
TechTarget.AI編集部は生成AIなどのサービスを利用し、米国TechTargetの記事を翻訳して国内向けにお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
技術文書・技術解説
[ネットアップ合同会社] 金融庁ガイドラインから読み解く、「次世代データレジリエンス」の在り方 -
製品資料
[ネットアップ合同会社] 製造DXでデータ活用ニーズが拡大 分散データ活用とAI活用をどう実践する? -
製品レビュー
[ネットアップ合同会社] AIで使いたいデータが内外に点在、研究におけるAI活用を阻む“真の課題”とは -
製品資料
[株式会社kickflow] 稟議・承認作業の「脱オンプレ・脱Excel・ペーパーレス化」を一気に進める方法 -
製品レビュー
[株式会社kickflow] ワークフローシステムのクラウド化 “みんなが不幸になる”事態を避けるには?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
そのアプリ危険かも? “野良アプリ”から「Android」「iOS」を守る防御策
-
2
「年1回の外部診断」が限界に 大手小売が脆弱性管理を内製化・一元化した方法
-
3
LTOを軽く超えた「新型テープ」“150TB到達”の衝撃
-
4
なぜ人はいるのにDXが進まない? ライオンも直面した“老害”レガシーシステム
-
5
「契約業務のAI活用」に関するアンケート
-
6
IT製品の導入に関するアンケート「PC&デバイス」編
-
7
「IBM i(AS/400)はクローズドなシステム」という誤解 DXに寄与する一歩
-
8
被害額は過去最高額 それでも「サイバー犯罪者が捕まらない」3つの理由
-
9
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
10
障害対応に「余裕なし」が9割超 運用担当316人調査で見えた「運用赤字」
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
2
2026年のサイバーセキュリティには何が必要か? 最新データに学ぶ傾向と対策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
「IT史に名を残すシステム障害」8選
-
5
最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策
-
6
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
7
AI駆動開発のスピードと安全性を両立 「品質・セキュリティ管理」の実践ガイド
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
-
9
「標的型攻撃メール」事例・サンプル集
-
10
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー