分析より時間がかかる「集める、整える」工程をスムーズに
BigQueryにデータエンジニア向けAI 「Data Engineering Agent」プレビュー開始
Googleは、データ分析基盤「BigQuery」に新たなAI機能「Data Engineering Agent」を追加した。データパイプラインの設計や変更、品質チェック、トラブルシューティング を支援し、属人化しがちなデータ基盤運用の標準化と効率化を狙う。
Googleは2025年11月4日(米国時間)、同社のデータ分析基盤「BigQuery」において、AI(人工知能)モデル「Gemini」を用いた新機能「Data Engineering Agent」(以下、エージェント)のプレビュー提供を開始した。データパイプラインの設計、保守、移行に必要なコードや変更案を自然言語による指示で自動生成するため、企業のデータ活用における前処理や運用の負荷を軽減できる可能性がある。
AIが要件を読み取り、設計・保守・移行を一気通貫で支援
併せて読みたいお薦め記事
データパイプラインの自動化はどこまで可能か
同エージェントは、BigQueryのパイプライン管理機能「BigQuery Pipelines」から呼び出して利用できる。主な特徴は以下の5つだ。
- 自然言語によるデータパイプラインの生成と変更
- データガバナンス基盤「Dataplex」との連携によるメタデータ参照、品質ルール適用、個人識別情報(PII)列の自動暗号化
- 列定義やパイプラインの自動ドキュメント化
- 生成AIによる運用支援機能「Gemini Cloud Assist」と連動した障害解析と修正提案
- 既存コード/レガシーツールからの移行支援
データ活用を進める際に、時間がかかりがちなのは生データの分析、準備、クリーニングといった一連の前処理だ。Data Engineering Agentを使用すると、例えばオブジェクトストレージサービス「Google Cloud Storage」から生のファイルにアクセスし、自然言語による指示を出すだけで、自動的にデータのクリーニング、重複排除、フォーマット、標準化ができる。
企業ごとのビジネスルールを反映しやすい点も特徴だ。Data Engineering Agentは、自然言語からパイプラインを生成する際に、ユーザー企業が定義した「カスタムインストラクション」を参照できる。これによって「日付の表記は必ずYYYY-MM-DDに統一する」「売上集計は社内標準の利益率計算を使う」といった自社固有のルールやベストプラクティスを、あらかじめパイプライン生成の前提として組み込める。さらに、BigQueryのユーザー定義関数(UDF)をパイプライン内で活用することで、業種特有の指標計算や検証ロジックを再利用可能なパーツとして埋め込み、自動生成されるパイプラインにも一貫したビジネスロジックを適用できる。
データ品質面についても効果を発揮する。従来は複雑なクエリを作成し、どういったデータが問題になるのか調査したり、データ形式を標準化したりする必要があったが、Data Engineering AgentとDataplexが連携することで、Dataplexリポジトリで定義されたルールに基づいて検査条件(アサーション)を自動生成する上、PIIを含む列を自動的に暗号化できる。
データパイプラインに問題が起きた場合の支援機能もある。問題発生時にData Engineering Agentは実行ログを分析し、障害の根本原因を特定し、解決案を提示する。
編集者の一言解説
企業のデータ活用で時間がかかるのは、実は分析よりも「集める、整える」といった前工程だ。Data Engineering Agentは、その作業を自動化して作業時間の圧縮と担当者依存の軽減につなげる狙いがある。一方で、自動生成の結果が常に正しいとは限らない点には注意が必要だ。レビューと権限管理、ログの記録をセットで運用し、機微情報の扱いには注意を払うべきだ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
市場調査・トレンド
[コパード株式会社] 約9割が負担を実感 Salesforceのテスト業務に関する実態調査で見えた課題とは -
市場調査・トレンド
[コパード株式会社] 「Salesforce」開発・運用におけるAI活用実態調査レポート -
事例
[テクバン株式会社] 1画面でITサービスデスク業務が完結 太陽ホールディングスに学ぶデバイス管理 -
製品資料
[デジタルサーカス株式会社] ライセンス無料 Drupalベースの「多言語ECサイト開発用パッケージ」の実力は? -
製品資料
[デジタルサーカス株式会社] 日本発グローバル企業用Drupal「Risley(リズリー)」の実力とは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
2
OpenAIやAnthropicでさえ制御不能 2026年夏「3大サイバー攻撃」の衝撃
-
3
IT製品の導入に関するアンケート「セキュリティ」編
-
4
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
5
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
6
見落としが多発、AI普及&データ急増に伴うネットワーク課題の意外な原因とは?
-
7
【専門家に聞く】シャドーAIや過剰共有のリスクを防ぎ、安全に生成AIを活用するポイントとは?
-
8
【コスト分析】事例が示す中堅・中小向けERPの最適コスト構造
-
9
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
10
IT製品の導入に関するアンケート「サーバ&ストレージ」編
ホワイトペーパーランキング PR
-
1
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
2
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
3
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
6
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
7
Linux初心者でも知らないとまずい「RHEL」「SLES」の違いとは?
-
8
東大教授と考える、AI時代の「データ主権」「信頼性」「ガバナンス」の在り方
-
9
「IT史に名を残すシステム障害」8選
-
10
最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー