分析より時間がかかる「集める、整える」工程をスムーズに
BigQueryにデータエンジニア向けAI 「Data Engineering Agent」プレビュー開始
Googleは、データ分析基盤「BigQuery」に新たなAI機能「Data Engineering Agent」を追加した。データパイプラインの設計や変更、品質チェック、トラブルシューティング を支援し、属人化しがちなデータ基盤運用の標準化と効率化を狙う。
Googleは2025年11月4日(米国時間)、同社のデータ分析基盤「BigQuery」において、AI(人工知能)モデル「Gemini」を用いた新機能「Data Engineering Agent」(以下、エージェント)のプレビュー提供を開始した。データパイプラインの設計、保守、移行に必要なコードや変更案を自然言語による指示で自動生成するため、企業のデータ活用における前処理や運用の負荷を軽減できる可能性がある。
AIが要件を読み取り、設計・保守・移行を一気通貫で支援
併せて読みたいお薦め記事
データパイプラインの自動化はどこまで可能か
同エージェントは、BigQueryのパイプライン管理機能「BigQuery Pipelines」から呼び出して利用できる。主な特徴は以下の5つだ。
- 自然言語によるデータパイプラインの生成と変更
- データガバナンス基盤「Dataplex」との連携によるメタデータ参照、品質ルール適用、個人識別情報(PII)列の自動暗号化
- 列定義やパイプラインの自動ドキュメント化
- 生成AIによる運用支援機能「Gemini Cloud Assist」と連動した障害解析と修正提案
- 既存コード/レガシーツールからの移行支援
データ活用を進める際に、時間がかかりがちなのは生データの分析、準備、クリーニングといった一連の前処理だ。Data Engineering Agentを使用すると、例えばオブジェクトストレージサービス「Google Cloud Storage」から生のファイルにアクセスし、自然言語による指示を出すだけで、自動的にデータのクリーニング、重複排除、フォーマット、標準化ができる。
企業ごとのビジネスルールを反映しやすい点も特徴だ。Data Engineering Agentは、自然言語からパイプラインを生成する際に、ユーザー企業が定義した「カスタムインストラクション」を参照できる。これによって「日付の表記は必ずYYYY-MM-DDに統一する」「売上集計は社内標準の利益率計算を使う」といった自社固有のルールやベストプラクティスを、あらかじめパイプライン生成の前提として組み込める。さらに、BigQueryのユーザー定義関数(UDF)をパイプライン内で活用することで、業種特有の指標計算や検証ロジックを再利用可能なパーツとして埋め込み、自動生成されるパイプラインにも一貫したビジネスロジックを適用できる。
データ品質面についても効果を発揮する。従来は複雑なクエリを作成し、どういったデータが問題になるのか調査したり、データ形式を標準化したりする必要があったが、Data Engineering AgentとDataplexが連携することで、Dataplexリポジトリで定義されたルールに基づいて検査条件(アサーション)を自動生成する上、PIIを含む列を自動的に暗号化できる。
データパイプラインに問題が起きた場合の支援機能もある。問題発生時にData Engineering Agentは実行ログを分析し、障害の根本原因を特定し、解決案を提示する。
編集者の一言解説
企業のデータ活用で時間がかかるのは、実は分析よりも「集める、整える」といった前工程だ。Data Engineering Agentは、その作業を自動化して作業時間の圧縮と担当者依存の軽減につなげる狙いがある。一方で、自動生成の結果が常に正しいとは限らない点には注意が必要だ。レビューと権限管理、ログの記録をセットで運用し、機微情報の扱いには注意を払うべきだ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「Microsoft 365のセキュリティ運用」に関するアンケート
-
4
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
5
221人調査で分かった「情シス最大のストレス」は?
-
6
「Salesforceのテスト自動化ツール」に関するアンケート
-
7
「データストレージの活用方法」に関するアンケート
-
8
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
9
AIで人を減らした企業がもう心変わり 「AIブーメラン現象」の実態
-
10
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー