「AWS Glue」と「Azure Data Factory」を徹底比較【中編】
クラウドETL「AWS Glue」「Azure Data Factory」でデータパイプラインを構築する方法
AWSの「AWS Glue」やMicrosoftの「Azure Data Factory」といったクラウドETLは、データパイプラインの構築を支援する。両者の基本的な利用方法を説明する。
Amazon Web ServicesとMicrosoftは、ETL（データの抽出、変換、読み込み）のクラウドサービス（以下、クラウドETL）として、それぞれ「AWS Glue」と「Azure Data Factory」を提供している。ユーザー企業はこれらのクラウドETLを利用することで、容易にデータパイプライン（さまざまなデータソースからデータを取り込むシステム）を構築可能だ。AWS GlueやAzure Data Factoryを使い、データパイプラインを構築する方法を説明する。
AWS GlueとAzure Data Factoryでデータパイプラインを構築する
併せて読みたいお薦め記事
連載：「AWS Glue」と「Azure Data Factory」を徹底比較
データ活用の仕組みを整備する
クラウドETLであるAWS GlueとAzure Data Factoryは、共通する前提条件がある。データパイプラインを構築する際に必要な要素は以下になる。
- データソース
- データを生成する場所を指す。具体的にはデータベース管理システム（DBMS）やAWSの「Amazon Simple Storage Service」（Amazon S3）、Microsoftの「Azure Blob Storage」などのオブジェクトストレージサービスといったシステムが当てはまる。AWS Glueの場合はAWSサービスが、Azure Data Factoryの場合はMicrosoftのクラウドサービス群「Microsoft Azure」のサービスが最も簡単に連携できる。両者共に、外部のデータソースも連携可能だ。
- データターゲット
- データターゲットは、データパイプラインで処理された後のデータを配置する場所を指す。オブジェクトストレージサービスまたはDBMSが当てはまる。
AWS GlueとAzure Data FactoryのどちらのクラウドETLでデータパイプラインを構築するとしても、クラウドETLがデータソースからデータを収集する方法を定義する必要がある。収集したデータの処理が必要な場合は、その処理方法も定義する。
データパイプラインは、外部システムからデータを取得してデータソースに足りない情報を補うことができる。データ処理の過程で、データソースから収集した重複データを削除することも可能だ。処理完了後にデータを転送するデータターゲットも指定する必要がある。
AWS GlueとAzure Data Factoryは、各クラウドサービスの管理画面またはコマンドラインインタフェース（CLI）ツールで管理できる。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[デジタルサーカス株式会社] 5分で分かる、「オープンソースCMS」比較ガイド -
製品資料
[デジタルサーカス株式会社] 1つのアプリを各国で運用 多言語モバイルアプリを簡単に開発・導入できる方法 -
製品資料
[ニュータニックス・ジャパン合同会社] 複雑化するKubernetes運用、VMとコンテナの二重管理を解消する方法は？ -
市場調査・トレンド
[アルプス システム インテグレーション株式会社] 急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要？ -
製品資料
[NTTPCコミュニケーションズ株式会社] クラウド時代のネットワーク＆セキュリティ、自社に適した方式や方針の見極め方
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
半数がブルーカラー転向を視野に？ ベテランエンジニアを追い込む“54歳の壁”
-
2
「AIの粗悪レポート」で悲鳴 IntelやGoogleがバグ報奨金を止めた理由
-
3
障害対応に「余裕なし」が9割超 運用担当316人調査で見えた「運用赤字」
-
4
シャトレーゼを悩ませる偽メール 混乱なしでBIMI導入とDMARC強化を実現した方法
-
5
PHP2Shellの「事前の情報流出」でパニックに パッチ公開を巡る“混乱劇”
-
6
「セキュリティ運用と侵入後の初動防御」に関するアンケート
-
7
「年1回の外部診断」が限界に 大手小売が脆弱性管理を内製化・一元化した方法
-
8
京王電鉄・東京メトロの被害から学ぶ境界防衛 ITの侵害はどこまで波及するか
-
9
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
10
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する？ 超速の攻撃からエンドポイントを保護する方法
-
2
最速72分でデータが流出？ 最新の脅威トレンドや侵入手法から分かった防衛策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
2026年のサイバーセキュリティには何が必要か？ 最新データに学ぶ傾向と対策
-
5
「IT史に名を残すシステム障害」8選
-
6
「EDR」選定ガイド：比較・検討フェーズで整理すべきポイントを解説
-
7
10G回線の真価をフルに享受するには？ 導入前にチェックしたいポイント
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
-
9
MDMだけでは防げない？ Appleデバイスに潜む5つのセキュリティギャップ
-
10
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー