DB管理も兼務する羽目に
クラウドによるビッグデータ活用でワリを食う管理者のため息
クラウドのおかげで、ビッグデータの管理や大規模化するデータウェアハウスの運用を行う選択肢が増えている。これらの選択肢は、クラウド管理者の役割に直接影響を与えている。
IaaS（Infrastructure as a Service）を主にコンピュートおよびストレージインフラとして使おうとする企業では、データベース管理者は、データウェアハウスコンポーネントのインストール、構成、監視の管理を続けることになる。一方、オーバーヘッドを最小限に抑えようとする企業や、既存のクラウド管理者を有効に活用しようとする企業にとっては、米Amazon Web Servicesの「Amazon Redshift」のようなホステッド型データウェアハウスサービスが適切な選択肢かもしれない。しかし、こうしたホステッド型データウェアハウスを利用する場合、クラウド管理者の役割と責任に一般的なデータベース管理者の仕事が加わってくる。
クラウド管理者が担うさまざまな責任を理解するため、クラウドで使用する大規模データウェアハウスの3つの選択肢を考えてみよう。すなわち、（1）Redshiftで提供されるホステッドデータウェアハウスサービス、（2）「Amazon Elastic MapReduce」（EMR）とともに使う「Hive」、（3）AmazonのIaaSで自前で管理するクラスタ上で使う「Apache Spark」――だ。データストアと運用モデルの組み合わせはこれら以外にも可能だが、この3つの選択肢には、代表的な幾つかの重要な考慮点が含まれている。
Amazon Redshift：ホステッドデータウェアハウスサービス
Redshiftでは、完全なデータウェアハウスサービスが提供され、オーバーヘッドが軽減されている。このサービスは「PostgreSQL」をベースにモニタリングや基本的な管理機能（バックアップなど）が用意されている。このデータウェアハウスサービスでは、スケールアップ（より大規模なサーバを使う）やスケールアウト（サーバを追加する）によって規模を拡大できる分散データベースが実装されている。
Redshiftを利用する場合、クラウド管理者の役割はデータベース管理者に似たものになる。一部の設計作業（物理モデルの選択など）は免れるが、他の多くの作業がクラウド管理者に降り掛かる。例えば、クラウド管理者はデータベース上のロードに応じて、データウェアハウスのノードの数やタイプを変更しなければならない。また、データベースサービスがマネージド型でも、クラウド管理者は一般的なクラウド管理作業、例えば、ID管理やアクセス制御情報のメンテナンスや、コンプライアンス上の報告要件への対応などを行う必要がある。
Redshiftには他にも難点がある。データウェアハウスのソースのサイズ、スコープ、数が大きくなると、ETL（データの抽出、変換、ロード）が厄介になることだ。AmazonはRedshiftで、「Amazon Simple Storage Service」（S3）、「Amazon DynamoDB」および外部ホストとの統合をサポートしている。
ETLアプリケーションの開発には多額の投資が必要になることがある。多くのソースやターゲットの間でデータを移動する必要がある場合や、使用するデータストアのタイプを変更する可能性がある場合は、米TalendなどのビッグデータETLツールの利用を検討するとよい。このツールを使えば、ターゲットデータベースを変更または追加する場合にコードの書き換えを最小限に抑えられる。
Amazon EMR上のHive：Hadoopを使ったデータウェアハウジング
EMRでHiveを実行することで、マネージドサービスのメリットの一部が得られるが、管理者には多くの作業が要求される。クラウド管理者はHiveの論理データモデルを設計するだけでなく、データロードの管理、クラスタ構成の設計、ワークロードのモニタリングを行わなければならない。これらの作業は通常、データベース管理者が担当している。
Hiveは、Hadoop上に構築されたデータウェアハウスシステムであり、EMRでサポートされている。Hadoopは「Hadoop Distributed File System」（HDFS）を使うように設計されているため、管理者は、データウェアハウスがどのようにHDFSとS3を使ってデータを保存するかを決める必要がある。「DistCp」ツールを使ってHadoop内外のデータをコピーでき、データがS3にある場合は「S3DistCp」ツールを使ってコピーできる。HDFSデータは、クラスタがシャットダウンされた後は存在しないため、管理者は、クラスタを終了する前にデータをS3などの永続データストアにコピーするワークフローを計画する必要がある。
また、EMRを使用するクラウド管理者は、Hadoopクラスタの構成を指定する必要がある。指定する内容には、使用するインスタンスタイプに加え、ソースプログラム、ログファイル、データソース、SSH（Secure Shell）キーの場所が含まれる。さらに重要なことは、管理者は、データロードや長時間のバッチ処理といったワークフローのモニタリングとデバッグも行う必要があることだ。
同じデータセットに対して複数のワークフローが実行されるときは、管理者はワークフローのスケジューリングを最適化して、ETLのオーバーヘッドを最小限に抑え、Hadoopクラスタの不要な起動とシャットダウンをなくすとよい。
Apache Spark：DIYモデル
クラウドを主にコンピュートおよびストレージリソースとして使う場合、クラウド管理者に要求されるデータベース管理スキルのレベルが最も高くなる。だが、Apache Sparkのような新しいプラットフォームを最も柔軟に利用できる。
対話型クエリをサポートしなければならないデータウェアハウスは、Hadoopの書き込み集約型処理モデルのMapReduceの先を行かなければならない。Apache Sparkは、ビッグデータアナリティクスのためのインメモリアナリティクスエンジン。機械学習、グラフ処理、ストリーミング、対話型クエリをサポートしている。Apacheのトップレベルプロジェクトに昇格したことが2014年2月末に発表されている。
Sparkの開発者は、「Amazon Elastic Compute Cloud」（EC2）上のクラスタでSparkを実行するためのスクリプトを提供している。Amazonは、EMR上でのSparkと「Shark」（Spark上のHive）の実行に関するチュートリアルを公開している。クラウド管理者は管理作業全体に責任を持ち、その中にはクラスタの構成、Sparkのパラメータ設定、データロードの管理、アクセス制御の設定、ジョブのモニタリング、トラブルシューティングなどが含まれる。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[ポールトゥウィン株式会社] 開発スピードと品質を両立、DONUTSが実践する「ハイブリッドなQA体制」の構築術 -
製品レビュー
[ポールトゥウィン株式会社] 開発スピードと品質は両立できる？ DONUTSの「ジョブカン」に学ぶQA戦略 -
市場調査・トレンド
[レッドハット株式会社] 「プラットフォームエンジニアリング」調査レポート：利点・課題・未来像を詳説 -
市場調査・トレンド
[レッドハット株式会社] 生成AI活用のためのテクノロジー基盤、構築に際しての7つの検討事項とは？ -
製品資料
[レッドハット株式会社] ビジネスの現場へのAI導入と活用、何から始めてどのように進めるべきか？
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
-
2
「RAGの利用」に関するアンケート
-
3
「企業内サーバ環境の利用実態」に関するアンケート
-
4
IT製品の導入に関するアンケート「PC＆デバイス」編
-
5
忙しいけど成果ゼロ 情シスの「静かな崩壊」を防げ
-
6
一度は失敗、ある古着販売業者がたどり着いた「データ駆動型経営」の全て
-
7
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
8
IBM iのブラックボックス化を打破 資産継承と進化を実現する「IBM Bob」の実力
-
9
BI導入の成否はプロジェクト企画段階で決まる！【第3回】
-
10
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
ホワイトペーパーランキング PR
-
1
DX／AI投資の壁を突破、現代の最高財務責任者が直面する課題と克服のヒント
-
2
バックアップは“取っているから大丈夫”なのか？ ランサムウェア時代の備え方
-
3
ネットワーク遅延の原因、「パケットロス」の基礎知識と効果的な解決策
-
4
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
5
5分で分かる Microsoft 365のデータ損失に備えるためのバックアップの仕組み
-
6
AI活用を停滞させる「2：6：2の壁」を乗り越えるためのポイントとは？
-
7
ソフトウェア開発の属人化と手戻りをどう防ぐ？ 速さと品質を両立させる方法
-
8
「NAS」「SAN」「DAS」は何が違う？ いまさら聞けないストレージの基礎
-
9
複雑な組織構造で一度は頓挫した電子化、東京女子医科大はどう全学展開したか
-
10
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー