DB管理も兼務する羽目に
クラウドによるビッグデータ活用でワリを食う管理者のため息
クラウドのおかげで、ビッグデータの管理や大規模化するデータウェアハウスの運用を行う選択肢が増えている。これらの選択肢は、クラウド管理者の役割に直接影響を与えている。
IaaS(Infrastructure as a Service)を主にコンピュートおよびストレージインフラとして使おうとする企業では、データベース管理者は、データウェアハウスコンポーネントのインストール、構成、監視の管理を続けることになる。一方、オーバーヘッドを最小限に抑えようとする企業や、既存のクラウド管理者を有効に活用しようとする企業にとっては、米Amazon Web Servicesの「Amazon Redshift」のようなホステッド型データウェアハウスサービスが適切な選択肢かもしれない。しかし、こうしたホステッド型データウェアハウスを利用する場合、クラウド管理者の役割と責任に一般的なデータベース管理者の仕事が加わってくる。
クラウド管理者が担うさまざまな責任を理解するため、クラウドで使用する大規模データウェアハウスの3つの選択肢を考えてみよう。すなわち、(1)Redshiftで提供されるホステッドデータウェアハウスサービス、(2)「Amazon Elastic MapReduce」(EMR)とともに使う「Hive」、(3)AmazonのIaaSで自前で管理するクラスタ上で使う「Apache Spark」――だ。データストアと運用モデルの組み合わせはこれら以外にも可能だが、この3つの選択肢には、代表的な幾つかの重要な考慮点が含まれている。
Amazon Redshift:ホステッドデータウェアハウスサービス
Redshiftでは、完全なデータウェアハウスサービスが提供され、オーバーヘッドが軽減されている。このサービスは「PostgreSQL」をベースにモニタリングや基本的な管理機能(バックアップなど)が用意されている。このデータウェアハウスサービスでは、スケールアップ(より大規模なサーバを使う)やスケールアウト(サーバを追加する)によって規模を拡大できる分散データベースが実装されている。
Redshiftを利用する場合、クラウド管理者の役割はデータベース管理者に似たものになる。一部の設計作業(物理モデルの選択など)は免れるが、他の多くの作業がクラウド管理者に降り掛かる。例えば、クラウド管理者はデータベース上のロードに応じて、データウェアハウスのノードの数やタイプを変更しなければならない。また、データベースサービスがマネージド型でも、クラウド管理者は一般的なクラウド管理作業、例えば、ID管理やアクセス制御情報のメンテナンスや、コンプライアンス上の報告要件への対応などを行う必要がある。
Redshiftには他にも難点がある。データウェアハウスのソースのサイズ、スコープ、数が大きくなると、ETL(データの抽出、変換、ロード)が厄介になることだ。AmazonはRedshiftで、「Amazon Simple Storage Service」(S3)、「Amazon DynamoDB」および外部ホストとの統合をサポートしている。
ETLアプリケーションの開発には多額の投資が必要になることがある。多くのソースやターゲットの間でデータを移動する必要がある場合や、使用するデータストアのタイプを変更する可能性がある場合は、米TalendなどのビッグデータETLツールの利用を検討するとよい。このツールを使えば、ターゲットデータベースを変更または追加する場合にコードの書き換えを最小限に抑えられる。
Amazon EMR上のHive:Hadoopを使ったデータウェアハウジング
EMRでHiveを実行することで、マネージドサービスのメリットの一部が得られるが、管理者には多くの作業が要求される。クラウド管理者はHiveの論理データモデルを設計するだけでなく、データロードの管理、クラスタ構成の設計、ワークロードのモニタリングを行わなければならない。これらの作業は通常、データベース管理者が担当している。
Hiveは、Hadoop上に構築されたデータウェアハウスシステムであり、EMRでサポートされている。Hadoopは「Hadoop Distributed File System」(HDFS)を使うように設計されているため、管理者は、データウェアハウスがどのようにHDFSとS3を使ってデータを保存するかを決める必要がある。「DistCp」ツールを使ってHadoop内外のデータをコピーでき、データがS3にある場合は「S3DistCp」ツールを使ってコピーできる。HDFSデータは、クラスタがシャットダウンされた後は存在しないため、管理者は、クラスタを終了する前にデータをS3などの永続データストアにコピーするワークフローを計画する必要がある。
また、EMRを使用するクラウド管理者は、Hadoopクラスタの構成を指定する必要がある。指定する内容には、使用するインスタンスタイプに加え、ソースプログラム、ログファイル、データソース、SSH(Secure Shell)キーの場所が含まれる。さらに重要なことは、管理者は、データロードや長時間のバッチ処理といったワークフローのモニタリングとデバッグも行う必要があることだ。
同じデータセットに対して複数のワークフローが実行されるときは、管理者はワークフローのスケジューリングを最適化して、ETLのオーバーヘッドを最小限に抑え、Hadoopクラスタの不要な起動とシャットダウンをなくすとよい。
Apache Spark:DIYモデル
クラウドを主にコンピュートおよびストレージリソースとして使う場合、クラウド管理者に要求されるデータベース管理スキルのレベルが最も高くなる。だが、Apache Sparkのような新しいプラットフォームを最も柔軟に利用できる。
対話型クエリをサポートしなければならないデータウェアハウスは、Hadoopの書き込み集約型処理モデルのMapReduceの先を行かなければならない。Apache Sparkは、ビッグデータアナリティクスのためのインメモリアナリティクスエンジン。機械学習、グラフ処理、ストリーミング、対話型クエリをサポートしている。Apacheのトップレベルプロジェクトに昇格したことが2014年2月末に発表されている。
Sparkの開発者は、「Amazon Elastic Compute Cloud」(EC2)上のクラスタでSparkを実行するためのスクリプトを提供している。Amazonは、EMR上でのSparkと「Shark」(Spark上のHive)の実行に関するチュートリアルを公開している。クラウド管理者は管理作業全体に責任を持ち、その中にはクラスタの構成、Sparkのパラメータ設定、データロードの管理、アクセス制御の設定、ジョブのモニタリング、トラブルシューティングなどが含まれる。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
2
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
3
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
4
221人調査で分かった「情シス最大のストレス」は?
-
5
「データストレージの活用方法」に関するアンケート
-
6
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
7
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
8
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
9
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
10
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー