押さえておきたいSQL ServerとHadoop連係の注意点【後編】
SQL ServerユーザーのためのHadoopコネクタ実装手順
SQL ServerとHadoopを接続するためのコネクタの実装手順を解説。SQL ServerとHadoop環境を組み合わせれば、大量の非構造化データを処理し、リポーティング、分析、BIなどをサポートする構造化環境に統合できる。
前編「SQL ServerユーザーのためのHadoop連係入門」では、SQL ServerとHadoopの連係を検討するユーザーのために、Hadoop環境におけるビッグデータ処理技術の概念を説明した。後編ではMicrosoftが提供するSQL Server用のHadoopコネクタの実装手順を解説する。
SQL Server用のHadoopコネクタの実装
SQL Server用のHadoopコネクタは、Hadoopクラスタのマスターノードに実装する。この場合、SqoopとMicrosoftのJava Database Connectivityドライバを使ってマスターノードを構成しなければならない。Sqoopはオープンソースのコマンドライン型ツールで、リレーショナルデータベースからデータをインポートし、Hadoop MapReduceフレームワークを使ってデータを変換した上で、そのデータをデータベースにエクスポートするのに利用する。
SQL Server用のHadoopコネクタをマスターノードにインストールすれば、Sqoopを使ってSQL Serverのデータをインポート/エクスポートできる。ただし、SqoopとコネクタはHadoopを中心とした環境内で動作する。言い換えれば、Sqoopを使ってデータをインポートする際には、SQL Serverデータベースからデータを取り込み、それをHadoop環境に追加するという形になるのだ。しかしデータをエクスポートする場合には、Hadoopからデータを取り込み、それをSQL Serverに送ることになる。
SqoopでSQL ServerのデータをHadoopにインポートする、あるいはHadoopからデータをエクスポートするには、次の3つの保存形式が使用できる。
- テキストファイル:コンマ、タブ、その他のサポートされた区切り文字を使用する基本的なテキストファイル
- シーケンスファイル:シリアライズされたデータが含まれるバイナリファイル
- Hiveテーブル:Hiveデータウェアハウス(Hadoop上に置かれる特殊なウェアハウジング構造)内のテーブル
SQL ServerとHadoop環境(MapReduceとHDFS)を組み合わせれば、大量の非構造化データを処理し、そのデータを、リポーティング、分析、ビジネスインテリジェンス(BI)などをサポートする構造化環境に統合できる。
もっと先を見据えるMicrosoft
SQL Server用のHadoopコネクタは、Microsoftがビッグデータ管理の分野に向けて大きな一歩を踏み出したことを意味する。その結果、Microsoftはオープンソースの世界を積極的に受け入れざるを得なくなった。Hadoop、Linux、Sqoopはいずれもオープンソース技術なのだ。だがMicrosoftはもっと先を見据えている。同社は2011年、クラウドプラットフォームのWindows Azure上のサービスとして動作するHadoop派生ソリューションを投入する予定だ(関連記事:Microsoftのビッグデータ戦略は顧客に何をもたらすか?)。
さらにMicrosoftは2012年、Windows Server向けに同様のサービスをリリースする計画だ。しかし、同社がHadoopコネクタをリリースしたことだけでも大きな前進だといえる。企業はビッグデータを自社のSQL Server環境に統合する作業を直ちに始めることができ、一方、Microsoftはこれを出発点としてビッグデータを統合する手段の改善に向けて継続的な取り組みを続けることができるのだ。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
製品レビュー
「電子帳簿保存法対応」実践術:タイムスタンプ付与などの要件の手軽な実現方法 -
事例
「大企業のデジタル化」成功事例集【コクヨ、九州電力、ヨネックスなど21社】 -
製品資料
“顧客管理の課題”を簡単に解決する方法とは? -
製品資料
契約管理の“あるある課題”をノーコード開発で解決するためのポイント -
製品資料
揺らぐ境界防御 いま企業が特に警戒すべき「3つのセキュリティ課題」とは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「技術屋」で終わらないために 情シスが今取るべき認定資格5選
-
2
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
3
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
4
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
5
継続利用は4割どまり M365 Copilotが「効く業務」と期待外れの境界
-
6
「即戦力」は幻想? 中途の3割が消えるAI時代のエンジニア生存戦略
-
7
画面をティッシュで拭くのはNG Dellが推奨するPCの正しいお手入れ方法
-
8
メインフレームは死なず AI活用で20年来の高収益をたたき出す基幹システムの底力
-
9
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
10
「企業におけるAIの運用」に関するアンケート
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
-
3
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
4
5回聞くだけじゃ足りない? トヨタ式「なぜなぜ分析」の正しい実践方法
-
5
「脱Excel」か「Excel快適化」か? 現場にやさしい業務改善の進め方
-
6
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
7
「結局、一部の人しか使わない」 AI活用が業務に定着しない根本的な理由
-
8
AIエージェントで成果は出る? 調査結果に見る費用対効果の実態
-
9
PostgreSQLの「機能」「性能」「運用」「拡張性」に関する悩みの解消法
-
10
ゼロトラストにおける「IDaaSの課題」と補完すべき重要機能とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー