ビッグデータのためのDWH基盤【第2回】
NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ
ビッグデータを取り扱うDWH基盤として注目を集めているNoSQLデータベース。NoSQLデータベースにおけるデータ保存形式の主流となっているKVSの特徴と、その代表例である「HBase」「Cassandra」のデータ構造を解説する。
NoSQLデータベースとDWH
「NoSQLデータベース」は、文字通りデータベース言語としてSQLを使用しないデータベースの総称とされている。しかし、データウェアハウス(DWH)の観点で重要になるのは、NoSQLデータベースが非リレーショナル型の構造を持っていることだ。
NoSQLデータベースのモデリングでは、一般的な正規化という方法は取らない。つまり、DWHの代表的なデータ構造であるスタースキーマは採用していない。しかし、NoSQLデータベースはDWHには適用されないかといえば、必ずしもそういうわけではない。
前回「読めば分かる! ビッグデータのためのデータウェアハウス(DWH)とは?」で説明したように、DWHのデータ構造として大福帳スキーマを採用する場合には正規化は行われない。従って、NoSQLデータベースはビッグデータを対象としたDWHの基盤として、有力な選択肢の1つとなる。
NoSQLデータベース(KVS)の起源
NoSQLデータベースがリレーショナル型の構造を持たないとすると、一体どのような構造を持っているのだろうか。現時点でNoSQLデータベースに分類されている全てのデータベースが含まれるわけではないが、その主流は「KVS(キーバリューストア)」と呼ばれる。
KVSの起源は、2003年に米Danga Interactiveが開発したオープンソースソフトウェア(OSS)の「memcached」にさかのぼる。当時、多くのWebアプリケーションではデータの格納先としてRDB(リレーショナル型データベース)が利用されていた。しかし、ブログのようなアクセス数が極めて多いWebアプリケーションでは、その性能の限界が問題となっていた。memcachedはRDBの検索結果をキャッシュとして保存することでRDBの負荷を低減し、多数のアクセスを処理できるようにする。つまり、RDBを補完する目的で開発された。
memcachedは保存したいデータ(Value)にラベル(Key)を付けて、ValueとKeyのペアで保存する。保存したデータは、Keyを指定して対応するValueを取り出すという方法を取る。また、memcachedはKeyの値に応じてデータを格納するサーバを変えることで、複数のサーバにデータを分散配置できる。その結果、短時間で大量に増加するようなデータであっても、スケールアウトして対応できる。このmemcachedの成功の後、KVSはRDBを補完するという当初の目的を超えて、パブリッククラウドの基盤データベース技術としてRDBを置き換える存在になっていった。
NoSQLデータベース(KVS)の特徴
RDBと比較した場合のKVSの特徴は、DWHの観点で大きく2つに集約される。一方は短所であり、もう一方は長所となる。
1つ目の特徴は「SQLが使えない」という点で、DWHの観点では大きな制約となる。データの検索には、必ずRow Key(RDBの主キーに相当)の指定が必要となる。SQLのように、任意のカラムに対する条件指定での検索や複数のテーブルを結合する機能はない。なお、Row Keyの範囲を指定して、対応するデータを順次取り出すことは可能である。
また、保存するデータ(Row)のデータ構造に基づいて、Row Keyで指定されたRow内部での検索条件を付加することも可能だ。このRowのデータ構造と追加の検索条件の違いが、さまざまなKVSを特徴付ける要素となっている。
2つ目の特徴は「分散処理に優れる」という点で、DWHの観点では大きな優位性となる。KVSは複数サーバにデータを分散保存するために、大量のデータをスケールアウト型で扱える。このスケーラビリティの規模や耐障害性などが、さまざまなKVSを特徴付ける大きな要素となっている。
ここでは、代表的な2つのNoSQLデータベース(KVS)について、そのデータ構造を紹介しておく。
HBaseのデータ構造
「HBase」は、Googleの分散データベース基盤「BigTable」を基に、OSSプロジェクトとして開発されたものである。HBaseでは、KeyとValueの対をカラムと呼び、Keyの方を特にラベルと呼んでいる。カラムが集まったものがカラムファミリーと呼ばれ、さらに複数のカラムファミリーの集合がRowと呼ばれる。全てのRowにはRow Keyが付与されており、同じ構造を持つRowの集合がテーブルと呼ばれる。大ざっぱにいえば、HBaseのテーブルはRDBのテーブルに相当し、Row KeyはRDBの主キーに相当する。
上図は簡単な社員一覧表を基にHBaseのデータ構造を表している。例えば、社員「山田太郎」のメールアドレスを知りたい場合は、以下の順で検索を行い、
- テーブル「社員」を指定
- Row Key「002」を指定
- カラムファミリー「連絡先」を指定
- ラベル「メールID」を指定
結果、「t-yamada」という値を得ることになる。
Cassandraのデータ構造
「Cassandra」は、米Facebookが自社のサービスの分散データベース基盤をOSSとして公開したものである。以下にCassandraのデータ構造の例を示す。
CassandraとHBaseのデータ構造の大きな違いは、スーパーカラムの存在である。スーパーカラムは、複数のカラムの集合に対してキー(スーパーカラムのラベル)を付与したもので、カラムファミリーの中に定義することができる。そのため、HBaseでテーブルに相当するデータを1つのRowとして扱い、複数のRowの集合はキー・スペースと呼ばれる。
このようにKVSでは、データの検索については制約条件が多い。例えば、KVSに販売データを格納して、製品を中心とした検索と顧客を中心とした検索の2つを実行するためには、原則として別のテーブルやカラムファミリーを作成する必要がある。このため、分析的なアプリケーションがKVSを直接使用することは、現時点ではまだ難しいといえる。
しかし、ビッグデータの特性である莫大な明細データの格納という意味では、KVS(NoSQLデータベース)が有力な選択肢であることは間違いない。従って、NoSQLデータベースに明細データを保持した後に、RDBで分析用のデータベースを作成する、といった併用が現時点では現実的なアプローチといえる。
平井明夫
株式会社アイエイエフコンサルティング
マーケティング部 マーケティングディレクター
日本DEC(現日本ヒューレット・パッカード)、コグノス(現日本アイ・ビー・エム)、日本オラクルを経て、現在はアイエイエフコンサルティングに在籍。一貫してソフトウェア製品の開発、マーケティング、導入コンサルティングを歴任。特に、DWH、BIを得意分野とする。現在はBI技術の啓蒙のため、講演・執筆に積極的に取り組んでいる。
Copyright © ITmedia, Inc. All Rights Reserved.
ビッグデータのためのDWH基盤
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社キーエンス] RPAは「どれも同じ」ではない 過去に導入を諦めた企業が“失敗した理由”とは -
製品資料
[株式会社キーエンス] 疲れ知らずの単純作業ロボをサクッと作成、“自分一人”でデスクワークを効率化 -
製品資料
[ニュータニックス・ジャパン合同会社] クラウドネイティブ戦略ガイド:Kubernetesクラスタ運用を最適化する方法を解説 -
事例
[Neatframe株式会社] オフィス移転を好機に Sansanに学ぶ「会議環境」変革の秘訣 -
製品資料
[NECパーソナルコンピュータ株式会社] 「PCが動きません」で情シスが負担する“隠れコスト”はどれほどか?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Android」の極悪マルウェア、非公式アプリからうっかり感染しないためには?
-
2
従来の「外注」では解決しない情シスのリソース問題を突破する手だて
-
3
パスワードはなぜ死んだか 情シスが今すぐ始めるパスキー移行の現実解
-
4
「ChatGPT」は検索しまくり、「Gemini」は淡泊? AI検索の知られざる実態
-
5
なぜAIで「無意味な仕事」が増えるのか 人間の監視がむしろ足かせに?
-
6
Claudeを使い続けて大丈夫か? IPOで見えるAnthropicの財務と新機能
-
7
SlackでAWSのアラートを確認できる「AWS Chatbot」とは
-
8
トランプ氏当選で露呈、“電話による世論調査はオワコン”か?
-
9
2018年のIT投資動向総括「企業がITインフラへの投資を止めることはない」
-
10
AI時代のPC選定は“適材適所” 情シスが押さえておきたい3つの選択肢とは?
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには
-
4
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
5
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
6
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
7
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
8
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
9
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
10
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー