BI/DWH分野でバズワードとなっている「ビッグデータ」。ビッグデータとはどのようなデータを指す言葉なのか。そしてビッグデータを格納するDWH製品の代表的な3つのアプローチを紹介する。
「ビッグデータ」という言葉は、ここ1年ほどで急速に取り上げられるようになったが、定義は今もって曖昧なようである。筆者が理解しているもともとのビッグデータの定義は、Twitter、Facebookといったソーシャルネットワーキングサービス(SNS)に、1日当たり数Tバイトといった莫大な単位で蓄積されるデータのことである。これらは、文字や映像を中心としたいわゆるマルチメディアデータであるため、一般的なデータウェアハウス(DWH)とは直接の関連はなかった。
しかし、ここのところDWH分野でもビッグデータという言葉が頻繁に登場するようになった。これは、ビッグデータという言葉で表されるデータの種類が、マルチメディアデータだけでなく、大量に蓄積される(されている)定型的なデータも含むようになったためと考えられる。ここで言う定型的なデータとは、行(レコード)と列(カラム)で表現されるデータのことであり、別の言い方をすると、リレーショナルデータベース(RDB)で格納可能なデータということができる。
DWH分野におけるビッグデータの定義が、大量に発生する定型的なデータを含むとするならば、ビッグデータは昔から存在する。それは、例えばPOSデータであり、eコマースサイトのデータである。もともとDWHは比較的大量なデータを蓄積するためのIT基盤ではあるが、その中でもこれらは「日々刻々と膨大な量の明細データが発生する」という意味で立派にビッグデータの資格を満たしている。
POSデータは、店舗小売業のレジで発生する販売データである。販売管理アプリケーションでは、1つのレシートが1件のトランザクションとなるが、DWHに格納される際は、購入商品アイテムごとに明細レコードとして格納するため、データ量はさらに莫大なものになる(関連記事:あるスーパーマーケットに見るPOSデータ分析の実践)。
eコマースサイトのデータは、基本的な属性はPOSデータと同じであるが、一般的に会員制を取るため、購買者の個人属性(年齢、性別など)がデータに追加され、結果としてデータ量をさらに増大させる。
社会人1年目と2年目の意識調査2024 「出世したいと思わない」社会人1年生は44%、2年生は53%
ソニー生命保険が毎年実施している「社会人1年目と2年目の意識調査」の2024年版の結果です。
KARTEに欲しい機能をAIの支援の下で開発 プレイドが「KARTE Craft」の一般提供を開始
サーバレスでKARTEに欲しい機能を、AIの支援の下で開発できる。
ジェンダーレス消費の実態 男性向けメイクアップ需要が伸長
男性の間で美容に関する意識が高まりを見せています。カタリナ マーケティング ジャパン...