ビッグデータとは? いまさら聞けない基礎知識

ユーザー企業のIT担当者を対象に、IT製品/サービスの導入・購買に役立つ情報を提供する無料の会員制メディア「TechTargetジャパン」。このコンテンツでは、ビッグデータに関する用語解説の記事を紹介します。製品/サービス選定の参考にご覧ください(リンク先のページはPR記事を含みます)。

ビッグデータとは何か

 ビッグデータは、大量かつ多様なデータと、そのデータを高速で収集、処理、分析するための技術を指す。ビッグデータには構造化データと半構造化データ、非構造化データが含まれ、これらは機械学習や予測モデル、その他の高度なデータ分析アプリケーションで使用される。

ビッグデータ関連の用語解説

突っ込みどころ満載の“おかしな分析グラフ”はなぜ生まれるのか

大量のデータをビジネスに生かす「データ駆動型ビジネス」。その推進に当たり、データ分析者の焦りや先入観が思わぬ落とし穴になりかねない。

(2015/9/24)

1回で分かる:知識創発の機会を生む、オープンデータとは何か?

2012年7月に電子行政オープンデータ戦略が策定されて以来、にわかに盛り上がりを見せているオープンデータ。オープンデータとは何をもたらすものなのか。「Open Definition」の定義にならい、オープンデータの本質を導き出す。

(2013/12/11)

ビッグデータの用途と6つの「V」を解説

ビッグデータはどのように使われているのか

 企業はビッグデータをシステムに組み込むことで、業務効率を向上させたり、より良い顧客サービスを提供したり、顧客一人一人にパーソナライズした販促キャンペーンを実行したりできる。

 ビッグデータを効果的に利用する企業は、事業判断のスピードと正確性を向上させて、競争力を高められる可能性がある。例えばビッグデータは、顧客に関する貴重な洞察を提供する。こうした洞察は企業のマーケティング活動を洗練させて、顧客の満足度を向上させるために利用できる。過去のデータとリアルタイムのデータの両方を分析することで、消費者や顧客企業の需要の変化を評価して、すぐにその需要に合わせられるようになる。

 医師は疾患の兆候とリスクを特定したり、診断を補助したりするためにビッグデータを利用できる。感染症対策にも有用だ。医療機関や電子健康記録やソーシャルメディア、Webサイト、その他の情報源からのデータを収集して組み合わせて分析することで、感染症の発生状況や患者者数の予測ができる。

 他にもさまざまな業界でビッグデータが使われている。

  • 石油会社やガス会社は、資源の掘削ができる新しい場所の特定や、パイプラインの運用監視のためにビッグデータを利用している。
  • 金融サービス企業は、ビッグデータを利用してリスク管理や市場データのリアルタイム分析を実施している。
  • 製造業者や輸送会社は、サプライチェーンの管理や配送ルートの最適化のためにビッグデータを利用している。

ビッグデータに含まれるデータの種類とは

 ビッグデータは、取引処理システムや顧客データベース、電子メール、医療記録、インターネットのクリックログ、モバイルアプリケーション、ソーシャルネットワークなど、さまざまなデータ源から生じる。テキスト形式のデータに加えて画像や動画、オーディオファイルもまた、ビッグデータの形態だ。

 ネットワークやサーバのログファイル、製造機械、IoT(モノとインターネット)デバイスからのセンサーデータなど、機械が生成するデータもビッグデータに含まれる。組織の業務システムが取得したデータに加えて、金融市場や気象、交通状況などに関する統計データや地理情報、科学研究など、組織外から取得したデータをビッグデータとして扱うこともある。

ビッグデータの「V」とは何か

 ビッグデータを表す3つのVという概念がある。3つのVは、それぞれ以下の意味を持つ。

  • Volume(データの量)
    • データの量を指す。ビッグデータは膨大な量のデータを扱うことが特徴で、データ量がテラバイト(TB)からペタバイト(PB)、さらにはエクサバイト(EB)規模に及ぶことがある。
  • Variety(データの種類)
    • データの種類の多様性を指す。ビッグデータは表形式のデータなどの構造化データとログファイルやJSON形式のデータなどの半構造化データ、テキストや動画などの非構造化データの全てを含む。
  • Velocity(データの速度)
    • データの生成、収集、処理の速度を指す。ビッグデータシステムはリアルタイムまたはほぼリアルタイムでデータを生成、収集し、迅速に処理や分析を必要がある。

 3つのVは2001年に調査会社META Groupのアナリストだったダグ・ラニー氏が提唱した。最近ではデータの正しさ(Veracity)や価値(Value)、変動性(Variability)など、他のVを追加して、ビッグデータについて説明することもある。これらのVには以下の意味合いがある。

  • データの正しさ(Veracity)
    • 真実性は、データセットの精度と信頼性を指す。さまざまなソースから収集されたそのままのデータは、データ分析のときに問題を引き起こす可能性がある。そのデータをデータクレンジング技術で修正することで、分析精度と信頼性を向上できる。
  • 価値(Value)
    • 収集されたデータの全てが、実際のビジネスで価値を持つわけではない。組織はビッグデータ分析プロジェクトでデータを使う前に、プロジェクトで解決したい課題にそのデータが関係していることを確認する必要がある。
  • 変動性(Variability)
    • 収集するデータの変動の大きさや不規則性を指す。具体的には、データが時間の経過とともにどのように変動するか、または一貫性を欠くパターンを示すかを意味する。変動性の高いデータを扱う場合は、その不規則性に対処する必要があるため、ビッグデータの管理と分析を複雑にする。