ビッグデータは、大量かつ多様なデータと、そのデータを高速で収集、処理、分析するための技術を指す。ビッグデータには構造化データと半構造化データ、非構造化データが含まれ、これらは機械学習や予測モデル、その他の高度なデータ分析アプリケーションで使用される。
RDBMSは組織のデータ管理を担う。さまざまなRDBMS製品が存在する中、組織はどのような観点でRDBMS製品を採用したり、置換したりしているのか。読者調査の結果から探る。
Googleが提供しているビッグデータ分析サービスは多彩だ。中には「Google検索」「Googleアナリティクス」などの裏側で稼働するシステムを基にしたサービスもある。5つの主要サービスをピックアップして説明する。
企業は、ビッグデータの処理基盤をクラウドに移している。この動きは、それまでのITスキルを覆すことはないが、管理者や開発チームには幾つか変化が求められるだろう。
Facebookがユニファイドコミュニケーション(UC)の一団に加わった。負けじとAmazonも参入し、UC市場は巨大な2つのディスプラプター登場により波乱の展開を迎えつつある。
「Microsoft Azure」と「IBM Bluemix」には数多くのデータ分析機能が存在する。こうした機能を活用したデータ分析の手法、各サービスの特徴をまとめた。
クラウドベンダー各社は、データ分析に特化したクラウドサービス提供に注力している。こうしたクラウドサービスやOSSツールを活用したビッグデータ分析の基本的な流れを紹介する。
ストレージプロトコルのパフォーマンスの問題を解決するために生み出された新しいプロトコルがNVMeだ。これを利用するための具体的な実装方法は3つある。どれを選ぶべきなのか。
Yahoo!の機械学習チームが、分散ディープラーニングに対応したTensorFlowである「TensorFlowOnSpark」を公開した。TensorFlowOnSparkが必要な背景を解説する。
最高技術責任者(CTO)たちが予測する2017年のエンタープライズストレージ市場。後編ではデータ分析とセキュリティにおけるストレージの影響に言及する。
2016年、データ分析関連の記事で最も読まれたのはどんなテーマだったのか。TechTargetジャパンの関連記事ランキングから探ります。
ストレージシステムが自分に保存しているデータの詳細を把握できるようになったとき、アプリケーションも相性に合わせた最適な使い方を自ら選べるようになるという。
新しいDBMS製品の多くはダウンタイムに対処するために登場している。つまり稼働率100%の実現だ。大量トランザクション処理を目的に作られた新種のDBMS製品「NuoDB」とは。
「Amazon Web Services」(AWS)のHadoopサービスとして特に魅力的なのが「Apache Spark」である。「Amazon Elastic MapReduce」と連係して高速処理や多用途性を実現する。
「Apache Spark」の商用ディストリビューションの多くには、クラウドのオプションが用意されており、顧客から人気を博している。だからといって、それがあらゆる状況で役に立つわけではない。
「Google Cloud Platform」で提供される各種ビッグデータサービスの全体像について案内するのは容易ではないが、本稿ではGoogleが提供しているサービスの一つ一つについて分かりやすく紹介してみたい。
HDFSで一般的なデータ保護とパフォーマンスの問題を回避する代替策となる3つの商用Hadoopディストリビューションを紹介する。
IBMは米国の人気クイズ番組「Jeopardy!」で脚光を浴びたWatsonをベースとした製品を作って、再び世間の関心を集めようとしている。
コストが高く魅力のないプロプライエタリデータベースの代替として、多くの企業がよりアジャイルなオープンソース製品に目を向けている。自社のニーズに最も合ったものを選ぶためには試行錯誤が必要だ。
中国Alibaba Groupのインフラエンジニアが公開したコールドストレージエンジンでは、SDS(ソフトウェア定義ストレージ)の性能や容量の課題解決に向けた改良を進めている。
モバイル広告ネットワーク企業Billy Mobileは、Hadoopを中核とするビッグデータ分析環境に社運を賭ける。Kafka、Spark、Storm、Hive、HBaseで構築した意思決定アルゴリズムとは?
企業はビッグデータをシステムに組み込むことで、業務効率を向上させたり、より良い顧客サービスを提供したり、顧客一人一人にパーソナライズした販促キャンペーンを実行したりできる。
ビッグデータを効果的に利用する企業は、事業判断のスピードと正確性を向上させて、競争力を高められる可能性がある。例えばビッグデータは、顧客に関する貴重な洞察を提供する。こうした洞察は企業のマーケティング活動を洗練させて、顧客の満足度を向上させるために利用できる。過去のデータとリアルタイムのデータの両方を分析することで、消費者や顧客企業の需要の変化を評価して、すぐにその需要に合わせられるようになる。
医師は疾患の兆候とリスクを特定したり、診断を補助したりするためにビッグデータを利用できる。感染症対策にも有用だ。医療機関や電子健康記録やソーシャルメディア、Webサイト、その他の情報源からのデータを収集して組み合わせて分析することで、感染症の発生状況や患者者数の予測ができる。
他にもさまざまな業界でビッグデータが使われている。
ビッグデータは、取引処理システムや顧客データベース、電子メール、医療記録、インターネットのクリックログ、モバイルアプリケーション、ソーシャルネットワークなど、さまざまなデータ源から生じる。テキスト形式のデータに加えて画像や動画、オーディオファイルもまた、ビッグデータの形態だ。
ネットワークやサーバのログファイル、製造機械、IoT(モノとインターネット)デバイスからのセンサーデータなど、機械が生成するデータもビッグデータに含まれる。組織の業務システムが取得したデータに加えて、金融市場や気象、交通状況などに関する統計データや地理情報、科学研究など、組織外から取得したデータをビッグデータとして扱うこともある。
ビッグデータを表す3つのVという概念がある。3つのVは、それぞれ以下の意味を持つ。
3つのVは2001年に調査会社META Groupのアナリストだったダグ・ラニー氏が提唱した。最近ではデータの正しさ(Veracity)や価値(Value)、変動性(Variability)など、他のVを追加して、ビッグデータについて説明することもある。これらのVには以下の意味合いがある。