DWHを定義する鍵は、そこに流れ込むデータのソースを理解することだ。それが、データレイクだ。（続きはページの末尾にあります）
データ分析の要となるDWHは、クラウドサービスの普及期を迎えて大きな転換点にある。従来型のオンプレミスDWHの“3層構造”とは何か。クラウドDWHの主要サービスは。
データウェアハウスをオンプレミスに構築することは可能だが、スケーリングなどの面で課題がある。ここで、十分に成熟してきたクラウドサービスが選択肢になる。
欲しいデータをより迅速に手に入れたいというニーズを満たすのが「データマート」だ。そのメリットを整理し、データウェアハウス導入済みの企業が、新たにデータマートを構築する際の予算獲得のこつを紹介する。
全社横断的なデータ活用を進める東急不動産HDの事例や、ログ分析の効率化を図る九州工業大学の事例、お天気アプリ「ウェザーニュース」の企業向け新サービスなど、データ分析の主要なニュースを紹介する。
データウェアハウスもデータレイクも限界が見えた今、各社は「次世代型データウェアハウス」で市場をリードしようとしている。最後に生き残るアーキテクチャとは？
世界各国で産科瘻孔の問題に取り組むOperation Fistulaは、データ分析の要としてデータウェアハウスの「Exasol」を重視している。同団体がExasolを採用したいきさつとは。
データレイクを経てデータを分析するのがデータウェアハウス（DWH）だ。DWHのストレージ要件とはどのようなものか。オンプレミス構築の課題を解決してくれるDWHアプライアンスとはどのようなものか。
Next Pathwayは新たなツール「Crawler360」を発表した。「Netezza」「Teradata」などのオンプレミスのDWHやデータレイクからクラウドサービスへ移行する際の影響やコストなどを把握しやすくする。
Databricksは、データレイクでSQLクエリを直接実行できるサービス「SQL Analytics」を発表した。データウェアハウスとデータレイクの特徴を兼ね備えた「レイクハウス」具現化の一環だ。
大規模データの蓄積や処理に使われる技術の中では「Hadoop」が優勢だった。だが最近は、一時期守勢に立たされたはずの「DWH」が「クラウドDWH」へと形を変え、再び関心を集めつつある。背景には何があるのか。
長い歴史を持つデータウェアハウスはもう不要だという専門家もいる。実際、データウェアハウスはニーズの変化に適応できていない。代わりに登場したデータレイクにも課題が見えてきた。
低コストのソリッドステートメモリは、ソーシャルネットワークフィードやインダストリアルインターネットから来るビッグデータストリーミングの高速分析を支えている。
データ活用の要となるシステムが「データウェアハウス」だ。どのような役割やメリットを持つのか。データウェアハウスの基本的な特徴を整理する。
MicrosoftやGoogleなど既存のクラウドDWHベンダーの競合となるFireboltが、約3700万ドルの資金を調達した。同社が競合との差異化ポイントとしてアピールする「高速処理」の中身とは。
2016年夏、SAP HANAに関する2つの調査結果が相次いで発表された。1つは、中小企業もHANAに高い満足度を示した。一方、SAP自身が紹介した優良顧客の60％は、二度とSAP製品は買わないという。
データレイクは企業の全データのリポジトリだ。そこには構造化データも非構造化データも半構造化データもある。これを扱うのはデータサイエンティストの領分であり、ユーザーやほとんどのITスタッフにとってアクセスするようなものではない。
データはメタデータによって検索でき、ある程度はクエリ可能だ。だが分析する場所ではない。データレイクは分析作業前にデータを配置し、データを処理する場所だ。
分析を行うのはDWHだ。無秩序なデータレイクとは異なり、DWHは正しく整理されておりデータベースの構造化データで構成される。
データレイクはほとんど整理されておらず、アクセスはそれほど高速でなくてもよい。配置されるデータには無数の形式がある。そのデータを把握するには、多くの場合「Apache Hadoop」や「Apache Spark」などのスキーマオンリードツールやAmazon Web Services（AWS）の「Amazon Athena」（訳注：SQLでAmazon S3をクエリするサービス）が必要になる。
データがDWHに到着した時点でデータの精査とラングリング（分析用の前処理）は行われており、通常はETL（抽出、変換、読み込み）プロセスの対象として1つ以上のデータベースに保管される。
データへのアクセスは分析が目的なのでトランザクションデータベースほどの高速性は必要ない。ただし分析処理を目的としてデータセットがアクセスまたはコピーされるので、入出力（I/O）は相当量のシーケンシャルトラフィックになると考えられる。
こうした要件から、DWHのストレージにはある程度のパフォーマンス（高RPM、SAS）のHDDまたはフラッシュが利用されることが多い。シーケンシャルアクセスに適したQLCが要件を満たす可能性がある。
DWHを独自に構築することは可能だ。ストレージの仕様は比較的容易な部類に入る。だが、その影響が将来にも及ぶことを考えると複雑になる可能性がある。
こうした課題を軽減するため、多くのベンダーがDWHアプライアンスを提供している。こうしたアプライアンスはハードウェア、OS、DBMS、ストレージ、ネットワークが構成済みで、スケールアウトされるものが多い。
DWHアプライアンスを最初に提供したのがNetezzaだ。同社は2010年にIBMに買収され、ブランド名を変えて5年ほど存在したがやがて姿を消した。この状況が変わったのは2019年のことだ。IBMがRed Hatを買収し、フラッシュストレージ、FPGAでの処理、オンプレミスでもクラウドでも運用できる機能を備えたアプライアンスとしてNetezzaブランドを復活させた。
DWHのパイオニア的存在のTeradataは、クラウドおよびハードウェアベースのDWHやビジネス分析、コンサルティングサービスを提供している。「Teradata Everywhere」により、ユーザーは超並列処理（MPP：Massively Parallel Processing）を使ってオンプレミスDWH、マルチクラウドストレージ、ハイブリッドクラウドストレージ全体のパブリックデータベースとプライベートデータベースにクエリを送信できる。「Teradata IntelliFlex」はフラッシュストレージを使って数百PBにスケーリングできるDWHだ。「Teradata intelliCloud」はデータとAnalytics as a Service用のセキュアなマネージドクラウドだ。
EMCはしばらくの間オープンソースの「Greenplum」を自社のハードウェアにバンドルする形で販売していたが、現在はGreenplumのみで販売している。Greenplumは同社のDWHを軸とし、高度に並列化された「PostgreSQL」を基盤とする。このソフトウェアは大手ベンダーと競合するクラウドでの使用をターゲットにしているが、コンテナ化してオンプレミスで運用することも可能だ。
OracleはかつてDWHアプライアンスを販売していた。現在は「Oracle Autonomous Data Warehouse」をクラウドサービスとして提供している。このサービスは「Oracle Database」を基盤とする。
ITmediaはアイティメディア株式会社の登録商標です。
