SQL Serverのビッグデータクラスタ機能により、ビッグデータソースとの密接な統合が可能になった。その結果、新たにデータ仮想化機能が利用できる。SQL Server 2019のビッグデータクラスタは「PolyBase機能」を活用することでデータ仮想化を実現する。データ仮想化とは、データの移動やコピーをせずに多数のソースのデータを組み合わせることを指す。

　昨今の企業は一般的に、リレーショナルと非リレーショナルを組み合わせたさまざまな種類のデータを使用している。このため通常はリレーショナルデータソースと非リレーショナル（ここではビッグデータソースの意味）の両方のデータを組み合わせる必要がある。最も価値の高い企業データはSQL Serverのようなリレーショナルデータベースに保存する。IoTデータのようなビッグデータソースは主に「Hadoop Distributed File System」（HDFS）などの分散ファイルシステムに保存する。

　この2種類のデータの組み合わせが求められることは多い。Extract（抽出）、Transform（変換）、Load（読み込み）というプロセス（ETLプロセス）を用いて、単一のプラットフォームにデータをコピーし、そこでレポートや分析を実行するのが一般的だ。こうしたプロセスはバッチ処理指向であるため、実行に時間がかかり、大量のストレージが必要になる。

　SQL Server 2019のビッグデータクラスタには、PolyBase機能がある。この機能を使ってデータのレプリケート（複写）や移動なしで複数のデータソースのデータをまとめる。価値の高いリレーショナルデータとビッグデータを1つのクエリで組み合わせるのが基本だ。その際に、ETLプロセスを実行したり余計なストレージを使用したりする必要はない。この仕組みを実現するために、SQL Server 2019のデータベースエンジンはHDFSファイルをネイティブに読み取れるようになっている。

図1　SQL Server 2019で最も期待される3つの分野の新機能

　SQL Server 2019のビッグデータクラスタは多数の異なるテクノロジーをベースに構築されている。例えば、「Docker」（SQL Server on Linuxで利用）「Apache Spark」「Apache Hadoop」「Kubernetes」などがベースになる。SQL Server 2019のビッグデータクラスタを使用することで、ユーザーはSQL Serverコンテナで構成されたスケーラブル（拡張可能）なクラスタをKubernetesに導入できる。これらのコンテナでは「Transact-SQL」を使用してビッグデータの読み取り、書き込み、処理ができる。

　SQL Server 2019のビッグデータクラスタの大まかな概要を図2に示す。この図から、ビッグデータクラスタがSQL ServerコンテナとSpark Linuxコンテナから構成され、コンテナ管理とオーケストレーションにKubernetesが使われていることが分かるだろう。Dockerコンテナはコンピューティング層を構成するノードのグループ上で実行され、クエリはこれらの複数のDockerコンテナ全体で並列処理される。高度な分析や機械学習はSparkを使って実行可能だ。ビッグデータクラスタのアクティビティーはSQL Serverの「マスターインスタンス」が管理する。

図2　SQL Server 2019のビッグデータクラスタの大まかな概要