データフロー管理がITシステム管理スタックの上層に

　インフラ層の下方にあるストレージ管理はわれわれ全員になじみがある。だが新しい枠組みによって、IT部門はデータそのものとデータの流れをシステム管理リソースとして管理できるようになりつつある。ネットワークやストレージ、サーバ、仮想化およびアプリケーションにも同じことがいえる。

　例えば企業のデータレイクとエンドツーエンドのビッグデータ生成の流れにはプロによるデータ監視、管理、トラブルシューティング、計画、設計が必要だ。他のシステム管理分野と同様、データフロ―は独自のサービス品質保証契約や可用性目標、パフォーマンス目標、容量不足、セキュリティ不安が付きまとう。そしてデータフローに出どころ、系統、信ぴょう性および動的に追跡すべき大量の関連メタデータがある。

　そうしたことの多くは長年のITエキスパートにとっては当然のことかもしれない。だがこれは新しい世界であり、自社のシステム管理の範囲でビッグデータとビッグデータフローを提供することは、データの大規模化、高速化が進む中で真のメリットがある。

　またこのトレンドは、昔ながらのサイロ型IT実務者のキャリアを変える可能性を秘める。ビッグデータ管理はキャリアの方向性として興味深い。StreamSetsのような新興ベンダーがこの分野に正面から取り組む一方で、ETLデータレイクカタログやセキュリティ製品を出発点とする企業がこの方向で進化しつつある。

スケールアップが再び到来

　私たちのようにIT業界に長く携わっている者は、定期的に行きつ戻りつする一元化と分散化、スケールアップとスケールアウトの2つのトレンドがあることを知っている。確かに新しいサイクルは全て新しい技術を使い、独特の特徴が加わっているが、後ろに下がって十分な距離を置くと、循環する周期が見える。

　ビッグデータは10年前からコモディティハードウェアのスケールアウトを目指してきた。今、これはスケールアップへとやや戻りつつある。正確に言うと、実際にはスケールアウトの枠組みの中のスケールアップだ。新型のグラフィックス処理ユニット（GPU）によって、より大きなノードが脚光を浴びている。例えばKineticaはIBMと連携してカスタム版のNVIDIAのGPUと1TBのメモリを搭載したシステムを構築し、静的な事前のインデックス化を必要としない高速アジャイルクエリやビッグデータ用のデータベースに対応させている。NVIDIAは最近、ディープラーニング専用にGPUを8基搭載したパワフルな「DGX-1」アプライアンスを投入した。

　行きつ戻りつするこのトレンドは、まだ終わっていないと私は確信する。だが結果としてビッグデータとAIの結び付きは強まるかもしれない。モノのインターネット（IoT）アプリケーションは多大なビッグデータの機会を先端へと押しやる。これは本質的にはスケールアウトを意味する。これまで通りにスケールアップとスケールアウトを新しく組み合わせることが現実的なアプローチとなりそうだ。

　いずれは全てのデータがビッグデータになり、機械学習があらゆる場面に応用されて、あらゆるものを動的分析に最適化するようになる。クラウドコンピューティングを通じて誰もがそのパワーを利用できるようにもなるだろう。近く予想される爆発的に増大するIoTデータソースと、ますます利用しやすいパッケージ型アルゴリズムを前提とするビッグデータとAIは、私たちが生きている間に現実になる。

　近い将来、データセンターは組織が収集できる全てのデータが統合されたホストとなる。継続的にリアルタイムのデータフローを処理して、業務システムと分析システムの両方に対応するようになり、全てができる限り自動化されたインテリジェンスによって駆動するようになる。価値命題の中で機械学習に触れるエンタープライズIT管理の新興企業は日々増え続けている。