実験段階だが話題のSpark on Kubernetes
ビッグデータ活用で勢いを増すコンテナと「Kubernetes」導入
ビッグデータのベンダーやユーザーは、「Kubernetes」のコンテナ管理に目を向けている。コンテナによってシステムやアプリケーションの導入が高速になり、コンピューティングリソースの利用が柔軟になるためだ。
ビッグデータ導入プロセスをコンテナ化する試みは、まだ始まったばかりだ。とはいえ、ビッグデータのシステムとアプリケーションの導入を容易にするツールとして、コンテナと「Kubernetes」に注目するユーザーやベンダーが増えている。Kubernetesは、コンテナを編成／管理するテクノロジーだ。
この試みを早くから取り入れているベンダーやユーザーは、Kubernetesクラスタでビッグデータコンテナを実行して、システムのビルドとアプリケーションコードを再利用することで、開発や導入の作業速度を上げたいと考えている。このコンテナアプローチにより、システムやアプリケーションを新しいプラットフォームに簡単に移行できるようになる。また、コンピューティングリソースをワークロードの変更に合わせて再配置したり、企業内で利用可能なITインフラの使用を最適化したりすることも容易になる。
併せて読みたいお薦めの記事
サーバレス vs. コンテナ
Kubernetes活用ノウハウ
ビッグデータテクノロジーのベンダーが自社の製品にコンテナとKubernetesのサポートを追加するペースは勢いを増している。例えば2018年3月、米国で開催された「Strata Data Conference」では、MapR Technologiesが、Kubernetesボリュームドライバーを同社のビッグデータプラットフォームに統合したことを発表した。同社はこの統合により、このオーケストレーションテクノロジーに結び付けられているコンテナ化アプリケーション向けに永続データストレージを提供するという。
MapRでは以前、同社の「MapR Converged Data Platform」への組み込み接続を備え、特殊化した「Docker」コンテナの使用をサポートしていた。だがKubernetes拡張機能の方が「環境に対してはるかに透明性がありネイティブだ」と話すのは、MapRでデータおよびアプリケーション部門のシニアバイスプレジデントを務めるジャック・ノリス氏だ。また、この永続ストレージ機能により、ステートフルなアプリケーションでコンテナを使えるようになると同氏は補足する。このことは「Hadoop」や関連テクノロジーを使用した一般的なビッグデータ導入の要件になっている。
さらに、2018年2月後半にリリースされたオープンソースの「Apache Spark」処理エンジンのバージョン2.3アップデートには、ネイティブKubernetesスケジューラーが含まれている。Bloomberg、Google、Intelなど複数の企業が開発に参加しているこの「Spark on Kubernetes」は、実際にはまだ実験段階だという。とはいえ、これによりSpark 2.3ワークロードをKubernetesクラスタで実行できるようになる。
米国で開催された2018年の「Strata Data Conference」で話題になったビッグデータシステムとアプリケーションのコンテナ化
負けじとばかりに、間もなくバージョン1.5がリリースされる「Apache Flink」では、Kubernetesのライバル「Apache Mesos」とのつながりも強めようとしていると話すのは、「Apache Flink」のベンダーでData Artisansの共同創設者兼ソフトウェアエンジニアを務めるファビアン・ヒュースキ氏だ。FlinkはSparkのライバルとなるストリーム処理プラットフォームだ。ユーザーは、Data Artisansが提供する最新のFlinkディストリビューションをKubernetes上で実行できる。「ただし、今すぐに行うのは必ずしも簡単ではない。新しいリリースの方がはるかに容易になる」というのが「Strata Data Conference」でのヒュースキ氏の発言だ。
軌道に乗るビッグデータコンテナ
中国のオンライン小売業者JD.comは、Spark on Kubernetesを早くから導入している。同社は、「TensorFlow」や「Caffe」といった機械学習フレームワークや深層学習フレームワークも単一のKubernetesベースアーキテクチャでコンテナ化している。同社はこのアーキテクチャを「Moonshot」と呼ぶ。
コンテナの使用は、この新しいアーキテクチャで実行される機械学習やその他のAI分析アプリケーションをサポートする中で、ビッグデータの導入作業の効率を上げ、簡略化することを意図している。JD.comでソフトウェア開発エンジニアを務めるジェン・ファン氏はカンファレンスのセッション内でそう説明し、次のように述べた。「1つのクラスタで全てのAIワークロードをサポートすれば、リソースの使用率を最大限に高めることができるのではないかというのが主な検討事項だった」
一方で、コンテナを使用すると企業のWebサーバに分析システムを素早く導入することも可能になると同氏は補足する。コンテナを利用すれば、処理が行われていない夜間を活用できる。
「eコマースでは、Webサーバの稼働率が真夜中になるまでは非常に高い。だが深夜12時から午前6時までならば、一部のオフラインジョブの実行に使用できる」（ファン氏）
JD.comは2017年半ばにこのAIアーキテクチャの取り組みに着手した。ファン氏によると、現状同社には、コンテナで運用ジョブを実行しているノードが300あるという。また、近い将来ノード数を1000に増やす予定だ。Spark on Kubernetesテクノロジーは2017年の第3四半期に導入した。当初はSparkのストリーム処理モジュールを使用して実行されるアプリケーションのサポートが目的だった。
だが、そうした目的での導入は、運用環境でSpark on Kubernetesを利用する準備が整っているかどうかをテストするための概念実証プロジェクトにとどまっている。Intelで上級ソフトウェアエンジニアを務めるウェイ・ティン・チェン氏はそう説明する。IntelはJD.comを支援してアーキテクチャを構築している。チェン氏は、SparkにはKubernetesにまだ結び付けられていない要素が幾つかあると指摘する。また評価すべき問題についても言及した。
同氏によると、JD.comとIntelはKubernetesを使用することで、例えば大量のコンテナを起動したときにパフォーマンスのボトルネックが発生するかどうかを確認しているという。もう1つの懸念は信頼性だ。ますます多くの処理ワークロードがSpark on Kubernetes経由で実行されるため、信頼性が重要になるとチェン氏はいう。
最先端でのKubernetes利用
Spark on Kubernetesは、現時点では「技術力」が十分ある企業がビッグデータを導入する場合に最適かつ最先端のテクノロジーになる。Pepperdataで製品管理部門のディレクターを務めるビノッド・ナイル氏はそう主張する。同社は、ビッグデータシステム用のパフォーマンス管理ツールのベンダーであり、Spark on Kubernetesの開発作業に携わっている。
ナイル氏によると、このKubernetesスケジューラーはSpark 2.3のプレビュー機能であり、今後6～12カ月は一般公開の準備が整いそうにないという。「これは非常に大規模な取り組みだ。そのため、運用環境で公開するまでにある程度の時間がかかると見込んでいる。現時点ではαテストの段階だ」
PepperdataではSparkと「Hadoop Distributed File System」（HDFS）に対応するKubernetesベースのコンテナを同社の一部の製品でサポートすることを予定している。Pepperdataは、手始めとして、ビッグデータアプリケーション開発者向けのパフォーマンス管理ポータル「Application Spotlight」を2018年3月に発表した。最近リリースされた「Hadoop 3.0」では、Hadoopに組み込まれたYARNリソースマネジャーでもDockerコンテナを制御できる。だが「Kubernetesにはそれ自体が実行しようとしていることに対し、もっと大きな野望があるような印象を受ける」とナイル氏は感じている。
全ての企業がKubernetesに夢中になっているわけではない。BlueData Softwareはカスタムオーケストレーターを使用して、同社のBigData as a Serviceの中核を成すDockerコンテナを管理している。BlueData Softwareの共同創立者でありチーフアーキテクトを務めるトム・フェラン氏は、特にステートフルなアプリケーションについては自社製のツールの方がKubernetesよりも技術的に優位だと考えている。ただし同社では、今後導入する可能性を念頭に置いてラボ環境でKubernetesを扱っているという。
Pinterestも同じことを行っている。同社はDockerコンテナを使用して、さまざまな機械学習アプリケーションの開発と導入を高速化しようと取り組んでいる。こうしたアプリケーションを社内で使用することにより、同社が提供する画像ブックマークやソーシャルネットワークサイトを推し進めることができる。そう説明するのは、Pinterestで上級ソフトウェアエンジニアを務めるキナリー・ジャングラ氏だ。
ジャングラ氏は、機械学習モデルをデバッグするためのコンテナベースの構成をテストケースとして構築した。「Strata Data Conference」での同氏のプレゼンテーションによると、PinterestではKubernetesクラスタもテストしているという。「運用環境への移行時にこれが役に立つかどうかを確認しようとしている。だが、まだその段階まで達していない」とジャングラ氏は話す。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
技術文書・技術解説
[Jamf Japan 合同会社] MDMだけでモバイルセキュリティは十分？ 不足する対策を16項目でチェック -
事例
[Wrike Japan 株式会社] 世界的な家電メーカーが実践する「クリエイティブプロセス効率化」の方法とは？ -
事例
[Wrike Japan 株式会社] 世界的テクノロジー企業に学ぶ、プロセス標準化とプロジェクト納品自動化の秘訣 -
事例
[Wrike Japan 株式会社] ソニー・ピクチャーズ テレビジョンに学ぶ、次世代サービスデリバリーのヒント -
事例
[Wrike Japan 株式会社] ソミック石川に学ぶ、ICT浸透後に直面した「工数管理」の課題と解決策
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Copilot」はなぜ放置される？ “議事録要約止まり”を脱する処方箋
-
2
脱VMwareの前提が崩れる BroadcomのVDDK公開停止で確認すべき点
-
3
「有線LAN環境」に関するアンケート
-
4
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
5
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
6
「データストレージの活用方法」に関するアンケート
-
7
「自動化」で「DX」は強制的に進む？ そのシンプルな理由
-
8
AWS障害でも補償ゼロの衝撃 サイバー保険で情シスが見落とす「細則の壁」
-
9
AI全部入り「Microsoft 365 E7」に企業が二の足を踏む訳 移行意向はわずか4％
-
10
「データを国内に置く」だけでは不十分 情シスが知るべきAI時代の「デジタル主権」
ホワイトペーパーランキング PR
-
1
マンガで解説：「ゼロトラスト」「SASE」の必要性とメリット
-
2
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
3
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
4
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
5
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
6
国税庁の次世代基幹システム「KSK2」稼働開始に向けて、対応すべき変更点とは？
-
7
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
8
ドラマで分かる、標的型攻撃メールの被害を受ける企業と回避できる企業の分岐点
-
9
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
10
少額減価償却資産が40万円未満へ拡大、令和8年度税制改正で押さえるべき変更点
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー