キーパーソンインタビュー
Hadoopの父、カッティング氏に聞く今後のビッグデータ活用法
「Hadoop」の生みの親の1人であるカッティング氏に、現在の活動、Hadoopの今後、サイバーセキュリティとビッグデータの関係について聞いた。
2017年5月に英国ロンドンで開催された「Strata Data Conference」で、Computer Weeklyは「Hadoop」の生みの親の1人、ダグ・カッティング氏にインタビューした。同氏はHadoopディストリビューター企業Clouderaのチーフアーキテクトを務めている。
Computer Weekly日本語版 8月2日号無料ダウンロード
本記事は、プレミアムコンテンツ「Computer Weekly日本語版 8月2日号」(PDF)掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。
なお、同コンテンツのEPUB版およびKindle(MOBI)版も提供しています。
カッティング氏は、Yahoo勤務時代に同僚と共に「Hadoop」を作り出したことが広く知られている。これは、データワークロードを分割して結果の出力を削減するというGoogleの「MapReduce」のアイデアを採用し、さらにそれを広くソフトウェアフレームワークに当てはめるもので、同氏の息子のおもちゃから名前を取ってHadoopと名付けた。
今回は、サイバーセキュリティへのClouderaテクノロジーの新たな応用法、「Apache Spark」(並行処理フレームワーク)の役割、オープンソースの展望について同氏にインタビューを行った。
現在取り組んでいることを教えてください。
ClouderaとIntelを支援し、「Apache Spot」プロジェクトに取り組んでいる。このプロジェクトはオープンソースを採用し、ビッグデータのスタイルをサイバーセキュリティに活用する試みだ。これは従来のアプローチとは異なり、これまでの攻撃を調べ、攻撃コードの中から特定の種類の行動パターンをスキャンするフィルターを準備する。
従来のアプローチは、新しい手口の攻撃を捉えるのが難しい。だが、通常の行動パターンを定義するモデルを構築すれば、通常とは異なる行動を捕捉できる。
それは以前からある「異常検知」ではありませんか。何か違いがありますか。
このアプローチでは、HadoopとSparkを使って以前よりも大量のデータを保存して処理する能力を備えている。さらに、企業がさまざまな侵入検知アプリケーションを開発できるように、ネットワークデータの標準形式の準備も試みている。そうすれば、サイバーセキュリティエコシステムが育成され、サイバーセキュリティのオープンデータモデルになる。
Clouderaは業界横断的な活動を行ってきた。だが、今回は業界固有のデータをサポートすることも考えている。通信会社やIoTなどの業界向けの活動を行う機会もあるだろう。
オープンソースはビジネスにとって力になるのでしょうか。CIO(最高情報責任者)は、オープンソースが提供されなくなることを懸念しています。
そんなことはない。オープンソースはビジネスに必要なものだ。基本的なストレージやデータの処理に、非オープンソース技術を導入する企業は少なくなっている。また、オープンソースはそのプロセスに多くの人々が関与するため、ソフトウェア開発のモデルとしても優れている。
テクノロジーを管理する組織が1つだけなら、高い利益が見込める。だが、このような組織は、既存のビジネスが脅かされない限り、根本的な変更を加えることはなかなかないだろう。
例えばClouderaは、当初からHadoopのMapReduce要素をコンポーネントの中核として含んでいた。Sparkでもこれを踏襲しているが、より優れたツールに仕上がっている。
Clouderaには、オリジナルのHadoopテクノロジースタックがどの程度含まれていますか。
「HDFS」(Hadoop Distributed File System)、MapReduce、「YARN」(Yet Another Resource Negotiator)は、今でも重要な要素になっている。例えば、「Uber」はMapReduceを使用している。MapReduceはまだその役割を終えていないものの、機械学習アルゴリズムには不向きだ。
Sparkには機械学習向けのライブラリがある。他にも、ストリーミングを行っているなら「Apache Kafka」(メッセージングシステム)や「Spark Streaming」も利用できる。
2017年は、Hadoopの進化においてどのような位置付けになるでしょう。以前のインタビューでは、Hadoopを使用してコストを削減することから、より革新的なビジネスモデルの支援へと移行すると話していただきました。現在も、ストレージのコスト削減が主目的でしょうか。
続きはComputer Weekly日本語版 8月2日号にて
本記事は抄訳版です。全文は、以下でダウンロード(無料)できます。
■Computer Weekly日本語版 最近のバックナンバー
Computer Weekly日本語版 7月19日号 WannaCryはランサムウェアキラーか?
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
プレミアムコンテンツ
[アイティメディア株式会社] AI活用を成功に導く「オブジェクトストレージ」 NAS/SANの限界を突破するには -
プレミアムコンテンツ
[アイティメディア株式会社] 「性能ならSSD」「大容量ならHDD」はもう古い? 変わるストレージの常識 -
プレミアムコンテンツ
[アイティメディア株式会社] 「オンプレミス回帰」がまさかの失敗に クラウドをやめずに安くする最適化手法 -
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「VMware vCenter」でゼロデイ悪用、PHPも修正――今朝の情シスニュース
-
3
「Copilot利用率99%」デンソー驚異の定着術 3万人を動かした“社長賞”の舞台裏
-
4
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
5
「nginx」のHTTP/2脆弱性(CVSS 9.2)、パッチ適用までの緊急チェックリスト
-
6
積水化学工業が「SAP S/4HANA Cloud」の“全グループ導入”に踏み切った訳
-
7
AIに長文を入力する際の「コンテキストウィンドウ」の適切な扱い方はどれ?
-
8
“アジャイルの壁”に挑むオリックス生命がIBMの開発管理ツールを選んだ理由
-
9
「Chrome」「Edge」「Firefox」のメモリ使用量はどれだけ違う? 測定してみた
-
10
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365 Copilotを安全&効果的に活用するために必要な「2つの準備」
-
4
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
5
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
6
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
7
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
8
「Copilot Cowork」でこう変わる AIエージェント時代の新たな働き方とは
-
9
AI活用で激化する外部・内部リスク、取引先へ波及する脅威から守る対策とは?
-
10
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー