データサイエンティストが太鼓判、「Apache Spark」がIoT分析に選ばれる理由（2/2 ページ）

公開 2016年03月07日 15時01分

著者

Ed Burns

[TechTarget]

印刷する Googleで優先するソースとして追加

予測分析が製造コストの節約に貢献

　農業機器で使用される特定の油圧ポンプについて、スリニバサン氏と同氏のチームは、市場への出荷が遅れる原因となっていた過剰な品質テストを特定することができた。その方法は、予測分析を使用して、品質テストの結果を予想することだ。テスト結果を正確に予測できるようになった結果、組み立てラインでは、全てのテストを行う必要がなくなった。油圧ポンプの製造におけるテストと測定の工程が35％削減され、年間50万ドルにも上る費用削減につながった。

　「私たちが行おうとしたのは、製品を早く市場に投入する必要性と一定の品質基準を満たすという相反する条件に一連のデータと分析を適用することだ」（スリニバサン氏）

　スリニバサン氏のチームは、さまざまなデータ管理ツールと分析ツールを使用している。そのため、このプロセスを管理するのにSparkは適切なプラットフォームだと同氏はいう。バックエンドでは、データの取り込みに「Sqoop」、保存に「Hive」、データの分析と予測モデルの構築に「R」と「Python」、結果の視覚化に「Tableau」を使用している。Sparkは、この全ての工程で中心的な役割を果たし、これらのコンポーネントを効率的にまとめている。

全ての人がSparkを称賛しているわけではない

　このようなメリットがあるにもかかわらず、カンファレンス参加者の全員が、IoTの分析エンジンとしてSparkに夢中になっているわけではない。Machina Researchでプリンシパルアナリストを務めるエミル・ベルテルセン氏は、SparkがIoTデータ分析プラットフォームを構築するのに便利なソフトウェアであることは認めている。だが、SparkはIoTデータ分析アプリケーションをサポートする最善のツールでないと結論付けている。

　その理由として、Sparkが実質的に既存のデータ処理テクノロジーと分析テクノロジーをベースにしていることを挙げている。これらのテクノロジーは、IoTが抱える問題に対処するのに不十分であるというのが同氏の見解だ。SASやIBMなどが提供している従来のデータ管理テクノロジーと分析テクノロジーは、一定間隔で収集された構造化データの処理を得意としている。だが、IoTアプリケーションで一般的に見られる多様な条件にはうまく対処できない。そのため、ベルテルセン氏は「Splunk」などの専用ツールの使用を推奨している。

　「問題は、これらのテクノロジーが、IoTデータのために作成されたものではなく、既存のものをベースに作成されていることだ。IoTのデータはさほど構造化されておらず、既存のデータとは状況が異なる。IoTでは、どのようなデータが収集されるのか分からないのが実情だ」とベルテルセン氏は指摘する。

印刷する

この記事の著者

Ed Burns

データサイエンティストが太鼓判、「Apache Spark」がIoT分析に選ばれる理由（2/2 ページ）

予測分析が製造コストの節約に貢献

全ての人がSparkを称賛しているわけではない

この記事の著者

関連記事

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

データサイエンティストが太鼓判、「Apache Spark」がIoT分析に選ばれる理由（2/2 ページ）

予測分析が製造コストの節約に貢献

全ての人がSparkを称賛しているわけではない

この記事の著者

関連記事

「Hadoop」から「Spark」へ、移り変わるビッグデータ分析の注目技術

あなたにしか見えないテレビCMも可能？ ビッグデータ分析が変える広告配信

MapReduceよりApache Sparkを採用すべき理由、採用できない理由

データ分析専門家が注目するオープンソース技術の注目株

“やるかやらないか”で二極化するビッグデータ活用 一般企業への浸透が進む

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

あなたにしか見えないテレビCMも可能？　ビッグデータ分析が変える広告配信

“やるかやらないか”で二極化するビッグデータ活用　一般企業への浸透が進む