多くの専門家が「必要」と認める機能は?
データサイエンティストを楽にする ビッグデータ分析ツールの10大「必須機能」
ビッグデータ分析ツールを探しているなら、さまざまな機能がある中でも10個の機能に注目してほしい。特に、分析結果を埋め込む機能、他のアプリケーションとの連携機能、バージョン管理機能は確認しておきたいところだ。
ビッグデータ分析は複雑なプロセスで、ビジネス管理、データサイエンティスト、開発者、運用チームなど、広い範囲に関係する。新しいデータ分析モデルの作成は、こうした複雑なプロセスの一部にすぎない。
ビッグデータ分析ツールには10個の必須機能がある。こうした機能を備えていれば、業績向上のためにデータサイエンティストに求められる労力を減らせる可能性がある。本稿ではこの10個の必須機能を紹介する。
1.埋め込み可能な分析結果
ビッグデータ分析に価値があるのは、データモデルから収集した洞察を、他のアプリケーションを使用している最中に、意思決定のサポートに役立てることができる場合だ。
「データモデルから収集した洞察をリアルタイムの意思決定プロセスに取り入れられることが何より重要だ」と話すのは、インメモリデータベースベンダーVoltDBでチーフテクノロジストを務めるディラージ・レメラ氏だ。
例えば、意思決定プラットフォームに簡単に埋め込むことができる形式で洞察を作り出す機能などがある。これらの洞察をイベントデータのリアルタイムの流れに当てはめ、瞬時に意思決定できるようにすべきだ。
2.データラングリング
データサイエンティストは、データを分析するためにデータの洗浄、ラベル付け、整理に相当な時間を費やすことが多い。こうした作業には、多様なデータソース、データの種類、アプリケーション、APIのシームレスな連携、データクレンジング、安全できめ細かな役割ベースのデータアクセスの提供などが必要になる。
ビッグデータ分析ツールは、このようなデータラングリング(データを飼いならす)手順を迅速かつ簡略化するために、全範囲のデータの種類、プロトコル、連携シナリオを利用できるようにしなければならない。こう話すのは、データベースベンダーInterSystemsでデータプラットフォームマーケティング部門のディレクターを務めるジョー・リヒテンベルク氏だ。
3.データ探索
データ分析には、基盤となるデータのアドホックな検出と探索のフェーズが必要になることが多い。こうした探索により、企業は問題のビジネス面の状況を理解でき、分析の疑問点をより適切に編み出せるようになる。このプロセスの効率化に役立つ機能は、データに関する新たな仮説を検証する際に必要な労力を減らし、不適切な仮説を素早く取り除き、データに隠れた有効な結び付きを効率的に見つけ出す。
このデータ探索プロセスには、優れたビジュアライズ機能も役に立つ。
4.さまざまな分析の選択肢
データ分析の結果を運用する場合、ビジネスインテリジェンス、予測分析、リアルタイム分析、機械学習など、多種多様なアプローチがある。これらのアプローチそれぞれがビジネスに異なる種類の価値を提供する。優れたビッグデータ分析ツールは、最小限の労力で、または異なるツールを導入する際に実施する再トレーニングによって、さまざまなユースケースを支援できるように機能的かつ柔軟であるべきだ。
5.スケーラビリティ
データサイエンティストは一般に、時間をかけて小規模なデータセットでさまざまなデータモデルを開発しテストする余裕がある。だが最終的な分析モデルは、経済的に運用する必要があり、素早く結果を提供しなればならないことが多い。そのため、分析モデルは高いレベルのスケーラビリティをサポートし、ハードウェアやクラウドサービスに多くのコストをかけずに、運用環境にデータを取り込み、大規模データセットを操作できる必要がある。
予測分析企業Descartes Labsでデータサイエンスリードを務めるエドゥアルド・フランコ氏は次のように語る。「最小限の労力で小規模なデータセットから大規模なデータセットにアルゴリズムをスケール変換するツールも重要だ。こうした変換には非常に多くの時間と労力が費やされる。そのため、これを自動化すれば大きな助けになる」
6.バージョン管理
大規模データ分析プロジェクトでは、複数の担当者がデータ分析モデルパラメーターの調整に関わる可能性がある。このような変更の中には、最初は有望に見えても、運用環境に導入したときに予期せぬ問題を生むものもある。
ビッグデータ分析ツールに組み込まれるバージョン管理機能は、このような変更を追跡する機能を高めてくれる。後から問題が出てきた場合も、適切に動作していた以前のバージョンに分析モデルを簡単にロールバックできる。
「バージョン管理がなければ、1人の開発者による1つの変更によって既に作成したもの全てが破綻する可能性がある」と話すのは、データ運用プラットフォームDevo USAでデータサイエンスの統括責任者を務めるチャールズ・アミック氏だ。
7.シンプルな連携
データソースを処理してアプリケーションに接続するために、データサイエンティストや開発者が連携機能をカスタマイズする時間が短いほど、データ分析モデルやアプリケーションの強化に多くの時間を割くことができる。
簡単に連携できることで、他の開発者やデータサイエンティストとの結果の共有が容易になる。データ分析ツールは、既存のエンタープライズアプリケーションやクラウドアプリケーション、データウェアハウスとの容易な連携を支援する必要がある。
8.データ管理
ビッグデータ分析ツールには、継続性と全ての成果物の標準化を確保するための堅牢で効率的なデータ管理プラットフォームが必要だ。こう話すのは、データ分析コンサルタント企業Velocity Development Groupで分析部門のディレクターを務めるティム・ラファーティ氏だ。データ量が増えるにつれ、多様性も増す。
堅牢なデータ管理プラットフォームは、企業が信頼できる1つの情報源を確保するのに役立つ可能性がある。データ管理プラットフォームは、データ戦略を成功に導くためには不可欠だ。
9.データガバナンス
ビッグデータ分析ツールのデータガバナンス機能は、企業が規制を順守し安全であり続けるのに役立つ。データガバナンスには、分析モデルに使用されたデータセットのソースと特性を追跡できる機能や、データサイエンティストやエンジニアが使用するデータのセキュリティ保護と管理を支援する機能などがある。モデルの構築に使用されたデータセットは、差別問題を引き起こしかねない無意識の偏見を生み出すかもしれない。
データガバナンスは、プライバシー規則の順守が必要になる医療情報や個人情報など、機密データを扱う場合は特に重要になる。ツールによってはデータを匿名化する機能を備えるようになっている。これにより、データサイエンティストはGDPRのような規則を順守しながら個人情報に基づくモデルを構築できる。
10.データ処理フレームワーク
多くのビッグデータ分析ツールは、分析かデータ処理のいずれかを重視する。「Apache Spark」など、この両方をサポートするフレームワークもある。こうしたフレームワークにより、開発者やデータサイエンティストは、リアルタイム処理、複雑な抽出/変換/読み込みタスク、機械学習、レポート、SQLに同じツールを使用できる。データサイエンスは反復の多いプロセスなので、この機能が重要になる。データサイエンティストは、実際に運用する1つのモデルにたどり着くまでに100個のモデルを作成する場合もある。この反復プロセスによって、データが改良され、モデルの結果が向上することが多い。
統一分析ツールは、企業が反復的にソリューションをトレーニング/モデル化しながら、大量のサイロ化されたデータストレージシステムにまたがるデータパイプラインを構築するのに役立つ。こう話すのは、データ分析プラットフォームプロバイダーDatabricksの共同設立者兼CEOであるアリ・ゴディシ氏だ。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「データストレージの活用方法」に関するアンケート
-
4
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
5
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
6
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
-
7
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
8
221人調査で分かった「情シス最大のストレス」は?
-
9
LLMの「過学習」、正しく説明している文章はどれ?
-
10
レガシー基幹システムをSAPに統合 山善が突き止めた「標準化と個別最適」の境界線
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー