データマイニング／統計解析とは？　いまさら聞けない基礎知識

　データマイニングは大規模なデータセットを分類してデータ分析することで、ビジネスの問題を解決するのに役立つパターンを特定するためのプロセスだ。

　データマイニングの技術やツールは、企業が将来の傾向を予測し、よりデータに基づいた意思決定を実施するのに役立つ。高度な分析手法を使用して、データセット内の有用な情報を検索する。データマイニングは、データベースに保管されたデータの収集と処理、分析を実行するデータサイエンスの方法論である、KDD(Knowledge Discovery from Database：データベースからの知識発見)のプロセスの一つだ。

　データマイニングは、分析対象となるデータセットの説明や、特定の施策の結果の予測、不正行為やセキュリティの問題の検出、ユーザー層の詳細な把握、システムのボトルネックや依存関係の検出などに使用できる。

　ビッグデータやデータウェアハウス（DWH）の技術進化や利用可能な製品が拡充し続けていることで、データマイニングの有用性は高まっている。データマイニングを担うデータスペシャリストには、コーディングとプログラミング言語の経験や、データのクリーニングと処理、解釈を実行するための統計知識が必要だ。データスペシャリストは、ビジネスインテリジェンス(BI)やその他の分析アプリケーションを使って蓄積された履歴データやリアルタイムで収集したストリーミングデータを検査し、データマイニングを実施する。

データマイニングはなぜ重要なのか

　データマイニングは、事業戦略の策定やシステムの運用管理といったさまざまな業務に役立つ。マーケティングや広告、販売、顧客サポートなどの顧客対応に加え、製造、サプライチェーン管理(SCM)、財務、人事などの幅広い分野で利用できる。IT管理の面では、不正検出やリスク管理、サイバーセキュリティ計画の策定などに効果的だ。データマイニングは、医療や政府、科学、数学、スポーツなどの研究にも利用される。

データマイニングのプロセス

　データマイニングは一般的に、データサイエンティストや熟練したデータ分析の専門家が実施する。しかし組織内でデータに精通したビジネスアナリストや経営幹部、その他の従業員が、市民データサイエンティスト（データ分析の専任担当ではないが、高度なデータ分析ができる人材）としてデータマイニングを担当することがある。

　データマイニングの中核要素には、機械学習と統計分析に加えて、分析用データを準備するためのデータ管理タスクが含まれる。機械学習アルゴリズムと人工知能(AI)技術の進化で、データマイニングツールはより多くのプロセスの自動化が可能となっている。これらのツールは、顧客データベースや取引記録、Webサーバ、モバイルアプリケーション、センサーからのログファイルなど、膨大なデータセットのマイニングを実行する。

　データマイニングプロセスは主に、次の4つの主要なステップに分類できる。

データマイニング技術の種類

　データマイニングにはさまざまな技術が利用できる。一般的なデータマイニング技術の例を幾つか紹介する。

主なデータマイニングソフトウェアベンダー

　さまざまなベンダーがデータマイニングツールを提供している。各ベンダーは、他の種類のデータサイエンス製品の中の一機能として、データマイニングツールを提供することもある。データマイニングソフトウェアは、データの準備機能や組み込みアルゴリズムを用いた分析機能、グラフィカルユーザーインタフェース（GUI）ベースの開発環境などの主要な機能を提供する。

　データマイニングツールを提供するベンダーとしては、MicrosoftやIBM、Oracle、AlteryxDataiku、H2O.ai、KNIME、RapidMiner、SAP、SAS Institute、Tibco Softwareなどが挙げられる。数値計算とデータ可視化のためのソフトウェア「DataMelt」やデータマイニングソフトウェアの「ELKI」、機械学習ソフトウェア「Weka」などのオープンソースのデータ分析ソフトウェアをデータマイニングに活用することもできる。

データマイニングの活用方法

　一般的に、データマイニングのビジネスにおける利点は、データセット内の隠れたパターンや傾向、相関関係、異常などを発見する能力から生じる。こうした情報を他のデータ分析手法と組み合わせることで、意思決定の精度を改善できる。各業界の事例を紹介する。