導入事例:「データマイニング/統計解析」活用法をユーザーに聞く

ユーザー企業のIT担当者を対象に、IT製品/サービスの導入・購買に役立つ情報を提供する無料の会員制メディア「TechTargetジャパン」。このコンテンツでは、データマイニング/統計解析に関する事例の記事を紹介します。製品/サービス選定の参考にご覧ください(リンク先のページはPR記事を含みます)。

データマイニングとは何か?

 データマイニングは大規模なデータセットを分類してデータ分析することで、ビジネスの問題を解決するのに役立つパターンを特定するためのプロセスだ。

データマイニング/統計解析関連の事例

BIなどのデータ分析が教える「MLB強打者が4番じゃない理由」

米プロ野球MLBの所属球団では、データを活用した試合戦略の立案が当たり前になっている。球団はビジネスインテリジェンス(BI)ツールなどの分析ツールをどのように活用しているのか。データから分かる事実とは。

(2023/4/13)

「SDGsをデータ分析で達成」をZ世代が“激推し”する納得の理由

データ分析を活用して「SDGs」の達成を支援する――。こうした構想を進める非営利団体が大学で講義をしたところ、学生がその理念を「熱烈に歓迎」したという。その理由は。

(2022/9/16)

コロナ禍で全大会白紙 英国ボート競技チームは「データ活用」でどう対処したか

新型コロナウイルス感染症の影響で、2020年には主要なボート競技が相次いで中止・延期となった。こうした中、英国ボート競技チームはデータを活用した選手のトレーニング方法を生み出し、実践した。その中身とは。

(2021/8/17)

パスの成功率まで予測――サッカーをデータ化して分析するSciSports

セガの「Football Manager」がヒントになって起業されたSciSportsは、サッカーのあらゆる要素をデータ化してディープラーニングを応用して分析。パスの成功率まで予測する。同社の分析が行き着く先とは?

(2020/4/13)

『ライオン・キング』を成功させたディズニーのデータアナリティクス

ディズニーは、主にテーマパークやリゾート施設の顧客体験向上にアナリティクスを活用しているという。一方でミュージカルの運営にも取り入れ、『ライオン・キング』の興行を成功させた。

(2018/6/22)

小売大手M&S、データ分析で供給態勢を改善

Marks & Spencerはロジスティクスを改善するためのバックエンドプロジェクトを予測分析の革新へと膨らませ、取締役レベルの意思決定の原動力とした。

(2015/6/29)

エボラ出血熱対策に活用されるモンテカルロモデル

援助を効果的に配備するために、数学者はデータ分析技術を使ってエボラ出血熱の感染がどう拡大するかを予測している。

(2015/6/9)

ムーアの法則の終焉──コンピュータに残された進化の道は?

「ムーアの法則は既に限界に達している」。米IBMのマイヤーソン氏に、原子レベル、量子力学の世界に突入しつつあるチップ開発の現状を聞いた。ムーアの法則はなぜ限界なのか? そして未来は?

(2014/5/23)

データ統合を果たしたスコットランド消防本部が待望するIoT時代

組織統合により、情報の一元化を迫られたスコットランド消防本部。ETLツールとBIで一元化とアウトプット体制を整備した先にあるのは、モノのインターネットの活用だった。

(2014/4/10)

刺さる言葉や優良顧客がデータで分かる「iNSIGHTBOX」

社内外のデータを基に顧客が購買行動に至る根本原因を探り、商品を買いそうな顧客リストや“刺さる”キーワードを導き出す。そんな予測分析製品が「iNSIGHTBOX」だ。

(2013/6/21)

アナリティクスでスポーツの勝者を予測できるか?

スポーツの結果を予測することは可能なのか? IBMが英国で取り組んでいるプロジェクトは、データを収集し、公式を導いて、チームが試合に勝つ確率を上げるための目標を抽出するシステムの開発だ。

(2013/6/7)

【導入効果】将来の出来事がデータから分かる「予測分析」

統計解析をはじめとする分析手段を利用し、データから将来の変化を予測するのに役立つのが「予測分析」製品である。その導入効果を解説する。

(2013/3/14)

テキスト分析の精度向上に“人力”を生かす「TRUE TELLER」

テキストマイニングの精度向上には、自動処理だけでは限界がある。そこで、人の判断を支援する仕組みを盛り込み、分析精度の向上を目指すのが、NRIの「TRUE TELLER」である。

(2013/1/28)

“間違った日本語”も解析可能、辞書更新不要の「VextMiner」

話し言葉など文法無視の日本語であっても解析したい。形態素解析に利用する辞書更新の手間を省きたい。こうした課題を解決するテキストマイニング製品が「VextMiner」だ。

(2012/11/19)

【製品動向】ソーシャルやビッグデータで変わる「テキストマイニング」

ソーシャルメディアから顧客の声を探りたい。大規模テキストを高速に解析したい。こうした声に応えて、テキストマイニング製品は着実に進化している。最新動向をまとめた。

(2012/10/25)

アンケート回答者の感性まで分析――SPSSがドラッグ&ドロップ操作のテキストマイニングツール

書き手の心情を自動判断できる解析エンジンを採用。アンケートの自由回答に書かれた内容から回答者の態度や行動に関する洞察が得られるという。

(2008/11/14)

データマイニングの手法や活用事例を解説

 データマイニングの技術やツールは、企業が将来の傾向を予測し、よりデータに基づいた意思決定を実施するのに役立つ。高度な分析手法を使用して、データセット内の有用な情報を検索する。データマイニングは、データベースに保管されたデータの収集と処理、分析を実行するデータサイエンスの方法論である、KDD(Knowledge Discovery from Database:データベースからの知識発見)のプロセスの一つだ。

 データマイニングは、分析対象となるデータセットの説明や、特定の施策の結果の予測、不正行為やセキュリティの問題の検出、ユーザー層の詳細な把握、システムのボトルネックや依存関係の検出などに使用できる。

 ビッグデータやデータウェアハウス(DWH)の技術進化や利用可能な製品が拡充し続けていることで、データマイニングの有用性は高まっている。データマイニングを担うデータスペシャリストには、コーディングとプログラミング言語の経験や、データのクリーニングと処理、解釈を実行するための統計知識が必要だ。データスペシャリストは、ビジネスインテリジェンス(BI)やその他の分析アプリケーションを使って蓄積された履歴データやリアルタイムで収集したストリーミングデータを検査し、データマイニングを実施する。

データマイニングはなぜ重要なのか

 データマイニングは、事業戦略の策定やシステムの運用管理といったさまざまな業務に役立つ。マーケティングや広告、販売、顧客サポートなどの顧客対応に加え、製造、サプライチェーン管理(SCM)、財務、人事などの幅広い分野で利用できる。IT管理の面では、不正検出やリスク管理、サイバーセキュリティ計画の策定などに効果的だ。データマイニングは、医療や政府、科学、数学、スポーツなどの研究にも利用される。

データマイニングのプロセス

 データマイニングは一般的に、データサイエンティストや熟練したデータ分析の専門家が実施する。しかし組織内でデータに精通したビジネスアナリストや経営幹部、その他の従業員が、市民データサイエンティスト(データ分析の専任担当ではないが、高度なデータ分析ができる人材)としてデータマイニングを担当することがある。

 データマイニングの中核要素には、機械学習と統計分析に加えて、分析用データを準備するためのデータ管理タスクが含まれる。機械学習アルゴリズムと人工知能(AI)技術の進化で、データマイニングツールはより多くのプロセスの自動化が可能となっている。これらのツールは、顧客データベースや取引記録、Webサーバ、モバイルアプリケーション、センサーからのログファイルなど、膨大なデータセットのマイニングを実行する。

 データマイニングプロセスは主に、次の4つの主要なステップに分類できる。

  1. データ収集
    • 分析する内容に関連するデータを識別して収集する。データはさまざまなアプリケーションやDWH、またはデータ レイクに配置されている。外部データソースも使用可能だ。データがどこから来たかに関係なく、データサイエンティストは、データマイニングの残りのステップのために、マイニングに利用する全てのデータを単一のデータ レイクに移動させることがある。
  2. データの準備
    • この段階には、データをマイニングする準備をするための一連の手順が含まれる。データの準備は、分析対象となるデータの探索や前処理から始まる。その後データクレンジング作業で、データのエラーや重複や欠損などの問題を修正する。フィルタリングされていない生データを分析する場合を除き、データセットの一貫性を保つためにデータ形式の変換も実施する。
  3. データマイニング
    • データを準備したら、データ サイエンティストは適切なデータマイニング手法を選択し、データマイニングを実行するための1つ以上のアルゴリズムを実装する。こうしたデータ分析アルゴリズムにより、データ同士の関係を分析し、パターンや関連性、相関関係を検出できる。
  4. データの分析と解釈
    • データマイニングの結果は、ビジネスの意思決定や組織に利益をもたらすために使われる。データサイエンティストまたはデータ分析チームは、データを視覚化して、調査結果を経営幹部やユーザーに伝える必要がある。

データマイニング技術の種類

 データマイニングにはさまざまな技術が利用できる。一般的なデータマイニング技術の例を幾つか紹介する。

  • パターン認識
    • パターン認識は、大量のデータに繰り返し現れる特徴や傾向を見つけ出す手法だ。データ内で共通するパターンや構造に基づいて、予測や分類を実施する。パターン認識は、顧客の購買行動の傾向を見つけたり、システムの異常を検出したりすることに役立つ。
  • アソシエーションルールマイニング
    • アソシエーションルールは「もし〜ならば」という形式の仮定を基に、データセット同士の関係性を特定する手法だ。関係性の特定には、サポート(データセット内で特定のデータの組み合わせがどれだけ頻繁に起こるかを示す指標)と信頼度(ある事象が発生したときに、特定のデータの組み合わせが発生する確率)という指標を使用する。
  • 分類
    • この手法は、データセット内の各データを、データマイニングプロセスの一部として定義された異なるカテゴリーに割り当てる。分類手法として、データを分岐させてツリー形式で分類する「決定木」や、確率に基づいてデータを分類する「ナイーブベイズ分類器」、データセット内のデータ群を比較してより近い数値のデータ同士をグループ化する「k-最近傍法」(KNN)、データを確率に基づいて二値に分類する「ロジスティック回帰」などがある。
  • クラスタリング
    • 特定の特徴を共有するデータを、クラスタ(群)にグループ化する。
  • 回帰
    • ある変数(目的変数)が他の変数(説明変数)にどのように影響されるかを解析し、その関係性をモデル化する。線形回帰や多変量回帰が主な例だ。決定木といった分類手法も回帰分析に使用できる。
  • ニューラルネットワーク
    • ニューラルネットワークは、人間の脳の活動を模倣するアルゴリズムの集合だ。データはノード(人工ニューロン)群を通じて処理される。

主なデータマイニングソフトウェアベンダー

 さまざまなベンダーがデータマイニングツールを提供している。各ベンダーは、他の種類のデータサイエンス製品の中の一機能として、データマイニングツールを提供することもある。データマイニングソフトウェアは、データの準備機能や組み込みアルゴリズムを用いた分析機能、グラフィカルユーザーインタフェース(GUI)ベースの開発環境などの主要な機能を提供する。

 データマイニングツールを提供するベンダーとしては、MicrosoftやIBM、Oracle、AlteryxDataiku、H2O.ai、KNIME、RapidMiner、SAP、SAS Institute、Tibco Softwareなどが挙げられる。数値計算とデータ可視化のためのソフトウェア「DataMelt」やデータマイニングソフトウェアの「ELKI」、機械学習ソフトウェア「Weka」などのオープンソースのデータ分析ソフトウェアをデータマイニングに活用することもできる。

データマイニングの活用方法

 一般的に、データマイニングのビジネスにおける利点は、データセット内の隠れたパターンや傾向、相関関係、異常などを発見する能力から生じる。こうした情報を他のデータ分析手法と組み合わせることで、意思決定の精度を改善できる。各業界の事例を紹介する。

  • 小売り
    • オンライン小売業者は、顧客データとインターネット広告のクリック記録をマイニングして、買い物客に向けた広告キャンペーンや販促メールのターゲット設定に役立てている。データマイニングは、Webサイト訪問者に購入可能な商品を提案するエンジンや、需要予測に基づいた在庫管理にも役立つ。
  • 金融サービス
    • 銀行やクレジットカード会社は、データマイニングツールを使用して、財務リスクモデルを構築している。このモデルを使い不正な取引を検出して、ローンやクレジットの申請を審査する。データマイニングは、金融機関の既存顧客へのマーケティング機会の特定にも使われる。
  • 製造業
    • 製造業者向けのデータマイニングアプリケーションは、工場の稼働時間や製品の生産数などのデータに基づき、工場の運用効率や製品の安全性を向上させるための機能を搭載している。