テキストマイニング製品紹介【第1回】クオリカ編
“間違った日本語”も解析可能、辞書更新不要の「VextMiner」
話し言葉など文法無視の日本語であっても解析したい。形態素解析に利用する辞書更新の手間を省きたい。こうした課題を解決するテキストマイニング製品が「VextMiner」だ。
1998年からテキストマイニング製品を販売している、老舗ベンダーのクオリカ。一般的なテキストマイニング製品とは異なる解析手法を取り入れたり、ユーザー企業からの生の声を操作性向上に生かすといった工夫を凝らす。クオリカのテキストマイニング製品について、同社テキストマイニング室エグゼクティブコンサルタントの石井 哲氏に話を聞いた。
連載:テキストマイニング製品紹介
製品の概要
クオリカの中心的なテキストマイニング製品が「VextMiner」だ。アンケートの自由回答やコールセンターに寄せられた顧客の声などのテキスト群を登録すると、テキストに含まれる単語や文の関連性を自動的に解析する「文書登録」、登録されたテキスト群を意味別に自動分類する「クラスタリング」、クラスタリングの結果を基に、同様の意味を持つテキスト群をまとめた分類カテゴリの定義ルールを設定する「カテゴライズ」といった機能を持つ。外国語の解析用に、英語版と中国語版も用意する。
VextMinerの他、VextMinerのSoftware as a Service(SaaS)版である「VextCloud」、既存のFAQや問い合わせログからFAQを構築する「VextContact」、音声認識技術で会話内容をテキスト化し、自動要約する「VextResume」をそろえる。いずれの製品も、VextMinerと同じテキストマイニングエンジンを搭載する。
関連記事
他社製品に対する特徴
VextMinerの最大の特徴は、文単位のテキスト解析手法にある。一般的なテキストマイニング製品は、まずテキストを単語単位に分割して品詞を特定する「形態素解析」を実行し、次に係り受け関係を調べて単語間の関係性を解析する「構文解析」をするという、単語単位のテキスト解析が中心となる。
石井氏は、こうした単語単位の解析手法には「課題が多い」と指摘する。係り受けの組み合わせは無数にある上、どの係り受けが重要なのかは自明ではないため利用者が判断する必要があり、「意味のある解析結果を得るのが難しい」。また、構文解析の精度が、形態素解析で利用する辞書の充実度に依存するのも課題となるという。「辞書をユーザー企業が定期的にメンテナンスする必要があり、大きな負担となる」
「文脈ベクトル」でテキストの類似度を解析
こうした課題を解決するのが、文単位の解析だと石井氏は指摘。文単位の解析を可能にするためにVextMinerが採用したのが、「Context Vector(文脈ベクトル)」を使ったテキスト解析手法である。
文脈ベクトルは、文中の特定の単語について、その周辺に登場する単語が何か、それらの単語が文中で何回登場したかといった情報を持つ。この文脈ベクトルを利用し、単語同士や文同士の関連性を判定し、テキストの類似度を解析するのが、VextMinerの基本的なテキスト解析アプローチだ。
全く同じ単語でなくても、関連語が含まれている文同士であれば、内容が似ている可能性が高い、と判断する。こうした文脈ベースのアプローチであれば、話し言葉やソーシャルメディアのテキストで頻発する、文法的に正しくない日本語であっても容易に解析できる。「文法的に正しくない日本語の場合、構文解析で係り受けを正確に判断するのは難しい」
解析結果が形態素解析の精度に大きく依存せず、ユーザー企業が形態素解析の辞書を頻繁にメンテナンスする必要がないのも、文脈ベースの解析手法が持つ特徴だ。前述の通り、構文解析を利用するテキストマイニング製品の場合、精度を維持するには形態素解析の辞書を頻繁にメンテナンスする必要がある。こうした負荷もあり、「テキストマイニング製品を導入したものの、実際に活用し、かつ効果を出し続けている企業は意外と少ない」。VextMinerの場合、「10年以上活用し、効果を出し続けている企業も多い」。
少数意見を見逃さない「全件マッチング」
テキストマイニングでは、類似テキストが少ない分類カテゴリの場合、「その他」と分類されるのが一般的だ。ただし、「『その他』の比率が高ければ、分類が十分にできていないことになる」。
こうした課題を解決する仕組みとして、「全件マッチング」という仕組みを用意している。類似テキストが少ない分類カテゴリについても、その分類カテゴリに属するテキストが最低2件あれば分析対象にできる(画面1)。
フラットファイルDBを利用、月間80万件を安定処理
データベースとして、リレーショナルデータベース(RDB)ではなく、プレーンテキストを利用したフラットファイルデータベースを採用したのもVextMinerの特徴だ。「RDBを利用するテキストマイニング製品が多いが、非構造化データであるテキストの解析にRDBは向かない」
VextMinerのユーザー企業の中には、コールセンターに寄せられた問い合わせを月間80万件のペースで解析している例もあり、「テキストが大量であっても難なく処理できる」。
事例:キヤノン、富士フイルムなど大手企業が導入、ユーザーと共同開発も
1998年に販売開始して以来、製造や金融、通信、サービス業を中心に、約500社の導入実績を持つVextMinerシリーズ。製造業ではキヤノンや富士フイルム、三菱電機が顧客からの問い合わせ分析などに利用。金融機関では、住友生命保険や損害保険ジャパンなどが活用している。
VextMinerの3番目のユーザー企業となった電通とは、共同でユーザーインタフェースの改良をした。クラスタリングの解析結果画面で、複数のクラスタを統合したり分割したりするといった動作をマウス操作で可能にしたことが、具体的な成果の1つだ(図2)。電通は、現在も3000~4000人規模でVextMinerを利用しているという。
製品価格:SaaS版は1カ月単位のスポット利用も可能
VextMinerは、ライセンス価格が5ユーザー630万円。保守サポートは初年度から契約が必要で、年間94万5000円。その他、20万円程度からの導入費用が発生する。
VextMinerのSaaS版であるVextCloudは、3ユーザーで解析件数が3万件に制限される「スタンダードコース」の場合、初期導入費用が10万5000円、6カ月利用の場合で月額利用料金が10万5000円。1カ月単位でのスポット利用が可能なのが特徴で、その場合は初期導入費用が10万5000円、月額利用料金が21万円。
Copyright © ITmedia, Inc. All Rights Reserved.
テキストマイニング製品紹介
この記事の著者
新着ホワイトペーパー PR
-
技術文書・技術解説
[アトラシアン株式会社] なぜAIを導入しても効果が出ない? 組織全体で使いこなすための仕組みとは -
製品資料
[プログレス・ソフトウェア・ジャパン株式会社] ネットワーク全体を見える化、フロー分析で実現する広域監視と迅速な異常検知 -
製品資料
[プログレス・ソフトウェア・ジャパン株式会社] SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法 -
製品資料
[プログレス・ソフトウェア・ジャパン株式会社] 重要性を増す“侵入後の可視化” どのように実現すればよいのか? -
市場調査・トレンド
[クラウドストライク合同会社] 回避型攻撃が急速に拡大、連鎖する攻撃を防ぐためのアプローチとは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
2
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
3
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
4
なぜMicrosoftは「Rust」を標準言語に? AIで進むC/C++書き換えの課題
-
5
負の遺産ではない! 今こそメインフレームを再評価すべし
-
6
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
7
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
8
AIは新たな攻撃手法を生み出したのではなく“待ち時間”をなくしただけ
-
9
NVIDIA「一強体制」の終わりか データセンターを襲う“電力の壁”
-
10
「アップグレードできないJava」をどう守る IBMとRed HatがAIで400件超修正
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
2
「IT史に名を残すシステム障害」8選
-
3
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
4
SCS評価制度時代の「SASE選定」ガイド
-
5
顧客対応自動化の要点:RAGとデータ連携で“業務で使える生成AI”にする方法
-
6
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
7
ランサムウェア攻撃“究極の対策”はこれだ
-
8
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
9
「EDR」選定ガイド:比較・検討フェーズで整理すべきポイントを解説
-
10
なぜAIは組織で定着しないのか? 全社展開を阻む「3つの壁」と突破のヒント
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー