テキストマイニング製品紹介【第1回】クオリカ編
“間違った日本語”も解析可能、辞書更新不要の「VextMiner」
話し言葉など文法無視の日本語であっても解析したい。形態素解析に利用する辞書更新の手間を省きたい。こうした課題を解決するテキストマイニング製品が「VextMiner」だ。
1998年からテキストマイニング製品を販売している、老舗ベンダーのクオリカ。一般的なテキストマイニング製品とは異なる解析手法を取り入れたり、ユーザー企業からの生の声を操作性向上に生かすといった工夫を凝らす。クオリカのテキストマイニング製品について、同社テキストマイニング室エグゼクティブコンサルタントの石井 哲氏に話を聞いた。
連載:テキストマイニング製品紹介
製品の概要
クオリカの中心的なテキストマイニング製品が「VextMiner」だ。アンケートの自由回答やコールセンターに寄せられた顧客の声などのテキスト群を登録すると、テキストに含まれる単語や文の関連性を自動的に解析する「文書登録」、登録されたテキスト群を意味別に自動分類する「クラスタリング」、クラスタリングの結果を基に、同様の意味を持つテキスト群をまとめた分類カテゴリの定義ルールを設定する「カテゴライズ」といった機能を持つ。外国語の解析用に、英語版と中国語版も用意する。
VextMinerの他、VextMinerのSoftware as a Service(SaaS)版である「VextCloud」、既存のFAQや問い合わせログからFAQを構築する「VextContact」、音声認識技術で会話内容をテキスト化し、自動要約する「VextResume」をそろえる。いずれの製品も、VextMinerと同じテキストマイニングエンジンを搭載する。
関連記事
他社製品に対する特徴
VextMinerの最大の特徴は、文単位のテキスト解析手法にある。一般的なテキストマイニング製品は、まずテキストを単語単位に分割して品詞を特定する「形態素解析」を実行し、次に係り受け関係を調べて単語間の関係性を解析する「構文解析」をするという、単語単位のテキスト解析が中心となる。
石井氏は、こうした単語単位の解析手法には「課題が多い」と指摘する。係り受けの組み合わせは無数にある上、どの係り受けが重要なのかは自明ではないため利用者が判断する必要があり、「意味のある解析結果を得るのが難しい」。また、構文解析の精度が、形態素解析で利用する辞書の充実度に依存するのも課題となるという。「辞書をユーザー企業が定期的にメンテナンスする必要があり、大きな負担となる」
「文脈ベクトル」でテキストの類似度を解析
こうした課題を解決するのが、文単位の解析だと石井氏は指摘。文単位の解析を可能にするためにVextMinerが採用したのが、「Context Vector(文脈ベクトル)」を使ったテキスト解析手法である。
文脈ベクトルは、文中の特定の単語について、その周辺に登場する単語が何か、それらの単語が文中で何回登場したかといった情報を持つ。この文脈ベクトルを利用し、単語同士や文同士の関連性を判定し、テキストの類似度を解析するのが、VextMinerの基本的なテキスト解析アプローチだ。
全く同じ単語でなくても、関連語が含まれている文同士であれば、内容が似ている可能性が高い、と判断する。こうした文脈ベースのアプローチであれば、話し言葉やソーシャルメディアのテキストで頻発する、文法的に正しくない日本語であっても容易に解析できる。「文法的に正しくない日本語の場合、構文解析で係り受けを正確に判断するのは難しい」
解析結果が形態素解析の精度に大きく依存せず、ユーザー企業が形態素解析の辞書を頻繁にメンテナンスする必要がないのも、文脈ベースの解析手法が持つ特徴だ。前述の通り、構文解析を利用するテキストマイニング製品の場合、精度を維持するには形態素解析の辞書を頻繁にメンテナンスする必要がある。こうした負荷もあり、「テキストマイニング製品を導入したものの、実際に活用し、かつ効果を出し続けている企業は意外と少ない」。VextMinerの場合、「10年以上活用し、効果を出し続けている企業も多い」。
少数意見を見逃さない「全件マッチング」
テキストマイニングでは、類似テキストが少ない分類カテゴリの場合、「その他」と分類されるのが一般的だ。ただし、「『その他』の比率が高ければ、分類が十分にできていないことになる」。
こうした課題を解決する仕組みとして、「全件マッチング」という仕組みを用意している。類似テキストが少ない分類カテゴリについても、その分類カテゴリに属するテキストが最低2件あれば分析対象にできる(画面1)。
フラットファイルDBを利用、月間80万件を安定処理
データベースとして、リレーショナルデータベース(RDB)ではなく、プレーンテキストを利用したフラットファイルデータベースを採用したのもVextMinerの特徴だ。「RDBを利用するテキストマイニング製品が多いが、非構造化データであるテキストの解析にRDBは向かない」
VextMinerのユーザー企業の中には、コールセンターに寄せられた問い合わせを月間80万件のペースで解析している例もあり、「テキストが大量であっても難なく処理できる」。
事例:キヤノン、富士フイルムなど大手企業が導入、ユーザーと共同開発も
1998年に販売開始して以来、製造や金融、通信、サービス業を中心に、約500社の導入実績を持つVextMinerシリーズ。製造業ではキヤノンや富士フイルム、三菱電機が顧客からの問い合わせ分析などに利用。金融機関では、住友生命保険や損害保険ジャパンなどが活用している。
VextMinerの3番目のユーザー企業となった電通とは、共同でユーザーインタフェースの改良をした。クラスタリングの解析結果画面で、複数のクラスタを統合したり分割したりするといった動作をマウス操作で可能にしたことが、具体的な成果の1つだ(図2)。電通は、現在も3000~4000人規模でVextMinerを利用しているという。
製品価格:SaaS版は1カ月単位のスポット利用も可能
VextMinerは、ライセンス価格が5ユーザー630万円。保守サポートは初年度から契約が必要で、年間94万5000円。その他、20万円程度からの導入費用が発生する。
VextMinerのSaaS版であるVextCloudは、3ユーザーで解析件数が3万件に制限される「スタンダードコース」の場合、初期導入費用が10万5000円、6カ月利用の場合で月額利用料金が10万5000円。1カ月単位でのスポット利用が可能なのが特徴で、その場合は初期導入費用が10万5000円、月額利用料金が21万円。
Copyright © ITmedia, Inc. All Rights Reserved.
テキストマイニング製品紹介
この記事の著者
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
4
221人調査で分かった「情シス最大のストレス」は?
-
5
「データストレージの活用方法」に関するアンケート
-
6
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
7
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
8
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
9
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
10
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー