機械学習に従来のソフトウェア開発手法は通用しない？

機械学習のベテラン企業はAIモデルをどう運用しているのか

企業の機械学習の利用は発展途上だ。O'Reilly Mediaの調査から判明した、企業での人工知能（AI）モデルの利用状況と、AIモデルの性能を評価する際に使われ始めた新しい指標とは。

公開 2018年11月28日 05時00分

更新 2018年11月27日 02時52分

著者

Nicole Laskowski

[TechTarget]

印刷する

　O'Reilly Mediaの最新調査「The State of Machine Learning Adoption in the Enterprise（企業における機械学習導入の実態）」は、企業の機械学習が成熟の途上にあることを示唆している。

　この調査レポートは、O'Reillyの主任データサイエンティストを務めるベン・ロリカ氏と、データサイエンスと機械学習の専門家であるパコ・ネイサン氏が共同で執筆した。機械学習をはじめとした人工知能（AI）技術の企業の利用方法、企業全体での利用に向けた進み具合など、ビジネスへの導入に関する基本的な調査の結果を掲載している。

併せて読みたいお薦め記事

機械学習技術の活用動向

人工知能（AI）はブラックボックス？

　O'Reillyの調査は、1万1400人を超える企業の意思決定者、データサイエンティスト、データエンジニア、アナリストが対象だ。この調査によって「ベテラン企業」（実運用環境で5年以上機械学習やAIモデルを使っている企業）は、機械学習を専門資格や独自のプロセスが必要な個別の分野として扱っていることが分かった。こうした企業は、AIモデルが自身の意思決定の過程を説明する能力、意思決定の透明性や公平性、バイアスの各指標をAIモデルの評価プロセスに含めることで、パフォーマンスを総合的に検討している。

ソフトウェアエンジニアリングを超えて

　今回の調査の結果、機械学習のベテラン企業は、機械学習をソフトウェアエンジニアリングのカテゴリーに含めていないことが分かった。「機械学習は通常のソフトウェア開発とは少し違うと実感する企業が増えていると考えられる」とロリカ氏は話す。

　実際にベテラン企業ほど、自社の文化を機械学習のために調整しているように見える。機械学習が提示した新たな課題をきっかけに、課題解決のためのプロセスをテストしている。

　「機械学習の経験が豊富な担当者に話を聞くと、実際に多くの作業が生じるのは、AIモデルを運用環境に導入した後だという。AIモデルは劣化し、誤動作を起こす可能性がある。そのためAIモデルは監視しなければならない。監視によってAIモデルのトレーニングをやり直すタイミングを把握する必要がある」（ロリカ氏）

　調査では、ベテラン企業はデータエンジニアとデータサイエンティストの橋渡しとして、リサーチサイエンティスト、洗練されたアルゴリズムの開発者、機械学習エンジニアなどの新しい人材を採用していることが分かった。こうした職種は、機械学習を利用し始めたばかりの企業にはあまり知られていない。なお本調査では機械学習を利用し始めたばかりの企業を「模索中の企業」と呼ぶ。

　ベテラン企業では、機械学習プロジェクトの成功に必要な判断をする際に、製品マネジャーや経営幹部よりもデータサイエンティストを信頼している。ベテラン企業を代表する回答者の約75％が、AIモデルを構築するために、データサイエンティストのチームを利用している。ちなみに早期導入企業の66％、模索中の企業では32％にこうしたチームがある。

　機械学習のための手法に関する質問には、回答者の48％が「アジャイル」を選んでいる。ただし32％が「手法なし」を選んでいる。このうちほとんどが模索中の企業だ。「他の手法」を選んだ企業も11％で、その多くがベテラン企業であった。

　「アジャイル手法をデータサイエンス向けに調整している企業もある」とロリカ氏は指摘する。

公平性と透明性を高める

　「多くの企業は、AIモデルの性能をビジネスに最適化するだけでなく、公平性やバイアスのような他の指標にも目を向け始めている」とロリカ氏は言う。

　調査回答者の17％が、機械学習プログラムの成功を測定する際に、バイアスと公平性を評価するための指標を使っているという。経験豊富な企業ではこの比率がさらに高くなる。バイアスと公平性を指標としている企業は、模索中の企業が14％であるのに対し、経験豊富な企業で26％だった。

　ロリカ氏によると、機械学習システムの開発を容易にするという自動機械学習サービスやクラウドサービスの導入については、裏付けに乏しい事例データが幾つか確認されたという。クラウド機械学習サービスを利用していると回答したのは3％だけだった。経験豊富な企業と機械学習を早期導入した企業の場合、この比率はさらに下がり、それぞれ2％にとどまった。

　「ディープラーニングを大々的に利用するつもりならば、経済的にはオンプレミスに向かうことになる」とロリカ氏は話す。ディープラーニングモデルを効果的にトレーニングするには多くのデータと時間が必要になる。そのため現状では、社内での運用、開発が適している。

印刷する

この記事の著者

Nicole Laskowski

「CIO Dive」編集ディレクター

機械学習のベテラン企業はAIモデルをどう運用しているのか

併せて読みたいお薦め記事

機械学習技術の活用動向

人工知能（AI）はブラックボックス？

ソフトウェアエンジニアリングを超えて

公平性と透明性を高める

この記事の著者

関連記事

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

機械学習のベテラン企業はAIモデルをどう運用しているのか

併せて読みたいお薦め記事

機械学習技術の活用動向

人工知能（AI）はブラックボックス？

ソフトウェアエンジニアリングを超えて

公平性と透明性を高める

この記事の著者

関連記事

いまさら聞けない「機械学習」とは何か？ 「AI」との関係は？

リクルートのビッグデータ分析基盤ができるまで、事業部門と開発部門が共に奮闘

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

いまさら聞けない「機械学習」とは何か？　「AI」との関係は？