【G検定】AIモデルの精度が低下 開発元が取るべき行動はどれ？：『ディープラーニングG検定 最強の合格問題集』出張版

AIの基礎から法律・倫理まで幅広い領域が問われる資格「G検定」。試験範囲の中でも重要度の高いテーマを1問ずつ取り上げ、理解の定着に役立つポイントを確認していきます。今回は、機械学習モデルの納品後に精度が低下した場合の対処法についてです。

[TechTargetジャパン]

　「G検定」（ジェネラリスト検定）は、AI（人工知能）技術全般、特に機械学習やディープラーニングの基礎を体系的に学ぶ資格試験です。AI人材の需要の高まりとともに受験者数は年々増加しており、企業でも従業員への取得を奨励する動きが広がっているそうです。

　本記事はSBクリエイティブ刊『ディープラーニングG検定（ジェネラリスト）最強の合格問題集［第2版］』（ヤン・ジャクリン著）から、G検定の出題範囲を踏まえた問題と解説を1問1答形式で紹介します。今回は、機械学習モデルの納品後に精度が低下した場合の対処法についてです。モデルは構築して終わりではなく、環境変化を前提とした継続的な運用設計が求められます。技術選定だけでなく、見直し頻度や契約の在り方をどう考えるべきかを整理します。

書籍紹介

ディープラーニングG検定（ジェネラリスト）
最強の合格問題集［第2版］

著者：ヤン・ジャクリン

SBクリエイティブ　2,805円

究極の332問＋模試2回（PDF）

G検定の問題集の決定版がパワーアップ！

効率的に1発合格をサポートします。

購入ページはこちら

問題

あなたはクライアントが保有する過去5年間分のデータを用いて、毎月の売上を予測する機械学習モデルを開発した。そのモデルの精度を直近3カ月の新しいデータを用いて精度を検証した上で、納品した。1年後に、納品先の担当者から「最近は約10％の予測が外れるのでモデルの精度改善を望む」と相談された。あなたが取るべき行動として、最も適切な選択肢を1つ選べ。

1．一般的に10％程度の予測のずれは許容範囲と見なされるので、それを論理立てて先方に説明する。

2．迅速に最新の売上予測アルゴリズムについて調査し、それを用いて合計6年間のデータでモデルを再構築する。

3．モデルの見直し頻度を含め、運用の契約について先方と合意をとった上で、モデルのチューニングを継続していく。

4．不当な依頼を今後受けないように、1年前に一度納品し精度を確認してもらった経緯を先方に認識してもらう。

――答えは分かりましたか？

正解と解説

正解は「3．モデルの見直し頻度を含め、運用の契約について先方と合意をとった上で、モデルのチューニングを継続していく。」

選択肢1　一般的な許容範囲というものはなく、案件の要件として発注者（クライアント）と相談し決めるものです。従って、先方は何％の予測のずれまでが許容範囲なのかを確認すべきです。

選択肢2　最新のアルゴリズムが必ずしも、案件に一番適しているとは限りません。

選択肢4 　時系列データに対する予測モデルは時間がたつと、実データのトレンドが徐々に変化し、納品当時に精度が検証されたモデルでも精度が少しずれ始めることは珍しくありません（問題文の相談は不当な依頼ではありません）。よって開発当時の精度検証の経緯に必要以上に固執することは好ましくありません。

※この記事はSBクリエイティブ刊『ディープラーニングG検定（ジェネラリスト）最強の合格問題集［第2版］』から、アイティメディアが出版社の許可を得て一部加筆編集の上、転載したものです（無断転載禁止）。