用途を広げる自然言語処理AI「GPT-3」の、既に見えた限界と課題：「自然な文章」の真実

人間が書いたような自然な文章を生成することで知られるGPT-3は、プログラムやSQLの生成にも応用されている。だが、既に幾つかの課題や限界も見えてきた。

[Anthony Caruana，Computer Weekly]

iStock.com/sdecoret

　「GPT-3」を作成したのは、イーロン・マスク氏などの起業家が設立したシリコンバレーの非営利団体OpenAIだ。GPT-3は強力な自然言語処理（NLP）AIで、ディープラーニングを使ってテキストクエリに対して人間のような応答を生み出したり、自然言語を使って問題を解決したりする。

　最近、GuardianはGPT-3を使って執筆したエッセイを公開した。このエッセイが執筆家志望者を震え上がらせることは恐らくない。だが、こうした執筆活動は1年前なら不可能だった。1〜2年前ならファンタジーにすぎなかった。

　この強力なAIは、疑わしい品質のエッセイを生み出すだけのものではない。GPT-3は、インターネット上の大量の自然言語を使ってトレーニングされている。可能な限り最大の知識プールを使ってシステムをトレーニングするために、約5000億語が使われている。

　トレーニングコストは推定1200万ドル（約12億6800万円）で、1750億個のパラメーターのモデルを実現する。15億個のパラメーターを使っていたGPT-2のモデルよりも大幅に多い。

関連記事

GPT-3の登場で見えてきた「AIによるコード生成」の可能性

MLOpsで近代化する機械学習の開発ライフサイクル

自然言語処理＆転移学習用ツール「Enso」、オープンソースで公開

ディープラーニングによる非構造化データの徹底活用

「AIは物理学を理解するのではない。パターンを理解する」が持つ重大な意味

非常に強力なモデル

　AppierでAIのチーフサイエンティストを務めるミン・サン氏によると、GPT-3は言語生成用の非常に強力なモデルであり、タスクの説明または質問と回答の幾つかのペアでタスクを解決するように設計されているという。

　「英語からフランス語に翻訳するタスクでは、質問が英語の文章、答えがフランス語の翻訳になる。これは人間の言語だけでなくプログラミング言語にも及ぶ。英語の説明を与えるとプログラム命令が生成される」

　ある開発者はGPT-3を使って自然言語をSQLクエリに変換するツールを構築した。希望するデザインの構築を依頼するだけで、アプリケーションのレイアウトを作成するソフトウェアを作った開発者もいる。

　「GPT-3は、要約やチャットbotのようなNLPの一般的なタスク以外にも、従来のRPA（ロボティックプロセスオートメーション）をもっと広範囲に応用するための非常に重要なツールになると考えている」と同氏は補足する。

　RPAへの応用は興味深い。RPAは多くの企業で多数のルーティンワークを自動化する場所を見つけているが、AIを組み込むことでもっと複雑な自動化を後押しする可能性がある。

　例えば、GPT-3を使ってドキュメント内の複雑な文章を解釈させてアクションを起動したり警告を発したりできる可能性がある。組織全体で繰り返されるテキストを特定し、人間のオペレーターでは思い付かない自動化の機会を提案できるかもしれない。

　Twilioの開発者ミゲル・グリーンバーグ氏によると、GPT-3はカスタマーサービスのエージェントの代理になり、さまざまな話題について自然で人間的な方法で会話するという。

　「ある事象や製造ラインに関する情報、特定の顧客が行った予約などの詳細についての情報を提供するよう簡単にトレーニングできる。顧客の問い合わせに対して可能性のある答えを1つ以上事前に用意することも可能だ。エージェントは顧客に答えを送る前に、用意された答えを確認して必要に応じて編集できる。これは時間と労力の節約になる」（グリーンバーグ氏）

　とはいえ、GPT-3にも障壁や課題はある。GPT-3は文法的に正しく、人間が使う砕けた表現さえ生成できることが実証されているが、人間の世界の現実的なニュアンスを十分把握しているわけではないとサン氏は指摘する。

　GPT-3はファインチューニングせずに使うにもコストがかかる。ビジネス用途の幅広いニーズに全面的に対応するには大幅な最適化が必要になるとサン氏は話す。

　GPT-3は人間が作った文章と区別できない文章を生成できる場合が多いが、その内容を理解しているわけではないとTwilioのグリーンバーグ氏は補足する。会話の流れの中で矛盾することがあったり、完璧な英語で概念やアイデアに言及したりしたとしても、それは事実に基づくものではない。

　Gartnerによると、GPT-3などのAIを使って何かを生成する技術には「ディープフェイク」の問題が付きまとうという。ディープフェイクは、インターネット上に出回っているフェイクコンテンツやフェイクニュースにはまだ広がっていない。だが、この状況は今後5年で急速に変わるだろう。