用途を広げる自然言語処理AI「GPT-3」の、既に見えた限界と課題：「自然な文章」の真実

人間が書いたような自然な文章を生成することで知られるGPT-3は、プログラムやSQLの生成にも応用されている。だが、既に幾つかの課題や限界も見えてきた。

[Anthony Caruana，Computer Weekly]

iStock.com/sdecoret

　「GPT-3」を作成したのは、イーロン・マスク氏などの起業家が設立したシリコンバレーの非営利団体OpenAIだ。GPT-3は強力な自然言語処理（NLP）AIで、ディープラーニングを使ってテキストクエリに対して人間のような応答を生み出したり、自然言語を使って問題を解決したりする。

　最近、GuardianはGPT-3を使って執筆したエッセイを公開した。このエッセイが執筆家志望者を震え上がらせることは恐らくない。だが、こうした執筆活動は1年前なら不可能だった。1〜2年前ならファンタジーにすぎなかった。

　この強力なAIは、疑わしい品質のエッセイを生み出すだけのものではない。GPT-3は、インターネット上の大量の自然言語を使ってトレーニングされている。可能な限り最大の知識プールを使ってシステムをトレーニングするために、約5000億語が使われている。

　トレーニングコストは推定1200万ドル（約12億6800万円）で、1750億個のパラメーターのモデルを実現する。15億個のパラメーターを使っていたGPT-2のモデルよりも大幅に多い。

非常に強力なモデル

　AppierでAIのチーフサイエンティストを務めるミン・サン氏によると、GPT-3は言語生成用の非常に強力なモデルであり、タスクの説明または質問と回答の幾つかのペアでタスクを解決するように設計されているという。

　「英語からフランス語に翻訳するタスクでは、質問が英語の文章、答えがフランス語の翻訳になる。これは人間の言語だけでなくプログラミング言語にも及ぶ。英語の説明を与えるとプログラム命令が生成される」

　ある開発者はGPT-3を使って自然言語をSQLクエリに変換するツールを構築した。希望するデザインの構築を依頼するだけで、アプリケーションのレイアウトを作成するソフトウェアを作った開発者もいる。

　「GPT-3は、要約やチャットbotのようなNLPの一般的なタスク以外にも、従来のRPA（ロボティックプロセスオートメーション）をもっと広範囲に応用するための非常に重要なツールになると考えている」と同氏は補足する。

　RPAへの応用は興味深い。例えば、

続きを読むには、［続きを読む］ボタンを押して
ください（PDFをダウンロードします）。

関連記事

GPT-3の登場で見えてきた「AIによるコード生成」の可能性

MLOpsで近代化する機械学習の開発ライフサイクル

自然言語処理＆転移学習用ツール「Enso」、オープンソースで公開

ディープラーニングによる非構造化データの徹底活用

「AIは物理学を理解するのではない。パターンを理解する」が持つ重大な意味