2020年11月19日 08時00分 公開
特集/連載

用途を広げる自然言語処理AI「GPT-3」の、既に見えた限界と課題「自然な文章」の真実

人間が書いたような自然な文章を生成することで知られるGPT-3は、プログラムやSQLの生成にも応用されている。だが、既に幾つかの課題や限界も見えてきた。

[Anthony Caruana,Computer Weekly]
iStock.com/sdecoret

 「GPT-3」を作成したのは、イーロン・マスク氏などの起業家が設立したシリコンバレーの非営利団体OpenAIだ。GPT-3は強力な自然言語処理(NLP)AIで、ディープラーニングを使ってテキストクエリに対して人間のような応答を生み出したり、自然言語を使って問題を解決したりする。

 最近、GuardianはGPT-3を使って執筆したエッセイを公開した。このエッセイが執筆家志望者を震え上がらせることは恐らくない。だが、こうした執筆活動は1年前なら不可能だった。1〜2年前ならファンタジーにすぎなかった。

 この強力なAIは、疑わしい品質のエッセイを生み出すだけのものではない。GPT-3は、インターネット上の大量の自然言語を使ってトレーニングされている。可能な限り最大の知識プールを使ってシステムをトレーニングするために、約5000億語が使われている。

 トレーニングコストは推定1200万ドル(約12億6800万円)で、1750億個のパラメーターのモデルを実現する。15億個のパラメーターを使っていたGPT-2のモデルよりも大幅に多い。

非常に強力なモデル

 AppierでAIのチーフサイエンティストを務めるミン・サン氏によると、GPT-3は言語生成用の非常に強力なモデルであり、タスクの説明または質問と回答の幾つかのペアでタスクを解決するように設計されているという。

 「英語からフランス語に翻訳するタスクでは、質問が英語の文章、答えがフランス語の翻訳になる。これは人間の言語だけでなくプログラミング言語にも及ぶ。英語の説明を与えるとプログラム命令が生成される」

 ある開発者はGPT-3を使って自然言語をSQLクエリに変換するツールを構築した。希望するデザインの構築を依頼するだけで、アプリケーションのレイアウトを作成するソフトウェアを作った開発者もいる。

 「GPT-3は、要約やチャットbotのようなNLPの一般的なタスク以外にも、従来のRPA(ロボティックプロセスオートメーション)をもっと広範囲に応用するための非常に重要なツールになると考えている」と同氏は補足する。

 RPAへの応用は興味深い。例えば、




続きを読むには、[続きを読む]ボタンを押して
ください(PDFをダウンロードします)。






ITmedia マーケティング新着記事

news094.jpg

ヤフーとLINEの経営統合でコマース・広告はどう変わるのか
新生Zホールディングスの戦略についてコマースと広告に関わるポイントをまとめました。

news054.jpg

「ウェルビーイング」がなぜCX(顧客体験)とEX(従業員体験)に重要なのか? Qualtrics調査から考察する
Qualtricsの調査によると、コロナ禍で従業員エンゲージメントが世界でも日本でも向上。従...

news144.jpg

動画の重要性 「増している」が85% 動画コンテンツの内製化率は前年比倍増――アライドアーキテクツ調査
アライドアーキテクツが「企業のDX推進における動画活用の実態調査 2021」を実施。デジタ...