「GPT」のこれまでとこれから【前編】
サクッと復習「GPT」 その仕組みや“厄介な3大問題”をおさらい
生成AIの急速な普及を後押しした「GPT」。明確なメリットがある一方、「ハルシネーション」といった活用のハードルとなる問題もある。GPTとは何なのかを、あらためて簡潔に整理しよう。
OpenAIの大規模言語モデル(LLM)である「GPT」(Generative Pre-trained Transformer)は、機械学習に革命をもたらしたブレークスルー(画期的な発明)と言っても過言ではない。GPTやその他のAI(人工知能)モデルの開発が進まなければ、OpenAIの「ChatGPT」などの生成AIツールは存在しなかった可能性がある。
GPTにはさまざまな利点があるものの、幾つかの問題を抱えることから、特定の用途には使いにくい選択肢となっている。GPTとはそもそも何であり、どのような問題に直面しているのだろうか。GPTの理解に必要な基本事項をあらためて整理しよう。
そもそも「GPT」とは何か
AIモデルの一種であるGPTは、新しいコンテンツを生成するようにトレーニングされている。そのベースとなるのが、ニューラルネットワーク(人の脳に着想を得た計算回路)の一種「Transformer」だ。Transformerは、全体の意味や構造を考慮しながら、効率的に文章を処理できる。
Transformerは、入力テキストを「トークン」(単語や記号といった処理の最小単位)に分割し、トークン同士の意味的なつながり(依存関係)を基に文脈を理解する。依存関係の明確化に必要な計算は並列処理が可能であり、それによってプロンプト(指示文)の解析やトレーニング時の計算を高速化できる。「再帰型ニューラルネットワーク」(RNN:Recurrent Neural Network)など、トークンを逐次処理する他の主要なニューラルネットワークと比べると、Transformerは計算効率の点で強みがある。
かなり前から、GPTおよびTransformerの背景にある主要な概念は存在していた。実際に使用可能なGPTを研究者が実装し始めたのは、2010年代後半になってからだ。2018年にはOpenAIが「GPT-1」、Googleが「BERT」というAIモデルを発表。その後にAIモデルの改良が急速に進み、ChatGPTをはじめとする、2020年代初めにおける実用的な生成AIツールの登場につながった。
GPTの問題
GPTは、企業にさまざまなメリットをもたらす。ただし幾つかの問題を抱えている。
1.ハルシネーション
事実に基づかない回答を出力する「ハルシネーション」は、複数の要因から発生する。プロンプトが適切ではない場合は、より適切なプロンプトを設計するといった簡単な対策で、ハルシネーションを軽減できる。より根本的なレベルで影響する要因の一つは、一度に保持・処理できるトークンの最大数である「コンテキストウィンドウ」の制限だ。
GPTは、コンテキストウィンドウの制限を超えるトークンを参照(トークンに関連する情報の取り込み)できない。結果としてプロンプトに対して正確な応答を生成するためのコンテキスト(文脈)情報が不足し、ハルシネーションが発生しやすくなる。
出力を生成する際、GPTは各トークンがプロンプトの文脈においてどの程度の重要性があるのかを判断して、重み付けをする。こうした重要性判断の仕組みを「アテンションメカニズム」と呼ぶ。トークンへの重み付けが適切ではない場合、GPTはプロンプトの内容に沿わない出力を生成してしまうことがある。
2.大規模データ処理の制約
プロンプトが膨大な場合、GPTはプロンプトを適切に処理できなくなることがある。前述の通りGPTは、一度に限られた数のトークンしか参照できない。そのためユーザーは、長いプロンプトを複数に分割し、それぞれに対してGPTの出力を取得して、手作業でまとめることがある。
このアプローチは出力の完成形が得られるまで時間がかかり、効率が悪い。最悪の場合、重要な情報が失われることもある。例えばGPTに一冊の本の内容を分割して入力し、それぞれの要約を出力してまとめる場合、一部の章にしか登場しない主要な人物の名前が、正確に反映されない部分が残ることが考えられる。
3.推論能力の限界
推論とは、単なるパターン認識ではなく、論理的な関係を踏まえて結論を導き出すことだ。他の主要なAIモデルと同様に、GPTは厳密な意味での推論ではなく、トレーニングデータから学習したパターンや、プロンプトにおけるトークン同士の依存関係を基に、確率的にもっともらしい応答を生成する。トレーニングデータに含まれていなかったり、これまで学習したことのなかったりする分野については、適切な出力が難しくなることがある。
「GPTは複雑な数学の問題を解くのに苦労する」という問題はよく知られている。GPTは、厳密な計算能力を保証するようには設計されていないからだ。金融など、正確な計算が不可欠な分野において、この問題はより重大になる。
GPTは簡単な規則に沿った計算問題について、学習したパターンを基に正しく解けることがある。ただし「営業コストと売上高の変動に応じて、自社のキャッシュフローがどのように変わるのか」といった文章問題など、複数の条件があって複雑な計算が必要になる問題では、正確に答えることは難しい。
AIモデルによる論理的な推論の実現を目指して、OpenAIの「OpenAI o3」といった推論特化モデルが登場しつつある。こうした推論特化モデルは、例えば複雑な数学の問題を複数のステップに分解し、それぞれを段階的に処理して最終的な出力に反映するといった工夫で、より適切な出力を生成しようとしている。ただし、これも厳密な意味では人による論理的な推論と同じではない。従来のGPTと同様に、根本的には学習済みパターンを参照しながら解答を確率的に生成しているだけだ。
後編は、生成AI技術のこれからを占う。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
プレミアムコンテンツ
[アイティメディア株式会社] AI活用を成功に導く「オブジェクトストレージ」 NAS/SANの限界を突破するには -
プレミアムコンテンツ
[アイティメディア株式会社] 「性能ならSSD」「大容量ならHDD」はもう古い? 変わるストレージの常識 -
プレミアムコンテンツ
[アイティメディア株式会社] 「オンプレミス回帰」がまさかの失敗に クラウドをやめずに安くする最適化手法 -
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「VMware vCenter」でゼロデイ悪用、PHPも修正――今朝の情シスニュース
-
2
テレビとノートPCをつないだのに映らない――Dellが解説する正しい接続方法
-
3
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
4
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
5
「Copilot利用率99%」デンソー驚異の定着術 3万人を動かした“社長賞”の舞台裏
-
6
「OpenJDK」の重大な脆弱性をAIが1時間で発見 “防御の遅れ”をどう防ぐ?
-
7
「nginx」のHTTP/2脆弱性(CVSS 9.2)、パッチ適用までの緊急チェックリスト
-
8
NVIDIA「一強体制」の終わりか データセンターを襲う“電力の壁”
-
9
「AMD製CPU搭載のPC導入検討」に関するアンケート
-
10
なぜ「ChatGPT」連携の拡張機能が情報漏えいの入り口になるのか?
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365 Copilotを安全&効果的に活用するために必要な「2つの準備」
-
4
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
5
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
6
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
7
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
8
「Copilot Cowork」でこう変わる AIエージェント時代の新たな働き方とは
-
9
AI活用で激化する外部・内部リスク、取引先へ波及する脅威から守る対策とは?
-
10
「AIエージェント」は業務でどう役立つのか? 現場で進む活用例“10選”
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー