「GPT」のこれまでとこれから【後編】
“GPTからの脱却”が進むかも？ 「生成AIの未来」2つの方向性
生成AIの成長をけん引する「GPT」など既存の技術には、さまざまな問題がある。生成AI技術は今後どのように進化し、どのような変化に直面するのだろうか。具体的な動きに触れながら、生成AI技術のこれからを占う。
OpenAIの大規模言語モデル（LLM）である「GPT」（Generative Pre-trained Transformer）が抱える「ハルシネーション」（事実に基づかない回答を出力すること）などの問題は、より多くのコンピューティングリソースやトレーニングデータを投入するだけで解決するわけではない。GPTの内部的な計算手順や構造を変更しても、大幅な改善は望めないと考えられる。
生成AIの未来
AI（人工知能）技術の中で、GPTなどの生成AI技術が中心的な役割を果たす状況は、今後もすぐには変わらないと考えられる。生成AI技術のさらなる進化には、主に2つの方向性がある。
1つ目はGPTを継続して使用しつつ、ハルシネーションを招く要因への対処を進めることだ。例えば一定数の「トークン」（単語や記号といった処理の最小単位）しか保持できないという「コンテキストウィンドウ」（一度に保持・処理できるトークンの最大数）の制約は、過去のトークン処理結果を一時的に保持する「キャッシング」といった技術を用いることで、部分的に緩和できる可能性がある。各トークンがプロンプト（指示文）の文脈においてどの程度の重要性があるのかを判断して、重み付けをする「アテンションメカニズム」についても、トークンへの重み付けをより適切にするための研究開発が進んでいる。
問題を完全に解消できるわけではないとしても、こうした工夫によって、問題の影響を軽減することは可能だと考えられる。結果として、既存の問題のためにGPTの有効活用が進んでいない用途でも、実用性が高まる可能性がある。
2つ目は、GPTおよび、そのベースとなるニューラルネットワーク（人の脳に着想を得た計算回路）の一種「Transformer」から完全に脱却することだ。「再帰型ニューラルネットワーク」（RNN：Recurrent Neural Network）といった従来のニューラルネットワークに基づくAIモデルを再検討したり、全く新しいタイプのAIモデルを生み出したりする方法がある。
GPTが大きな成功を収めてきたことから、Transformerに代わる技術の研究例は、それほど多くない。ただし興味深いプロジェクトや概念実証（PoC）は幾つかある。一例が、Meta Platformsや大学の研究者らが提案したAIモデル構造「Megalodon」だ。Megalodonは処理効率に配慮しながら、コンテキストウィンドウの制約といった問題の解消を目指している。
文脈や文章の情報を効率的に保持・活用する仕組みには「状態空間モデル」（SSM：State-Space Models）もある。SSMを採用したAIモデルには、大学の研究者が開発したオープンソースの「Mamba」などの例がある。
当面の間、GPTがAI技術の主流であり続けることは確実だ。ただし将来的には、ハルシネーションや大規模データ処理の制約、推論能力の限界といったGPTの問題を解消した、より優れた代替モデルがGPTに取って代わる可能性がある。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
技術文書・技術解説
[Jamf Japan 合同会社] MDMだけでモバイルセキュリティは十分？ 不足する対策を16項目でチェック -
事例
[Wrike Japan 株式会社] 世界的な家電メーカーが実践する「クリエイティブプロセス効率化」の方法とは？ -
事例
[Wrike Japan 株式会社] 世界的テクノロジー企業に学ぶ、プロセス標準化とプロジェクト納品自動化の秘訣 -
事例
[Wrike Japan 株式会社] ソニー・ピクチャーズ テレビジョンに学ぶ、次世代サービスデリバリーのヒント -
事例
[Wrike Japan 株式会社] ソミック石川に学ぶ、ICT浸透後に直面した「工数管理」の課題と解決策
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
脱VMwareの前提が崩れる BroadcomのVDDK公開停止で確認すべき点
-
2
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
3
AI全部入り「Microsoft 365 E7」に企業が二の足を踏む訳 移行意向はわずか4％
-
4
【基本情報技術者試験】「デュプレックスシステム」と「デュアルシステム」の違いは？
-
5
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
6
「データストレージの活用方法」に関するアンケート
-
7
エンジニアが選考を辞退する本当の理由 7割が隠す“面接の違和感”とは
-
8
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
9
「Microsoft一択」で本当にいいのか 知らぬ間にライセンス費用が膨らむ真相
-
10
なぜOpenAIやAnthropicのAIは「脱走」したのか 情シスが迫られるエージェント統制
ホワイトペーパーランキング PR
-
1
生成AIのハルシネーションを防止 回答精度を高めるセマンティックレイヤーとは
-
2
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
3
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
4
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
5
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
6
マンガで解説：「ゼロトラスト」「SASE」の必要性とメリット
-
7
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
8
情報セキュリティ対策早分かりガイド：25の自社診断で弱点と解決策を理解
-
9
国税庁の次世代基幹システム「KSK2」稼働開始に向けて、対応すべき変更点とは？
-
10
AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー