「GPT」のこれまでとこれから【後編】
“GPTからの脱却”が進むかも？ 「生成AIの未来」2つの方向性
生成AIの成長をけん引する「GPT」など既存の技術には、さまざまな問題がある。生成AI技術は今後どのように進化し、どのような変化に直面するのだろうか。具体的な動きに触れながら、生成AI技術のこれからを占う。
OpenAIの大規模言語モデル（LLM）である「GPT」（Generative Pre-trained Transformer）が抱える「ハルシネーション」（事実に基づかない回答を出力すること）などの問題は、より多くのコンピューティングリソースやトレーニングデータを投入するだけで解決するわけではない。GPTの内部的な計算手順や構造を変更しても、大幅な改善は望めないと考えられる。
生成AIの未来
AI（人工知能）技術の中で、GPTなどの生成AI技術が中心的な役割を果たす状況は、今後もすぐには変わらないと考えられる。生成AI技術のさらなる進化には、主に2つの方向性がある。
1つ目はGPTを継続して使用しつつ、ハルシネーションを招く要因への対処を進めることだ。例えば一定数の「トークン」（単語や記号といった処理の最小単位）しか保持できないという「コンテキストウィンドウ」（一度に保持・処理できるトークンの最大数）の制約は、過去のトークン処理結果を一時的に保持する「キャッシング」といった技術を用いることで、部分的に緩和できる可能性がある。各トークンがプロンプト（指示文）の文脈においてどの程度の重要性があるのかを判断して、重み付けをする「アテンションメカニズム」についても、トークンへの重み付けをより適切にするための研究開発が進んでいる。
問題を完全に解消できるわけではないとしても、こうした工夫によって、問題の影響を軽減することは可能だと考えられる。結果として、既存の問題のためにGPTの有効活用が進んでいない用途でも、実用性が高まる可能性がある。
2つ目は、GPTおよび、そのベースとなるニューラルネットワーク（人の脳に着想を得た計算回路）の一種「Transformer」から完全に脱却することだ。「再帰型ニューラルネットワーク」（RNN：Recurrent Neural Network）といった従来のニューラルネットワークに基づくAIモデルを再検討したり、全く新しいタイプのAIモデルを生み出したりする方法がある。
GPTが大きな成功を収めてきたことから、Transformerに代わる技術の研究例は、それほど多くない。ただし興味深いプロジェクトや概念実証（PoC）は幾つかある。一例が、Meta Platformsや大学の研究者らが提案したAIモデル構造「Megalodon」だ。Megalodonは処理効率に配慮しながら、コンテキストウィンドウの制約といった問題の解消を目指している。
文脈や文章の情報を効率的に保持・活用する仕組みには「状態空間モデル」（SSM：State-Space Models）もある。SSMを採用したAIモデルには、大学の研究者が開発したオープンソースの「Mamba」などの例がある。
当面の間、GPTがAI技術の主流であり続けることは確実だ。ただし将来的には、ハルシネーションや大規模データ処理の制約、推論能力の限界といったGPTの問題を解消した、より優れた代替モデルがGPTに取って代わる可能性がある。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
市場調査・トレンド
[AvePoint Japan株式会社] SCS評価制度の死角は“SaaSの中” クラウド標準機能では届かない領域とは？ -
製品資料
[デジタルサーカス株式会社] 5分で分かる、「オープンソースCMS」比較ガイド -
製品資料
[デジタルサーカス株式会社] 1つのアプリを各国で運用 多言語モバイルアプリを簡単に開発・導入できる方法 -
製品資料
[ニュータニックス・ジャパン合同会社] 複雑化するKubernetes運用、VMとコンテナの二重管理を解消する方法は？ -
市場調査・トレンド
[アルプス システム インテグレーション株式会社] 急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要？
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
PHPはそもそも必要か？ 脆弱性で問われる自社サイト安全性と保守負担のバランス
-
2
「セキュリティ運用と侵入後の初動防御」に関するアンケート
-
3
京王電鉄・東京メトロの被害から学ぶ境界防衛 ITの侵害はどこまで波及するか
-
4
「Microsoft 365」が乗っ取られる MFAを破る“本物の画面”の恐怖
-
5
PHP2Shellの「事前の情報流出」でパニックに パッチ公開を巡る“混乱劇”
-
6
PHP脆弱性「PHP2Shell」で2260万件に影響 情シスの緊急チェックリスト
-
7
米国防総省で300万人分の個人情報が流出 その「意外な原因」と教訓
-
8
Microsoft 365導入後も稟議は「Excelをメールで回覧」 承認が止まる理由
-
9
金融・通信で情報漏えいが続出 IPAとJPCERT/CCが情シスに求める緊急点検
-
10
「データ活用とAI活用の実態」に関するアンケート
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する？ 超速の攻撃からエンドポイントを保護する方法
-
2
最速72分でデータが流出？ 最新の脅威トレンドや侵入手法から分かった防衛策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
2026年のサイバーセキュリティには何が必要か？ 最新データに学ぶ傾向と対策
-
5
「IT史に名を残すシステム障害」8選
-
6
「EDR」選定ガイド：比較・検討フェーズで整理すべきポイントを解説
-
7
10G回線の真価をフルに享受するには？ 導入前にチェックしたいポイント
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
-
9
MDMだけでは防げない？ Appleデバイスに潜む5つのセキュリティギャップ
-
10
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー