“GPTからの脱却”が進むかも？ 「生成AIの未来」2つの方向性：「GPT」のこれまでとこれから【後編】
生成AIの成長をけん引する「GPT」など既存の技術には、さまざまな問題がある。生成AI技術は今後どのように進化し、どのような変化に直面するのだろうか。具体的な動きに触れながら、生成AI技術のこれからを占う。
OpenAIの大規模言語モデル（LLM）である「GPT」（Generative Pre-trained Transformer）が抱える「ハルシネーション」（事実に基づかない回答を出力すること）などの問題は、より多くのコンピューティングリソースやトレーニングデータを投入するだけで解決するわけではない。GPTの内部的な計算手順や構造を変更しても、大幅な改善は望めないと考えられる。
生成AIの未来
AI（人工知能）技術の中で、GPTなどの生成AI技術が中心的な役割を果たす状況は、今後もすぐには変わらないと考えられる。生成AI技術のさらなる進化には、主に2つの方向性がある。
1つ目はGPTを継続して使用しつつ、ハルシネーションを招く要因への対処を進めることだ。例えば一定数の「トークン」（単語や記号といった処理の最小単位）しか保持できないという「コンテキストウィンドウ」（一度に保持・処理できるトークンの最大数）の制約は、過去のトークン処理結果を一時的に保持する「キャッシング」といった技術を用いることで、部分的に緩和できる可能性がある。各トークンがプロンプト（指示文）の文脈においてどの程度の重要性があるのかを判断して、重み付けをする「アテンションメカニズム」についても、トークンへの重み付けをより適切にするための研究開発が進んでいる。
問題を完全に解消できるわけではないとしても、こうした工夫によって、問題の影響を軽減することは可能だと考えられる。結果として、既存の問題のためにGPTの有効活用が進んでいない用途でも、実用性が高まる可能性がある。
2つ目は、GPTおよび、そのベースとなるニューラルネットワーク（人の脳に着想を得た計算回路）の一種「Transformer」から完全に脱却することだ。「再帰型ニューラルネットワーク」（RNN：Recurrent Neural Network）といった従来のニューラルネットワークに基づくAIモデルを再検討したり、全く新しいタイプのAIモデルを生み出したりする方法がある。
GPTが大きな成功を収めてきたことから、Transformerに代わる技術の研究例は、それほど多くない。ただし興味深いプロジェクトや概念実証（PoC）は幾つかある。一例が、Meta Platformsや大学の研究者らが提案したAIモデル構造「Megalodon」だ。Megalodonは処理効率に配慮しながら、コンテキストウィンドウの制約といった問題の解消を目指している。
文脈や文章の情報を効率的に保持・活用する仕組みには「状態空間モデル」（SSM：State-Space Models）もある。SSMを採用したAIモデルには、大学の研究者が開発したオープンソースの「Mamba」などの例がある。
当面の間、GPTがAI技術の主流であり続けることは確実だ。ただし将来的には、ハルシネーションや大規模データ処理の制約、推論能力の限界といったGPTの問題を解消した、より優れた代替モデルがGPTに取って代わる可能性がある。
Copyright © ITmedia, Inc. All Rights Reserved.