生成AIの問題として最もよく知られているのが「ハルシネーション」だ。AIが事実ではない内容を、あたかも正しい情報であるかのように回答する現象を指す。

　キーン氏によると、ハルシネーションは完全に解消されたわけではない。続けて、重要な意思決定をAIの回答だけに委ねることは、現在も避けるべきだと強調する。

　ただし、「AIモデルは頻繁にハルシネーションを起こす」という説明は、最新モデルの実態を十分に表しているとは言いにくくなっている。キーン氏によると、最新のモデルでは、ハルシネーション率は約3％程度に抑えられている。

　生成の精度改善を支えている仕組みの1つとしてキーン氏が紹介するのが、「Tool use」だ。

　従来の生成AIは、学習時にモデル内部へ蓄積した情報を基に回答を作ることが中心だった。しかし、最新モデルは必要に応じてWeb検索や社内データベース、業務システムのAPIを呼び出し、外部の情報を確認してから回答する。

　例えば、存在しない書籍について質問された場合、モデル内部の知識だけで回答すれば、架空の出版年や内容を作り出す可能性がある。Web検索を実行できれば、そもそもその書籍が存在するのかどうかを確認できる。

　もう1つの改善策が、「Refusal calibration」だ。これは、確認できない質問に対して、無理に回答を生成するのではなく、「検証できない」「十分な情報がない」と回答するようモデルを調整する取り組みを指す。

　AIにとって、自信を持って間違った回答を返すよりも、分からないと明示する方が望ましい場面は多い。特に法務、財務、セキュリティ、医療など、誤った回答の影響が大きい領域では、回答率を高めることよりも、適切に回答を控えられることが重要になる。

　推論モデルの登場もハルシネーションの抑制に寄与している。回答を即座に生成するのではなく、一定の思考時間を設け、計算や前提条件を確認してから最終回答を出す仕組みだ。

　ただし、約3％という数字は、全ての質問や利用条件に一律に当てはまる保証値ではない。利用するモデルや評価対象、ツール利用の有無、質問の難易度によって結果は変わる。

誤解2．AIが思考しているプロセスを画面上で見られる

　推論モデルを利用すると、回答の前に「思考中」「推論」といった表示が現れ、問題を解く手順が文章で示されることがある。

　これは一般に「Chain of Thought」（思考の連鎖）や「推論トレース」と呼ばれる。表示された文章を読めば、AIがどのように結論へたどり着いたのかを確認できるように見える。しかし、この文章はAI内部の実際の計算処理を、そのまま映し出しているわけではない。

　AIモデル内部では、膨大な数のパラメーターや重み付け、注意機構などが作用し、次に出力する内容を計算している。画面に表示される推論文章と、この内部計算が一対一で対応しているとは限らない。

　この現象を「Post hoc rationalization」（事後的な正当化）と呼ぶ研究者もいるという。内部の重み付け計算で結論を出した後、その結論に合うような説明を後から文章として生成している可能性があるということだ。キーン氏によると、ユーザーが見ているのはAIの思考そのものではなく、AIが生成した「思考のナレーション」に近いという。

誤解3．AIの計算資源のほとんどは「学習」に使われる

　大規模言語モデルの開発には、多数のGPUと大規模なデータセンターが必要になる。モデルを学習させるために、数週間から数カ月にわたって計算を続けることもある。

　そのため、AIの計算資源のほとんどは、モデルを構築する「学習」に使われていると考えられがちだ。しかしキーン氏によると、完成したモデルを実際に動かす「推論」（Inference）の割合は急速に増加しているという。

　学習は、膨大なデータを使ってモデルのパラメーターを調整する工程だ。多額のコストがかかるものの、基本的にはモデルを作成、更新する際に集中して発生する。

　一方、推論は、ユーザーがAIへ質問したり、AIエージェントが処理を実行したりするたびに発生する。AIサービスの利用者数や処理回数が増えるほど、推論コストは継続的に積み上がる。

　キーン氏によると、2023年にはAI計算資源の約3分の1が推論に使われていた。2025年には学習と推論がほぼ半分ずつとなり、その後は推論が全体の約3分の2、約66％を占めるとの予測だ。

　推論コストが増加する背景の1つが、推論モデルの普及だという。従来型のモデルが短い処理で回答を生成するのに対し、推論モデルは回答へ至るまでに複数の計算を実行する。難しい問題では、回答前に大量の中間トークンを生成する場合がある。

　キーン氏によると、推論モデルが1回の質問当たりに消費するトークン数は、非推論モデルの10～100倍になる場合があるとしている。一方AIエージェントでは、さらに多くの推論が発生する。

　AIエージェントは、1回の指示に対してモデルを一度呼び出して終わるわけではない。次の行動を決め、ツールを操作し、結果を読み取り、再び次の行動を判断する。この処理を何度も繰り返す。ユーザーから見れば1件の依頼でも、内部では数十回のモデル呼び出しが発生する可能性がある。

誤解4．大容量のコンテキストウィンドウにデータを丸投げできる

　AIモデルが一度に読み込める情報量を「コンテキストウィンドウ」と呼ぶ。

　キーン氏によると、数年前のモデルが扱えるコンテキストは数千トークン程度だったが、現在のフロンティアモデルには、100万トークン以上を扱えるものもある。大量の文書やソースコード、議事録を一度に渡せるようになった。

　この進化によって、「社内文書を全てAIに投入すれば、必要な情報を自動的に見つけてくれる」「コンテキストウィンドウをデータベースのように使える」と考える企業もある。

　この状況をキーン氏は、「確かに、膨大な文章の中から1つの情報を探し出す能力は大幅に向上した」と話す。

　キーン氏によると、長い文章の中に特定の事実を1つ隠し、それをモデルに探させるテストがあるという。テストは「Needle in a haystack」と呼ばれ、直訳すると「干し草の山から針を探す」という意味だ。

　このテストでは、100万トークン規模のコンテキストであっても、最新モデルであればほぼ完璧に近い精度を示すという。

　しかし、実際の企業業務で求められるのは、単一の事実を見つけることだけではない。

　例えば、社内規定に関する質問へ回答するには、就業規則、例外規定、最新の改定通知、従業員の所属や雇用形態など、複数の情報を組み合わせる必要がある。

　こうした「複数の針」を見つけて関連付ける処理では、長いコンテキストが必ずしも高い性能を発揮するとは限らない。キーン氏は、「複数の情報を組み合わせて分析する」作業は依然として苦手だと説明する。

　複数の情報を関連付けるベンチマークでは、コンテキストを20万トークンから100万トークンへ増やすと、スコアが30～60ポイント低下する場合があるという。

誤解5．AIエージェントは完全に自律して作業できる

　AIエージェントは、与えられた目標を基に、次に何をすべきかを判断し、外部ツールを使いながら処理を進める。

　一般的なAIエージェントは、次のループで動作する。この一連の処理は「エージェントループ」と呼ばれる。

1. 達成すべき目標を確認する
2. 次の行動を決める
3. 検索やシステム操作を実行する
4. 実行結果を確認する
5. 次の行動を決める

　一方キーン氏は、「問題は、複数の行動を連続して実行させる場合に起こる」と指摘する。単発の行動は高精度で実行できるものの、複数の行動を連続して実行させるとエラーが積み重なるという。

　一つ一つの処理には小さな失敗確率がある。処理を連鎖させると、その誤りが積み重なり、業務全体の成功率が低下する。この現象は「Compounding errors」と呼ばれる。

　仮に、1つのステップを正しく実行できる確率が95％だったとする。1回の処理だけなら、成功率95％は十分に高く見える。しかし、20ステップを全て正しく実行できる確率は約36％まで下がる。50ステップでは約8％となる。

　実際のAIエージェントでは、全ステップの成功率が均一とは限らないともキーン氏は強調する。誤ったデータを参照し続ける、目的から外れた作業を進めるといった問題も起こり得る。

　そこで有効とされる対策として、キーン氏は「Human-in-the-Loop」（人間による介在）を紹介する。

　AIエージェントが数ステップの処理を実行した時点で一度停止し、人間が結果を確認してから続きを許可する。全ての操作を人間が確認するのではなく、誤りの影響が大きい地点に承認を設けることが重要だ。

　各ステップを別のモデルに検証させる方法もある。「Verifier Model」と呼ばれる検証用モデルがAIエージェントの判断や出力を確認し、問題がある場合は処理を止めるといった方法だ。

　ただし、検証用モデルも誤る可能性がある。モデルを追加すればコストや処理時間も増える。そのため、人間による承認と自動検証を、業務の重要度に応じて使い分ける必要がある。

本稿は、IBM Technologyが2026年7月14日に公開した動画「5 AI Myths＆The Truth Behind Them：ML, Context, Agents & More」を基に作成しました。