生成AIの利用が広がる中、大規模言語モデル（LLM）を狙った攻撃も活発になりつつある。NVIDIAの研究者が生成AIの“2大脅威”について語った。生成AIを安全に使うために知っておきたい点とは。
生成AI（人工知能）ツールの中核技術である大規模言語モデル（LLM）を巡り、さまざまなセキュリティリスクが指摘されている。2024年8月に米ラスベガスで開催された年次セキュリティカンファレンス「Black Hat USA 2024」で、NVIDIAの主席AI・ML（機械学習）セキュリティアーキテクト、リチャード・ハラング氏はLLMの脅威を説明した。同氏が注意を呼び掛ける、LLMを狙った「2大攻撃手法」とは何か。
ハラング氏はLLMを狙った攻撃手法の一つとして、「間接プロンプトインジェクション」を挙げた。この攻撃手法では攻撃者がサードパーティー（第三者）を踏み台にし、悪意のあるコンテンツをLLMのデータベースに挿入。LLMに不正回答をさせる。最近、社内のデータや外部情報の検索結果を組み合わせて生成AIの回答を生成する「RAG」（Retrieval Augmented Generation：検索拡張生成）の活用が広がっている。ハラング氏によると、RAGの実装は間接プロンプトインジェクション攻撃を受けやすくなる一因となる。
間接プロンプトインジェクションとは別に、「ジェイルブレーク」（脱獄）がある。ジェイルブレーク攻撃では、攻撃者が直接LLMに入り込んでLLMに不正回答をさせる。それに対し、間接プロンプトインジェクション攻撃ではサードパーティーの情報が改変されるので、LLMに入り込む必要はない。そのため、間接プロンプトインジェクション攻撃はジェイルブレーク攻撃より実施しやすいと考えられる。
ハラング氏によると、LLMのもう一つの脅威はプラグインの脆弱（ぜいじゃく）性だ。プラグインは、LLMの機能を拡張するための追加モジュールだ。大半のLLMは“過去の情報”を使用して回答を生成するが、プラグインを使えば新しい情報も取り入れた回答を生成することが可能になる。ただしプラグインには、ソースコードの欠陥などによる脆弱性が存在する可能性がある。ハラング氏は「攻撃者がプラグインの脆弱性を悪用してLLMに入り込む攻撃が想定される」と警鐘を鳴らす。
プラグインの脆弱性を悪用した攻撃を防ぐために、ハラング氏は「LLMへのアクセス制御をはじめ、他のソフトウェアと同様のセキュリティ対策が有効だ」と述べる。組織はLLMを他のシステムから隔離し、独自の認証の仕組みを構築することも重要だという。それに加えて、「プラグインで取り込む情報を検証し、安全だと判断した情報のみを分析に使うようにすることが推奨される」と同氏は説明する。
米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
攻撃対象領域の拡大に伴い、SOCは高優先度のアラート対応で手いっぱいになり、トリアージにおいても十分な追加検証が行えていない。この現状を打開するには、AI／機械学習を活用し、大量のデータをセキュリティ対策に生かす手法が有効だ。
リモートアクセスを保護する方法として注目されるゼロトラストネットワークアクセス（ZTNA）。その実現手段として検討したいのが、エンドポイント上でポリシーを適用し、アクセスをきめ細かく最適化する先進的なZTNAソリューションだ。
サイバー攻撃が高度化する中、企業・組織はこの対応に苦慮している。本資料では、CISOやSecOpsリーダーなど、役割別の課題を整理し、この解決につながる製品の選定においてチェックしたいポイントを紹介する。
ハイブリッドワークの定着により働き方が変化する中、セキュリティを強化する方法として注目されるSASE。だが実際には、スタンドアロン製品で構成されるものも多く、性能に不満の声もあった。これらを解消する、AI搭載の統合型SASEとは？
AIや自動化の波はセキュリティ対策にも訪れているものの、ある調査によれば、「脅威やインシデント対応のプロセスを完全に自動化できている」と回答した担当者は16％にとどまっており、停滞している実態がある。その原因と解決策を探る。
いまさら聞けない「仮想デスクトップ」と「VDI」の違いとは
遠隔のクライアント端末から、サーバにあるデスクトップ環境を利用できる仕組みである仮想デスクトップ（仮想PC画面）は便利だが、仕組みが複雑だ。仮想デスクトップの仕組みを基礎から確認しよう。
「サイト内検索」＆「ライブチャット」売れ筋TOP5（2025年5月）
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10（2025年5月）
今週は、ECプラットフォーム製品（ECサイト構築ツール）の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年5月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
ITmediaはアイティメディア株式会社の登録商標です。
