TechTargetジャパン
データ分析
RAG
技術解説
「RAG」が特に危ない？　NVIDIAが指摘した生成AIの“2大脅威”

LLMのリスクが明らかに

「RAG」が特に危ない？　NVIDIAが指摘した生成AIの“2大脅威”

生成AIの利用が広がる中、大規模言語モデル（LLM）を狙った攻撃も活発になりつつある。NVIDIAの研究者が生成AIの“2大脅威”について語った。生成AIを安全に使うために知っておきたい点とは。

公開 2024年09月12日 07時04分

著者

Alexander Culafi

[TechTarget]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

　生成AI（人工知能）ツールの中核技術である大規模言語モデル（LLM）を巡り、さまざまなセキュリティリスクが指摘されている。2024年8月に米ラスベガスで開催された年次セキュリティカンファレンス「Black Hat USA 2024」で、NVIDIAの主席AI・ML（機械学習）セキュリティアーキテクト、リチャード・ハラング氏はLLMの脅威を説明した。同氏が注意を呼び掛ける、LLMを狙った「2大攻撃手法」とは何か。

「RAG」が危ない？　LLMの2大脅威はこれだ

併せて読みたいお薦め記事

LLM（大規模言語モデル）を巡る脅威とは

間接プロンプトインジェクション

　ハラング氏はLLMを狙った攻撃手法の一つとして、「間接プロンプトインジェクション」を挙げた。この攻撃手法では攻撃者がサードパーティー（第三者）を踏み台にし、悪意のあるコンテンツをLLMのデータベースに挿入。LLMに不正回答をさせる。最近、社内のデータや外部情報の検索結果を組み合わせて生成AIの回答を生成する「RAG」（Retrieval Augmented Generation：検索拡張生成）の活用が広がっている。ハラング氏によると、RAGの実装は間接プロンプトインジェクション攻撃を受けやすくなる一因となる。

　間接プロンプトインジェクションとは別に、「ジェイルブレーク」（脱獄）がある。ジェイルブレーク攻撃では、攻撃者が直接LLMに入り込んでLLMに不正回答をさせる。それに対し、間接プロンプトインジェクション攻撃ではサードパーティーの情報が改変されるので、LLMに入り込む必要はない。そのため、間接プロンプトインジェクション攻撃はジェイルブレーク攻撃より実施しやすいと考えられる。

プラグインの脆弱性

　ハラング氏によると、LLMのもう一つの脅威はプラグインの脆弱（ぜいじゃく）性だ。プラグインは、LLMの機能を拡張するための追加モジュールだ。大半のLLMは“過去の情報”を使用して回答を生成するが、プラグインを使えば新しい情報も取り入れた回答を生成することが可能になる。ただしプラグインには、ソースコードの欠陥などによる脆弱性が存在する可能性がある。ハラング氏は「攻撃者がプラグインの脆弱性を悪用してLLMに入り込む攻撃が想定される」と警鐘を鳴らす。

　プラグインの脆弱性を悪用した攻撃を防ぐために、ハラング氏は「LLMへのアクセス制御をはじめ、他のソフトウェアと同様のセキュリティ対策が有効だ」と述べる。組織はLLMを他のシステムから隔離し、独自の認証の仕組みを構築することも重要だという。それに加えて、「プラグインで取り込む情報を検証し、安全だと判断した情報のみを分析に使うようにすることが推奨される」と同氏は説明する。

TechTarget発　世界のインサイト＆ベストプラクティス

米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。

印刷する

TechTarget発　世界のインサイト＆ベストプラクティス

米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。

連載新着通知を受け取る

この連載の記事をもっと見る

この記事の著者

Alexander Culafi

「RAG」が特に危ない？　NVIDIAが指摘した生成AIの“2大脅威”

「RAG」が危ない？　LLMの2大脅威はこれだ

併せて読みたいお薦め記事

LLM（大規模言語モデル）を巡る脅威とは

間接プロンプトインジェクション

プラグインの脆弱性

TechTarget発　世界のインサイト＆ベストプラクティス

TechTarget発　世界のインサイト＆ベストプラクティス

この記事の著者

関連記事

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

「RAG」が特に危ない？ NVIDIAが指摘した生成AIの“2大脅威”

「RAG」が危ない？ LLMの2大脅威はこれだ

併せて読みたいお薦め記事

LLM（大規模言語モデル）を巡る脅威とは

間接プロンプトインジェクション

プラグインの脆弱性

TechTarget発 世界のインサイト＆ベストプラクティス

TechTarget発 世界のインサイト＆ベストプラクティス

この記事の著者

関連記事

「生成AIが攻撃を受ける」とはどういうこと？ LLMの脅威“10選”

生成AIからデータが盗まれていることも……？ LLMの10大脅威

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

「RAG」が特に危ない？　NVIDIAが指摘した生成AIの“2大脅威”

「RAG」が危ない？　LLMの2大脅威はこれだ

TechTarget発　世界のインサイト＆ベストプラクティス

TechTarget発　世界のインサイト＆ベストプラクティス

「生成AIが攻撃を受ける」とはどういうこと？　LLMの脅威“10選”

生成AIからデータが盗まれていることも……？　LLMの10大脅威