AI導入を急ぐ企業に迫る「静かな崩壊」　被害を最小化するレジリエンスの鉄則とは？：AI時代に求められる新機軸のセキュリティ

企業の88％がAIを活用する中、従来型とは異なる攻撃手法が情シスの死角となっている。会話を通じた操作やRAG経由の漏えいなど、既存ツールでは防げない脅威の正体とは。被害を最小化する防御戦略の核心に迫る。

[Amy Larsen DeCarlo，TechTarget] PC用表示関連情報

LINE

Hatena

　企業のAI導入は、歴史上のどのソフトウェアカテゴリーよりも急速に進んでいる。ベンチャーキャピタルの米メンロー・ベンチャーズ（Menlo Ventures）によれば、AIは3000億ドル規模のSaaS市場の6％を占めるまでに成長した。マッキンゼー・アンド・カンパニー（McKinsey & Company）の報告では、88％の企業が少なくとも1つの業務にAIを適用しているという。

　競合に後れを取るまいとAI導入を急ぐあまり、深刻なセキュリティ上の脆弱（ぜいじゃく）性が見逃されている。実稼働へのスピードが、安全でレジリエント（回復力がある）な環境を確保するための適正評価を追い越している状況だ。攻撃者はすでにこの隙を突き始めている。

AI特有の侵害にはどのようなものがあるか

「AI時代に求められる新機軸のセキュリティ」に関連する編集部お薦め記事

　企業環境へのAI導入は、従来とは異なる広範な攻撃対象領域を生み出す。攻撃者はこの事実を熟知しており、露出したAIインフラを悪用している。

　AIアプリケーションは、ユーザー入力の処理方法の点で従来のソフトウェアとは多くの違いがある。従来のソフトウェアは予測可能性に基づき、同じ入力では同じ出力を返す。しかし、大規模言語モデル（LLM）の出力は、温度設定や文脈の長さ、ツールの有無などの要因で変化する。そのため、脆弱性が修正されたかどうかの検証すら困難になる。

　LLMのもう1つの大きな違いは、攻撃者がソフトウェアの脆弱性を突く必要がない点だ。攻撃者はソーシャルエンジニアリングに近い手法で、曖昧さを利用したり文脈をずらしたりしてLLMに侵入できる。インフラを乗っ取らなくても、LLMを操作して悪意ある動作を引き起こすことができる。また、データパイプラインを改ざんして出力を汚染する「データポイズニング」も脅威となる。

　AIは本質的にプロンプトインジェクションなどの戦術に弱い。攻撃者はこれらを用いてAIを欺き、ルールを無視させて悪意のある指示に従わせる。検索拡張生成（RAG）やコネクターを悪用したデータ窃取も一般的だ。攻撃者は検索時にアクセス制御を回避する。さらに、AIを使ってサプライチェーンの脆弱性を高速に特定し、攻撃をしかけるケースも増えている。

　攻撃者は言語を駆使し、従来のセキュリティツールの制御を回避する。LLMはコード、人事、顧客関係管理（CRM）など、複数の環境に接続されることが多い。LLMのワークフローへの侵入は、これらの領域を同時に侵害するリスクをはらんでいる。生成されたテキストやログ、ツールの出力などを通じてデータが漏えいする恐れがある。

　AIによる侵害は、一見無害な問い合わせの積み重ねで発生するため検知が難しい。調査担当者は、漏えいしたデータが学習データ、メモリ、コネクターのどこに由来するかを特定する必要がある。

サイバーレジリエントなAI環境の構築

　AI侵害の影響は、機密データの露出から規制による罰金、AIシステムの誤作動まで多岐にわたるため、セキュリティをAI活用の必要な要素として捉えなければならない。セキュリティ担当者は、当初からガバナンスと脅威モデリングを確立すべきである。プロンプトインジェクションやRAGを介した情報漏えいなどLLM特有の脅威を想定する必要がある。

　ユーザーインタフェース（UI）だけでなく、検索時の認可要件の適用が必要だ。身元に基づく許可が、データベースや検索レイヤーにまで及んでいることを確認しなければならない。AIに限った話ではないが、機密性の高い文書がインデックス化されないようデータの分類とタグ付けを徹底することも重要だ。

　また、全てのコネクターと資格情報の保護も必要だ。コネクターには最小権限の原則に基づくアクセス制御を適用する。ツールやエージェントの実行には、許可リストや制約を組み込んだポリシーでセキュリティを担保する。支払い処理や顧客向けメール送信など永続的な影響があるアクションには人の介入を義務付けるべきである。

　プロンプトインジェクションを防ぐには、強力なシステムプロンプトを使用する。加えて、外部コンテンツは安全が証明されるまで悪意があるものと見なす「ゼロトラスト」の制御を実装する。データ損失防止（DLP）プロトコルにより、ユーザーが機密内容をAIに貼り付けることを阻止する。

　サプライチェーンのセキュリティも重要だ。全てのチェックポイントを精査し、モデルレジストリを継続的に保守する必要がある。テナントやインデックスを分離し、インフラを堅牢（けんろう）化する。シングルサインオンや多要素認証（MFA）を通じて、厳格なアイデンティティーおよびアクセス管理を維持すべきだ。

　セキュリティ運用（SecOps）チームは、ロギングと監視を警戒レベルで維持する。異常なクエリパターンや、機密ラベルへのアクセス急増といった兆候を監視しなければならない。また、ツールやコネクターのオフライン化、トークンの更新、インデックスの削除などの手順を定めたAIインシデントレスポンスガイドを用意しておく。

　AIの統合が進む中で、セキュリティを伴わないスピード重視の姿勢は大きな失敗を招く。AIの変革的な可能性は、サイバーセキュリティと積極的なリスク管理という基盤の上で初めて実現される。今サイバーレジリエンスを優先する組織こそが、AI主導の未来で繁栄を手にできるのだ。