2024年9月にOrca Securityは2AIセキュリティについてまとめたレポート「2024 State of AI Security Report」（2024年AIセキュリティレポート）を公開した。レポートでは、主要なクラウドサービスである「Amazon Web Services」（AWS）や「Microsoft Azure」「Google Cloud」「Oracle Cloud」「Alibaba Cloud」からデータを得て分析している。

　Orca Securityによると、AI技術の開発や利用において、組織はスピードや効果を重視し、セキュリティを二の次にする傾向がある。今回のレポートでは、大きく2つのセキュリティリスクが明らかになったという。

• root（管理者）権限でシステムにアクセスできるデフォルト設定が無効化されていないこと
• 脆弱（ぜいじゃく）性のあるツールが使われ、攻撃者によって悪用されればソースコードが流出する恐れがあること

　後者についてOrca Securityは、約5割の組織がコラボレーションや自動化のためにAIツールを利用しているが、その大半に少なくとも1つの脆弱性が含まれると述べる。ただし、ほとんどの脆弱性は危険度が「低」から「中」だという。そのため、実際に攻撃に悪用されるリスクが比較的低いと同社はみている。

各種AI開発ツールの弱点

Azure OpenAI Service

　Orca Securityによれば、AIアプリケーションを構築する際のツールとしてMicrosoftの「Azure OpenAI Service」が広く使われている。しかし、ユーザー組織の27％では同ツールへの不正侵入を防ぐための対策が不十分だという。そのため、「クラウドリソースとAIサービス間で送信されるデータの傍受や改ざんができる可能性がある」（同社）

Amazon SageMaker

　レポートの中でOrca Securityは、AWSの機械学習モデル構築ツール「Amazon SageMaker」のセキュリティ問題を指摘。同社によると、Amazon SageMakerのバケット（データ保存領域）の45％はデフォルトでランダム化されていないバケット名を使用している。そのため、攻撃者にとってバケット名は推測しやすく、攻撃につながるリスクが高まるという。

Vertex AI

　もう一つのセキュリティ問題は、データ暗号化の実装が不十分なことだ。Orca Securityによると、GoogleのAI開発ツール「Vertex AI」を使用している組織の98％が、管理キーの保存時の暗号化を有効にしていない。「暗号化されていない機密データが流出すれば、AIモデルの盗難や改変、削除の可能性がある」（同社）

OpenAIやHugging Faceのツール

　今回のレポートでは、AI技術ベンダーOpenAIやHugging Faceが提供する各種ツールに関するセキュリティリスクも取り上げられている。Orca Securityによれば、OpenAIやHugging Faceのユーザー組織の中には、そのアクセスキーを公開している組織がある。アクセスキーの公開は攻撃を招きやすいとみられる。

求められる対策とは

　「セキュリティの責任はベンダーにあるのか。それともユーザーにあるのか。誰が責任を負うかが定まっていない」。Orca Security最高経営責任者（CEO）のギル・ジェロン氏は、AI技術の開発や利用を巡る助教についてそう述べる。同氏によると、ベンダーはあくまでAI技術を「提供」することが守備範囲だ。AI技術をどう使うかはユーザーの責任になるという。「『Googleが提供しているのだから安全だろう』と考えるのは危険だ」（ジェロン氏）

　そうした中、ユーザー組織はAI開発にセキュリティを取り入れ、早い段階からセキュリティポリシーを策定しなければならないとジェロン氏は説明する。AI技術の安全に使うには、使いやすさとセキュリティの両立が欠かせないという。すぐに講じるべき対策として同氏はアクセス権限を制御する重要性を強調する。