リスク1．データ流出

　外部の生成AIツールに企業が保有するデータを入力すると、そのデータが流出する恐れがある。特に、個人を特定できる情報や財務情報、医療記録といった機密データを取り扱う際は、細心の注意を払わなければならない。ある医療機関では、従業員が医療記録を要約するために生成AIツールを使ったが、保護策が不十分でデータ侵害が発生した。

　広く普及している生成AIツールとして、AIベンダーOpenAIのAIチャットbot「ChatGPT」がある。企業がChatGPTを利用する場合、従業員のChatGPTアカウントが攻撃されたら、そのアカウントでやりとりしていた機密データが漏えいしかねない。

リスク2．生成AIツールの脆弱性

　他のツールと同様に、生成AIツール自体にも脆弱（ぜいじゃく）性が存在する可能性がある。生成AIツールの土台となるAIモデルを訓練するためのデータセットにも、セキュリティ問題が潜んでいる場合がある。

　Palo Alto Networks傘下のセキュリティベンダーProtect AIが提供するバグ報奨金プログラム「Huntr」は、オープンソースの生成AIツールやAIモデルの脆弱性を記録している。その中には「ChuanhuChatGPT」「Lunary」「LocalAI」といったツールの脆弱性がある。これらの脆弱性が悪用されると、不正なプログラムの実行や情報の窃取につながる恐れがある。特に、AIアプリケーション開発ツールLunaryには、共通脆弱性評価システム（CVSS）における評価が「緊急」（スコア9.1）である2つの深刻な脆弱性がある。

• CVE-2024-7474
  • 攻撃者がリクエストURLの「id」パラメータを操作することで、外部ユーザーのアカウント情報を閲覧、削除できる。
• CVE-2024-7475
  • 攻撃者が認証規格「SAML」の認証構成を勝手に変更できるようにする。

リスク3．データポイズニング

　生成AIツールを支えるAIモデルは大量のデータで訓練されている。訓練データは主にインターネットで公開されている情報から取得されるが、企業独自のデータを含むこともある。「データポイズニング」は、攻撃者が訓練データに悪意のある情報を注入することで、AIモデルが誤った出力を生成したり、攻撃者の目的に従って動作させたりする攻撃手法だ。データポイズニング攻撃は、生成AIの信頼性を根底から覆しかねない。

　訓練データを攻撃者が窃取するリスクもある。窃取を防ぐには、厳格なアクセス制御やデータの暗号化が有効だ。

リスク4．コンプライアンス違反

　企業は生成AIツールの利用に当たり、コンプライアンス（法令順守）違反のリスクを意識する必要がある。具体的には以下のリスクがある。

• 機密データの漏えい
  • 個人情報をAIモデルの訓練に使用することは、欧州連合（EU）の一般データ保護規則（GDPR）をはじめとしたデータ保護関連の法規制に違反しかねない。違反した場合、罰金が科せられる可能性がある。
• 知的財産権や著作権法の侵害
  • AIモデルの訓練データには、書籍や雑誌、学術誌などの著作権で保護されたコンテンツが含まれる場合がある。著作権で保護されたコンテンツを使って生成した出力物を許諾や引用なしで使用すると、著作権者から損害賠償を請求されるなど、法的な問題に発展する可能性がある。
• 生成AIツール利用の非開示
  • 近年、生成AIツールを使った顧客対応することが広がっている。国や地域によっては、生成AIツールの使用を開示することが法律で義務付けられているので、生成AIツールの使用を事前に顧客に知らせない場合、罰則の対象になる可能性がある。

リスク5．コンテンツの捏造（ねつぞう）

　生成AIツールを用いて実在の人物を模倣した画像や動画、音声を作成する「ディープフェイク」も、生成AIによるリスクだ。攻撃者はディープフェイクを悪用して、企業の幹部や取引先になりすまして金銭をだまし取るといった巧妙な詐欺を仕掛ける。

リスク6．ソーシャルエンジニアリングの巧妙化

　「ソーシャルエンジニアリング」は、人の心理を巧みに操って意図通りの行動をさせる詐欺手法だ。生成AIツールは、標的に関する情報を収集して、個人に最適化されたフィッシングメールの自動作成を可能にする。生成AIツールが作成したフィッシングメールは、人が作成したものと見分けが付かないほど表現が自然なことがあるため、警戒心がある人でもだまされる恐れがある。

　後編は、生成AIツールを安全に利用するためのベストプラクティス（最適な方法）を紹介する。