巧妙化する生成AIの「合成データ」 情シスが知るべき悪用とガバナンスの死角

生成AIによる「合成データ」は、プライバシー保護とデータ不足解消の切り札とされる一方、不適切な管理はモデルの精度低下や組織的な詐欺を招く。安易な導入が「データ汚染」や「再特定」という致命的なリスクを引き起こす実態を解明。情シスが今すぐ講じるべき、ガバナンスと検証の鉄則を提示する。

[Stephen J. Bigelow，TechTarget]

　生成AIは、合成データの強力な新時代を切り開いた。企業は生成AIを活用することで、機密情報や個人を特定できる情報（PII）を明かすことなく、実データの特性を模倣したデータセットを作成できるようになった。これは、機械学習モデルの訓練に使う実データが不足している場合や、第三者と共有する際に強力な保護が必要な場合に大きなメリットとなる。

　しかし、合成データには負の側面もある。シミュレートされたデータは、危険なほど「偽物」に近い。これは単なる言葉の問題ではない。合成データの目的は、少なくとも統計的な観点から実データと区別がつかないものを作ることだ。だが生成の容易さとスピードによって、重要なデータ検証やガバナンスの手続きが形骸化しやすい。悪意のある者の手に渡れば、組織の自動チェックやフィルターをすり抜け、ビジネスを危険にさらす攻撃や詐欺、その他の悪用の手段となる恐れがある。以下では、情シスが今すぐ講じるべき、ガバナンスと検証の鉄則を提示する。

ビジネスにおける合成データの悪用

「生成AIとデータセキュリティ」に関連編集部お薦め記事

　一般的に、合成データの悪用は人工的に生成されたデータが不適切に使用されたときに発生し得る。悪用の可能性がある4つの領域を考えてみよう。

• 不正確な利用：合成データを必要以上に信頼したり、実データとして扱ったりすること
• 不適切な代表性（バイアス）：合成データに偏りがあり、本来の目的を正しく反映していないこと
• 非倫理的な利用：誤解を招いたり、欺いたりすることを目的とした、意図的に虚偽のデータを含むこと
• 有害な利用：攻撃、窃盗、詐欺、その他の悪意ある行為を実行するために使用すること

　合成データの悪用は、既にあらゆる場面で見られる。例えば、ある医療機関が疾患研究のために架空の患者記録を作成したとする。もしそのデータが不正確であれば、症状と結果の間の詳細な相関関係を捉えられず、誤った治療推奨を導き出す可能性がある。あるいは金融機関がローンのモデルを訓練するために合成の信用データを使用し、そのデータが元の実データに含まれていた偏見を増幅させれば、不当な融資拒否につながる恐れがある。

　企業は合成データを検証し、悪用を防止・軽減するためのデータガバナンスを確立しなければならない。

合成データが悪用される原因

　合成データの悪用は、意図的または悪意のある行為と見なされることが多い。しかし、その多くは自動化ツールへの過度な依存や技術的な限界、リスクへの無関心、ガバナンスの欠如が重なったことによる「事故」だ。

悪意のある行為

　生成AIには道徳心がない。悪意のある者の手に渡れば、誤解を招き、詐欺や窃盗、攻撃に利用される人工データが作成される。AIによるディープフェイクや偽造証拠の作成は今に始まったことではない。だが、AIプラットフォームの公正な利用と、道徳的・法的なガードレールのバランスをどう取るかに企業は今も苦慮している。

　顧客との対話を通じてデータを収集・利用する企業は、合成データを使って偽のアカウントを作成する巧妙な攻撃に直面している。「合成アイデンティティー窃盗」は、新たに台頭してきたトレンドだ。企業はこうした増大するリスクを認識し、偽データを特定して軽減するための強力な検証メカニズムを構築する必要がある。

モデルの過学習

　生成AIモデルの役割は、実データから学習し、訓練データとは異なるデータを作成することだ。しかし、モデルが訓練データに適合しすぎると、実データとほぼ同じものを複製してしまう。これが過学習である。例えば、訓練に使ったリンゴの写真が全て同じように見えれば、モデルはその特定の角度や照明、特徴を持つリンゴしか認識できなくなる。

　PIIを匿名化したり保護したりするために合成データを作成する場合、過学習は深刻な問題になる。生成AIモデルがユニークで多様なデータを生成できないと、リバースエンジニアリングによるデータ流出などのセキュリティ上の脆弱（ぜいじゃく）性を招く。また、バイアスを増幅させるなどデータの限界を強めたり、品質の低い合成データをさらなる訓練に再利用してモデルを劣化させたりする原因にもなる。

脆弱なデータガバナンス

　モデルの訓練に使ったデータが有効で信頼できるものであっても、そのモデルが生成した合成データが信頼できるとは限らない。合成データが実データの代わりになると考えるのは無謀で、ビジネスに甚大なガバナンス上のリスクをもたらす。

　合成データセットには、データサイエンスチームが実データに適用するのと同等の厳格な精査が求められる。適切な検証を行うことで、合成データの完全性、統計的妥当性、エラーの検出と修正、バイアスの特定、さらには例外的なケースや複雑な関係への対応能力を確保できる。

急増する合成アイデンティティー窃盗

　合成アイデンティティー窃盗とは、実在する個人の社会保障番号を盗み、それを架空の名前、生年月日、住所、連絡先と組み合わせる金融詐欺の一種だ。こうして実在しない人物の新しいアイデンティティーを作成するプロセスは「アイデンティティーのコンパイレーション」と呼ばれる。

　別の手口として、実在する人物のPIIを入手して一部を改ざんし、別のアイデンティティーを作り上げる「アイデンティティーのマニピュレーション（操作）」がある。さらに、全く架空のPIIを使って新しいアイデンティティーを作る「アイデンティティーのファブリケーション（捏造）」という戦術も使われる。作成された合成アイデンティティーは、主に銀行口座の開設やローン、クレジットカード関連の詐欺に利用される。多くの場合、これは「ロングコン（長期的な詐欺）」と呼ばれ、偽のアイデンティティーを数年かけて育て、信用履歴などの正当なプロフィールを構築してから詐欺を実行する。

　合成データはあまりに完全で妥当に見えるため、実データと区別がつかないことがある。住宅ローンの申し込みを受け付ける企業などは、従来の監視体制では不正を容易に検知できないのが実情だ。

合成データ悪用のリスク

　合成データの悪用は内部・外部を問わず発生し、企業の評判低下、コンプライアンス違反、セキュリティ上の脆弱性、モデルの劣化といった重大なリスクを引き起こす。主なリスクは以下の通りだ。

• バイアスの増強

　たとえ意図的でなくても、事実上全てのデータにはバイアスがある。全てのデータセットは有限であり、均衡な代表性を保証できない。そのデータを使って合成データを作成すると、出力結果にバイアスが反映され、しばしば増幅される。これが同じ合成データで訓練された他のモデルやAIシステムを汚染することになる

• データの汚染

合成データは容易かつ迅速に作成できるため、モデルのテストや検証の土台として安易に使われがちだ。しかし、実データと同じ完全性や妥当性を持っていると思い込むのは危険である。合成データを不用意に実データと混ぜ合わせると、実データにある微細なニュアンスをモデルが失い、精度の低下を招く「モデルの崩壊」が起きる可能性がある

• 再識別化

　合成データをリバースエンジニアリングすることで、元になった実データの一部を特定できる場合がある。過学習したモデルは真にユニークなデータを生成できないことがある。その結果、機密性の高い実データが合成データセットに漏れ出し、プライバシー侵害を引き起こす恐れがある。攻撃者は合成データを実在の個人と関連付け、PIIをさらに危険にさらし、コンプライアンス違反を露呈させる

• 誤情報の拡散

　合成データはディープフェイクのような、虚偽や誤解を招く有害なデータを生成し、個人や企業への詐欺や嫌がらせに悪用される可能性がある。生成AIの忠実度と詳細さが増すにつれ、偽のコンテンツを判別することはほぼ不可能だ。本物だと思い込まれた偽データが実データと混ざることで、将来のAI出力までゆがめてしまう

• 信頼性の喪失

　機械学習モデルは、データ変数間の深い因果関係を認識できる。合成データはデータ全体の相関関係を再現することは可能だが、深い因果関係のニュアンスまでは再現できない。その結果、合成データは医療診断のようなミッションクリティカルな業務で、危険な信頼性の問題を引き起こす可能性がある

• 現実世界の脆弱性

　実データで訓練されたモデルは、外れ値や誤りといった現実世界の「ノイズ」を見分けることができる。しかし合成データは適切に整理・処理されすぎている傾向がある。そのため、合成データのみで訓練されたモデルは現実のノイズを認識して対処することを学習できず、予測不能な動作や悪意のある攻撃を許す隙を生む

合成データの悪用を避ける方法

　ビジネスやテクノロジーのリーダーは、悪用を軽減するために以下のガイドラインに従うべきだ。

• 実データを置き換えない

　合成データは実データの補完やモデル性能のテストには有効だが、実データの完全な代替には決してならない。セキュリティ目的でデータを合成する場合は、元の詳細がリバースエンジニアリングされないことをテストで確認すべきだ。合成データに加えて、あるいはその代わりに、データの匿名化手法を併用することも検討したい

• 合成データを検証する

　有効なデータから合成されたからといって、その出力結果の完全性が保証されるわけではない。合成データも実データと同様に検証し、品質基準を維持しているか確認する必要がある

• 合成データを文書化する

　合成データの作成と利用は、組織のデータガバナンス要件を満たさなければならない。なぜ作成したのか、どこで入手したのか、どのようにテストし検証したのか、どう使用したのかを詳細に記録する。包括的な文書化は、コンプライアンス要件への対応を助け、モデルに関連する訴訟が発生した際の証拠となる

• 生成AIモデルの出力を監視する

　企業は生成AIモデルの性能を監視し、合成データをユーザーに提供する前に適切なレビューと検証を行う必要がある。また、虚偽や嫌がらせを目的としたコンテンツを禁止するなど、サービス利用規約の制限を順守しているか監視することも必要だ

• 提出されたデータに適切なデューデリジェンスを行う

　提出されたデータの正当性を認証し、合成アイデンティティー窃盗などの攻撃を阻止するための保護策を講じなければならない