問題の可能性が浮上したのは、育児休暇給付金や年金といった公共給付金の申請や支払い、管理を担当する機関Udbetaling Danmark（以下、UDK）のシステムだ。調査報告書によると、UDKは社会保障給付金詐欺を犯す可能性がある個人を調査対象として特定する目的でアルゴリズムを使っている。このアルゴリズムは、デンマークの大手年金処理会社ATPや複数の民間企業が協力して開発したものだ。

　調査報告書によると、UDKが使用しているアルゴリズムは約60個に上る。アムネスティインターナショナルでAI（人工知能）と人権に関する研究者を務めるヘレン・ムキリスミス氏によると、アルゴリズムは、給付金の申請者の居住地や職場、旅行歴、健康記録、海外との関係を追跡して監視している。

　デンマーク政府は、アルゴリズムの開発を後押しする法律を制定したとも調査報告書は指摘する。これらの法律は、公共データベースに登録されている同国の居住者の数百万人分の個人データを収集可能にするものだ。具体的には、居住状況や市民権、人種、民族、性的指向に関するデータが含まれる。

　アムネスティインターナショナルが聞き取りを実施した給付金受給者は、調査員やケースワーカーによる監視で発生する心理的負担について吐露したという。デンマーク障害者財団のコーディネーターを務めるスティグ・ランガバド氏はその心境を「銃口の先に座っているようだ」と表現する。

アルゴリズム使用は違法か？

　「アルゴリズムのための個人データの収集と活用は法的に根拠がある」とUDKは主張する。だが調査報告書は、このアルゴリズムは給付金受給者のプライバシーや平等、社会保障の権利を侵害していると警鐘を鳴らす。「障害者や低所得者、移民をはじめとした特定の社会的弱者が社会福祉の制度を利用する際に立ちはだかる障壁を生み出している」と調査報告書は結論付ける。

　UDKのアルゴリズムは、欧州連合（EU）が2024年5月に採択した「AI法案」（Artificial Intelligence Act）の「社会的スコアリングの禁止」に該当する恐れがあると調査報告書は説明する。社会的行動や個人的な特性に基づいて個人やグループを評価または分類する「社会的スコアリング」によって、対象者が不利益や不利な扱いを受けることを禁止するのが同法の趣旨だ。

　調査報告書が収集したデータによると、UDKとATPが使用するアルゴリズムは社会的スコアリングシステムとして機能する。「不正を検出するためのアルゴリズムを導入することで、大規模監視が可能になった」とムキリスミス氏は説明した上で、「アルゴリズムの使用は禁止されるべきだ」と主張する。

　「この大規模な監視は、本来保護すべき人を支援するのではなく、標的にしかねない給付金システムを作り出している。福祉システムの自動化が個人のプライバシーを侵害し、人間の尊厳を損なっている」（ムキリスミス氏）

　アムネスティインターナショナルはUDKとATPに対し、アルゴリズムのソースコードやデータを全て開示するよう要望した。それを受けて両組織は、特定のアルゴリズムの設計に関する文書を一部削除した上で提出した。

　デンマーク政府関係者は、アルゴリズムがEUのAI法案に抵触する可能性があるとのアムネスティの指摘を否定したが、その理由は説明していない。

　アムネスティインターナショナルは欧州委員会に対しても働き掛け、社会的スコアリングに関するガイドラインを発行するよう求めている。デンマーク政府当局に対しては、アルゴリズムが社会的スコアリングの禁止に該当しないことが確認されるまでその使用を停止するよう要請している。