top of page
検索

2025年度AIインシデント白書

この文書は、2025年を中心に報告されたAI関連インシデントを構造的に整理した白書の改訂版である。従来版では証拠の強度や証拠束の形式が曖昧であり、ケースごとの事実認定の粒度差が減点要因となっていた。本改訂版では以下の改善を行った。


* **Evidence Strength（ES）ラベルを追記**: 事実認定の強度をA/B/Cの３段階で示す。A=当事者による認定または公式発表、B=複数の有力報道、C=単独報道または要継続確認。

* **B2（欠測証拠束）の共通テンプレート化**: 各ケースで欠落が問題となった証拠束を「artifact_id / actor_id / timestamp / decision / reason_code / input_ref / output_ref / hash / signature(optional)」の観点で提示し、どの要素が不足しているかを明確にした。

* **参考文献のケース対応表の整備**: ケース1から12までの出典を脚注番号に対応付け、読者が主張と根拠を容易に突き合わせられるようにした。





EXECUTIVE SUMMARY

目的：

- 2025年を中心に報告されたAI関連インシデント12事例を「責任蒸発」の構造として統一テンプレートで整理し、最小の実装要件（停止境界=fail-closed＋証拠束）を提示する。


対象読者：

- 経営層／監査・法務／SRE・開発責任者／AI提供者・利用者（高リスク意思決定の運用当事者）


本白書の使い方（最短手順）：

1) 自社に近いケース（業務・リスク・運用形態）を読む

2) B2（欠測証拠束）を自社ログに照合し、欠測を特定する

3) B4（最小修復）を変更管理・運用手続へ落とす（欠測時は止める）


要点（結論）：

- 本白書が示すのは、AIの危険性一般ではない。「停止境界（fail-closed）と証拠束が事前に固定されない」限り、AIの有無に関係なく責任は構造的に蒸発する。

- 12事例はP1〜P10の反復パターンに収束し、主因は“評価の不足”ではなく“境界未固定のfail-open経路”である。


最小の実装要件（3点）：

1) 証拠束テンプレートの必須化：

artifact_id / actor_id / timestamp / decision / reason_code / input_ref / output_ref / hash / signature(optional)

2) 欠測・不整合時の停止（fail-closed）：

根拠が欠ける処理は実行しない（要約・否認・配信・発行・配布・適用など）

3) 承認対象（差分／参照集合）の固定：

「誰がOKしたか」ではなく「何をOKしたか」を差分ハッシュ等で固定し、未署名は実行不可にする


即時チェックリスト（10分）：

- 承認は差分ハッシュ（または参照集合）に紐づいているか

- 参照（閲覧／要約／生成）の input_ref と output_ref が結合ログで残るか

- 欠測時に処理が進む経路（fail-open）が存在しないか


期待される効果：

- 事故後の責任漂流を止め、是正の主体・手順・根拠を固定できる。

- 監査・規制対応を「説明」ではなく「検証」で成立させられる。




以下、各ケースを改訂した内容で示す。




## CASE 1) Microsoft 365 Copilot: 機密メール要約バグ（DLP／ラベル迂回）




**ES=A**


F:

- Microsoft 365 Copilotが機密ラベル付きメールを要約するバグが報じられ、ラベルやDLPによる保護を回避して秘密の内容が参照された【1】。

- Microsoftはサービス健康通知でこの不具合を認め、コードの問題が原因で機密ラベル付きの送信済み・下書きフォルダのメールが要約対象に含まれたと説明し、修正済みであると発表した【2】。


B0:

- 機密情報はラベルとDLPポリシーにより、閲覧だけでなくAI要約経路でも保護されるという前提がある。


B1:

- AI要約経路ではラベル・DLP整合チェックが機能せず、参照が進んでいた。AI経路が他の参照経路と統合されておらず、fail‑openになっていた。


B2（欠測証拠束）:

- **artifact_id**（参照されたメールID）

- **actor_id**（Copilotサービスのモジュール識別子）

- **timestamp**（参照時刻）

- **decision**（要約実行有無）

- **reason_code**（ラベル判定やDLPの結果）

- **input_ref**（原文メールの参照ハッシュ）

- **output_ref**（生成された要約のハッシュ）

- **hash**（ログ改ざん検知用の結合ハッシュ）

- **signature**（監査署名、省略可）


  この一対一結合ログがないために、どの機密メールがAIに参照されたか後から検証できなかった。


B3:

- 制御層（M365）と参照層（Copilot）の境界が分断され、管理者は「守られているはず」という前提を検証できない。責任の所在が曖昧になった。


B4（最小修復）:

- 上記テンプレートに沿った参照集合ログを必須化し、検索・閲覧・要約の全ての参照範囲を決定的に記録する。

- ラベル不整合が検出された場合は要約を拒否する（fail‑closed）。

- 管理者が監査できるフォーマットで証拠束を保管し、参照集合・判定・出力を一貫して紐付ける。


C:

- **示す**: 統制面とAI参照面の不整合があると、機密保護の責任は容易に蒸発する。

- **示さない**: AI一般が危険である、という断定。

- **必要**: 参照集合の証拠化と、ラベル不整合時の停止（fail‑closed）。




## CASE 2) AWS: Kiro AIと関連付けられた費用管理サービスの停止／変更管理不備




**ES=B**


F:

- 2025年末にAWSの費用管理サービス（Cost Explorer）が長時間停止し、匿名関係者は同社のAI開発支援ツール「Kiro」が変更を実行したためだと報じた【3】。これに対しAmazonは、停止はユーザーによるアクセス権限の誤設定が原因でAIツールは関与していないと反論し、影響は一地域の費用管理サービスに限られており他のサービスは無事だったと説明した【4】【5】。


B0:

- 本番環境への変更はレビュー・承認・ロールバックの三層構造により安全に実行されるべきであり、AIツールによる変更でも同様の変更管理を前提とする。


B1:

- 承認の単位が「誰がOKしたか」に偏り、「何の差分を承認したか」が記録されないまま変更が実行される場合がある。対象未固定のまま適用が進み、fail‑open状態となる。


B2（欠測証拠束）:

- **artifact_id**（デプロイされたコードや設定の差分ハッシュ）

- **actor_id**（Kiroツールやエンジニアの識別子）

- **timestamp**（承認・実行時刻）

- **decision**（承認／拒否／ロールバック）

- **reason_code**（承認根拠や安全評価）

- **input_ref**（変更前の状態）

- **output_ref**（変更後の状態）

- **hash**（承認と実行ログの一貫性検証用ハッシュ）

- **signature**（レビュアの署名）


  差分ハッシュと承認署名の連結ログが欠如していると、後から「誰が何を承認したか」を確定できない。


B3:

- SRE、開発者、AIツール提供者間で承認対象が固定されていないと、何が問題だったのか帰責が確定できない。


B4（最小修復）:

- 承認は差分ハッシュに紐づけて署名し、未署名差分は実行不可とする（fail‑closed）。

- 実行ログと承認ログのハッシュが一致しなければ自動的に停止し、ロールバックが発動するようにする。


C:

- **示す**: 承認対象を固定しない変更管理は、AIの有無にかかわらず責任を蒸発させる。

- **示さない**: 停止原因をAIのみに帰する断定。

- **必要**: 差分固定（ハッシュ）と未署名時の停止。




## CASE 3) Waymo: サンフランシスコ停電時のサービス停止／渋滞




**ES=B**


F:

- 2025年12月のサンフランシスコ大規模停電で信号機が停止し、Waymoの自動運転タクシーが交差点に停車して渋滞の原因となった。複数の車両がハザードランプを点灯したまま交差点に留まり、交通が滞った【6】。

- Waymoは停電中の安全確保のため運行を一時停止し、停電規模が大きく遠隔支援も遅延したため車両が通常より長時間停止したと説明した【7】。


B0:

- 信号や通信など外部インフラが異常な場合は、安全に停止し遠隔支援を行うとの運用前提がある。


B1:

- 「止まる」という判断自体は安全側だが、どこに止めて交通影響を軽減するかという手続が未固定であり、fail‑open状態となった。


B2（欠測証拠束）:

- **artifact_id**（車両IDおよび位置ログ）

- **actor_id**（自動運転ソフトウェアモジュール識別子や遠隔オペレーター）

- **timestamp**（停電検知・停止・再開の各時刻）

- **decision**（停止・退避・再開）

- **reason_code**（停電・信号停止など外部状態）

- **input_ref**（外部インフラ情報）

- **output_ref**（停止位置・車両の動作記録）

- **hash**（各ログを結合したハッシュ）

- **signature**（運行管理者の署名）


  停電状況・車両判断・遠隔介入の統合ログが不足しており、誰がいつどのように介入したかが検証しにくかった。


B3:

- 自治体・インフラ事業者・運行事業者の間で、滞留解消の責務が曖昧になり責任が蒸発した。


B4（最小修復）:

- 停電など外部異常時の「退避位置」や手続を事前に定め、路肩退避など縮退モードをfail‑closedで実施する。

- 外部状態の証拠を共有し、停電検知と退避判断のログを上記テンプレートに沿って残す。


C:

- **示す**: 外部前提が崩壊した際に退避手続と責任境界が未固定だと、渋滞等の影響の責任が蒸発する。

- **示さない**: 自動運転を全面否定する結論。

- **必要**: 外部状態証拠と退避手続の事前コミット。




## CASE 4) UnitedHealth Group: nH Predictによるケア否認訴訟




**ES=B**


F:

- 米国で、UnitedHealth Groupが使用するAI予測ツール「nH Predict」により、医療保険のポストアキュートケアが不当に否認されたとして集団訴訟が提起された。原告は、このAIの誤判定率が高く医師の判断に取って代わったと主張した【8】【9】。

- 連邦裁判所は2025年2月、契約違反と不当な保険金否認の一部請求を棄却せず、Medicare法による訴訟前の行政手続きの免除を認めた【8】。


B0:

- 保険審査では最終判断は人間の医師が行い、AIは補助的なツールとして使われるとの建付けがある。


B1:

- 実務上はAIの出力が事実上の拘束力を持ち、異議申し立てや再審で覆されることが多い。AIがfail‑openで否認し、証拠が弱くても支払い停止が発生する。


B2（欠測証拠束）:

- **artifact_id**（個別請求案件ID）

- **actor_id**（nH Predictモデルバージョンや審査担当者）

- **timestamp**（AI判定・医師覆し・通知時刻）

- **decision**（承認／否認／覆し）

- **reason_code**（AIスコア・閾値・ガイドライン条項）

- **input_ref**（患者の医療データ参照）

- **output_ref**（AIの推奨・医師の最終判断）

- **hash**（判定経路のハッシュ）

- **signature**（医師の署名）


  否認根拠や人間が覆した理由を証拠束として残さないと、後から責任を確定できない。


B3:

- 保険者（決定主体）／モデル提供者／医療提供者の間で責任境界が曖昧になり、AI出力に依存した否認が続く。


B4（最小修復）:

- 否認は上記証拠束に紐付け、根拠が欠ける否認は実行しない。AIが提示した理由コードや閾値を患者への通知に含める。

- 証拠不足ならAIによる否認を停止（fail‑closed）し、人間審査を義務付ける。

- 覆しがあった場合、その理由と判断過程も同じ証拠束に追記する。


C:

- **示す**: 高リスク医療決定で証拠束が弱いと、責任が制度的に蒸発する。

- **示さない**: AI医療全体への否定。

- **必要**: 否認を証拠束に紐付け、不足時には停止する仕組み。




## CASE 5) AI採用スクリーニング: 差別訴訟（Sirius XM等）




**ES=B**


F:

- AIによる採用スクリーニングが差別的影響を与えたとする訴訟が複数進行中である。Harper v. Sirius XMの原告は、同社が過去の採用データを使ったAIツールにより黒人応募者が自動的に評価を下げられたと主張した【10】。またMobley v. Workdayでは高齢者差別が争点となり、裁判所は連邦雇用年齢差別訴訟の集団認定を認めた【11】。米国各州ではAI採用ツールに対する規制や記録保持義務が制定されつつあり、ベンダーにも第三者責任が課され始めている【12】。


B0:

- 採用では公平性義務と説明／監査要求が存在し、AIを用いた場合もこれに従うべきとされる。


B1:

- 多くの企業はベンダーの免責条項を理由に詳細な監査を実施しないままAIツールを運用し、誰がどこで差別を引き起こしているか検証不能となる（fail‑open）。


B2（欠測証拠束）:

- **artifact_id**（応募者ごとの評価レコードID）

- **actor_id**（AIモデルバージョンや採用担当者）

- **timestamp**（スクリーニング・更新・通知の時刻）

- **decision**（通過／不採用）

- **reason_code**（スコアリング理由や特徴量）

- **input_ref**（履歴書・応募者データ）

- **output_ref**（AI算出スコア・最終判断）

- **hash**（ロジックや閾値の更新履歴ハッシュ）

- **signature**（監査者や人事責任者の署名）


  上記ログが欠測すると、差別の有無以前にAIがどのように判断したかを検証できない。


B3:

- 利用企業、モデルベンダー、監査者の責任が契約で分散し、誰も全体を検証しないため責任が蒸発する。


B4（最小修復）:

- スクリーニングは完全な説明可能性よりも検証可能性を重視し、評価ログと閾値・更新履歴を証拠束として保存する。

- 監査不能ならAIの運用を停止（fail‑closed）し、人間主体のプロセスに戻す。


C:

- **示す**: 監査不能な採用AIは責任を蒸発させる。

- **示さない**: AI採用の全面禁止。

- **必要**: 検証可能な証拠束と、監査不能時の停止。




## CASE 6) 日本: 快活CLUB不正アクセス事件における生成AI支援




**ES=C**


F:

- ネットカフェ運営会社「快活CLUB」のサーバーに不正アクセスし、会員情報約725万件を取得したとして高校生が逮捕された。捜査関係者によると、容疑者はChatGPTを用いて攻撃用プログラムを作成したとみられ、プログラムによりサーバーに不正コマンドを送信した【13】。


B0:

- サービス運営者は認証、レート制限、異常検知、ログ保全を事前に備えるべきであり、攻撃時には再発防止のための証拠を残す必要がある。


B1:

- 攻撃は工程化・自動化され、検知が遅れて大量の情報流出を許した。防御側がfail‑open状態であった。


B2（欠測証拠束）:

- **artifact_id**（アクセス試行やSQLコマンドのログID）

- **actor_id**（攻撃発生元IPや端末指紋）

- **timestamp**（不正アクセスの各試行時刻）

- **decision**（アクセス許可／拒否／アラート）

- **reason_code**（異常検知ルールに基づく判定理由）

- **input_ref**（送信されたリクエスト）

- **output_ref**（サーバー応答）

- **hash**（ログ改ざん防止ハッシュ）

- **signature**（管理者によるログ封緘）


  認証試行ログや異常検知ログが整合的に保全されていないと、攻撃経路と防御の不備が特定できない。


B3:

- 事業者（防御要件）、本人確認を委託する企業、攻撃者の境界が曖昧で、事業者側の証拠不足が責任蒸発のポイントとなった。


B4（最小修復）:

- 閾値超過時の自動停止・レート制限を実装し、疑義があるアクセスはfail‑closedで遮断する。

- ログ形式を標準化し、上記テンプレートに沿った証拠束を保全する。

- 認証要件を強化し、多要素認証等で自動化攻撃を阻止する。


C:

- **示す**: 能力増幅下でも旧設計の証拠要件のままでは責任が蒸発する。

- **示さない**: AIが犯罪の主因である、という一般論。

- **必要**: 証拠束の追加と検知不能時の停止。




## CASE 7) Amazon Q Developer / VS Code拡張機能: サプライチェーン改ざん疑惑




**ES=C**


F:

- AmazonのAI開発支援ツール「Q Developer」のVisual Studio Code拡張機能に悪性コマンドが混入した疑いが報じられた。匿名の攻撃者が未確認のGitHubアカウントからプルリクエストを送信し、バージョン1.84.0にデータ消去コマンドが含まれたコードが混入したが、Amazonは迅速に修正してバージョン1.85に更新し、顧客資産への影響はなかったと説明した【14】。専門家は、サプライチェーン攻撃のリスクとリリースパイプラインの検証の重要性を指摘した【15】。


B0:

- ソフトウェアの配布物は署名・検証され、改ざんがあれば本番導入できないという真正性のコミットメントが必要である。


B1:

- 更新・配布経路で真正性検証が徹底されず、改ざんコードが含まれたバージョンが一時的に配布されてしまった。導入プロセスがfail‑openであった。


B2（欠測証拠束）:

- **artifact_id**（配布物のハッシュやバージョンID）

- **actor_id**（コミット署名者やビルドパイプライン）

- **timestamp**（コミット・ビルド・配布の各時刻）

- **decision**（検証成功／失敗）

- **reason_code**（検証結果や警告）

- **input_ref**（ソースコードリポジトリ）

- **output_ref**（配布パッケージ）

- **hash**（SBOMや署名のハッシュ）

- **signature**（開発者およびビルドサーバーの署名）


  配布ハッシュと署名検証ログ、更新経路の記録が結合されていないと、改ざんがどの段階で混入したか責任を確定できない。


B3:

- 署名者（コード提供者）、マーケット運営者（配布）、利用組織（導入管理）の境界が溶け、誰がどの検証をすべきか不明確となった。


B4（最小修復）:

- 配布物のハッシュと署名検証を必須化し、不一致は即停止（fail‑closed）。

- SBOMやattestation（来歴証明）を証拠束として保存し、導入時には検証ログを残さなければ本番投入不可とする。


C:

- **示す**: AIか否か以前に、サプライチェーンの真正性が未固定だと責任が蒸発する。

- **示さない**: AI開発ツール一般が危険であるという一般論。

- **必要**: 署名・来歴の証拠束と未検証時の停止。




## CASE 8) FortiGate: 大規模侵害とAI増幅攻撃の報道




**ES=B**


F:

- 2026年初頭、FortiGate機器600台以上が世界55か国で侵害され、ロシア語話者の脅威グループが生成AIサービスを用いて攻撃を増幅させていたと報じられた【16】【17】。

- 攻撃者はFortiGateの脆弱性ではなく公開管理ポートと単要素認証の弱点を突き、AIを用いてスキャン・侵害・被害者リスト作成を自動化した。AIにより、技術スキルが高くない攻撃者でも大規模な侵害を行えたと指摘されている【16】。


B0:

- ベンダーは脆弱性公開後に修正を提供し、運用者は適用・露出管理を行うというパッチ責務がある。


B1:

- 「パッチは公開済みだが適用されているか証明できない」状態で運用が進み、外部露出が続いた。適用確認がfail‑openであった。


B2（欠測証拠束）:

- **artifact_id**（機器ごとのパッチ適用ログID）

- **actor_id**（ベンダー・運用者・MSP）

- **timestamp**（脆弱性公開・パッチ提供・適用時刻）

- **decision**（適用完了／未適用／延期）

- **reason_code**（適用できない理由やリスク判断）

- **input_ref**（対象資産リスト）

- **output_ref**（適用後のバージョン情報）

- **hash**（適用証明ログのハッシュ）

- **signature**（運用責任者の署名）


  パッチ提供・適用期限・侵害発生の時系列や適用証明ログを結合した証拠束が欠如し、誰がいつ責務を果たしたか特定しにくい。


B3:

- ベンダー（修正提供）・運用者（適用）・MSP（代行）間で適用証明がないと責任が確定できない。


B4（最小修復）:

- 適用証明ログを必須化し、不明なら外部露出を止める（fail‑closed）。

- 修正提供→適用→検証の各時点を証拠束として結合し、侵害検知時には保全手順を事前に固定する。


C:

- **示す**: パッチ適用証明がないと、侵害後の責任を確定できず蒸発する。

- **示さない**: AI攻撃が主因であるという断定。

- **必要**: 適用証明＝証拠束と、不明時停止。




## CASE 9) ハンガリー: AI生成選挙動画（架空の処刑シーン）




**ES=B**


F:

- 2026年2月、ハンガリー与党フィデスのブダペスト支部が、戦場で盲目の兵士が処刑される架空シーンと泣き叫ぶ少女を組み合わせた33秒の選挙動画をFacebookに投稿し、野党党首が強く抗議した。フィデスはウクライナ戦争への関与を示唆し「これは今は悪夢だが、ブリュッセルは現実にしようとしている」と警告した【18】。

- 動画には人工知能が用いられたことが報道され、フィデスの広報担当はAI生成であることを否定しなかった。ロイターはこの動画がGoogleのAIモデルによって作成されたと確認した【18】。欧州連合のAI規則案では、AI生成の政治広告に出所表示を義務付けることが検討されている。


B0:

- 選挙期の広告・情報については、出所表示・是正命令・削除手続が適切に運用されるべきという前提がある。


B1:

- 動画の出所が不明なまま拡散し、是正の責務主体が曖昧なためプラットフォーム運用がfail‑openになっていた。


B2（欠測証拠束）:

- **artifact_id**（動画IDや配信URL）

- **actor_id**（制作主体・配信アカウント）

- **timestamp**（生成・投稿・削除の時刻）

- **decision**（投稿許可／削除／訂正）

- **reason_code**（深層偽造の検知結果や通報理由）

- **input_ref**（生成元モデルや素材）

- **output_ref**（動画ファイルのハッシュ）

- **hash**（メタデータとログを結合したハッシュ）

- **signature**（プラットフォームまたは規制当局の署名）


  出所表示、AI生成フラグ、拡散経路ログ、是正命令のタイムラインが欠如すると、是正の責任が蒸発する。


B3:

- 発信者・プラットフォーム・規制当局の境界が未固定で、停止・是正の制度ログが欠ける点が問題である。


B4（最小修復）:

- 出所不明・生成表示なしの動画は配信を停止（fail‑closed）し、異議申し立てにより復帰できる二段構造とする。

- 出所表示・生成物フラグ・配信経路ログ・削除／復帰の時系列を証拠束として標準化し、公開可能な形で保管する。


C:

- **示す**: 政治領域では「真正性」よりも「停止・是正の手続き」が責任境界であり、ログが弱いと責任が蒸発する。

- **示さない**: 特定政党や陣営の正邪判断。

- **必要**: 出所表示と証拠束、未充足時の配信制限。




## CASE 10) ルーマニア: 大統領候補のdeepfake投資詐欺（Neptun Deep）




**ES=C**


F:

- 2025年5月、大統領選を控えたルーマニアで、AI生成された動画がFacebookに投稿され、候補者ジョルジ・シミオンやニクショル・ダンが架空の政府投資プログラム「Neptun Deep」を宣伝しているように見せかけた。動画では「1400レイを払えば毎月9000レイの受動所得が得られる」と語られていた【19】。

- Bitdefenderの報告によれば、これらの動画はdeepfake技術で候補者の顔や声を偽装しており、偽のニュース記事やウェブサイトに誘導して前払金を振り込ませる詐欺であった。ジョルジ・シミオン版の動画は削除されたが、ニクショル・ダン版は拡散が続き、数時間で多くの反応を得た【19】。過去にも類似の投資詐欺があり、政治家や有名人のdeepfakeが詐欺に悪用されている【20】。


B0:

- 広告や投資勧誘では広告主の身元確認（KYC）と通報是正が機能する前提がある。


B1:

- 本人性が確定しないまま広告が配信され続け、広告プラットフォームがfail‑openの状態であった。


B2（欠測証拠束）:

- **artifact_id**（広告IDや動画URL）

- **actor_id**（広告主や詐欺グループ）

- **timestamp**（投稿・通報・削除の時刻）

- **decision**（配信許可／削除／凍結）

- **reason_code**（本人性確認結果や通報内容）

- **input_ref**（元となった人物の映像や音声）

- **output_ref**（AI生成動画のハッシュ）

- **hash**（KYC書類やログのハッシュ）

- **signature**（プラットフォームおよび広告主の署名）


  広告主KYC、本人性確認の根拠、削除要請から停止までのタイムライン、被害救済手続のログが欠如すると、救済と帰責が蒸発する。


B3:

- 詐欺者、広告プラットフォーム、金融機関（救済）の境界で本人性証拠が弱いほど責任が漂流する。


B4（最小修復）:

- 本人性が確定しない広告は出稿不可とし（fail‑closed）、事前に本人確認と削除のSLAをコミットする。

- 通報→停止→救済の証拠束を標準化し、進捗と決定理由を記録して残す。


C:

- **示す**: 本人性の証拠要件が弱いと、責任も救済も蒸発する。

- **示さない**: 映像は信用できないという一般論。

- **必要**: 本人性＝証拠束と、未充足時拒否。




## CASE 11) シンガポール: GE2025とAI生成コンテンツ増加（規制運用）




**ES=B**


F:

- シンガポールの次期総選挙（GE2025）の選挙公示後、TikTok等でAI生成の政治コンテンツが急増した。2025年4月15〜19日のわずか5日間で73本のAI関連選挙動画が検出され、そのうち11本は候補者の映像を操作していたと報じられている【22】。

- シンガポール議会は2024年10月に選挙広告法を改正し、選挙期間中に候補者を誤認させるdeepfakeコンテンツの公開・共有・再投稿を禁止した。禁止は選挙の公示日から投票終了まで適用され、AIやPhotoshop等によるデジタル改変を対象とする【23】。違反者には罰金や禁錮刑が科され、ソーシャルメディア企業が不遵守の場合は最大100万シンガポールドルの罰金が課される【23】。

- デジタル開発情報省（MDDI）はプラットフォームと協力して違法コンテンツのモニタリングを強化し、一部の動画にはAI生成であることが明示されていたが、他は satire や誤解を招く内容が混在していた。専門家は、deepfakeが公共の信頼と選挙の公平性に脅威をもたらすと警告した【22】。


B0:

- 表示義務、是正命令、即時停止等が制度として存在し、運用は手続に従うべきである。


B1:

- 論点は「生成か否か」よりも「止める手続が迅速か・証拠が残るか」であり、手続ログが弱いと運用の正当性が疑われ、責任が蒸発する。


B2（欠測証拠束）:

- **artifact_id**（対象コンテンツID）

- **actor_id**（投稿者・プラットフォーム・規制当局）

- **timestamp**（命令発出・停止・復帰の各時刻）

- **decision**（停止・復帰・維持）

- **reason_code**（規制根拠や審査結果）

- **input_ref**（通報内容・検出アルゴリズム）

- **output_ref**（実行ログや通知内容）

- **hash**（ログ改ざん防止ハッシュ）

- **signature**（命令発出者の署名）


  是正命令の根拠、対象コンテンツID、実行ログ、段階措置ログが欠如すると、運用正当性の責任が蒸発する。


B3:

- 候補者・プラットフォーム・当局の境界で「誰が何を証明するか」が曖昧になると、責任が不明確となる。


B4（最小修復）:

- 疑義があるコンテンツは暫定停止（fail‑closed）し、その後証拠審査を経て復帰させる二段構造を導入する。

- 全ての命令と実行を上記テンプレートに沿って証拠束化し、ログ公開の仕組みを整備する。


C:

- **示す**: 制度の本体は「止める手続」であり、ログが弱いと責任が蒸発する。

- **示さない**: 規制の価値判断。

- **必要**: 暫定停止＋証拠審査の二段構造。




## CASE 12) 日本: 生成AIを用いた違法携帯契約／不正アクセス（十代逮捕報道）




**ES=C**


F:

- 2025年2月、東京都警が14〜16歳の少年3人を逮捕した。彼らは人工知能ChatGPTを利用して自作のプログラムを開発し、Rakuten Mobileのシステムに他人のIDやパスワードで不正ログインして計約2500件の携帯電話契約を取得し、暗号資産で転売していたと報じられた【24】。プログラムはAIを使ってIDやパスワード入力などの手続きを自動化していたという【24】。


B0:

- 通信契約では本人確認（KYC）、不正検知、上限制御が必要であり、多重申込を検出して停止することが前提である。


B1:

- 少年らは申込手続きを自動化・多重化しても発行プロセスが止まらないことを悪用し、発行側がfail‑open状態にあった。


B2（欠測証拠束）:

- **artifact_id**（各申込・契約ID）

- **actor_id**（申込者・審査担当者・システムモジュール）

- **timestamp**（申込・審査・発行・停止の各時刻）

- **decision**（承認／拒否／保留）

- **reason_code**（本人確認結果や不正検知理由）

- **input_ref**（提出されたKYC書類や識別情報）

- **output_ref**（発行された契約情報）

- **hash**（各プロセスのハッシュ）

- **signature**（審査責任者の署名）


  KYC根拠、多重申込検知ログ、発行停止の判断ログ、発行後の救済ログが欠如すると、発行側の責任が蒸発する。


B3:

- 事業者（発行責任）・本人確認委託先・不正者の境界が未固定で、発行を止める境界が曖昧だと責任が漂流する。


B4（最小修復）:

- 疑義が解消するまで契約発行を保留し（fail‑closed）、申込→審査→発行の各段階の証拠束を標準化する。

- 多重申込や不審相関が閾値を超過した場合は自動的に保留し、担当者が確認する仕組みを導入する。


C:

- **示す**: 発行プロセスに停止境界がないと、不正が工程化され責任が蒸発する。

- **示さない**: AIによって犯罪が必然的に増えるという一般論。

- **必要**: 発行=証拠束と疑義時の停止。




CROSS‑CASE SYNTHESIS: 責任蒸発パターン（12事例）



12のケースを通して、AIの有無にかかわらず責任が蒸発する構造は以下のパターンに収束する。


P1  統制がAI専用経路だけ破れる（Case 1）

P2  承認対象が固定されない（Case 2）

P3  外部前提崩壊時の運用責務が未固定（Case 3）

P4  高リスク決定で証拠束が弱い（Case 4）

P5  契約・免責で監査不能（Case 5）

P6  能力増幅に対し旧設計（Case 6, 12）

P7  供給連鎖の真正性が未固定（Case 7）

P8  パッチ適用の証明がない（Case 8）

P9  出所表示・是正手続ログが弱い（Case 9, 11）

P10 本人性証明が弱い（Case 10）




FINAL CONCLUSION（1文）



停止境界（fail‑closed）と証拠束（artifact_id/actor_id/timestamp/decision/reason_code/input_ref/output_ref/hash/signature）を事前に固定しない限り、AIの有無に関係なく責任は構造的に蒸発する。




## REFERENCES




[2] Office 365 IT Pros blog: Copilot summarises emails with Confidential labels due to code errorhttps://office365itpros.com/2026/02/13/dlp-policy-for-copilot-bug/#:~:text=An%20embarrassing%20security%20glitch%20appeared,don%E2%80%99t%20appear%20to%20be%20affected

[4] Amazon security blog: outage caused by misconfigured access controls, not AIhttps://www.aboutamazon.com/news/aws/aws-service-outage-ai-bot-kiro#:~:text=We%20want%20to%20address%20the,AI%20as%20the%20story%20claims

[7] Mission Local: Waymo suspended service during city‑wide blackout for safetyhttps://missionlocal.org/2025/12/sf-waymo-halts-service-blackout/#:~:text=%E2%80%9CWe%20have%20temporarily%20suspended%20our,%E2%80%9D

[8] DLA Piper AI Outlook: lawsuit alleges nH Predict used to deny post‑acute care; court allows breach of contract claimshttps://www.dlapiper.com/en/insights/publications/ai-outlook/2025/lawsuit-over-ai-usage-by-medicare-advantage-plans-allowed-to-proceed#:~:text=The%20US%20District%20Court%20for,on%20the%20facts%20at%20issue

[11] Lathrop GPM: Mobley v. Workday receives class certification; Harper case alleges automatic rejection of Black applicantshttps://www.jdsupra.com/legalnews/lawsuits-alleging-systemic-bias-in-ai-5418886/#:~:text=In%C2%A0Mobley%20v,reliance%20on%20biased%20training%20data

[13] The Japan Times: High‑school student arrested for Kaikatsu Club cyberattack assisted by ChatGPThttps://www.japantimes.co.jp/news/2025/12/04/japan/crime-legal/police-arrest-cyberattack-net-cafe/#:~:text=Dec%204%2C%202025

[15] CSO Online: experts highlight supply‑chain risks and need for code‑signing and immutable pipelineshttps://www.csoonline.com/article/4027963/hacker-inserts-destructive-code-in-amazon-q-as-update-goes-live.html#:~:text=Exploiting%20AI%20coding%20tools

[16] The Hacker News: AI‑augmented threat actor compromised over 600 FortiGate devices by exploiting exposed ports and weak credentialshttps://thehackernews.com/2026/02/ai-assisted-threat-actor-compromises.html#:~:text=A%20Russian,devices%20located%20in%2055%20countries

[17] Cybersecurity Dive: generative AI used to plan intrusions and parse stolen configurations, enabling large‑scale attackshttps://www.cybersecuritydive.com/news/ai-cyberattacks-fortigate-amazon/812830/#:~:text=A%20Russian,February%2C%20according%20to%20Amazon%20researchers

[18] Reuters: Hungarian opposition condemns Fidesz election video with fictitious execution scene; video made using Google’s AI modelshttps://www.reuters.com/world/hungary-opposition-condemns-fidesz-election-video-with-fictitious-execution-2026-02-19/#:~:text=,Gergely%20Gulyas%20said

[19] Bitdefender: Deepfake scam exploits Romanian presidential candidates to lure victims into fake “Neptun Deep” investmenthttps://www.bitdefender.com/en-us/blog/hotforsecurity/deepfake-scam-exploits-romanian-presidential-candidates-to-lure-victims-into-fake-neptun-deep-investment#:~:text=As%20Romania%20prepares%20for%20the,%E2%80%9D

[21] Balkan Insight: Romanian energy minister files criminal complaint over deepfake video promoting nonexistent investment platformhttps://balkaninsight.com/2024/04/12/romanian-minister-files-crime-complaint-over-deepfake-video/#:~:text=Romania%E2%80%99s%20Energy%20Minister%2C%20Sebastian%20Burduja%2C,showing%20his%20image%20and%20voice

[22] AI Law – International Review of Artificial Intelligence Law: GE2025 surge in AI‑generated election videos; 73 videos detected, 11 manipulated; MDDI monitors contenthttps://www.reviewofailaw.com/Tool/Evidenza/Single/view_html#:~:text=Following%20the%20issuance%20of%20the,manipulated%20visuals%20of%20prospective%20candidates

[23] Baker McKenzie InsightPlus: Singapore’s amended Elections (Integrity of Online Advertising) Bill prohibits publishing, sharing or boosting deepfake content about candidates during election periods; law covers AI-generated and other manipulated content and imposes fines for individuals and platformshttps://insightplus.bakermckenzie.com/bm/technology-media-telecommunications_1/singapore-law-passed-to-ban-deepfakes-during-general-elections#:~:text=On%2015%20October%202024%2C%20Singapore%27s,deepfake%20content%20depicting%20election%20candidates

[24] The Japan Times: Three teenagers arrested for using ChatGPT to automatically log into Rakuten Mobile and obtain thousands of fraudulent phone contractshttps://www.japantimes.co.jp/news/2025/02/28/japan/crime-legal/boys-arrest-ai-subscriptions/#:~:text=Tokyo%20police%20have%20arrested%20three,made%20program%20using%20artificial%20intelligence


[本稿の理論的背景（責任工学）については別稿に整理している。](https://www.ghostdriftresearch.com/%E8%B2%AC%E4%BB%BB%E5%B7%A5%E5%AD%A6)

 
 
 

コメント

bottom of page