なぜ製薬AIは「精度」だけでは足りないのか——審査・照会で問われる本当の条件（ADIC実用シリーズ製薬編⑧）

「このモデルのAUCは0.95です」という報告を受けたとき、製薬企業の薬事担当者は何を確認しなければならないか。

精度指標は、モデルが過去のデータに対してどれほど正確だったかを示す。しかしそれは、「このモデルが申請に使えるか」という問いへの答えではない。薬事審査で問われるのは精度だけではない。

精度指標だけでは、再解析要求への対応、開発時と実運用時の差分説明、適用範囲逸脱時の停止管理、独立レビューに必要な入出力条件の文書化——これらに対応できない。これらへの対応力が、申請で実際に論点化しやすい条件だ。

【対象成果物】この記事が扱う記録単位

本記事で扱うのは、精度指標を申請証拠として補完する以下の成果物セットだ。

再現条件仕様書：モデルの再実行に必要なOS、ライブラリ版、乱数シード、設定ファイルを記述した文書

適用範囲記録：モデルが検証されたデータの分布情報と、実際の使用データの分布の継続的な比較記録

独立検証記録：外部検証者が同一条件で検証を実施するために必要な入出力条件と検証結果

この3点が揃うことで、「精度報告」が「照合可能な申請証拠」に近づく。

機械学習の文脈では、モデルの評価は精度指標で語られることが多い。感度、特異度、AUC、F1スコア——これらは重要な情報だが、申請資料の証跡として成立するには別の条件が必要だ。

第一の条件は、再解析可能性だ。同じデータ、同じモデル、同じパラメータで解析を再実行したとき、同じ結果が得られるか。乱数シードが固定されているか。依存ライブラリのバージョンは記録されているか。これらがないと、精度報告は数値の羅列であり、再実行可能性が担保されていない。

第二の条件は、適用範囲の明示だ。そのモデルがどのデータ分布に対して開発・検証されたか、適用範囲外のデータに対する動作について説明できるか。適用範囲逸脱時に何が起きるかの設計がなければ、実運用での差分説明が難しくなる。

第三の条件は、独立レビュー可能性だ。開発チームとは独立した立場での確認が行われ、その確認に必要な入出力条件が文書化されていることが重視されやすい。開発者自身による評価だけでは、確認の独立性の観点で論点化しやすい。

薬事審査や統計レビュー担当者が実際に確認する場面を考えると、精度指標が補完する情報の不足が見えてくる。

再解析要求への対応：審査の過程で「この解析を同一条件で再実行してほしい」という照会が来ることがある。再現条件仕様書がなければ、再実行のたびに条件の確認作業が必要になる。

開発時と実運用時の差分説明：モデルの開発・検証段階と、実際の申請データへの適用段階でデータの分布が異なる場合、その差分についての説明が求められやすい。適用範囲の継続監視記録がなければ、この差分説明が難しくなる。

適用範囲逸脱時の停止管理：入力データが学習時の分布から逸脱した場合に、モデルの出力の信頼性がどう変化するかの設計がなければ、逸脱時の対応の説明が難しくなる。停止トリガーとして、データ分布逸脱、適用範囲外入力の検出が設定されていることが重要になる。

独立レビュー可能性：外部の統計レビュー担当者や審査担当者が確認する場面で、入力仕様、モデル版、実行環境が文書化されていることが重視されやすい。

ADICは規制判断そのものを代替するものではない。ADICは、精度指標を照合可能な申請証跡に近づけるための実装基盤である。

再実行条件の固定では、モデルの実行環境をADICが自動記録し、再実行のための環境仕様書を生成する。この仕様書は申請資料の補足として使用しやすくなる。

適用範囲の文書化では、モデルが検証されたデータの分布情報と、実際の使用データの分布を継続的に比較するモニタリングが設定される。分布の乖離が検出された場合は停止条件が発動し、適用範囲外での使用が記録される。

独立検証に必要な条件の固定では、外部検証者が同一条件で検証を実施できるための仕様書をADICが生成する。ただし、データアクセス可否、匿名化・秘匿化の条件、実行環境差の問題については、別途運用設計が必要になる。外部検証の結果はADICの証跡セットに組み込まれ、申請資料に統合しやすくなる。

精度指標だけでは対応しにくい問題が最も顕在化するのは、申請後の照会対応だ。

申請後照会への対応では、「このモデルの検証データの分布を詳しく見せてほしい」「試験中の特定期間のモデルの状態を確認したい」という照会に、ADICの証跡セットから回答資料を整理しやすくなる。証跡の抽出と整合確認を迅速化できる。

査察での対応では、査察対応者が「解析の再実行条件を確認したい」と言った際に、ADICが保存した環境仕様書とモデル状態から、照合作業を行いやすくなる。

製品ライフサイクルでの継続使用では、承認後に同じモデルを使い続ける場合、当初の申請条件が維持されているかの継続記録をADICが生成する。これが定期報告書の補足資料として使いやすくなる。

「精度が高い」は、製薬AIの申請使用への条件の出発点にすぎない。審査・照会で論点化しやすいのは、再解析可能性、適用範囲管理、独立レビュー可能性だ。

精度指標だけでは、再解析要求への対応、差分説明、適用範囲逸脱時の停止管理、独立レビューに対応しにくい——この認識が、証跡設計の出発点になる。

ADICは、精度指標を照合可能な申請証跡に近づけるための基盤だ。「精度報告書」を「申請資料として使いやすい証跡セット」に整えること——それがADICの役割だ。

── GhostDrift Research より ──

GhostDrift Researchは、「AUCが高いから大丈夫」という評価軸が製薬AI導入の判断に使われている現状を問題視している。精度と照合可能な証跡は別物だ。この区別を製薬実務に根付かせることが、ADICの存在意義の一つだ。