AIが判断した。人間も確認した。それでも、なぜ「説明できない」のか

先日、責任OSの基礎理論群をLeanで公開しました。プレスリリースを読んでくださった方から「難しそうだけど、結局何が問題なの？」という声をいただいたので、今日はもう少しくだけた言葉で書いてみます。

「ログがある」と「説明できる」は、別の話

AIを使っている現場でよく聞く言葉があります。

「うちはちゃんとログを残しています」 「担当者が最後に確認しています」 「何かあれば追えるようにしています」

これ、全部正しいんです。でも、実際に問題が起きたとき、こういう場面になることがあります。

物流会社でAIが配送ルートを判断した。担当者も画面を見て「OK」を押した。でも翌日、荷物が届かない事態が起きた。「なぜそのルートを選んだのか」を調べようとしたら、ログには「ルートCを選択」とだけ書いてある。なぜルートCだったのか、どの条件を見てそう判断したのか、担当者はどこまで確認していたのか——それが残っていない。

これが「ログはあるけど説明できない」という状態です。

人間が確認すれば安心、は前提じゃない

「最後は人間が見ているから大丈夫」という考え方、直感的には正しそうです。でもこれにも限界があります。

たとえば、AIが1日に何百件もの判断を出す現場を想像してください。担当者は全部を丁寧に見られるでしょうか。現実的には、流れてくる判断を目で追うだけになる場面が出てきます。

「確認した」という事実は残る。でも「どこまで確認できていたか」は残らない。

これは担当者が悪いわけじゃないんです。そういう設計になっていないだけです。

じゃあ何が必要なのか

私たちが責任OSで扱っているのは、シンプルに言うとこういうことです。

AIが何を見て判断したか、人間がどこまで確認したか、どの条件で止めるべきだったか——これを、あとから第三者が確かめられる形で残す。

「ログを増やす」とは少し違います。記録の量の問題ではなく、「責任を確かめるために必要な情報がつながって残っているか」の問題です。

たとえばAが起きた後にBが起きた場合と、BのあとにAが起きた場合、最終的な結果が同じでも責任の意味は変わることがあります。この順序の違いが消えてしまうと、あとから「何が起きたか」は分かっても「なぜそうなったか」が分からなくなる。

TCP/IPのような話

少し大きな話をすると、私たちが目指しているのは「AI時代のTCP/IP」みたいなものです。

インターネットが広がったのは、TCP/IPという共通のプロトコルがあったからです。どの会社のコンピューターでも、同じルールでつながれる基盤があった。

自律型AIが社会に広がるとき、同じような基盤が必要だと思っています。AIが判断した内容を、どの組織でも同じルールで確かめられる形で残せる共通の構造。それが責任OSとADICが目指しているものです。

Leanで公開した理由

今回、基礎理論をLean 4という定理証明システムで公開しました。

「なんで数式で？」と思うかもしれません。理由は、「あとから検証できる」という主張そのものを、検証可能な形で示したかったからです。

「うちの技術は安全です」と言葉で言うのは簡単です。でも、その「安全」の根拠をコンピューターが確認できる数式として固定することで、第三者がその主張を独立に確かめられるようになります。

AIアシュアランスを、信頼の問題から証拠の問題に変えていく。それが今回の公開の意図です。

今回公開した6つのリポジトリや詳細は、プレスリリースをご覧ください。

プレスリリースはこちら

質問やご意見があれば、お問い合わせフォームまで。 https://www.ghostdriftresearch.com/contact