Anthropic は、Accenture の専門子会社である Faculty と共に、内部から行う評価を発表した。作業へのアクセスが約束されたことは、決定的な問いを投げかける。監督を、その資金から独立したものにするにはどうすればよいのか。
モデルを引き渡した後で評価しても、その形成に関わった選択の一部は対象の外に残る。Anthropic は Accenture と、評価者が企業の内部から作業を追うことのできる仕組みを発表した。Accenture の AI 専門部門である Faculty がこの任務を担う予定である。
アクセスが監督の範囲を変える
9 月 18 日の発表は、モデル評価、敵対的テスト、保護措置の検証を想定している。Anthropic は従業員に匹敵するアクセスを説明している。両社はそれぞれ、この能力を育てるために五年間で少なくとも十億ドルの投資を検討している。
ただし同社は、条件はまだ決まっておらず、Accenture の作業を直接資金提供すると明記している。また、この提携は排他的ではないとも述べている。これらの留保は重要である。発表された仕組みは、有効性が実証された監督体制とはまだ言えない。
企業にとって、使える証拠を求めるということ
アーカイブや業務プロセス、意思決定を AI に委ねる経営陣は、この動きから実際的な問いを引き出すことができる。第三者は、どの情報を実際に検証できるのか。評価者の名前だけでは足りない。そのアクセス、検討できる状況、そして報告の自由が、監督の射程を決める。
同じ要請は、社内プロジェクトのレベルにも当てはまる。委員会は、供給者が行ったテスト、利用チームが行ったテスト、独立した検証を区別できなければならない。それぞれが異なる必要に応えるものである。
組み込み型の評価は、外部からの観察に伴う一部の死角を減らす可能性がある。その信頼性は、評価者の判断を守る保証にも左右される。証拠へのアクセスと、それを公にする能力は別個の二つの条件であり、提携の展開によって両者がどう噛み合うかが見えてくるだろう。

Cette publication est également disponible en :
