Anthropic kündigt eine Evaluierung von innen an, gemeinsam mit Faculty, einer spezialisierten Tochtergesellschaft von Accenture. Der zugesagte Zugang zu den Arbeiten wirft eine entscheidende Frage auf: Wie lässt sich die Kontrolle unabhängig von ihrer Finanzierung machen?
Ein Modell erst nach seiner Auslieferung zu bewerten, lässt einen Teil der Entscheidungen außer Acht, die es geprägt haben. Anthropic kündigt mit Accenture ein Verfahren an, bei dem Evaluatoren die Arbeiten aus dem Inneren des Unternehmens verfolgen könnten. Faculty, das KI-Spezialgeschäft von Accenture, soll diese Aufgabe übernehmen.
Der Zugang verändert den Umfang der Kontrolle
Die Ankündigung vom 18. September sieht Modellbewertungen, Adversarial-Tests und eine Prüfung der Schutzvorkehrungen vor. Anthropic beschreibt einen Zugang, der dem eines Mitarbeiters vergleichbar ist. Die beiden Unternehmen erwägen jeweils, über fünf Jahre mindestens eine Milliarde Dollar zu investieren, um diese Fähigkeit aufzubauen.
Das Unternehmen betont jedoch, dass die Modalitäten noch festzulegen seien und dass es die Arbeit von Accenture direkt finanzieren werde. Es gibt außerdem an, dass die Partnerschaft nicht exklusiv ist. Diese Vorbehalte sind wesentlich: Eine angekündigte Vorkehrung ist noch kein Kontrollsystem, dessen Wirksamkeit nachgewiesen wäre.
Für ein Haus: einen verwertbaren Nachweis verlangen
Eine Unternehmensleitung, die Archive, Prozesse oder Entscheidungen der KI anvertraut, kann aus dieser Entwicklung eine praktische Frage ableiten: Welche Informationen kann ein Dritter tatsächlich überprüfen? Der Name eines Evaluators genügt nicht. Sein Zugang, die Situationen, die er untersuchen kann, und seine Freiheit zur Meldung bestimmen die Reichweite der Kontrolle.
Dieselbe Anforderung gilt auf der Ebene eines internen Projekts. Ein Gremium muss zwischen den vom Anbieter durchgeführten Tests, denen des anwendenden Teams und den unabhängigen Überprüfungen unterscheiden können. Jede beantwortet einen anderen Bedarf.
Die eingebettete Evaluierung könnte bestimmte blinde Flecken verringern, die mit der Außenbeobachtung verbunden sind. Ihre Glaubwürdigkeit wird zudem von den Garantien abhängen, die das Urteil des Evaluators schützen. Zugang zum Nachweis und die Fähigkeit, ihn öffentlich zu machen, sind zwei unterschiedliche Bedingungen; die Entwicklung der Partnerschaft wird zeigen, wie sie ineinandergreifen.
Cette publication est également disponible en :
