Réponse : pour l'essentiel, une association de quelques dizaines de personnes, basée aux États-Unis, qui s'appelle METR.
Et qui n'a aucun pouvoir de sanction.
METR teste les modèles d'OpenAI, d'Anthropic, de Google DeepMind, avant leur mise sur le marché.
Sa spécialité : mesurer ce qu'une IA sait faire toute seule.
Son résultat le plus cité : la durée des tâches qu'un agent peut mener à bien sans intervention humaine double tous les sept mois. Depuis six ans.
Sur l'indépendance financière, le dispositif est sérieux.
METR n'accepte aucun financement des entreprises d'IA.
Elle ne facture pas ses évaluations.
Elle refuse même les dons de leurs salariés.
Et elle a levé, cet été, soixante et onze millions de dollars — auprès de fondations philanthropiques.
Mais l'argent n'est pas le seul levier d'influence.
Premier angle mort : OpenAI, Anthropic et xAI fournissent gratuitement les capacités de calcul dont METR a besoin pour travailler. L'organisation le reconnaît. Leur valeur n'est publiée nulle part.
Deuxième angle mort, plus lourd : l'accès.
Pour tester un modèle avant sa sortie, il faut que l'éditeur ouvre la porte. C'est lui qui fixe le périmètre, la durée, le calendrier.
L'auditeur n'a aucun droit d'entrée.
Troisième angle mort : les hommes.
La fondatrice de METR, Beth Barnes, vient d'OpenAI. Un chercheur d'OpenAI siège parmi ses conseillers.
C'est la condition de la compétence technique. C'est aussi un risque.
Alors METR est-elle indépendante ?
Financièrement, oui, autant qu'on puisse le vérifier.
Structurellement, c'est autre chose.
Ses rapports sont aujourd'hui la meilleure source publique disponible sur les capacités dangereuses des IA.
Ce ne sont pas des certifications. Ce sont des avis d'experts, rendus dans les limites fixées par celui qu'on examine.