Agents’ Last Exam : GPT-5.5 bat Claude Fable 5 sur le benchmark long-horizon de Berkeley

Un leaderboard qui rebat les pronostics

Le tableau publié par Agents’ Last Exam et reproduit par VentureBeat classe les cinq meilleurs harnais d’agents testés. Tous reposent sur des modèles déjà disponibles : aucun d’entre eux n’a été réentraîné pour l’occasion. La marge entre le premier et le dernier du top 5 n’est que de 3,6 points, ce qui suggère un benchmark exigeant plutôt qu’un examen trivial.

Trois des cinq configurations du top reposent sur GPT-5.5, ce qui tend à confirmer une observation de VentureBeat : OpenAI tient actuellement un avantage sur la stricte adhésion à des instructions multi-parties, là où l’architecture Claude est parfois jugée « oublieuse » au milieu d’un workflow long.

Une méthodologie conçue pour remplacer les benchmarks saturés

ALE part d’un constat documenté dans plusieurs audits indépendants récents : les benchmarks d’agents existants (SWE-Bench Pro, HumanEval, et apparentés) souffrent de deux maux — la contamination par les données d’entraînement et des correcteurs automatiques qui rejettent à tort des solutions correctes. La méthodologie d’ALE tente de refermer ces deux failles.

Le cadre d’évaluation, baptisé Generalist Computer-Use Agent (GCUA), décompose la capacité d’un agent en cinq couches fonctionnelles : Brain (raisonnement), Eyes (perception visuelle), Body (orchestration), Hands (invocation d’outils) et Feet (substrat d’exécution). L’agent doit mobiliser ses « yeux » et ses « mains » pour naviguer dans des machines virtuelles Linux ou Windows, en mêlant scripts shell et opérations pointer-cliquer dans des logiciels métiers lourds.

Sur le plan de la notation, l’équipe rejette presque entièrement le paradigme « LLM-as-a-judge », auquel elle ne confie que 6,8 % des workflows. Le reste passe par une évaluation déterministe, par code, qui compare l’artefact produit par l’agent à une référence experte — un mesh 3D, un rapport SEC, une image composée, etc.

Pour limiter la contamination, seule une fraction d’environ 10 % du jeu de données (environ 150 tâches) est rendue publique sur GitHub et Hugging Face. Les 1 300 autres tâches sont conservées privées, ce qui empêche les laboratoires d’optimiser directement leurs modèles sur les réponses.

Cinquante-cinq industries, 1 490 workflows réels

Les 55 sous-industries couvertes par ALE sont directement dérivées de la taxonomieTaxonomie Taxonomie désigne la branche fondamentale de la biologie qui a pour objet de décrire, de nommer et de classer les organismes vivants au sein d'un système hiérarchisé, en se basant… fédérale américaine O*NET / SOC 2018, qui décrit les métiers non-physiques. L’objectif assumé est de mesurer un impact sur le PIB, et non plus seulement des gains sur des casse-têtes isolés.

Au lancement, 1 490 instances de tâches sont disponibles, l’équipe visant 5 000 d’ici la fin de l’année. Chaque tâche est ancrée dans l’expérience quotidienne d’un praticien : créer un modèle 3D dans Siemens NX, configurer une scène dans Unreal Engine, segmenter une structure cérébrale dans FSLeyes, compositer un effet visuel dans Adobe After Effects, simuler un écoulement dans Moldex3D, ou modéliser un quartier en vue d’une analyse énergétique dans Rhino 3D.

Le benchmark est conçu comme un outil vivant : à mesure que de nouvelles industries et de nouveaux workflows émergent, de nouvelles tâches seront ajoutées, en s’éloignant définitivement des classements statiques. L’équipe promet aussi que les contributeurs experts pourront obtenir une co-signature sur les publications issues du projet.

Ce que le score de 2,6 % veut vraiment dire

Si le top 5 plafonne entre 20 et 24 %, la moyenne de l’ensemble des configurations testées sur la tier dite « Last-Exam » — la plus exigeante — ne dépasse pas 2,6 %, selon CryptoBriefing. La plupart des configurations y enregistrent un taux de réussite de 0,0 %, y compris Claude Opus 4.8 et la CLI Gemini de Google, plus anciens que les modèles de tête.

Le résultat n’est pas un désaveu de ces modèles : il rappelle qu’un agent conversationnel brillant sur des questions isolées peut s’effondrer dès qu’on lui demande d’exécuter, de bout en bout, un workflow professionnel vérifiable. Le signal corrobore les prévisions publiées par plusieurs cabinets au cours de l’année : l’écart entre un agent qui « sait répondre » et un agent qui « sait travailler » reste considérable, et c’est précisément ce deuxième régime qu’ALE ambitionne de mesurer.

Pour les laboratoires, la leçon est plus tactique que philosophique : sur des workflows longs et vérifiables, la discipline d’exécution d’un harnais (Codex, Ale Claw, OpenClaw) pèse autant, voire plus, que la simple puissance brute du modèle. Pour les entreprises, le score de 2,6 % sur la tier « Last-Exam » invite à relativiser les annonces marketing sur l’« autonomie des agents » — au moins jusqu’à ce que les modèles progressent sensiblement sur cette méthodologie exigeante.