Anthropic publie Opus 4.8, réduisant de 75 % les erreurs non détectées

Le 28 mai, Anthropic a publié Claude Opus 4.8, disponible via l'API sous le nom de modèle claude-opus-4-8. Les prix restent inchangés : 5 $ par million de tokens d'entrée et 25 $ par million de tokens de sortie, identiques à ceux d'Opus 4.7.

Mais le communiqué officiel met l'accent sur d'autres chiffres.

Il admet désormais quand il n'est pas sûr

Anthropic déclare qu'Opus 4.8 a environ quatre fois moins de chances que son prédécesseur de laisser passer des défauts dans le code qu'il a écrit sans les remarquer. En d'autres termes, le modèle signale désormais de manière proactive les parties de code incertaines ou potentiellement problématiques, plutôt que de fournir des résultats erronés avec assurance. Cette capacité d'auto-vérification a un impact plus pratique que les améliorations de benchmarks, car elle fait gagner du temps aux développeurs dans le débogage de code incorrect. La même logique s'applique aux tâches de connaissance : Opus 4.8 est plus enclin à indiquer l'incertitude et à éviter les affirmations non fondées.

Les benchmarks restent solides

Malgré l'accent mis sur l'honnêteté, Opus 4.8 offre des performances solides sur des métriques clés :

  • Online-Mind2Web (navigation web) : 84 %
  • OSWorld-Verified (navigation sur bureau) : 82,3 %
  • Legal Agent Benchmark : premier modèle à dépasser les 10 % sous le critère toutes les tâches réussies
  • CursorBench : dépasse l'Opus précédent à tous les niveaux d'effort
  • Finance Agent v2 : surpasse Opus 4.7

Le résultat du benchmark juridique est particulièrement remarquable. Toutes les tâches réussies signifie que chaque étape d'une tâche doit être correcte. Bien que 10 % semble faible, aucun modèle précédent n'avait franchi ce seuil, soulignant la tolérance quasi nulle à l'erreur pour de telles tâches.

Prix du mode rapide réduit

Anthropic a également revu le mode rapide pour Opus 4.8, offrant une vitesse 2,5x à 10 $ par million de tokens d'entrée et 50 $ par million de tokens de sortie, soit trois fois moins cher que les modes rapides précédents. Cela réduit la prime pour la vitesse.

De plus, Anthropic a introduit :

  • Dynamic workflows (aperçu de recherche) : lance des centaines de sous-agents parallèles dans Claude Code
  • Curseur d'effort : disponible dans claude.ai et Cowork, permettant aux utilisateurs d'équilibrer qualité et vitesse

La capacité de sous-agents parallèles, combinée à la fonction d'auto-vérification, indique une stratégie où plusieurs instances de Claude se surveillent mutuellement plutôt que de travailler seules.

La véritable puissance est encore à venir

L'annonce fait allusion à un modèle plus puissant portant le nom de code Mythos, actuellement limité à quelques institutions de cybersécurité. Anthropic déclare devoir garantir la sécurité avant une diffusion plus large, prévue dans les semaines à venir. Ce schéma — publier un vaisseau amiral stable tout en laissant entrevoir un modèle plus avancé — a été utilisé à plusieurs reprises par Anthropic, toujours avec la sécurité comme raison du retard.

Un timing stratégique

Cette publication intervient alors qu'OpenAI se prépare à déposer un S-1 confidentiel pour son introduction en bourse, intensifiant la rivalité entre les deux entreprises. En maintenant le prix d'Opus 4.8 inchangé et en réduisant les coûts du mode rapide, Anthropic signale qu'il peut rivaliser à la fois en performances et en rapport qualité-prix. Que l'honnêteté devienne le prochain champ de bataille dépendra de la réponse d'OpenAI et de Google.

Un modèle qui dit je ne suis pas sûr peut ne pas sembler excitant, mais en pratique, il peut être plus rassurant que quelques points de benchmark supplémentaires. La prochaine génération Mythos est attendue dans quelques semaines.

Sources : Introducing Claude Opus 4.8 (Anthropic) ; Anthropic releases new model, CocoLoop, Opus 4.8 (Axios) ; Anthropic Debuts Claude Opus 4.8, Teases Upcoming Launch of Mythos-Class Models (Gizmodo)