BenchSift
EN

FrontierCode

Classement Artificial Analysis des modèles sur des tâches de programmation agentique réalisées dans de vrais dépôts open source : le changement serait-il fusionné par un mainteneur ?

En bref

Claude Opus 5.5 (Max, Default Fallback) est en tête avec 46,4 %, sur 28 résultats. Meilleur rapport score/coût : GPT-6 Luna (Max), 25,2 % pour 0,176 $ par tâche.

Rapport et vitesse sont choisis parmi les 14 premiers, pour qu'un essai bon marché ou rapide mais faible ne l'emporte pas. Données relevées le 4 nov. 2026.

Voir sur Artificial Analysis
Modèles
28
Meilleur score
46,4 %
Claude Opus 5.5 (Max, Default Fallback)
Meilleur à poids ouverts
28,5 %
DeepSeek V4.1 Flash 1017 (Max)
Plus récent
Mistral Large 4
29 oct. 2026 · 15,0 %

Score selon le coût, la durée ou les tokens

Valeurs moyennes par tâche, calculées comme sur Artificial Analysis. L'axe horizontal est inversé : en haut à droite, un modèle obtient plus pour moins cher, plus vite ou avec moins de tokens.

FrontierCode 2.0 · %plus efficace ↗Coût moyen par tâche

Modèles affichés8 sur 26

Les meilleurs modèles sont affichés par défaut. Survolez un modèle pour le mettre en avant ; les axes s'ajustent aux modèles affichés.

28 / 28 modèles

  1. #1
    Claude Opus 5.5Max, Default Fallback

    Anthropic

    46,4 %

    Sortie : 22 sept. 2026Coût / tâche : 13,46 $Durée / tâche : —Tokens / tâche : 200 kRaisonnement

  2. #2
    GPT-6 AstraMax

    OpenAI

    42,4 %

    Sortie : 3 sept. 2026Coût / tâche : 6,54 $Durée / tâche : —Tokens / tâche : 37,1 kRaisonnement

  3. #3
    GPT-6.1 TerraMax

    OpenAI

    42,3 %

    Sortie : 26 oct. 2026Coût / tâche : 1,29 $Durée / tâche : —Tokens / tâche : 68,1 kRaisonnement

  4. #4
    Claude Sonnet 5.5Max, Default Fallback

    Anthropic

    41,7 %

    Sortie : 28 sept. 2026Coût / tâche : 11,56 $Durée / tâche : —Tokens / tâche : 316 kRaisonnement

  5. #5
    GPT-6.1 SolMax

    OpenAI

    40,6 %

    Sortie : 29 sept. 2026Coût / tâche : 1,13 $Durée / tâche : —Tokens / tâche : 39,7 kRaisonnement

  6. #6
    Gemini 4 CarbonHigh

    Google

    40,6 %

    Sortie : 28 oct. 2026Coût / tâche : 12,02 $Durée / tâche : —Tokens / tâche : 128 kRaisonnement

  7. #7
    Muse Wonder FullMax

    Meta

    37,8 %

    Sortie : 12 oct. 2026Coût / tâche : —Durée / tâche : —Tokens / tâche : 72,7 kRaisonnement

  8. #8
    Claude Haiku 5.5Max

    Anthropic

    34,9 %

    Sortie : 7 oct. 2026Coût / tâche : 0,461 $Durée / tâche : —Tokens / tâche : 255 kRaisonnement

  9. #9
    Claude Fable 5.1Max, Default Fallback

    Anthropic

    31,6 %

    Sortie : 1 sept. 2026Coût / tâche : 16,29 $Durée / tâche : —Tokens / tâche : 120 kRaisonnement

  10. #10
    Grok 4.7Xhigh

    SpaceXSI

    28,7 %

    Sortie : 21 sept. 2026Coût / tâche : 13,83 $Durée / tâche : —Tokens / tâche : 118 kRaisonnement

  11. #11
    DeepSeek V4.1 Flash 1017Max

    DeepSeek

    28,5 %

    Sortie : 17 oct. 2026Coût / tâche : 0,519 $Durée / tâche : —Tokens / tâche : 116 kRaisonnementPoids ouverts

  12. #12
    Muse WonderMax

    Meta

    27,9 %

    Sortie : 12 oct. 2026Coût / tâche : 5,04 $Durée / tâche : —Tokens / tâche : 65,4 kRaisonnement

  13. #13
    Kimi K3.1 Pro

    Moonshot AI

    25,5 %

    Sortie : 23 oct. 2026Coût / tâche : 2,38 $Durée / tâche : —Tokens / tâche : 42,5 kRaisonnement

  14. #14
    GPT-6 LunaMax

    OpenAI

    25,2 %

    Sortie : 22 sept. 2026Coût / tâche : 0,176 $Durée / tâche : —Tokens / tâche : 69,8 kRaisonnement

  15. #15
    MiMo-V2.6-Pro

    Xiaomi

    24,0 %

    Sortie : 21 sept. 2026Coût / tâche : 0,257 $Durée / tâche : —Tokens / tâche : 116 kRaisonnementPoids ouverts

  16. #16
    Qwen3.8 Max (0902)

    Alibaba

    23,4 %

    Sortie : 2 sept. 2026Coût / tâche : 6,71 $Durée / tâche : —Tokens / tâche : 122 kRaisonnement

  17. #17
    GLM-5.3Max

    Z.AI

    21,6 %

    Sortie : 18 août 2026Coût / tâche : 6,10 $Durée / tâche : —Tokens / tâche : 106 kRaisonnementPoids ouverts

  18. #18
    MiniMax-M3.1-Flash

    MiniMax

    20,8 %

    Sortie : 19 oct. 2026Coût / tâche : 0,47 $Durée / tâche : —Tokens / tâche : 129 kRaisonnementPoids ouverts

  19. #19
    Gemini 3.8 FlashHigh

    Google

    18,7 %

    Sortie : 2 sept. 2026Coût / tâche : 14,90 $Durée / tâche : —Tokens / tâche : 118 kRaisonnement

  20. #20
    Ling 3.1 Flash 1019

    InclusionAI

    17,0 %

    Sortie : 22 oct. 2026Coût / tâche : 2,36 $Durée / tâche : —Tokens / tâche : 148 kRaisonnementPoids ouverts

  21. #21
    Mistral Large 4High

    Mistral

    15,0 %

    Sortie : 29 oct. 2026Coût / tâche : 1,09 $Durée / tâche : —Tokens / tâche : 45,8 kRaisonnementPoids ouverts

  22. #22
    Qwen3.8 27BXhigh

    Alibaba

    14,9 %

    Sortie : 14 août 2026Coût / tâche : 4,48 $Durée / tâche : —Tokens / tâche : 110 kRaisonnementPoids ouverts

  23. #23
    Step 5 Preview

    StepFun

    12,0 %

    Sortie : 18 sept. 2026Coût / tâche : 2,11 $Durée / tâche : —Tokens / tâche : 80,9 kRaisonnementPoids ouverts

  24. #24
    K2 Horizon 375B A23B

    Institute of Foundation Models

    11,8 %

    Sortie : 3 sept. 2026Coût / tâche : —Durée / tâche : —Tokens / tâche : 81,8 kRaisonnementPoids ouverts

  25. #25
    Muse Spark OpenXhigh

    Meta

    7,6 %

    Sortie : 15 oct. 2026Coût / tâche : 3,01 $Durée / tâche : —Tokens / tâche : 59,5 kRaisonnementPoids ouverts

  26. #26
    Nemotron 3.5 Super VL

    NVIDIA

    6,1 %

    Sortie : 15 oct. 2026Coût / tâche : 1,37 $Durée / tâche : —Tokens / tâche : 93,6 kRaisonnementPoids ouverts

  27. #27
    Beam 1.0

    Reflection

    5,5 %

    Sortie : 16 oct. 2026Coût / tâche : 0,296 $Durée / tâche : —Tokens / tâche : 30,8 kRaisonnementPoids ouverts

  28. #28
    InklingXhigh

    Thinking Machines

    3,9 %

    Sortie : 15 juil. 2026Coût / tâche : 3,27 $Durée / tâche : —Tokens / tâche : 59,5 kRaisonnementPoids ouverts

Méthode et versions

FrontierCode 2.0 est l'implémentation par Artificial Analysis du benchmark privé de Cognition : 132 tâches dans de vrais dépôts open source. Chaque tâche demande à un agent de modifier un dépôt open source réel, puis des vérifications automatiques déterminent si un mainteneur accepterait la modification.

  • Artificial Analysis exécute le jeu principal de 100 tâches, tiré des 150 tâches du benchmark complet ; les tâches pèsent autant les unes que les autres.
  • Chaque tâche est exécutée trois fois ; le score est la moyenne de ces tentatives.
  • Les agents tournent dans le harnais Stirrup, limité à 250 tours.
  • Six types de vérifications (tests classiques, commandes, tests classiques inversés, tests adaptatifs, périmètre, revue par LLM), bloquantes ou non.
  • Le juge LLM est GPT-6 Luna (medium).
  • Coût, durée et tokens par tâche sont calculés avec les données et les règles d'Artificial Analysis, sur les 100 tâches : les lectures en cache au prix du cache, le reste de l'entrée au prix d'écriture en cache, la sortie au prix de sortie ; la durée divise les tokens de sortie par la vitesse de sortie, sans délai avant le premier token. Un modèle sans taux de cache ou sans prix n'a pas de coût.

Données via Artificial Analysis, FrontierCode 2.0.

Préférences et audience

Rybbit : visites, performances, clics, copies, formulaires et relecture de sessions (saisies masquées), avec votre accord. Refuser ne limite pas le site.

Confidentialité

Autoriser l’analyse de navigation ?

Avec votre accord, Rybbit mesure les visites, les performances et les interactions (clics, copies, formulaires) et permet la relecture de sessions pour améliorer BenchSift. Les saisies sont masquées dans les relectures. Refuser ne limite pas le site.

Votre choix est conservé 180 jours. Modifiez-le à tout moment via « Préférences de confidentialité » en bas de page. Le retrait recharge la page.

Aucun choix enregistré : Rybbit est désactivé.

Confidentialité