DeepSWE
Classement Datacurve des agents de programmation sur des tâches de génie logiciel long-horizon, originales et vérifiées par tests.
v1.1 — notation par identifiant de test (node-id), version stable de juin 2026.
En bref
GPT-6 Astra (xhigh, mini-swe-agent) est en tête avec 74,1 % pass@1, sur 70 résultats. Meilleur rapport score/coût : DeepSeek V4 Pro 0813 (max, mini-swe-agent), 62,8 % pass@1 pour 0,241 $ par tâche. Le plus rapide : GPT-5.6 Sol (medium, mini-swe-agent), 7 min 03 s par tâche.
Rapport et vitesse sont choisis parmi les 35 premiers, pour qu'un essai bon marché ou rapide mais faible ne l'emporte pas. Données relevées le 22 sept. 2026.
- Configurations
- 70
- Tâches
- 113
- Meilleur pass@1
- 74,1 %
- GPT-6 Astra · xhigh
- Le moins cher du top 10
- 1,97 $
- Gemini 3.8 Flash · 71,0 %
Score et coût
Chaque courbe relie les niveaux d'effort d'une même configuration ; le gros point marque la meilleure. En haut à droite : meilleur score pour le moindre coût. Survolez ou parcourez les points au clavier pour lire leurs valeurs.
Modèles affichés8 sur 28
Les meilleurs modèles sont affichés par défaut. Survolez un modèle pour le mettre en avant ; les axes s'ajustent aux modèles affichés.
28 / 70 configurations
- pass@4
- 80,5 %
- Coût
- 4,43 $
- Temps
- 18 min 52 s
- Tokens sortie
- 29,6 k
- pass@4
- 85,8 %
- Coût
- 2,36 $
- Temps
- 11 min 27 s
- Tokens sortie
- 143 k
- pass@4
- 88,5 %
- Coût
- 11,84 $
- Temps
- 31 min 52 s
- Tokens sortie
- 118 k
- pass@4
- 85,8 %
- Coût
- 8,39 $
- Temps
- 18 min 49 s
- Tokens sortie
- 60 k
- pass@4
- 88,5 %
- Coût
- 13,41 $
- Temps
- 23 min 32 s
- Tokens sortie
- 80,4 k
- pass@4
- 88,5 %
- Coût
- 4,95 $
- Temps
- 16 min 57 s
- Tokens sortie
- 71,9 k
- pass@4
- 87,6 %
- Coût
- 3,99 $
- Temps
- 35 min 16 s
- Tokens sortie
- 80,4 k
- pass@4
- 89,4 %
- Coût
- 4,65 $
- Temps
- 1 h 15
- Tokens sortie
- 81,5 k
- pass@4
- 84,1 %
- Coût
- 3,45 $
- Temps
- 14 min 56 s
- Tokens sortie
- 49,8 k
- pass@4
- 90,3 %
- Coût
- 3,03 $
- Temps
- 18 min 43 s
- Tokens sortie
- 73,4 k
- pass@4
- 88,5 %
- Coût
- 7,23 $
- Temps
- 30 min 06 s
- Tokens sortie
- 46,3 k
- pass@4
- 83,2 %
- Coût
- 2,03 $
- Temps
- 20 min 40 s
- Tokens sortie
- 94 k
- pass@4
- 85,0 %
- Coût
- 0,482 $
- Temps
- 25 min 38 s
- Tokens sortie
- 72,8 k
- pass@4
- 88,5 %
- Coût
- 0,241 $
- Temps
- 36 min 53 s
- Tokens sortie
- 106 k
- pass@4
- 79,3 %
- Coût
- 13,22 $
- Temps
- 58 min 13 s
- Tokens sortie
- 135 k
- pass@4
- 83,2 %
- Coût
- 3,73 $
- Temps
- 42 min 47 s
- Tokens sortie
- 95,1 k
- pass@4
- 81,4 %
- Coût
- 3,70 $
- Temps
- 15 min 28 s
- Tokens sortie
- 99,2 k
- pass@4
- 78,8 %
- Coût
- 26,40 $
- Temps
- 1 h 20
- Tokens sortie
- 214 k
- pass@4
- 77,9 %
- Coût
- 2,42 $
- Temps
- 8 min 05 s
- Tokens sortie
- 35,5 k
- pass@4
- 80,5 %
- Coût
- 0,10 $
- Temps
- 23 min 59 s
- Tokens sortie
- 108 k
- pass@4
- 79,6 %
- Coût
- 2,36 $
- Temps
- 14 min 58 s
- Tokens sortie
- 74 k
- pass@4
- 77,9 %
- Coût
- 5,65 $
- Temps
- 22 min 49 s
- Tokens sortie
- 71,4 k
- pass@4
- 75,2 %
- Coût
- 4,42 $
- Temps
- 24 min 38 s
- Tokens sortie
- 95,8 k
- pass@4
- 77,0 %
- Coût
- 3,92 $
- Temps
- 43 min 49 s
- Tokens sortie
- 78,2 k
- pass@4
- 63,7 %
- Coût
- 3,45 $
- Temps
- 18 min 45 s
- Tokens sortie
- 75,7 k
- pass@4
- 61,1 %
- Coût
- 2,82 $
- Temps
- 36 min 04 s
- Tokens sortie
- 59,3 k
- pass@4
- 56,6 %
- Coût
- 5,52 $
- Temps
- 46 min 55 s
- Tokens sortie
- 76,2 k
- pass@4
- 28,3 %
- Coût
- 2,14 $
- Temps
- 14 min 28 s
- Tokens sortie
- 28,4 k
| # | Modèle | |||||
|---|---|---|---|---|---|---|
GPT-6 Astraxhigh OpenAI | 74,1 %71,2 %–77,0 % | 80,5 % | 4,43 $ | 18 min 52 s | 29,6 k | |
| 2 | Gemini 3.8 Flashhigh | 73,8 %72,4 %–75,2 % | 85,8 % | 2,36 $ | 11 min 27 s | 143 k |
| 3 | Claude Opus 5max Anthropic | 73,6 %69,8 %–77,5 % | 88,5 % | 11,84 $ | 31 min 52 s | 118 k |
| 9 | GPT-5.6 Solmax OpenAI | 72,7 %69,8 %–75,5 % | 85,8 % | 8,39 $ | 18 min 49 s | 60 k |
| 12 | Claude Fable 5 (Opus 4.8 Fallback)xhigh Anthropic | 69,9 %66,7 %–73,2 % | 88,5 % | 13,41 $ | 23 min 32 s | 80,4 k |
| 14 | GPT-5.6 Terramax OpenAI | 69,6 %67,1 %–72,2 % | 88,5 % | 4,95 $ | 16 min 57 s | 71,9 k |
| 16 | GLM-5.3max Z.AI | 69,0 %65,9 %–72,0 % | 87,6 % | 3,99 $ | 35 min 16 s | 80,4 k |
| 19 | Kimi K3max Moonshot AI | 68,5 %64,0 %–73,1 % | 89,4 % | 4,65 $ | 1 h 15 | 81,5 k |
| 20 | Grok 4.6medium SpaceXSI | 67,5 %65,2 %–69,8 % | 84,1 % | 3,45 $ | 14 min 56 s | 49,8 k |
| 21 | GPT-5.6 Lunamax OpenAI | 67,2 %63,2 %–71,2 % | 90,3 % | 3,03 $ | 18 min 43 s | 73,4 k |
| 22 | GPT-5.5xhigh OpenAI | 67,0 %60,6 %–73,5 % | 88,5 % | 7,23 $ | 30 min 06 s | 46,3 k |
| 25 | Gemini 3.7 Flashmedium | 65,5 %62,4 %–68,6 % | 83,2 % | 2,03 $ | 20 min 40 s | 94 k |
| 30 | GLM-5.3-Flashmax Z.AI | 63,4 %59,0 %–67,8 % | 85,0 % | 0,482 $ | 25 min 38 s | 72,8 k |
| 31 | DeepSeek V4 Pro 0813max DeepSeek | 62,8 %56,5 %–69,2 % | 88,5 % | 0,241 $ | 36 min 53 s | 106 k |
| 35 | Claude Opus 4.8max Anthropic | 59,0 %57,2 %–60,7 % | 79,3 % | 13,22 $ | 58 min 13 s | 135 k |
| 37 | Qwen3.8 Max (0902)xhigh Alibaba | 57,5 %54,8 %–60,1 % | 83,2 % | 3,73 $ | 42 min 47 s | 95,1 k |
| 39 | Muse Spark 1.2xhigh Meta | 54,9 %52,7 %–57,0 % | 81,4 % | 3,70 $ | 15 min 28 s | 99,2 k |
| 42 | Claude Sonnet 5max Anthropic | 53,8 %49,6 %–58,1 % | 78,8 % | 26,40 $ | 1 h 20 | 214 k |
| 45 | Grok 4.5high SpaceXSI | 53,8 %51,5 %–56,0 % | 77,9 % | 2,42 $ | 8 min 05 s | 35,5 k |
| 46 | DeepSeek V4 Flash 0731max DeepSeek | 53,3 %49,8 %–56,9 % | 80,5 % | 0,10 $ | 23 min 59 s | 108 k |
| 47 | Muse Spark 1.1xhigh Meta | 53,3 %50,3 %–56,4 % | 79,6 % | 2,36 $ | 14 min 58 s | 74 k |
| 49 | GPT-5.4xhigh OpenAI | 51,8 %50,3 %–53,3 % | 77,9 % | 5,65 $ | 22 min 49 s | 71,4 k |
| 53 | Gemini 3.6 Flashhigh | 46,7 %43,0 %–50,4 % | 75,2 % | 4,42 $ | 24 min 38 s | 95,8 k |
| 56 | GLM-5.2max Z.AI | 43,8 %42,1 %–45,5 % | 77,0 % | 3,92 $ | 43 min 49 s | 78,2 k |
| 61 | Gemini 3.5 Flashhigh | 36,1 %32,1 %–40,0 % | 63,7 % | 3,45 $ | 18 min 45 s | 75,7 k |
| 63 | Kimi K2.7 Code Moonshot AI | 30,5 %30,0 %–31,0 % | 61,1 % | 2,82 $ | 36 min 04 s | 59,3 k |
| 65 | Claude Sonnet 4.6high Anthropic | 29,9 %25,8 %–34,0 % | 56,6 % | 5,52 $ | 46 min 55 s | 76,2 k |
| 68 | Gemini 3.1 Pro Previewhigh | 11,7 %10,2 %–13,2 % | 28,3 % | 2,14 $ | 14 min 28 s | 28,4 k |
Différences v1.1 vs v1
- v1
- 53,5 %
- v1.1
- 53,4 %
- Écart
- −0,1 pts
- Configs communes
- 9
v1.1 vs v1 on the 9 harness+model+reasoning-effort configs run in both versions. Same rollouts, re-graded: v1 is exit-code scoring, v1.1 is node-id scoring. Pass rate is over scored attempts.
| Modèle | v1 | v1.1 | Écart |
|---|---|---|---|
| GPT 5.5 medium | 48,0 % | 54,0 % | +6,0 pts |
| GPT 5.4 xhigh | 55,5 % | 51,8 % | −3,8 pts |
| Claude Opus 4.8 xhigh | 57,7 % | 54,4 % | −3,4 pts |
| GPT 5.5 xhigh | 70,1 % | 67,0 % | −3,0 pts |
| GPT 5.5 high | 62,0 % | 64,4 % | +2,4 pts |
| Claude Sonnet 4.6 high | 31,8 % | 29,9 % | −1,8 pts |
| Claude Opus 4.8 medium | 47,4 % | 48,7 % | +1,3 pts |
| Claude Opus 4.8 high | 50,7 % | 51,8 % | +1,1 pts |
| Claude Opus 4.8 max | 58,2 % | 59,0 % | +0,8 pts |
Méthode et versions
DeepSWE mesure des configurations modèle + harnais + effort de raisonnement. Les lignes ci-dessous conservent cette séparation au lieu de fusionner les résultats dans les indices de modèles.
Mis à jour : 22 sept. 2026
Base du coût
- GPT-6 Astra · xhigh : Current pricing at all context lengths: $10/M uncached input, $12.50/M cache writes, $1/M cache reads, $50/M output; no separate compute-unit fee.
Données via Datacurve DeepSWE.