ÉditionMise à jour chaque jour
Comment les points ERAZ sont calculés à partir des résultats publiés, et d'où viennent les données.
Pour chaque benchmark, le score est ramené sur 100 : (score − plancher) / (meilleur − plancher). Le plancher est le niveau du hasard (25 % pour GPQA, 10 % pour MMMU-Pro, 1000 Elo pour GDPval, 0 sinon). Le meilleur modèle suivi obtient 100.
Les 14 benchmarks sont regroupés en 7 catégories. Dans chacune, la moyenne est pondérée : les épreuves les plus discriminantes (HLE, FrontierMath Tier 4, FrontierSWE, GDPval) pèsent 1,5×, ARC-AGI-3 1,25×, les tests saturés (GPQA) 0,5×, les autres 1×.
Moyenne pondérée des catégories pour lesquelles le modèle a des résultats. Profil par défaut : Raisonnement, Maths, Code, Agents ×1 ; Connaissances ×0,75 ; Contexte long et Multimodal ×0,5.
Un modèle qui ne publie que ses meilleurs résultats ne doit pas gagner. Les points finaux valent score × (0,75 + 0,25 × couverture) × 10, soit 1000 points au maximum.
Chaque score de catégorie (Raisonnement, Mathématiques, Code…) est une moyenne pondérée des benchmarks qui la composent, ramenés sur 100. Voici, pour chacune, les benchmarks, leur poids, leur plancher et le meilleur résultat actuel.
Le calcul réel des points d'un modèle, avec les données du jour. Choisissez un modèle :
Chaque score de la fiche d'un modèle renvoie aussi vers sa source d'origine (lien « src »).