AA-PersonalityBench

AA-PersonalityBench mesure la personnalité des modèles à travers leur style d'écriture. Il évalue à quel point chaque trait ressort, pas la qualité de la réponse : un même trait peut être souhaitable ou non selon le lecteur.

• Le jeu compte 30 questions par trait, soit 900 questions. Certaines encouragent légèrement le trait, d'autres sont neutres. Il reste privé, à l'exception de quelques exemples.
• Chaque modèle répond une fois à chaque question, dans un seul message utilisateur et sans prompt système : la réponse montre comment il écrit par défaut.
• Pour chaque trait, un modèle juge issu d'un panel compare deux réponses anonymisées à la même question et désigne celle où le trait ressort le plus, ou une égalité.
• Un modèle de Bradley-Terry à pénalité de Firth ajuste ces verdicts, une égalité comptant pour une demi-victoire de chaque côté. GPT-6.1 Sol (max) sert d'ancre à 1 000 Elo sur chaque trait ; un écart de 400 points correspond à une cote de 10 contre 1.
• Un Elo peut être négatif. Pour « Flagorneur » et « Remplissage », un Elo élevé signale davantage de flatterie ou de remplissage.
• Artificial Analysis regroupe les traits en huit index, chacun étant la moyenne des scores centrés réduits de ses traits, classée en centile de 1 à 100 ; « Flagorneur » compte à l'inverse dans la Transparence. Ces index ne sont publiés que pour les modèles affichés sur ses graphiques : BenchSift ne les recalcule pas et ne montre que les Elo par trait.