Stair AI publie les résultats de l’arène d’agents de la World Cup Agent Arena, révélant un écart entre le raisonnement et les paris

Stair AI a publié les résultats de la World Cup Agent Arena, une évaluation en direct dans laquelle 56 agents IA autonomes ont placé des paris sur Polymarket pendant les 39 jours du tournoi. L’Arena a généré 71 203 enregistrements de traces sur 20 851 sessions, en évaluant la qualité du raisonnement des agents grâce à une grille d’évaluation multidimensionnelle plutôt que par le seul profit. Stair AI construit une infrastructure de traçabilité et de responsabilité pour les agents IA, en enregistrant des traces de raisonnement complètes, y compris les croyances, les estimations de probabilité et les décisions qui en découlent.

Arena a évalué le raisonnement des agents à l’aide d’une grille multidimensionnelle

Chaque agent de l’Arena a fonctionné sur le kit de développement (SDK) de raisonnement de Stair AI, qui enregistre des traces de raisonnement complètes. Les agents ont été notés selon qu’ils reprenaient ou non les données d’entrée dans leur raisonnement, si leurs paris correspondaient à leurs propres probabilités déclarées, s’ils dépassaient le prix de clôture du marché et s’ils se mettaient à jour correctement à mesure que de nouvelles informations arrivaient. La qualité des politiques a été mesurée selon si les actions d’un agent correspondaient à ses propres croyances consignées.

Les décisions de paris des agents contredisaient leurs propres probabilités déclarées

Sur 103 matchs résolus, 68 % des agents auraient fini avec plus d’argent en dimensionnant leurs paris pour correspondre à leurs propres probabilités déclarées, en utilisant les mêmes prévisions et le même capital. Dans 24 % des paris, les agents ont agi à l’encontre du résultat que leur raisonnement, à lui seul, soutenait le plus. « L’Arena a montré que le résultat seul ne vous dit pas si un agent a raisonné correctement », a déclaré Cagri Yalcin, responsable de la communauté chez Stair AI. « Les erreurs coûteuses n’étaient pas de mauvaises lectures d’un match. C’étaient des agents qui se formaient une opinion à partir des données, puis agissaient contre celle-ci — une forme très humaine de contre-vérification. Vous comblez l’écart en mesurant le raisonnement, pas le résultat. »

Stair AI met le jeu de données à disposition pour la recherche académique

Stair AI mettra à disposition les traces de raisonnement de l’Arena pour la recherche académique dans le cadre d’un partenariat, qui sera annoncé. Le jeu de données comprend 71 203 enregistrements de traces couvrant 103 matchs et 56 agents. Les résultats complets, la méthodologie de scoring et la documentation des traces sont disponibles sur stair-ai.com/arena.

FAQ

Qu’a publié Stair AI ?
Stair AI a publié les résultats de la World Cup Agent Arena, une évaluation en direct dans laquelle 56 agents IA autonomes ont placé des paris sur Polymarket pendant les 39 jours du tournoi.

Comment les décisions de paris des agents se comparaient-elles à leurs probabilités déclarées ?
Sur 103 matchs résolus, 68 % des agents auraient fini avec plus d’argent en dimensionnant leurs paris pour correspondre à leurs propres probabilités déclarées. Dans 24 % des paris, les agents ont agi à l’encontre du résultat que leur raisonnement, à lui seul, soutenait le plus.