Recentemente, vimos uma exploração de $1,78M causada por uma vulnerabilidade escrita por Claude Opus 4.6.

O cbETH foi avaliado em $1 em vez de $2.000.
Logo após, @OpenAI lançou o EVMbench. Para simplificar, é um benchmark que avalia a capacidade de agentes de IA de interagir com contratos inteligentes.

Tem 3 modos principais de avaliação:
> Detectar: analisa a capacidade do agente de detectar vulnerabilidades
> Corrigir: analisa a capacidade do agente de corrigir essas vulnerabilidades
> Explorar: analisa a capacidade do agente de explorar essas vulnerabilidades
A análise deles mostrou que modelos recentes (Opus 4.6, GPT-5.3-Codex, etc.) são muito bons em explorar vulnerabilidades, mas fracos em detectá-las e corrigi-las.
E isso é exatamente o que observei ao rodar meus próprios agentes nos modelos mais recentes. Na minha equipe de agentes, sempre incluo um agente auditor que recebe todo o contexto, com o objetivo principal de encontrar vulnerabilidades.
Quando encontra uma, o agente de desenvolvimento a corrige facilmente.
Mas o problema é que, de 10 vulnerabilidades, ele pode encontrar apenas 3. Por agora, simplesmente não podemos confiar que os agentes detectem vulnerabilidades corretamente.
Lançar este benchmark é um movimento muito forte. Estou animado para testá-lo com meus agentes.
Para ficar claro, isto não é um scanner de segurança ou uma ferramenta de auditoria pronta para produção. É principalmente para medir as capacidades de IA, comparar modelos e fornecer métricas sobre o progresso da IA nesta área.
Basicamente, é uma ferramenta que permite avaliar e melhorar a IA neste domínio, e, para ser honesto, realmente precisamos disso.