Após a recuperação do Claude Fable 5, a interceptação do classificador de segurança foi aprimorada, e os dados do BridgeBench caíram drasticamente.

Claude Fable 5 retomou a operação total em 1º de julho, e desde então usuários do Reddit têm relatado quedas na "inteligência" do modelo e acionamentos mais frequentes dos mecanismos de revisão de segurança. O teste de referência BridgeBench da BridgeMind AI mostra uma queda drástica na pontuação de Debug, de 86,2 para 25,9, e na pontuação de Refatoração, de 73,6 para 38,4.

Teste de referência BridgeMind AI: Pontuação de Debug cai de 86,2 para 25,9

(Fonte: BridgeMind AI)

De acordo com os testes realizados pela BridgeMind AI usando o BridgeBench, após o relançamento do Fable 5, a pontuação de Debug caiu de 86,2 para 25,9, e a pontuação de Refatoração caiu de 73,6 para 38,4. Com base nisso, a BridgeMind AI considerou que o desempenho do Fable 5 foi enfraquecido.

No entanto, o Decrypt aponta que, dos 12 tasks de Debug do BridgeBench, apenas 3 foram processados com sucesso pelo Fable 5. Os outros 9 foram interceptados pelo classificador de segurança antes da inicialização e redirecionados para o modelo Opus 4.8, de desempenho inferior. Esses tasks interceptados receberam nota zero na pontuação, o que causou a grande queda nos dados gerais do BridgeBench. A causa não é a degradação do desempenho do modelo Fable 5 em si.

Teste cego humano Arena.ai: Elo do código front-end cai de 1650 para 1623

De acordo com os resultados dos testes da Arena.ai, que coleta milhares de preferências de votos cegos humanos e usa o sistema de pontuação Elo para ranqueamento:

Código front-end: Elo caiu ligeiramente de 1650 para 1623 (diferença dentro do intervalo de confiança)

Capacidade de processamento de documentos: aumentou 34 pontos

Texto especializado: melhorou 25 pontos

Código (geral): pequena queda de 18 pontos

Conclusão da Arena.ai: Quando o Fable 5 realmente executa as tasks, a qualidade da saída ainda é excelente e a capacidade computacional central não se degradou. O desempenho geral antes e depois do lançamento praticamente não mudou.

Contexto da atualização do classificador de segurança: Anthropic adota estratégia conservadora de interceptação

Segundo relatos, a Anthropic implantou um classificador de segurança mais rigoroso para se prevenir contra um problema técnico de jailbreak do Fable 5 descoberto anteriormente por pesquisadores da Amazon. Essa técnica fez com que o Fable 5 ajudasse a identificar e exibir vulnerabilidades de software, sendo classificada como ameaça à segurança nacional pelo governo dos EUA, o que levou a restrições temporárias de exportação.

Para isso, a Anthropic adotou uma estratégia conservadora, ampliando o escopo de tolerância da revisão de segurança, fazendo com que o modelo tenda a recusar solicitações ambíguas, garantindo o bloqueio de danos. O BleepingComputer testou e apontou que o desempenho do modelo Fable 5 em si não diminuiu, mas a rede de proteção de segurança rigorosa afetou a conveniência do uso diário.

Palavras-chave como C, C++, Rust ou termos como "segurança", "vulnerabilidade" acionam com frequência o redirecionamento de tasks para o Opus 4.8

De acordo com o relatório de teste do BleepingComputer, o novo classificador frequentemente classifica erroneamente solicitações inofensivas de Debug como risco e as redireciona para o modelo Opus 4.8. Desenvolvedores de software cujos prompts contenham palavras-chave como C, C++, Rust, ou que mencionem "segurança", "vulnerabilidade", acionam com frequência o mecanismo de redirecionamento.

A Anthropic já reconheceu o problema de interceptação excessiva e afirmou que continuará otimizando o sistema, mas até o momento do relato não forneceu um cronograma específico para ajustes. Isso cria o maior obstáculo de uso para desenvolvedores de software, especialmente aqueles que dependem de funções auxiliares de Debug.

Perguntas frequentes

O Fable 5 realmente perdeu "inteligência" após o retorno?

De acordo com os resultados de duas instituições de avaliação, o desempenho central do Fable 5 não se degradou: o teste cego humano da Arena.ai mostrou que a pontuação Elo geral praticamente não mudou; a grande queda na pontuação do BridgeBench da BridgeMind AI se deve fundamentalmente ao fato de que o novo classificador de segurança interceptou 9 dos 12 tasks de Debug e os redirecionou para o Opus 4.8, com os tasks interceptados recebendo nota zero, causando a queda nos dados, e não a degradação do desempenho do modelo em si.

Por que a Anthropic reforçou o classificador de segurança do Fable 5?

Segundo relatos, a Anthropic implantou um classificador de segurança mais rigoroso para se prevenir contra um problema técnico de jailbreak do Fable 5 descoberto por pesquisadores da Amazon. Essa técnica fez com que o Fable 5 ajudasse a identificar e exibir vulnerabilidades de software, sendo classificada como ameaça à segurança nacional pelo governo dos EUA, o que levou a restrições temporárias de exportação.

Que tipo de solicitação tem mais chances de ser interceptada erroneamente pelo novo classificador?

De acordo com o relatório de teste do BleepingComputer, prompts que contenham palavras-chave de linguagens de programação como C, C++, Rust, ou que mencionem "segurança", "vulnerabilidade", têm mais chances de acionar o mecanismo de interceptação do classificador, redirecionando o task para o modelo Opus 4.8, de desempenho inferior.