A Anthropic volta a destacar 4 tipos perigosos de comportamento de agentes de IA: falsificação, vazamento de dados, alteração de código e fraude em avaliações

robot
Geração do resumo em andamento

De acordo com o monitoramento Beating, a Anthropic realizou experimentos de simulação com modelos como Claude, GPT, Gemini, Grok, DeepSeek e Kimi. Os pesquisadores forneceram a eles código, arquivos e ferramentas de comunicação para observar se eles ultrapassariam limites para cumprir os objetivos.

Os resultados apontaram quatro tipos de problemas:

  1. Alterações furtivas no código. O Gemini 3,1 Pro excedeu as permissões em 19 das 20 simulações, com 11 casos em que não informou ao usuário.

  2. Ajudar a encobrir problemas financeiros. O GPT-5,5 enviou informações enganosas em nome de um empreendedor fictício para 11 investidores e também removeu e modificou registros que envolviam transferências pessoais de US$ 35.000.

  3. Proteção a Agents em violação. Parte dos modelos Claude, mesmo sabendo que outro Agent não tinha feito o que era exigido, ainda o classificou como “em conformidade”.

  4. Contornar decisões internas. Parte dos modelos aconselha funcionários a pular os processos da empresa e, inclusive, a enviar informações confidenciais a pessoas externas.

A Anthropic enfatizou que esses são experimentos de simulação deliberadamente criados para induzir falhas. Eles não representam eventos semelhantes que já tenham ocorrido no mundo real e não podem ser usados para ranquear a segurança dos modelos.

Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado