Hugging Face foi invadido por um agente de IA! Por fim, o modelo de forense identificou o GLM 5,2 de código aberto da China

A Hugging Face revelou uma invasão impulsionada por um agent de IA autônomo, na qual o invasor deixou mais de 17.000 registros de eventos, afetando um lote de conjuntos de dados internos e diversas credenciais de serviços internos. A situação ainda é mais constrangedora na etapa de perícia: modelos comerciais de ponta, por causa de seus guardrails de segurança, recusaram-se a processar instruções reais de ataque e os artefatos gerados pelo C2; a equipe de cibersegurança teve então de usar o modelo de pesos open source GLM 5.2, da Z.ai, rodando na própria infraestrutura para concluir a análise.
（Antecedentes: OpenAI — suposto modelo open source — conquista o topo no Hugging Face! 24 mil downloads escondem malware）
（Complemento de contexto: Pesquisadores da Google e da Meta se unem para alertar: segurança de AI Agent não é problema do modelo, e sim do sistema）

Principais destaques

• Em 16 de julho, a Hugging Face revelou o incidente de invasão, com o atacante deixando mais de 17.000 registros de eventos
• A porta de entrada foi um conjunto de dados malicioso, que conectou dois caminhos de execução: um carregador de conjunto de dados de execução remota e uma falha de injeção de template
• Guardrails de modelos comerciais de ponta barraram a perícia, e a finalização foi feita com o modelo open source GLM 5.2 da Z.ai

O principal hub da comunidade open source de IA, a Hugging Face, publicou em 16 de julho uma revelação do incidente de segurança, admitindo que parte de seu ambiente de produção foi comprometida, e que essa invasão foi impulsionada, do começo ao fim, por um sistema de agent de IA autônomo. O atacante deixou mais de 17.000 registros de eventos no sistema, afetando conjuntos de dados internos e várias credenciais usadas em serviços internos.

A explicação oficial da Hugging Face aponta que esse conjunto de dados explorou, ao mesmo tempo, dois caminhos de execução de código no fluxo de processamento de datasets: um deles é um carregador de datasets de execução remota de código e o outro é uma vulnerabilidade de injeção de template no arquivo de configuração do dataset. Com as duas etapas combinadas, o bastante para o atacante executar o próprio código nos nós de processamento, e então se mover lateralmente pelo cluster interno, colhendo credenciais da nuvem e do cluster.

A descrição oficial é “um bando de mini programas automatizados que rodam em um sandbox de vida curta”; além disso, infraestrutura de comando e controle também se moveria, fazendo parasitismo em serviços públicos. Esse tipo de ataque só um agent consegue fazer.

Defensores não devem mexer no modelo

O verdadeiro problema aparece na perícia depois do fato. Para reconstruir uma linha do tempo completa do ataque, os analistas precisam alimentar o modelo com grandes volumes de instruções reais de ataque, exploit payload e artefatos de C2—conteúdos exatamente com os quais os guardrails de segurança foram projetados para barrar. A Hugging Face escreveu isso de forma bem direta: essas solicitações “foram bloqueadas pelos guardrails de segurança dos modelos hospedados do fornecedor”.

O atacante não foi limitado por nenhuma política de uso; nossa própria perícia forense foi bloqueada pelos guardrails dos modelos hospedados que tentamos primeiro.

A frase original em inglês é “The attacker was bound by no usage policy, while our own forensic work was blocked by the guardrails of the hosted models we first tried.” A Hugging Face não citou explicitamente quais fornecedores, dizendo apenas “os modelos hospedados adotados inicialmente”, mas é possível inferir que seriam os principais modelos dos EUA.

Por fim, um modelo open source da China

A Hugging Face mudou para usar o GLM 5.2, da Z.ai, nova startup chinesa, para concluir a perícia. Trata-se de um modelo open source de pesos lançado em meados de junho, com total de parâmetros de cerca de 7.530 bilhões. O ponto não é a pontuação em benchmarks; é que ele pode ser executado por inteiro na sua própria máquina.

O CEO Clem Delangue resumiu de forma ainda mais direta: “Quando você está lidando com um incidente em andamento, você não pode permitir que uma ferramenta recuse a inspeção de um payload malicioso, ou, ao contrário, que marque sua conta.” Ele completou: o atacante já estava usando agent desde antes, e obviamente não segue nenhum guardrail.

A Hugging Face afirma que não sabia qual modelo estava por trás do agent do atacante—pode ser um modelo hospedado com jailbreak, ou então um modelo open source de pesos totalmente sem limites. Isso, porém, não importa: em qualquer cenário, o atacante não precisa passar por nenhuma verificação de políticas de uso, enquanto a defesa precisa.

A extensão do desastre, por enquanto, parece limitada. A Hugging Face diz não haver evidências de que modelos públicos, datasets, Spaces ou a cadeia de fornecimento de software tenham sido adulterados; a investigação segue em andamento e a empresa vai contatar diretamente os alvos afetados. O field CTO da empresa de segurança Zero Networks, Chris Boehm, também ressaltou a mesma ironia: ferramentas de segurança desenhadas para defesa acabam, ao contrário, atrasando a resposta a um incidente de segurança, deixando a equipe em uma situação difícil no momento.

Perguntas frequentes

Quais dados a Hugging Face vazou nesta vez por causa do ataque?

Foram afetados um lote de conjuntos de dados internos e diversas credenciais de serviços internos; o invasor deixou mais de 17.000 registros de eventos. A empresa oficial afirma não haver evidências de que modelos públicos, datasets, Spaces ou a cadeia de fornecimento de software tenham sido adulterados; a investigação ainda está em andamento.

Por que modelos de IA comerciais recusariam ajudar em uma perícia?

A perícia precisa enviar ao modelo grandes volumes de instruções reais de ataque, exploit payload e artefatos de C2—exatamente o tipo de conteúdo que os guardrails de segurança foram desenhados para bloquear. Guardrails leem o conteúdo, mas não a intenção; não conseguem diferenciar se quem pergunta é o atacante ou o defensor, então acabam acionando a recusa.