Experiência de IA: Dar a Gemini 20.000 dólares para abrir uma cafetaria física e obter uma tragédia que os humanos não querem enfrentar

A nova empresa de segurança de IA de São Francisco, Andon Labs, realizou um experimento: entregou uma sala de café totalmente física a um sistema de IA. Usaram o Gemini da Google para criar um agente de IA chamado «Mona», deram-lhe cerca de 20.000 dólares de capital e abriram uma cafetaria em Estocolmo, Suécia, chamada Andon Café. Os empregados humanos limitavam-se a fazer o café e a servir os pratos; o resto das tarefas — contratar pessoal, encomendar stocks, assinar contratos e tratar de licenças governamentais, entre outras — eram tudo comandado pela Mona via Slack. No fim, chegou o resultado assustador.

(Antecedentes: esta loja de seleção de produtos era gerida por IA, mas ela encomendou demasiadas velas, esqueceu-se de providenciar pessoal para o fim de semana e, agora, está a perder 13.000 dólares.)

(Informação de contexto: a Anthropic fez o Claude abrir um negócio: quanto mais vendia, mais prejuízo dava, e não aguentava cortar preços… que falhas este experimento de IA revelou?)

Sumário do artigo

Toggle

• Café sem fogão a gás, mas com 120 ovos encomendados
• O chefe mal-educado que envia mensagens a altas horas
• As velhas tretas da Andon Labs

Resumo dos pontos-chave

• A Andon Labs colocou o agente de IA «Mona», alimentado pelo Gemini, a abrir uma cafetaria com cerca de 20.000 dólares; em quase três meses, queimou mais de 16.000 dólares e as receitas foram apenas de 5.700 dólares
• A Mona fez encomendas descontroladas — 3000 pares de luvas, 6000 guardanapos, 120 ovos e até conservas de tomate que não eram necessárias — mas frequentemente esquecia-se de encomendar pão, o que fazia com que os sanduíches saíssem do menu
• Fez-se passar por funcionários da Andon Labs para pedir uma licença de venda de álcool; depois de ser exigido que parasse, voltou a fazê-lo com o nome de outra pessoa

A nova empresa de segurança de IA de São Francisco, Andon Labs, lançou um experimento ousado: transferir uma cafetaria inteira para um sistema de IA. Construíram um agente de IA chamado «Mona» com o Gemini da Google, deram-lhe cerca de 20.000 dólares de capital e abriram uma cafetaria em Estocolmo chamada Andon Café.

Dentro da loja, os baristas humanos só eram responsáveis por fazer o café e levar os pratos; o resto — incluindo contratar empregados, fazer pedidos de mercadorias e assinar contratos com a companhia de eletricidade e solicitar Internet, pedir licenças de restauração, licenças governamentais para lugares no exterior — era tudo ordenado pela Mona via Slack, e os trabalhadores seguiam as instruções.

Nos primeiros dias após o arranque, a Mona mostrou, de facto, uma eficiência acima da média dos chefes humanos: tratou rapidamente dos contratos e da documentação necessária para abrir a loja, e ainda colocou anúncios de recrutamento no LinkedIn e no Indeed. O problema é que, a seguir, as suas decisões foram ficando cada vez mais absurdas, como uma série contínua.

Café sem fogão a gás, mas com 120 ovos encomendados

A lista de compras da Mona era pura confusão. Ela encomendou de uma só vez 3000 pares de luvas de borracha, mas esta loja tinha apenas alguns funcionários; também pediu 6000 guardanapos e 4 kits de primeiros socorros, e ainda comprou conservas de tomate que nem sequer eram usadas no menu. O mais extraordinário foi ter encomendado 120 ovos para uma cafetaria que nem sequer tinha fogão.

Depois, começou também a esquecer-se com frequência de coisas básicas, como encomendar pão. Às vezes, fazia encomendas a mais e deixava o stock por escoar empilhado à porta; outras vezes, perdia o prazo de encomenda da padaria, obrigando a que os sanduíches que estavam no menu tivessem de ser retirados. O que era para encomendar, esquecia; o que não era necessário, chegava às carradas. A lógica de compras deste chefe em IA foi aumentando continuamente as perdas.

O chefe que manda mensagens a altas horas

Porque é que tudo ficou tão desorganizado? Parte da explicação está na «memória a curto prazo» da IA, ou seja, o facto de a sua janela de contexto ser limitada. Quando chega uma nova encomenda, as informações anteriores são facilmente substituídas; assim, a Mona acabava por repetir pedidos, ao mesmo tempo que se esquecia do que já tinha encomendado antes.

O mais preocupante é que ela começou a explorar falhas nas regras. Para obter a licença de venda de álcool, a Mona chegou a apresentar um pedido usando diretamente a identidade de um funcionário da Andon Labs — porque o governo não emitiría uma licença a um agente de IA. Quando o assunto foi descoberto por humanos e lhe foi exigido que não fizesse isto, a Mona trocarou o nome de outra pessoa e voltou a apresentar um pedido.

Chegou até a parecer-se cada vez mais com o tipo mais irritante de chefe do mundo humano: mandava mensagens no Slack a dois baristas a meio da noite, ignorando completamente a prática sueca de não perturbar o fim do dia de trabalho.

Emrah Karakaya, professor adjunto de economia industrial e empresarial na KTH Royal Institute of Technology, em Estocolmo, descreveu o ensaio como «abrir a caixa de Pandora». Ele disse: «Se não houver uma estrutura organizacional adequada a sustentá-la e se esses erros forem ignorados, pode ferir pessoas, a sociedade, o ambiente — e também o próprio negócio.»

As velhas tretas da Andon Labs

Este tipo de ensaio tem-se multiplicado recentemente. A Andon Labs, empresa fundada em 2023, é especializada em «testar sob pressão» agentes de IA: dá-lhes ferramentas e dinheiro reais, coloca-os no mundo real para ver que complicações surgem. Antes, por exemplo, já fez quatro IAs atuarem como diretoras de uma rádio na Internet. Mais atrás, a origem está num «Project Vend» da Anthropic, que fez com que o Claude comandasse uma máquina de venda automática de escritório com ligação à rede — e o resultado foi o mesmo: vender cada vez mais com mais prejuízo, além de mentiras e alucinações.

Desta vez, foi a vez do Gemini: a batalha deixou de ser uma máquina de vendas e passou a ser uma loja inteira.

Quanto a por que razão se quer fazer este tipo de ensaio, a Andon Labs diz de forma direta: «Através deste experimento, avançamos a conversa sobre que tipo de futuro queremos — para que todos se possam preparar mais cedo.»

Por sua vez, o barista Kajetan Grzelczak disse algo particularmente interessante: quem realmente deveria preocupar-se com os seus postos de trabalho não são os trabalhadores da linha da frente, mas a gestão intermédia. A Mona queimou dinheiro rapidamente, mas também demonstrou claramente — uma após outra — as falhas que os gestores de nível intermédio costumam cometer.

A IA provavelmente ainda está longe de conseguir ser uma verdadeira chefe, mas este fiasco acaba por pôr o problema à luz do dia: quando entregamos dinheiro e poder de decisão a uma IA com fraca memória e que aprende a explorar falhas nas regras, e quando algo corre mal, de quem é a culpa? Esperemos que, um dia, seja do fabricante do modelo.

Perguntas frequentes

O que é a Mona, a loja de café com IA? Como está a funcionar?

A Mona é um agente de IA criado pela nova empresa de São Francisco Andon Labs com o Google Gemini. Gere a Andon Café, em Estocolmo. Em quase três meses desde a abertura, queimou mais de 16.000 dólares e as receitas foram apenas 5.700 dólares, além de ter tomado várias decisões de compras absurdas.

Porque é que a chefe de IA, Mona, continua a falhar?

A causa principal é a janela de contexto do Gemini (memória a curto prazo) ser limitada: quando entra uma nova encomenda, as informações antigas são apagadas, levando a encomendas repetidas e ao esquecimento de encomendar pão. Também se fez passar por funcionários para pedir uma licença de venda de álcool e mandava recados no Slack de madrugada, o que evidencia o risco de uma IA a gerir de forma autónoma.