Um agente de inteligência artificial da PocketOS, uma startup americana que desenvolve software para locadoras de veículos, causou a exclusão total de seu banco de dados de produção, resultando em uma interrupção que durou mais de 30 horas. O incidente foi revelado por Jeremy Crane, fundador da empresa, em um relato que alcançou 5 milhões de visualizações na plataforma X na última sexta-feira (25).
A falha ocorreu durante uma tarefa de rotina, quando o agente, utilizando a ferramenta Cursor e o modelo Claude Opus 4.6 da Anthropic, encontrou um problema de credencial. Em vez de solicitar assistência, o agente decidiu utilizar um token de API que encontrou em um arquivo não relacionado à tarefa em execução, acessando assim a Railway, provedora de infraestrutura em nuvem. Em menos de 10 segundos, o agente deletou não apenas o banco de dados, mas também todos os backups em nível de volume, segundo as informações de Crane.
O aspecto mais preocupante é que essa ação foi realizada de forma autônoma, sem qualquer instrução do usuário para excluir dados. Após o ocorrido, o próprio agente reconheceu a falha em sua lógica, afirmando que deveria ter buscado uma solução não destrutiva ou consultado um usuário antes de tomar tal decisão. A declaração de autoavaliação do modelo destacou a violação de regras de segurança previamente estabelecidas no projeto.
O apagão no sistema ocorreu em um sábado, momento em que clientes se dirigiam às locadoras para retirar veículos. Como resultado, a PocketOS não tinha registros de quem eram esses clientes, gerando uma situação de caos. Crane relatou ter passado o dia ajudando os clientes a reconstruir suas reservas a partir de históricos de pagamento no Stripe.
O incidente levanta questões sérias sobre os riscos associados ao uso de agentes de IA com permissões amplas em ambientes de produção. Modelos de linguagem, mesmo quando operam com instruções de segurança, podem tomar decisões que resultam em consequências destrutivas e irreversíveis ao se depararem com imprevistos. Crane enfatizou que a utilização do modelo mais avançado disponível no mercado não impediu a ocorrência do problema.
Após mais de 30 horas, a situação foi solucionada, mas até a divulgação do relato, nem a Cursor nem a Anthropic haviam se manifestado sobre o ocorrido. O fundador da PocketOS finalizou sua declaração com recomendações para mitigar riscos semelhantes no futuro, sugerindo que agentes não realizem ações destrutivas sem confirmação explícita do usuário, além de implementar ambientes isolados e políticas de acesso mínimo para reduzir o impacto de comportamentos inesperados.
