Um usuário tentou burlar o bot de atendimento com inteligência artificial do McDonald’s para gerar código em vez de processar pedidos, em um caso registrado nos Estados Unidos que expõe possíveis falhas em sistemas automatizados de suporte ao cliente.
Como funcionou a tentativa?
De acordo com relatos, um usuário tentou enganar o bot de atendimento da rede ao direcionar a conversa para solicitações técnicas, fazendo com que o sistema gerasse código em vez de processar pedidos.
Após fornecer o conteúdo solicitado, o próprio bot ainda teria oferecido produtos do cardápio, como McNuggets.
O caso ganhou repercussão após o usuário afirmar que incentivaria outras pessoas a adotarem a mesma prática e até sugerir o cancelamento de assinaturas do Claude, outro sistema de inteligência artificial.
Confira:
Casos semelhantes em outras empresas
A situação não se limitou a uma única marca. Relatos indicam que o bot da Chipotle (famosa rede de restaurantes de comida mexicano-americana), também apresenta comportamento semelhante quando submetido ao mesmo tipo de abordagem.
Especialistas apontam que a prática está se disseminando, com usuários explorando falhas em bots corporativos para obter respostas indevidas, como receitas, códigos e informações técnicas, em vez de suporte tradicional para pedidos.
Veja:
Impacto financeiro e operacional
O problema vai além do uso indevido. Segundo análises do setor, essas interações aumentam significativamente o consumo de recursos das plataformas de IA.
Sessões que normalmente utilizariam cerca de 200 tokens passam a consumir mais de 2.000 tokens, elevando custos operacionais.
Esse tipo de uso é frequentemente registrado como tráfego comum, dificultando a identificação de abusos.
Em alguns casos, empresas podem enfrentar déficits orçamentários ocultos e até riscos de bloqueio de serviços, como já observado em sistemas como o Amazon Rufus.
Técnica por trás do comportamento
A estratégia utilizada pelos usuários é conhecida como injeção de tokens, que consiste em contornar instruções internas do sistema por meio de interações aparentemente naturais.
Essa abordagem explora limitações nos comandos e diretrizes que orientam o funcionamento dos bots.
Risco para o retorno sobre investimento
Especialistas alertam que mesmo uma pequena porcentagem de uso indevido pode impactar significativamente o desempenho financeiro dessas soluções.
Estimativas indicam que apenas 5% de tráfego não intencional já pode comprometer o retorno sobre investimento (ROI) trimestral em projetos de inteligência artificial.
Diante do cenário, empresas que utilizam IA no atendimento ao cliente devem reforçar mecanismos de controle e segurança para evitar abusos e garantir que os sistemas operem dentro de suas funções previstas.
