O Agent Assurance da TestMu AI já está disponível para o público em geral, permitindo que as equipes testem o que seus agentes de IA realmente alteram

A TestMu AI (anteriormente conhecida como LambdaTest), a primeira plataforma global de engenharia de qualidade baseada em IA agentiva, anunciou hoje a disponibilidade geral do Agent Assurance. Essa solução testa agentes de IA que executam ações, como acionar ferramentas, gravar arquivos e alterar registros. Ela verifica o que foi realmente alterado durante a execução, não apenas o que o agente afirma ter feito. Agora, qualquer equipe pode criar uma conta na TestMu AI e executá-la em seu próprio agente, sem a necessidade de agendar uma demonstração previamente.

O Agent Assurance foi lançado em 17 de agosto de 2026 com uma lista de espera e uma sessão de integração orientada. Desde então, o Rook — a interface de linha de comando (CLI) que executa o Agent Assurance — tem lançado atualizações constantemente, moldadas pelo feedback das primeiras equipes.

A avaliação dos agentes tem se baseado principalmente na resposta final, que pode estar incorreta em relação ao próprio trabalho do agente. No CXBench — um benchmark de agentes LLM em fluxos de trabalho regulamentados de experiência do cliente, publicado em outubro de 2026 —, 80,1% das execuções que alcançaram o resultado correto foram reprovadas nas verificações do processo, e apenas 13,8% foram aprovadas nas duas etapas. Um agente que aciona a ferramenta errada ou pula uma etapa obrigatória pode relatar sucesso mesmo assim. Por isso, o Agent Assurance verifica o efeito de uma execução, abrangendo as chamadas de ferramentas feitas pelo agente, bem como os registros, mensagens e artefatos alterados por ele, conforme relatado pelos “hooks” conectados pela equipe, antes de emitir um veredicto. Tudo o que não puder ser observado é relatado como “impossível verificar”, nunca como aprovado.

Funcionalidades do Agent Assurance agora disponíveis para o público geral

Conjuntos de testes gerados automaticamente: cenários funcionais e adversariais derivados da documentação do agente (como PRD, documentos de políticas ou especificações de API) e de seu endpoint. A inclusão da base de código é opcional e permite obter resultados mais aprofundados.
Red teaming: 25 padrões de ataque — incluindo ataques de múltiplas etapas (multi-turn) — mapeados para os 20 riscos presentes no OWASP Top 10 para aplicações de LLM e no OWASP Top 10 para aplicações baseadas em agentes (Agentic Applications), além de oito técnicas da estrutura MITRE ATLAS. O relatório é organizado por risco, detalhando o que foi testado, o alcance de cada ataque e o que foi verificado.
Vereditos fundamentados em evidências: cada critério é classificado como Aprovado (Pass), Reprovado (Fail) ou Não foi possível verificar (Unable to Verify), sendo que cada veredito cita as evidências que o sustentam. O status Não foi possível verificar nunca é contabilizado como aprovação; o relatório lista esses resultados separadamente, indicando o que é necessário para realizar a verificação.
Qualidade, desempenho e economia de tokens: além de testes funcionais e adversariais, a execução avalia a qualidade da resposta e a adesão às instruções; mede a economia de tokens (custo por tarefa, verbosidade e chamadas redundantes de ferramentas) — caso o agente forneça dados sobre o uso de tokens — e registra a latência de cada interação (turn).
Análise de causa raiz: sob demanda, o Rook agrupa os testes que falharam, indicando uma provável causa e uma sugestão de correção para cada grupo. Documentação e um endpoint são suficientes para começar; a inclusão do código-fonte do agente permite identificar causas raiz mais profundas.
Testes de regressão em CI: cada execução é comparada com a anterior, e testes que passaram a falhar desde a última rodada são sinalizados. A autenticação via chave de acesso (access key) funciona em ambientes de CI sem interface gráfica (headless), com configurações prontas para GitHub Actions, Jenkins e Argo CD.
Testes de sistemas multiagentes: o Agent Assurance pode avaliar um conjunto de agentes que transferem tarefas entre si sem intervenção humana, ou um agente do n8n por meio de seu webhook.
Escritas controladas: como as operações de escrita realizadas por um agente são reais, o Rook apresenta o plano de execução e solicita confirmação antes de iniciar uma execução interativa.
Sem necessidade de chaves de provedor: o Rook identifica a finalidade do agente, elabora os cenários e executa o agente da mesma forma que um usuário faria, enquanto os modelos rodam no controlador da TestMu AI. Uma interface em nuvem (Cloud UI) apresenta os resultados e permite o acesso de um número ilimitado de usuários da equipe.
Registro pronto para auditoria: cada mensagem enviada ao agente em teste, cada resposta, cada chamada de ferramenta e cada veredito são registrados no histórico da sessão, com credenciais, tokens e chaves devidamente mascarados.
Integração com o fluxo de trabalho dos desenvolvedores: execute o Agent Assurance a partir do terminal ou dentro do Claude Code, Codex ou Gemini CLI — em macOS, Linux ou Windows — e instale o Rook via npm, Homebrew ou pelo instalador dedicado.

Ao comentar sobre a disponibilidade geral do Agent Assurance, Mayank Bhola, cofundador e chefe de Produtos da TestMu AI, afirmou: “Um agente pode dizer que concluiu a tarefa, mas tê-la executado incorretamente. O Agent Assurance não avalia a resposta em si, mas sim as alterações resultantes da execução. Quando não é possível determinar o resultado, ele informa claramente. Por isso, a classificação ‘Não foi possível verificar’ (Unable to Verify) nunca é contabilizada como um sucesso. Uma taxa de sucesso inflada por suposições é pior do que a ausência de métricas, pois as equipes acabam tomando decisões de lançamento com base nela. As primeiras equipes que utilizaram a ferramenta relataram que a etapa mais difícil era realizar a primeira execução. Por isso, eliminamos a necessidade de uma reunião de vendas. Agora, uma equipe pode conectar o Agent Assurance ao seu próprio agente no primeiro dia e verificar com precisão qual parte do comportamento dele foi analisada”.

“Com um agente, o caminho pode mudar a cada execução”, disse Vipul Verma, vice-presidente sênior de Engenharia do Grupo na TestMu AI. Por isso, paramos de tentar prever o caminho e passamos a verificar onde o agente realmente terminou, ou seja, o que ele alterou, o que enviou e com o que interagiu. Com a disponibilidade geral, qualquer equipe pode aplicar o Agent Assurance ao seu próprio agente hoje mesmo e verificar o que ele realmente fez, e não apenas o que ele afirma ter feito.

Disponibilidade

O Agent Assurance já está disponível para qualquer pessoa que criar uma conta no TestMu AI. Os usuários podem iniciar um período de teste gratuito de 14 dias, com 4 mil créditos e quatro execuções simultâneas. Os cenários e os resultados dessas execuções são armazenados no repositório da equipe como arquivos simples, independentemente de a equipe optar por um plano pago ou não.

O Agent Assurance está disponível em testmuai.com/agent-assurance.

Perguntas frequentes

O que é o Agent Assurance?

O Agent Assurance é um teste que avalia o que um agente de IA realmente alterou, e não apenas o que ele diz ter feito. A CLI do Rook deriva um conjunto de testes a partir do seu código ou da sua documentação, executa o agente em relação a ele, verifica as chamadas de ferramentas e seus efeitos por meio de ganchos (hooks) conectados pela equipe e informa separadamente o que não foi possível verificar. Ele está disponível de forma geral e pode ser instalado publicamente.

O Agent Assurance pode ser executado em um pipeline de CI/CD?

Sim. O Agent Assurance oferece suporte a login via chave de acesso (access key) para executores de CI sem interface gráfica (headless) e fornece modelos de configuração para GitHub Actions, Jenkins e Argo CD.

Quais agentes de IA a TestMu AI pode testar?

A TestMu AI testa agentes de codificação, fluxo de trabalho, back-office e sistemas multiagentes com o Agent Assurance, além de agentes de chat, voz, telefone, vídeo e imagem com o Agent Testing.

Existe uma avaliação gratuita do Agent Assurance?

Sim, os usuários recebem um período de avaliação de 14 dias com 4.000 créditos e quatro execuções simultâneas.

Sobre a TestMu AI

A TestMu AI (anteriormente LambdaTest) é uma plataforma de engenharia de qualidade com IA baseada em agentes e de pilha completa que capacita as equipes a realizar testes de forma inteligente e lançar produtos mais rapidamente. Projetada para escalabilidade e com arquitetura nativa de IA, ela oferece agentes de IA de ponta a ponta para planejar, criar, executar e analisar a qualidade do software em aplicativos web, móveis e corporativos, em dispositivos reais, navegadores reais e ambientes personalizados do mundo real.

O texto no idioma original deste anúncio é a versão oficial autorizada. As traduções são fornecidas apenas como uma facilidade e devem se referir ao texto no idioma original, que é a única versão do texto que tem efeito legal.