A AWS publicou a terceira parte da série sobre o QA Studio, uma solução de referência construída sobre o Amazon Nova Act. No post do AWS Machine Learning Blog, os autores acrescentam duas funcionalidades pensadas para organizações em que vários times usam a mesma estrutura de testes: aplicações e gerenciamento de usuários por equipe.
O que as partes anteriores cobriram
O primeiro post apresentou o QA Studio, no qual os testes são escritos em linguagem natural e executados por navegação visual guiada por IA. O segundo incluiu suítes de testes e uma ferramenta de linha de comando para rodar regressões em lote em pipelines de CI/CD. Esta parte trata do que acontece quando centenas de testes pertencem a produtos e squads diferentes.
Aplicações e métricas de saúde
Uma aplicação representa o sistema testado, como um site ou o front end de um app web. Ela é criada com nome, URL base e ambientes opcionais, como desenvolvimento, homologação e produção. Casos de uso e suítes de testes ficam dentro da aplicação e herdam o responsável por ela.
Cada execução é gravada no Amazon CloudWatch como métrica personalizada, separada por aplicação e ambiente. A página da aplicação mostra taxa de aprovação, número de execuções e falhas atuais, além de uma nota de saúde de 0 a 100. A nota parte da taxa de aprovação e perde pontos por testes instáveis, de modo que uma suíte que alterna entre passar e falhar não aparece como perfeita.
Os gráficos de tendência cobrem 7 dias, com granularidade por hora, ou 30 dias, com granularidade diária, e podem ser filtrados por um único ambiente. Uma visão de testes instáveis ordena os casos de uso pelo número de vezes que oscilaram nos últimos sete dias. Uma lista de falhas recentes leva aos logs de trajetória do Nova Act e às gravações das sessões.
Equipes e perfis
Uma aplicação pertence a exatamente uma equipe, e quem está fora dela não a enxerga. Há cinco perfis cumulativos:
- Admin tem acesso a todo o estúdio.
- Team Lead gerencia membros e cria aplicações.
- Editor altera casos de uso e suítes.
- Executor roda os testes sem poder modificá-los.
- Viewer tem acesso somente leitura.
As permissões são definidas no nível da aplicação e valem para os testes que ela contém. A equipe dona pode compartilhar uma aplicação com outra equipe em três níveis: visualizar, executar ou acesso total. A permissão efetiva de cada pessoa é a menor entre o perfil e a concessão, então um Viewer com acesso total continua só podendo ler.
Nos bastidores
Cada equipe corresponde a grupos do Amazon Cognito, um por perfil, e um autorizador AWS Lambda converte a participação no grupo em escopos de API a cada requisição. Equipes, participações, propriedade e concessões de compartilhamento ficam no DynamoDB. O backend verifica tanto o escopo de quem chama quanto se a equipe dessa pessoa é dona da aplicação ou recebeu o compartilhamento. Um pipeline de CI pode se autenticar como identidade de máquina, apenas com os escopos de que precisa.
Disponibilidade
As funcionalidades fazem parte da solução de referência QA Studio, implantada com o AWS Cloud Development Kit na sua própria conta. Segundo o post, dados de teste, resultados e métricas permanecem nessa conta. Os passos de implantação estão no repositório do QA Studio no GitHub. O post não informa preços.