AWS ha publicado la tercera entrega de su serie sobre QA Studio, una solución de referencia construida sobre Amazon Nova Act. En la entrada del blog de Machine Learning de AWS, los autores añaden dos capacidades pensadas para organizaciones donde varios equipos comparten un mismo entorno de pruebas: las aplicaciones y la gestión de usuarios por equipos.
Qué cubrían las entregas anteriores
La primera presentó QA Studio, donde las pruebas se redactan en lenguaje natural y se ejecutan mediante navegación visual guiada por IA. La segunda sumó conjuntos de pruebas y una herramienta de línea de comandos para lanzar regresiones por lotes en pipelines de CI/CD. Esta tercera parte aborda lo que ocurre cuando cientos de pruebas pertenecen a productos y equipos distintos.
Aplicaciones y métricas de salud
Una aplicación representa el sistema bajo prueba, por ejemplo un sitio web o el front end de una aplicación web. Se crea con un nombre, una URL base y, si se desea, entornos como desarrollo, preproducción y producción. Los casos de uso y los conjuntos de pruebas viven dentro de la aplicación y heredan a su responsable.
Cada ejecución se registra en Amazon CloudWatch como métrica personalizada, desglosada por aplicación y entorno. La página de la aplicación muestra la tasa de éxito, el número de ejecuciones y los fallos actuales, además de una puntuación de salud de 0 a 100. La puntuación parte de la tasa de éxito y resta puntos por las pruebas inestables, de modo que un conjunto que alterna entre pasar y fallar no aparece como perfecto.
Los gráficos de tendencia cubren 7 días con detalle por hora o 30 días con detalle diario, y se pueden filtrar por un solo entorno. Una vista de pruebas inestables ordena los casos de uso según las veces que cambiaron de resultado en los últimos siete días. Una lista de fallos recientes enlaza con los registros de trayectoria de Nova Act y con las grabaciones de sesión.
Equipos y roles
Cada aplicación pertenece a un único equipo, y quienes no forman parte de él no la ven. Hay cinco roles acumulativos:
- Admin tiene acceso a todo el estudio.
- Team Lead gestiona miembros y crea aplicaciones.
- Editor modifica casos de uso y conjuntos.
- Executor los ejecuta sin poder modificarlos.
- Viewer solo puede consultar.
Los permisos se fijan a nivel de aplicación y alcanzan a las pruebas que contiene. El equipo propietario puede compartir una aplicación con otro equipo con nivel de visualización, de ejecución o completo. El permiso efectivo de cada persona es el más bajo entre su rol y la concesión, así que un Viewer con acceso completo sigue siendo de solo lectura.
Cómo funciona por dentro
Cada equipo se corresponde con grupos de Amazon Cognito, uno por rol, y un autorizador de AWS Lambda convierte la pertenencia a un grupo en ámbitos de API en cada petición. Los equipos, las membresías, la propiedad y las concesiones para compartir se guardan en DynamoDB. El backend comprueba tanto el ámbito de quien llama como si su equipo es propietario de la aplicación o se la han compartido. Un pipeline de CI puede autenticarse con una identidad de máquina que tenga solo los ámbitos que necesita.
Disponibilidad
Las funciones forman parte de la solución de referencia QA Studio, que se despliega con AWS Cloud Development Kit en tu propia cuenta. Según la entrada, los datos de prueba, los resultados y las métricas permanecen en esa cuenta. Los pasos de despliegue están en el repositorio de QA Studio en GitHub. La entrada no menciona precios.