2 months ago
Remote, EMEA or Medellín, ColombiaEntry Level
Responsibilities
- Diseñar, desarrollar y mantener frameworks de automatización de pruebas para soluciones de inteligencia artificial.
- Ejecutar pruebas funcionales, de integración y validación de agentes de IA.
- Definir y gestionar escenarios de prueba utilizando YAML y JSON.
- Evaluar el desempeño de LLMs mediante métricas de hallucination, groundedness, relevancia y calidad de respuesta.
- Integrar pruebas automatizadas en pipelines de Azure DevOps.
- Colaborar con equipos de desarrollo, datos e ingeniería de IA para garantizar la calidad de las soluciones.
- Analizar resultados, documentar hallazgos y proponer mejoras en los procesos de testing.
Requirements
- Más de un año de experiencia en pruebas de soluciones de inteligencia artificial o entornos relacionados.
- Experiencia en automatización de pruebas y aseguramiento de calidad de aplicaciones.
- Conocimiento y experiencia en validación y pruebas de agentes de IA.
- Experiencia trabajando con Azure DevOps y procesos CI/CD.
- Conocimientos en evaluación de LLMs, incluyendo hallucination y groundedness.
- Experiencia diseñando y ejecutando escenarios de prueba en YAML y JSON.
- Capacidad analítica para identificar defectos, evaluar riesgos y garantizar la calidad de las soluciones.
- Habilidades de colaboración y comunicación efectiva con equipos multidisciplinarios.
Categories
About Accenture
Accenture is a global professional services firm providing management consulting, systems integration and technology, cybersecurity, and business process outsourcing for enterprises and governments. It operates a services-driven model delivering projects and managed services, often with major cloud and software partners, across industries worldwide. Headquartered in Dublin and publicly traded on the NYSE (ACN), it originated as Andersen Consulting and adopted the Accenture name in 2001.