1 day ago
Recife, BrazilEntry Level
Responsibilities
- Desenvolver em Python ferramentas, APIs, pipelines e automações para avaliação de modelos e aplicações de IA.
- Construir pipelines automatizados, datasets, benchmarks, conjuntos de testes, métricas e critérios de avaliação para LLMs, RAG e AI Agents.
- Implementar avaliações com LLM-as-a-Judge, regras determinísticas, métricas semânticas e abordagens híbridas.
- Desenvolver regression testing, APIs e serviços Python para disponibilizar mecanismos de curadoria.
- Monitorar LLMs e agentes em produção e investigar alucinações, vieses, inconsistências, falhas de instrução e comportamentos inesperados.
- Avaliar decisões de AI Agents, seleção de ferramentas, execução de workflows e resultados gerados.
- Criar mecanismos de monitoramento contínuo, versionamento de datasets, avaliações, prompts e configurações.
- Analisar resultados de experimentos, investigar degradações de qualidade e apoiar a definição de critérios de aceitação e quality gates.
- Colaborar com equipes de Prompt Engineering e AI Engineering na identificação e correção de problemas de qualidade.
- Documentar metodologias, métricas, datasets, experimentos e resultados e contribuir para boas práticas de AI Quality, Evaluation e Responsible AI.
Requirements
- Conhecimento em Python, lógica de programação e desenvolvimento de software.
- Conhecimento básico de APIs REST, manipulação de JSON, Git/GitHub, bancos de dados SQL e ambiente Linux.
- Interesse por Inteligência Artificial e IA Generativa.
- Familiaridade com testes, automação e qualidade de software.
- Experiência prática com Python aplicado a AI/ML/GenAI, avaliação de LLMs, AI Agents, LLM-as-a-Judge, datasets ou pipelines de avaliação é um diferencial.
- Conhecimento de Ragas, DeepEval, LangSmith, Langfuse, Arize Phoenix ou ferramentas similares é um diferencial.
- Conhecimento de NLP, Machine Learning, Data Science, observabilidade de aplicações de LLM, Prompt Injection, Jailbreaks e Adversarial Testing é um diferencial.
- Experiência com Kubernetes, Docker, CI/CD, ambientes cloud e práticas de MLOps/LLMOps é um diferencial.
Benefits
- Modelo de trabalho flexível e híbrido, conforme as necessidades do projeto.
- Plano de carreira estruturado, trilhas personalizadas de aprendizado e Universidade Corporativa com acesso a Harvard e Pluralsight.
- Certificações oficiais com parceiros como SAP, AWS, Microsoft e Salesforce.
- Cursos de idiomas com EF Education First em inglês, espanhol, francês e alemão.
- Assistência médica e odontológica, TotalPass, Equilibrium, previdência privada e seguro de vida.
- Programa Family Care, incluindo licenças maternidade e paternidade estendidas e apoio à fertilidade.
- Vale-refeição, clube de benefícios e programas de diversidade e inclusão.
Categories
About Capgemini
Capgemini is a global IT services and consulting firm that delivers strategy, cloud, AI, software engineering, and managed services to large enterprises and public-sector clients. Founded in 1967 and headquartered in Paris, it is publicly traded on Euronext Paris and operates in 50+ countries. The group expanded its engineering capabilities by acquiring Altran in 2020, now operating as Capgemini Engineering.