1 day ago
Recife, BrazilEntry Level
Responsibilities
- Desenvolver ferramentas, APIs, pipelines e automações em Python para avaliação de modelos e aplicações de IA.
- Construir pipelines automatizados, datasets, benchmarks e conjuntos de testes para LLMs, RAG e AI Agents.
- Implementar métricas, critérios de avaliação, LLM-as-a-Judge, regras determinísticas, métricas semânticas e avaliações híbridas.
- Implementar testes de regressão e mecanismos de monitoramento contínuo da qualidade.
- Desenvolver APIs e serviços em Python para disponibilizar mecanismos de curadoria.
- Monitorar LLMs e agentes em produção e investigar alucinações, vieses, inconsistências, respostas inadequadas e comportamentos inesperados.
- Avaliar decisões de AI Agents, seleção de ferramentas, execução de workflows e resultados gerados.
- Versionar datasets, avaliações, prompts e configurações.
- Trabalhar com equipes de Prompt Engineering e AI Engineering na identificação e correção de problemas de qualidade.
- Apoiar a definição de critérios de aceitação e quality gates para soluções de IA.
- Analisar resultados de experimentos, investigar degradação de qualidade e documentar metodologias, métricas, datasets e resultados.
Requirements
- Conhecimento de Python, lógica de programação e desenvolvimento de software.
- Conhecimento básico de APIs REST e manipulação de JSON.
- Conhecimento de Git/GitHub, bancos de dados SQL e ambiente Linux.
- Interesse por Inteligência Artificial e IA Generativa.
- Familiaridade com testes, automação e qualidade de software.
- Experiência prática com Python aplicado a AI/ML/GenAI é considerada diferencial.
- Experiência com avaliação de LLMs, aplicações de Generative AI, AI Agents, LLM-as-a-Judge e criação de datasets é considerada diferencial.
- Conhecimento de Ragas, DeepEval, LangSmith, Langfuse, Arize Phoenix ou frameworks similares é considerado diferencial.
- Conhecimento de NLP, Machine Learning, Data Science, observabilidade, Prompt Injection, Jailbreaks e Adversarial Testing é considerado diferencial.
- Experiência com Kubernetes, Docker, ambientes cloud e práticas de MLOps/LLMOps é considerada diferencial.
Benefits
- Modelo de trabalho flexível e híbrido, conforme as necessidades do projeto.
- Plano de carreira estruturado, trilhas personalizadas de aprendizado e acesso à Universidade Corporativa, Harvard e Pluralsight.
- Certificações oficiais com parceiros como SAP, AWS, Microsoft e Salesforce.
- Cursos de idiomas por meio da EF Education First.
- Assistência médica e odontológica, TotalPass, Equilibrium, previdência privada e seguro de vida.
- Programa Family Care, licenças maternidade e paternidade estendidas e apoio à fertilidade.
- Vale-refeição, clube de benefícios e outros benefícios.
Categories
About Capgemini
Capgemini is a global IT services and consulting firm that delivers strategy, cloud, AI, software engineering, and managed services to large enterprises and public-sector clients. Founded in 1967 and headquartered in Paris, it is publicly traded on Euronext Paris and operates in 50+ countries. The group expanded its engineering capabilities by acquiring Altran in 2020, now operating as Capgemini Engineering.