QA ENGINEER — Engenheiro(a) de Qualidade - Híbrido 4x1

Sobre a vaga

Sobre a empresa e a solução A empresa está desenvolvendo uma plataforma que funciona como uma camada de infraestrutura e orquestração para projetos complexos de implementação SAP. Grandes implementações SAP movimentam bilhões de dólares e envolvem milhares de consultores, mas grande parte do conhecimento produzido durante esses projetos permanece com as pessoas e acaba sendo perdido ao término das iniciativas. A solução utiliza uma plataforma de orquestração baseada em agentes de IA, coordenando diferentes fases da transformação SAP e capturando decisões, testes e contexto durante a execução dos projetos. O objetivo é criar uma memória organizacional contínua, que possa ser reutilizada em projetos futuros. A oportunidade A plataforma gera especificações funcionais, configurações e artefatos de testes para implementações SAP. Como os clientes utilizam esses materiais em projetos de grande porte, a qualidade das respostas geradas é crítica. Uma resposta incorreta produzida com alto grau de confiança pode passar pelas revisões e chegar até uma entrega ao cliente. Por isso, a posição combina duas áreas: QA tradicional de software Testes automatizados end-to-end; Testes de integração; Suítes de regressão; CI/CD; Qualidade e segurança de releases. Evaluation Engineering para IA Avaliação de sistemas não determinísticos; Criação de datasets de referência (golden datasets); Critérios de pontuação; Avaliação de respostas produzidas por LLMs; Identificação de regressões após alterações de prompts ou modelos. Principais responsabilidades Construir e manter a suíte automatizada de testes da plataforma, incluindo testes E2E, integração e regressão. Criar mecanismos de avaliação das respostas produzidas pelos agentes de IA. Desenvolver golden datasets, critérios de pontuação e testes de regressão para artefatos gerados por LLMs. Identificar se alterações em prompts ou modelos melhoraram ou prejudicaram os resultados. Definir os Quality Gates e os critérios que podem bloquear uma release. Garantir a confiabilidade dos pipelines de CI. Identificar e corrigir testes instáveis (flaky tests) e pipelines lentos. Executar testes exploratórios e testes de release. Realizar triagem de defeitos, definir severidade e acompanhar sua correção até a validação final. Transformar padrões de falhas encontrados nos testes em informações para evolução do produto e do roadmap.

Habilidades

O que você vai fazer

• Construir e manter suíte automatizada de testes.
• Criar mecanismos de avaliação de respostas de IA.
• Desenvolver golden datasets e critérios de pontuação.
• Identificar impacto de alterações em prompts/modelos.
• Definir Quality Gates e critérios de release.

O que você precisa ter

• Testes automatizados end-to-end.
• Testes de integração.
• Suítes de regressão.
• CI/CD.
• Qualidade e segurança de releases.

Perguntas frequentes