Analista de Teste Pleno

Analista de Teste Pleno

Localização: Brazil, BR

Perfil profissional: Inteligência artificial

Experiência requerida:

Modalidade do cargo:

O profissional como QA - Analista de Qualidade será responsável por garantir que agentes de IA e soluções de IA Generativa entreguem respostas precisas, seguras relevantes e alinhadas às regras de negócio e diretrizes da organização, através da definição de estratégias de teste, validação contínua e monitoramento da qualidade das soluções.

Principais responsabilidades:

• Definir a estratégia e os casos de teste dos agentes de IA (testes funcionais e de qualidade de resposta).
• Avaliar acurácia, relevância, tom, alucinações e aderência aos guardrails dos agentes.
• Criar datasets de avaliação e métricas de qualidade (ex.: groundedness, precisão e cobertura).
• Testar fluxos construídos no Copilot Studio e no Power Automate.
• Conduzir testes de segurança e de conteúdo (red-teaming básico).
• Documentar defeitos, acompanhar correções e validar as entregas antes de cada publicação.
• Criar documentação técnica e funcional.
• Avaliar novas tecnologias (OpenAI, Anthropic, LangChain, CrewAI, etc.).

Requisitos Técnicos:

• Experiência com QA / testes de software (manual e/ou automatizado).
• Conhecimento em LLMs, orquestração de agentes e desenvolvimento low-code.
• Entendimento de IA generativa e das limitações dos LLMs.
• Experiência com frameworks de agentes (LangChain, LangGraph ou similares).
• Experiência com arquiteturas multiagentes.
• Capacidade de estruturar critérios de avaliação e casos de teste.
• Disponibilidade para modelo híbrido em São Paulo (região Chácara Santo Antônio).

Diferencial:

• Conhecimento em Azure AI Foundry (recursos de avaliação de modelos).
• Vivência com ferramentas de avaliação de LLM (evals) e automação de testes.
• Noções de prompt engineering e experiência com Databricks.

Habilidades Comportamentais:

• Perfil consultivo e colaborativo.
• Pensamento Crítico: Capacidade de questionar respostas geradas pela IA, identificar inconsistências e antecipar da publicação

Modalidade: Híbrido - CLT

Localidade: Chácara de Santo Antônio SP ( 2x)