About this role
SOBRE A VAGA
Buscamos uma pessoa para atuar como Engenheiro(a) de Dados Pleno, sendo responsável por projetar, desenvolver e operar pipelines de dados robustos e escaláveis, que suportem tanto necessidades analíticas quanto operacionais da companhia. Essa posição terá papel importante na construção de soluções de ingestão, processamento e disponibilização de dados para BI e produtos internos, garantindo qualidade, performance, segurança e governança. É uma oportunidade para atuar em um ambiente com forte interação com times de produto e negócio, contribuindo para evolução da arquitetura de dados e sustentação de ambientes em produção. Experiência com Databricks será considerada um diferencial.
PRINCIPAIS RESPONSABILIDADES:
- Projetar e implementar pipelines de ETL/ELT em batch e streaming para ingestão, transformação e disponibilização de dados.
- Desenvolver soluções de back-end para processamento de dados em larga escala utilizando Spark, SQL e Python.
- Construir e manter estruturas de data lake / data lakehouse, modelos de dados e camadas de consumo.
- Otimizar performance de jobs e queries, incluindo tuning de Spark, SQL e clusters.
- Implementar práticas de qualidade de dados, como validações, testes automatizados, monitoramento e alertas.
- Integrar diferentes fontes de dados, como bancos relacionais, APIs, arquivos, mensageria e, quando aplicável, dados oriundos de Oracle ERP.
- Orquestrar pipelines utilizando ferramentas como Azure Data Factory ou similares.
- Atuar em parceria com analistas e times de produto para traduzir necessidades de negócio em soluções técnicas.
- Garantir segurança, compliance e boas práticas de governança de dados, considerando requisitos como LGPD, gestão de acessos e criptografia.
- Apoiar automações de deploy e operação com práticas de DevOps / CI-CD, além de documentação e participação em definições de arquitetura e governança.
O QUE BUSCAMOS:
- Experiência prévia em engenharia de dados ou desenvolvimento back-end com foco em processamento de dados.
- Vivência prática com Apache Spark, Python e SQL em ambientes distribuídos.
- Experiência com bancos relacionais, data warehouses e integração de dados a partir de diferentes fontes.
- Conhecimento em ferramentas de orquestração como Azure Data Factory, Airflow, Prefect ou similares.
- Experiência em projetos em cloud, especialmente Azure, e atuação em ambientes produtivos com alta disponibilidade.
- Familiaridade com práticas de CI/CD, versionamento com Git e qualidade/observabilidade de pipelines.
- Conhecimento em modelagem de dados dimensional e normalizada.
DIFERENCIAIS:
- Experiência com Databricks, especialmente com Workspace, Jobs e Delta Lake.
- Conhecimento em integração com Oracle ERP e entendimento de processos financeiros/contábeis.
- Vivência com mensageria e streaming, como Kafka.
- Conhecimento em observabilidade, segurança e governança de dados, incluindo ferramentas como Prometheus, Grafana ou Datadog.
- Experiência com infraestrutura como código, como Terraform.
INFORMAÇÕES COMPLEMENTARES:
Local de Trabalho: Pinheiros, São Paulo-SP Modelo de Trabalho: Híbrido - 2x por semana presencial
Nosso time dos sonhos é aquele em que todas as pessoas são extraordinárias no que fazem e altamente eficazes trabalhando juntas, venha conferir essa excelente oportunidade !