About this role
Engenheiro de Dados Sênior
Requisitos Experiência sólida, de no mínimo 7 anos, em Engenharia de Dados; Vivência em projetos de alta complexidade, preferencialmente em ambientes corporativos críticos e/ou do segmento bancário/financeiro; Experiência avançada com Databricks, incluindo: Unity Catalog; Delta Lake; Workflows e Jobs; Delta Live Tables (DLT); SQL Editor; Experiência com AWS integrada ao Databricks; Domínio de Apache Spark, atuando com processamento batch e streaming; Experiência com desenvolvimento em Python, especialmente notebooks para ingestão, transformação e processamento de dados; Conhecimento sólido em processos de ETL/ELT; Experiência com modelagem de dados relacional e dimensional; Experiência com bancos de dados relacionais, especialmente Db2 e SQL Server; Conhecimento em integração de dados utilizando JDBC; Experiência na integração e processamento de dados provenientes de múltiplas fontes; Conhecimento em construção e sustentação de pipelines de dados escaláveis, performáticos e confiáveis; Vivência em metodologias e ambientes ágeis; Forte conhecimento de boas práticas de Engenharia de Dados, qualidade, organização e governança.
Será considerado diferencial: Experiência com replicação de dados em tempo real; Conhecimento em Data Lakes e governança de dados; Experiência com Scala; Conhecimento em R e SAS; Experiência com bancos de dados MPP, como Netezza e Redshift; Vivência com ambientes legados e processos de modernização/evolução tecnológica gradual; Experiência prévia no setor bancário/financeiro.
Responsabilidades Projetar, desenvolver, sustentar e evoluir pipelines de dados escaláveis utilizando Databricks e AWS; Desenvolver soluções de processamento de dados utilizando Apache Spark, tanto em batch quanto em streaming; Criar e manter processos de ETL/ELT, garantindo eficiência, qualidade e confiabilidade dos dados; Desenvolver notebooks e aplicações em Python para ingestão, transformação e processamento de grandes volumes de dados; Utilizar recursos do Databricks, como Unity Catalog, Delta Lake, Workflows, Jobs e DLT, na construção e orquestração dos pipelines; Integrar diferentes fontes e sistemas de dados, incluindo Db2 e SQL Server, utilizando JDBC quando aplicável; Apoiar a construção e evolução de arquiteturas modernas de dados e Data Lakes; Garantir performance, disponibilidade, segurança, governança e qualidade dos processos de dados; Atuar na identificação e resolução de problemas relacionados aos pipelines e ambientes de dados; Contribuir para a definição e aplicação de boas práticas de Engenharia de Dados; Trabalhar de forma colaborativa com equipes técnicas e áreas de negócio em um ambiente ágil; Atuar em ambientes críticos e sistemas legados, propondo melhorias e evoluções de forma estruturada; Garantir organização, documentação e qualidade das entregas técnicas; Participar da evolução tecnológica da plataforma de dados, considerando os requisitos de negócio, arquitetura e operação.