Data Engineer (Databricks) | SR (Remote)

Data Engineer (Databricks) | SR (Remote)

.

Responsibilities and assignments

• Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.
• Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.
• Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).
• Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).
• Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.
• Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.
• Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.
• Desenvolver APIs REST, integrações e automações utilizando Python.
• Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

Requirements and qualifications

• Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.

• Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming.

• Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.

• Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.

• Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).

• Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.

• Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações.

• Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução.

• Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles.

• Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento.

• Experiência em observabilidade, monitoramento e sustentação de pipelines em produção.

• Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados.

• Certificações: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.

• Additional information

• Benefícios

• Vale-alimentação e/ou vale-refeição;

• Plano de saúde e plano odontológico;

• Plano de saúde para o seu pet;

• Auxílio home office (para vagas remotas);

• Kit de boas-vindas no onboarding;

• Seguro de vida;

• Zenklub, com acompanhamento psicológico e nutricional;

• TotalPass;

• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);

• Parcerias e descontos para o seu desenvolvimento;

• Acesso ao conteúdo UOL;

• Kit maternidade;

• Licença maternidade e paternidade estendidas;

• Programa de indicações.

• Process stages

• Step 1: Registration1Registration

• Step 2: Mapeamento de Stack2Mapeamento de Stack

• Step 3: Fit Cultural 3Fit Cultural

• Step 4: Cadastro Complementar de Documentação 4Cadastro Complementar de Documentação

• Step 5: Entrevista Líder5Entrevista Líder

• Step 6: Cadastro de Qualificação6Cadastro de Qualificação

• Step 7: Oferta e Negociação7Oferta e Negociação

• Step 8: Hiring8Hiring

• Become a Compasser, be part of AI/R.

• Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

• We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

• To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

• We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

• Join us and be part of the AI-driven revolution.