Engenheiro de Dados Sênior

Job Description:

Requisitos

* Experiência sólida, de no mínimo 7 anos, em Engenharia de Dados;

* Vivência em projetos de alta complexidade, preferencialmente em ambientes corporativos críticos e/ou do segmento bancário/financeiro;

* Experiência avançada com Databricks, incluindo:

* Unity Catalog;

* Delta Lake;

* Workflows e Jobs;

* Delta Live Tables (DLT);

* SQL Editor;

* Experiência com AWS integrada ao Databricks;

* Domínio de Apache Spark, atuando com processamento batch e streaming;

* Experiência com desenvolvimento em Python, especialmente notebooks para ingestão, transformação e processamento de dados;

* Conhecimento sólido em processos de ETL/ELT;

* Experiência com modelagem de dados relacional e dimensional;

* Experiência com bancos de dados relacionais, especialmente Db2 e SQL Server;

* Conhecimento em integração de dados utilizando JDBC;

* Experiência na integração e processamento de dados provenientes de múltiplas fontes;

* Conhecimento em construção e sustentação de pipelines de dados escaláveis, performáticos e confiáveis;

* Vivência em metodologias e ambientes ágeis;

* Forte conhecimento de boas práticas de Engenharia de Dados, qualidade, organização e governança.

Será considerado diferencial:

* Experiência com replicação de dados em tempo real;

* Conhecimento em Data Lakes e governança de dados;

* Experiência com Scala;

* Conhecimento em R e SAS;

* Experiência com bancos de dados MPP, como Netezza e Redshift;

* Vivência com ambientes legados e processos de modernização/evolução tecnológica gradual;

* Experiência prévia no setor bancário/financeiro.

Responsabilidades

* Projetar, desenvolver, sustentar e evoluir pipelines de dados escaláveis utilizando Databricks e AWS;

* Desenvolver soluções de processamento de dados utilizando Apache Spark, tanto em batch quanto em streaming;

* Criar e manter processos de ETL/ELT, garantindo eficiência, qualidade e confiabilidade dos dados;

* Desenvolver notebooks e aplicações em Python para ingestão, transformação e processamento de grandes volumes de dados;

* Utilizar recursos do Databricks, como Unity Catalog, Delta Lake, Workflows, Jobs e DLT, na construção e orquestração dos pipelines;

* Integrar diferentes fontes e sistemas de dados, incluindo Db2 e SQL Server, utilizando JDBC quando aplicável;

* Apoiar a construção e evolução de arquiteturas modernas de dados e Data Lakes;

* Garantir performance, disponibilidade, segurança, governança e qualidade dos processos de dados;

* Atuar na identificação e resolução de problemas relacionados aos pipelines e ambientes de dados;

* Contribuir para a definição e aplicação de boas práticas de Engenharia de Dados;

* Trabalhar de forma colaborativa com equipes técnicas e áreas de negócio em um ambiente ágil;

* Atuar em ambientes críticos e sistemas legados, propondo melhorias e evoluções de forma estruturada;

* Garantir organização, documentação e qualidade das entregas técnicas;

* Participar da evolução tecnológica da plataforma de dados, considerando os requisitos de negócio, arquitetura e operação