Engenheiro de Dados

Tipo de contratação: CLT

Modalidade: Teletrabalho

Formação: Graduação completa em TI.

Requisitos Obrigatórios:

Arquitetura cloud, com ênfase em Databricks e suas ferramentas; Ambientes de nuvem, preferencialmente na AWS, com integração ao Databricks para pipelines de dados escaláveis; Jobs Spark em modo batch e Spark Streaming, com uso de Databricks Notebooks em Python para manipulação e transformação de dados; Experiência com Engenharia de Dados, processos de ETL, e suas variações, no ambiente Databricks; Modelagem relacional e dimensional; Bancos de dados relacionais, como Db2 e SQL Server ;Integração entre bancos de dados relacionais , com o Databricks utilizando JDBC .

Requisitos Desejáveis: Conhecimento em soluções de replicação de dados, especialmente em ambientes que utilizam o *Databricks* para gerenciamento de grandes volumes de dados em tempo real; Participação em projetos de implementação e governança de Data Lake; Proficiência em Scala para desenvolvimento e programação em ambientes distribuídos; Familiaridade com ferramentas de análise de dados e machine learning como (R e SAS); Conhecimento em bancos de dados MPP, como Netezza *ou* Redshift.