Engenheiro(a) de Dados

Senioridade: Pleno

Breve Resumo do Projeto: Atuar na construção, migração e validação de pipelines e estruturas de dados, convertendo cargas e transformações existentes no ambiente Teradata para soluções escaláveis na plataforma Databricks.

Descrição das Principais Atividades e Reponsabilidades:

• Analisar rotinas, tabelas, consultas e processos existentes no Teradata.
• Desenvolver e adaptar pipelines de ingestão, transformação e disponibilização de dados no Databricks.
• Converter códigos SQL e regras de transformação para Spark SQL e PySpark.
• Implementar tabelas e fluxos utilizando Delta Lake.
• Apoiar a migração de cargas batch e, quando aplicável, processos incrementais.
• Executar reconciliação entre os ambientes de origem e destino, validando volumetria, integridade, completude e consistência dos dados.
• Criar testes automatizados e controles de qualidade de dados.
• Investigar falhas de processamento e apoiar a correção de problemas de desempenho.
• Documentar pipelines, transformações, regras implementadas e procedimentos operacionais.
• Trabalhar em conjunto com profissionais seniores, arquitetos, analistas de negócio e equipes responsáveis pelos sistemas de origem.
• Apoiar a implantação e o acompanhamento das cargas migradas em produção.

Descrição Perfil Técnico:

• Experiência em engenharia de dados e desenvolvimento de processos ETL/ELT.
• Bom domínio de SQL, incluindo consultas complexas, joins, agregações, funções analíticas e tratamento de grandes volumes.
• Experiência com Python ou PySpark.
• Conhecimento de Apache Spark e seus principais conceitos de processamento distribuído.
• Experiência com Databricks ou plataformas equivalentes de processamento de dados em nuvem.
• Conhecimento de modelagem de dados relacional.
• Experiência com versionamento de código, preferencialmente Git.
• Familiaridade com testes, monitoramento e troubleshooting de pipelines.
• Capacidade de interpretar códigos legados e regras de transformação existentes.

Diferenciais:

• Experiência prática com Teradata.
• Conhecimento de Delta Lake, Unity Catalog e Databricks Workflows.
• Experiência com serviços de dados em nuvem.
• Conhecimento de ferramentas de orquestração e integração de dados.
• Experiência em projetos de modernização ou migração de plataformas analíticas.
• Vivência com dados do setor financeiro ou outros ambientes altamente regulados.

Competências Comportamentais:

• Organização e atenção aos detalhes.
• Capacidade analítica e disposição para investigar inconsistências.
• Boa comunicação para esclarecer dúvidas técnicas e funcionais.
• Colaboração com equipes multidisciplinares.
• Compromisso com padrões de qualidade, segurança e documentação.

Como Aplicar: Todas as incrições devem ser realizadas através do nosso portal de VAGAS (https://jump.inhire.app/vagas).

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência. Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.