[Job - 31147] Senior Data Developer (Azure e Databricks), Brazil

A CI&T está crescendo e procuramos uma pessoa Desenvolvedora de Dados Sênior talentosa e experiente para se juntar ao nosso time e apoiar um cliente estratégico do setor de serviços financeiros - especificamente no segmento de pagamentos e adquirência - na evolução, manutenção e melhoria contínua dos processos globais de fechamento financeiro.

Esta função terá foco em reconciliação de dados financeiros, rotinas de Demonstrativo de Resultados (P&L), pipelines de dados existentes e integração de novas fontes de dados. O(a) profissional também contribuirá para a construção de novos pipelines, melhoria da qualidade dos dados e suporte a iniciativas envolvendo modelos de inteligência artificial (IA) e capacidades avançadas de dados. Buscamos alguém "hands-on", colaborativo(a) e analítico(a), que goste de resolver desafios complexos de dados e construir soluções confiáveis e escaláveis que gerem verdadeiro impacto nos negócios.

Responsabilidades:

• Desenvolver e manter pipelines de dados utilizando Databricks, PySpark, Python e SQL para transformar dados financeiros brutos em conjuntos de dados confiáveis e curados, prontos para consumo analítico e de negócios.

• Integrar novas fontes de dados ao ecossistema de dados existente, expandindo as capacidades da plataforma e melhorando a visibilidade do negócio em todas as operações financeiras.

• Apoiar atividades de reconciliação de dados financeiros, rotinas de P&L e processos de fechamento global, garantindo a consistência, precisão e rastreabilidade dos dados entre múltiplas fontes.

• Processar e otimizar grandes volumes de dados estruturados e semi-estruturados aplicando as melhores práticas de Delta Lake e arquitetura Lakehouse, incluindo tabelas Delta, processamento incremental, otimização de formato de armazenamento e ajuste de desempenho de consultas.

• Monitorar, solucionar problemas e dar suporte aos pipelines existentes, investigando discrepâncias, identificando causas raízes e garantindo um processamento diário e mensal confiável em ambiente de produção.

• Propor e implementar melhorias contínuas no desempenho de dados, escalabilidade, manutenibilidade e qualidade dos dados em todo o ecossistema de dados financeiros.

• Colaborar estreitamente com equipes multidisciplinares, incluindo profissionais de dados, stakeholders de negócios, equipes financeiras e de tecnologia, para compreender necessidades e entregar soluções de dados de alta qualidade.

• Suportar práticas de governança e qualidade de dados aplicando regras de validação, mantendo auditabilidade, produzindo documentação e aplicando controles de dados para garantir dados financeiros confiáveis e bem geridos.

• Contribuir para iniciativas orientadas a IA, ajudando a integrar modelos de IA e capacidades avançadas de dados aos fluxos de trabalho existentes, promovendo automação e processamento inteligente de dados.

Requisitos para este desafio:

• Sólida experiência com Databricks, incluindo notebooks, jobs, workflows, gerenciamento de clusters e melhores práticas para construção de soluções de dados escaláveis

• Forte domínio em processamento de dados utilizando PySpark, Python e SQL, com experiência demonstrada na transformação de dados brutos em conjuntos de dados curados e confiáveis

• Experiência prática com Delta Lake e arquitetura Lakehouse, incluindo tabelas Delta, processamento incremental, otimização de dados e camadas de dados estruturadas

• Conhecimento do ecossistema de dados Azure, especialmente Azure Data Lake Storage (ADLS), padrões de integração de dados em nuvem e processamento de dados em nuvem

• Experiência no suporte a pipelines de dados financeiros, preferencialmente envolvendo reconciliação, P&L, fechamento financeiro ou outros processos críticos de negócios na indústria de serviços financeiros ou pagamentos

• Capacidade comprovada para manter e melhorar pipelines existentes em ambientes de produção, incluindo solução de problemas, ajuste de desempenho, documentação e suporte em produção

• Forte orientação para resolução de problemas, com habilidade para investigar questões complexas de dados, compreender causas raízes e propor soluções práticas em ambientes de dados desafiadores

Diferenciais:

• Familiaridade com frameworks e metodologias de IA aplicados a fluxos de trabalho de dados

• Experiência com recursos avançados do Databricks, tais como Databricks Workflows, Databricks Apps ou aplicações baseadas em Streamlit

• Experiência com práticas de qualidade e observabilidade de dados, incluindo regras de validação, checagens de reconciliação, monitoramento, logs, alertas e métricas de execução de pipelines

• Vivência anterior no setor de serviços financeiros ou pagamentos, incluindo adquirência, processamento de transações ou ambientes de fintechs

• Proficiência em inglês para interação com times globais, discussões técnicas e documentação