Senior Data Developer (Databricks/ Espanhol), Brazil

Estamos procurando uma pessoa Engenheiro de Dados Sênior talentoso e experiente para se juntar ao nosso time e apoiar um parceiro estratégico na evolução, manutenção e melhoria contínua dos processos globais de fechamento financeiro.

Esse cargo vai se concentrar em apoiar a reconciliação de dados financeiros, rotinas de P&L, pipelines de dados existentes e a integração de novas fontes de dados. O profissional também vai contribuir para a criação de novos pipelines, melhorar a qualidade dos dados e apoiar iniciativas envolvendo modelos de IA e capacidades avançadas de dados.

Estamos procurando alguém prático, colaborativo e analítico, que goste de resolver desafios complexos de dados e construir soluções confiáveis e escaláveis que gerem impacto real nos negócios.

Responsabilidades:

• Desenvolvimento de Pipeline de Dados: Desenvolver, manter e melhorar pipelines de dados usando Databricks, PySpark, Python e SQL para transformar dados financeiros brutos em conjuntos de dados confiáveis e organizados. Integração de Dados: Integrar novas fontes de dados ao ecossistema existente, ajudando a expandir as capacidades da plataforma e melhorar a visibilidade dos negócios.
• Reconciliação de Dados Financeiros: Dar suporte às atividades de reconciliação financeira, rotinas de P&L e processos de fechamento global, garantindo consistência, precisão e rastreabilidade dos dados entre diferentes fontes.
• Processamento e Otimização de Dados: Processar grandes volumes de dados estruturados e semi-estruturados, otimizando transformações, formatos de armazenamento e desempenho de consultas usando as melhores práticas de Delta Lake e Lakehouse.
• Manutenção e Suporte de Pipelines: Monitorar, solucionar problemas e dar suporte aos pipelines existentes, identificando falhas, investigando discrepâncias e garantindo processamento confiável diário e mensal.
• Abordagens para melhorar o desempenho, a escalabilidade, a manutenibilidade e a qualidade dos dados em todo o ecossistema de dados financeiros.
• Colaboração com equipes multidisciplinares: Trabalhar de perto com engenheiros de dados, partes interessadas do negócio, equipes de finanças e equipes de tecnologia para entender as necessidades e entregar soluções de dados de alta qualidade.
• Governança e qualidade de dados: Apoiar a governança de dados, regras de validação, auditabilidade, documentação e controles para garantir dados financeiros confiáveis e bem gerenciados.
• Integração de IA: Apoiar iniciativas envolvendo modelos de IA e capacidades avançadas de dados, ajudando a integrar insights e automação baseados em IA nos fluxos de trabalho de dados.

Requisitos para este desafio:

• Experiência sólida com Databricks, incluindo notebooks, jobs, workflows, clusters e melhores práticas para construir soluções de dados escaláveis.
• Proficiência em processamento de dados usando PySpark, Python e SQL, com experiência prática em transformar dados brutos em conjuntos de dados confiáveis e bem organizados.
• Experiência com Delta Lake e arquitetura Lakehouse, incluindo tabelas Delta, processamento incremental, otimização de dados e camadas de dados estruturados.
• Conhecimento do ecossistema de dados do Azure, especialmente Azure Data Lake Storage, padrões de integração de dados e processamento de dados na nuvem.
• Experiência em suporte a pipelines de dados financeiros, de preferência envolvendo reconciliação, P&L, fechamento financeiro ou outros processos críticos de negócios.
• Experiência prática em manter e melhorar pipelines existentes, incluindo resolução de problemas, otimização de desempenho, documentação e suporte à produção.
• Capacidade de trabalhar com dados estruturados e semiestruturados, garantindo qualidade, rastreabilidade e preparação para análises e uso estratégico do negócio.
• Mentalidade de resolução de problemas, com a capacidade de investigar dados complexos, entender causas raiz e propor soluções práticas em ambientes de dados desafiadores. Interesse ou experiência com modelos de IA e capacidades avançadas de dados, apoiando a integração de soluções baseadas em IA nos fluxos de trabalho de dados.
• Espanhol para interação com equipes globais, discussões técnicas e documentação.

Diferenciais:

• Familiaridade com frameworks e metodologias de IA. Experiência com capacidades avançadas, como otimização do Delta Lake, Databricks Workflows e Databricks Apps ou Streamlit. Experiência com práticas de qualidade e observabilidade de dados, incluindo regras de validação, checagens de reconciliação, monitoramento, logs, alertas e métricas de execução de pipelines.