Senior Data Developer, Brasil.
### **Sobre a oportunidade**
A CI&T está conduzindo um programa de modernização de dados de alta complexidade para um dos maiores sistemas de saúde da América Latina.
O programa envolve o assessment, a racionalização e a migração de milhares de workloads de dados, incluindo pipelines ETL, packages SSIS, stored procedures, SQL Agent Jobs, integrações cross-system e processos PySpark/Sqoop, de uma stack legada baseada principalmente em SQL Server e SSIS para uma plataforma moderna construída sobre Databricks Lakehouse na Azure.
Buscamos uma pessoa Senior Data Engineer com experiência prática em engenharia de dados e modernização de ambientes legados. Essa pessoa atuará na análise, conversão, implementação e validação dos workloads, trabalhando em conjunto com lideranças técnicas, arquitetos e especialistas do cliente.
Além da experiência em dados, buscamos alguém que utilize coding agents, como Claude Code, Codex ou ferramentas equivalentes, de forma estruturada no dia a dia. Esperamos que essa pessoa saiba usar AI para investigar código, implementar conversões, gerar testes, diagnosticar falhas e produzir documentação, mantendo senso crítico e responsabilidade sobre a qualidade do resultado.
A pessoa também contribuirá para a evolução do harness de migração: o conjunto de instruções, contexto, ferramentas, automações, testes e quality gates que permite aos agentes executar atividades de engenharia com maior segurança e previsibilidade.
Esta é uma posição de engenharia de dados com forte atuação hands-on. Não é necessário possuir experiência em pesquisa, treinamento ou desenvolvimento de modelos de linguagem.
### **Missão da posição**
Implementar e validar a modernização dos workloads de dados, utilizando práticas sólidas de engenharia e ferramentas assistidas por AI para aumentar a produtividade, reduzir trabalho manual e preservar o comportamento dos processos legados.
### **Responsabilidades**
#### **Análise de workloads legados**
* Analisar workloads como packages SSIS, stored procedures, views, functions, SQL Agent Jobs, pipelines PySpark/Sqoop e scripts de integração.
* Identificar tabelas, arquivos, conexões, parâmetros, dependências e efeitos colaterais envolvidos em cada workload.
* Investigar regras de negócio e comportamentos implícitos ou pouco documentados.
* Apoiar a classificação dos workloads nas estratégias de migrar, converter, refatorar, substituir, eliminar ou postergar.
* Registrar riscos, dependências, limitações e dúvidas encontradas durante o assessment.
* Contribuir para o inventário técnico e o mapeamento de dependências do ambiente legado.
#### **Conversão e modernização**
* Implementar conversões de T-SQL para Databricks SQL, Spark SQL ou PySpark.
* Converter ou reconstruir fluxos SSIS utilizando notebooks, jobs, pipelines e workflows na plataforma-alvo.
* Modernizar SQL Agent Jobs e outros mecanismos de execução e agendamento conforme os padrões de orquestração definidos pelo programa.
* Aplicar padrões arquiteturais e de desenvolvimento estabelecidos pelas lideranças técnicas.
* Propor melhorias nos padrões quando identificar casos não contemplados, limitações ou oportunidades de simplificação.
* Tratar diferenças entre as plataformas relacionadas a tipos de dados, `NULL`, precisão decimal, datas, timezone, collation, ordenação, funções específicas e comportamento transacional.
* Preservar as regras de negócio e os resultados esperados, evitando reproduzir desnecessariamente limitações ou complexidades da solução legada.
* Participar de code reviews e apoiar outros integrantes do squad na investigação de problemas técnicos.
#### **Desenvolvimento assistido por AI**
* Utilizar coding agents, como Claude Code, Codex ou equivalentes, para análise de código, implementação, refatoração, geração de testes, troubleshooting e documentação.
* Fornecer aos agentes contexto técnico adequado, incluindo requisitos, padrões de conversão, arquitetura, exemplos e critérios de aceite.
* Revisar criticamente o código produzido por AI antes de aceitá-lo ou promovê-lo.
* Identificar problemas de correção, segurança, performance, manutenibilidade e equivalência semântica nos resultados gerados.
* Utilizar ciclos iterativos de geração, execução, coleta de erros, correção e validação.
* Registrar limitações, falhas recorrentes e aprendizados obtidos durante o uso das ferramentas.
* Transformar correções repetitivas em instruções, exemplos, regras, testes ou skills reutilizáveis pelo squad.
* Respeitar as políticas de segurança, privacidade e uso de ferramentas generativas definidas pela CI&T e pelo cliente.
#### **Contribuição para o harness de migração**
* Utilizar e contribuir para a estrutura de contexto, instruções, skills e ferramentas disponibilizada nos repositórios do programa.
* Criar ou aprimorar scripts, validadores e automações que apoiem o assessment, a conversão e a validação dos workloads.
* Integrar as atividades assistidas por AI com Git, pull requests, CI/CD e processos de revisão.
* Ajudar a tornar logs, erros, testes, metadados e documentação acessíveis aos agentes de desenvolvimento.
* Contribuir para ciclos automatizados de execução e feedback, permitindo que conversões sejam verificadas de forma repetível.
* Identificar atividades que podem ser automatizadas e situações que ainda exigem análise ou aprovação humana.
* Apoiar a evolução do tooling de migração com base nas dificuldades observadas nos workloads reais.
#### **Qualidade e reconciliação**
* Criar testes unitários, de integração e de regressão para pipelines e componentes convertidos.
* Executar validações de paridade entre workloads legados e modernizados.
* Comparar schemas, row counts, checksums, agregações, regras de negócio e resultados detalhados.
* Investigar divergências e identificar se sua origem está no código, nos dados, no ambiente ou na interpretação da regra de negócio.
* Criar dados e cenários de teste que cubram casos comuns e casos de borda.
* Contribuir para golden datasets, golden queries e outros artefatos utilizados na avaliação das conversões.
* Garantir que uma conversão não seja considerada concluída apenas porque o código compila ou executa.
* Produzir e registrar evidências de validação para os workloads migrados.
#### **Tooling e automação**
* Utilizar componentes do Lakebridge e outras ferramentas de análise, conversão e reconciliação adotadas pelo programa.
* Executar processos de inventário e análise sobre artefatos SQL, SSIS e demais tecnologias legadas.
* Avaliar os resultados produzidos por transpilers e conversores baseados em LLMs.
* Desenvolver automações e utilitários em Python para reduzir atividades manuais.
* Apoiar a integração entre ferramentas de assessment, metadata, lineage, conversão e validação.
* Contribuir com melhorias que possam ser reutilizadas em diferentes ondas da migração e em futuras iniciativas da CI&T.
* Registrar categorias de falha e apoiar a identificação de oportunidades para aumentar a taxa de automação.
#### **Integrações e complexidade legada**
* Investigar workloads com linked servers, integrações Oracle via OLE DB ou `OPENROWSET`, conexões SAP, `SendMailTask`, arquivos em file shares on-premises e outras dependências externas.
* Implementar as estratégias de migração definidas para cada categoria de integração.
* Trabalhar com os times de arquitetura, infraestrutura e segurança para solucionar dependências de rede, acesso e autenticação.
* Apoiar testes de coexistência, cutover, rollback e desativação dos componentes legados.
* Documentar exceções, restrições e dependências que possam impactar outros workloads.
#### **Segurança e governança**
* Seguir os controles definidos para o uso de ferramentas generativas em ambiente enterprise.
* Proteger credenciais, secrets, código proprietário, dados pessoais e informações sensíveis.
* Evitar o envio de dados ou artefatos para ferramentas, modelos ou endpoints não aprovados.
* Utilizar corretamente mecanismos de autenticação, autorização e segregação de ambientes.
* Manter rastreabilidade entre o artefato legado, o código convertido, as alterações realizadas e as evidências de validação.
* Aplicar as políticas de catálogo, acesso, lineage e governança estabelecidas para a plataforma.
#### **Colaboração e documentação**
* Trabalhar em parceria com Data Engineers, Tech Leads, arquitetos, especialistas do cliente e Databricks Professional Services.
* Participar de discussões técnicas, refinamentos, code reviews e sessões de troubleshooting.
* Comunicar riscos, bloqueios, dependências e alternativas de forma clara.
* Produzir e manter documentação técnica, incluindo mapeamentos, decisões, runbooks, evidências de teste e orientações operacionais.
* Compartilhar aprendizados e apoiar a evolução técnica dos demais integrantes do squad.
* Contribuir para que o conhecimento produzido durante a migração permaneça versionado, acessível e reutilizável.
### **Requisitos**
* Experiência sólida como Data Engineer ou Data Developer, preferencialmente em posição sênior.
* Experiência prática com desenvolvimento e manutenção de pipelines de dados.
* Conhecimento avançado de SQL e capacidade de compreender consultas e processos complexos.
* Experiência com SQL Server, incluindo T-SQL, stored procedures, views, functions, SQL Agent Jobs e integrações cross-database.
* Experiência prática com SSIS, incluindo leitura, desenvolvimento ou troubleshooting de packages `.dtsx`, control flows, data flows, parâmetros e connections.
* Experiência com Databricks ou com plataformas baseadas em Apache Spark.
* Conhecimento de Spark SQL, PySpark, notebooks, Delta Lake e execução de jobs.
* Experiência com Python para desenvolvimento de pipelines, scripts, automações ou testes.
* Familiaridade com Azure e serviços como ADLS Gen2, Azure SQL, Key Vault, identidades e networking.
* Experiência com Git, pull requests, revisão de código e práticas de CI/CD.
* Experiência com testes automatizados e validação de pipelines de dados.
* Experiência em projetos de migração, modernização ou sustentação de ambientes legados.
* Capacidade de investigar sistemas pouco documentados e trabalhar com ambiguidades.
* Experiência prática com coding agents, como Claude Code, Codex ou ferramentas equivalentes, em atividades reais de desenvolvimento.
* Capacidade de revisar e validar código gerado por AI sem depender da ferramenta para tomar a decisão técnica.
* Familiaridade com estratégias de fornecimento de contexto, instruções e feedback executável para agentes.
* Conhecimento de alguma solução de orquestração, como Apache Airflow, Databricks Workflows ou tecnologia equivalente.
* Boa comunicação e capacidade de colaborar com diferentes times técnicos.
* Português fluente e inglês suficiente para documentação e interação técnica.
### **Diferenciais**
* Experiência com ambientes que possuam centenas ou milhares de packages SSIS.
* Conhecimento de SSISDB, `.ispac` e Project Deployment Model.
* Experiência com Lakebridge, incluindo Analyzer, transpilers ou Reconcile.
* Experiência com conversores de SQL, static analysis, parsers ou transformação automatizada de código.
* Criação ou manutenção de instruções, skills, hooks, subagentes, MCP servers ou mecanismos equivalentes para coding agents.
* Experiência com APIs ou SDKs de modelos de linguagem, tool use ou structured outputs.
* Experiência criando evals ou conjuntos de casos de teste para código gerado por AI.
* Experiência com Oracle como source em ambientes SQL Server.
* Conhecimento de OLE DB, linked servers e `OPENROWSET`.
* Experiência com SAP, file shares on-premises, envio de e-mails ou outras integrações enterprise.
* Background com PySpark, Sqoop, Hadoop, Hive ou EMR.
* Experiência com Apache Airflow ou Databricks Workflows.
* Conhecimento de Unity Catalog, lineage e governança de dados.
* Conhecimento de Terraform, Databricks Asset Bundles ou Infrastructure as Code.
* Familiaridade com metadata management ou Knowledge Graphs.
* Experiência em saúde, serviços financeiros ou outros setores regulados.
* Conhecimento de LGPD e práticas de proteção de dados sensíveis.
### **O que esperamos dessa pessoa**
* Autonomia para conduzir a análise, implementação e validação de workloads de média e alta complexidade.
* Profundidade técnica para identificar riscos e questionar resultados inconsistentes.
* Postura hands-on e disposição para investigar código, dados, logs e ambientes.
* Uso responsável de AI como ferramenta de engenharia, sem abrir mão do julgamento técnico.
* Capacidade de aprender com falhas e transformar aprendizados em padrões reutilizáveis.
* Organização para documentar decisões, dependências e evidências de validação.
* Colaboração próxima com o squad e abertura para receber e oferecer feedback.
* Pragmatismo para equilibrar qualidade, prazo, risco e complexidade.
### **Indicadores de sucesso**
Esperamos que essa pessoa contribua para:
* Realizar análises confiáveis dos workloads sob sua responsabilidade.
* Entregar conversões aderentes aos padrões técnicos do programa.
* Produzir evidências suficientes de paridade entre os ambientes legado e modernizado.
* Identificar dependências e riscos antes que eles afetem o cutover.
* Reduzir o retrabalho por meio de testes, documentação e automações.
* Utilizar coding agents com produtividade, segurança e senso crítico.
* Transformar correções recorrentes em melhorias no harness e no tooling.
* Aumentar progressivamente a quantidade de workloads convertidos e validados pelo squad.
* Compartilhar conhecimento e contribuir para a evolução das práticas de modernização da CI&T.