Engenheiro de Dados Pleno

Engenheiro(a) de Dados Pleno — Databricks

Modelo de trabalho: Remoto
Regime de contratação: CLT
Senioridade: Pleno

Sobre a oportunidade

Buscamos uma pessoa Engenheira de Dados Pleno para desenvolver e operar pipelines escaláveis na plataforma Databricks. Você atuará da ingestão à disponibilização dos dados para análises e produtos, contribuindo com decisões de arquitetura, qualidade, performance, segurança e confiabilidade.

Principais responsabilidades

• Construir e manter pipelines de ingestão e transformação para dados de APIs, bancos relacionais, arquivos e data lakes.
• Desenvolver soluções em Python, SQL e PySpark, com código organizado, reutilizável e testável.
• Modelar dados em Delta Lake, aplicando cargas incrementais, operações MERGE e boas práticas de manutenção.
• Implementar arquiteturas Medallion (Bronze, Silver e Gold) e regras de qualidade de dados.
• Orquestrar jobs e pipelines, configurar dependências, parâmetros, retentativas e alertas.
• Monitorar execuções, investigar falhas e diagnosticar problemas de qualidade e performance.
• Otimizar consultas, processamento, uso de clusters e custos, medindo os resultados das melhorias.
• Aplicar práticas de governança e segurança, incluindo controle de acesso e proteção de dados sensíveis.
• Colaborar em revisões de código, testes, versionamento e implantação entre ambientes.

Requisitos

• Experiência prática com Python, SQL avançado e PySpark.
• Experiência na construção e operação de pipelines de dados em Databricks.
• Conhecimento de Delta Lake, incluindo transações, evolução de schema, cargas incrementais e operações de atualização.
• Experiência com processamento batch; conhecimento de streaming é desejável.
• Conhecimento de arquitetura Medallion e de formatos como CSV, JSON e Parquet.
• Experiência com orquestração de jobs, monitoramento e tratamento de falhas.
• Familiaridade com Git, revisão de código e testes.
• Capacidade de investigar problemas, explicar decisões técnicas e atuar com autonomia.

Diferenciais

• Experiência com Auto Loader, Structured Streaming e pipelines declarativos.
• Conhecimento de Unity Catalog, linhagem, auditoria e permissões.
• Experiência com AWS, Azure ou Google Cloud.
• Prática com CI/CD, infraestrutura como código e Databricks Asset Bundles ou ferramentas equivalentes.
• Certificação Databricks Certified Data Engineer Associate.

🍛 Vale-alimentação ou vale-refeição;

👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas;

📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;

🗣 Mentoring;

💉 Clube de vantagens para consultas e exames;

🏥 Assistência médica;

🦷 Assistência odontológica;

💰 Clube de vantagens e descontos nos melhores estabelecimentos;

🛫 Clube de viagens;

🐶 Convênio para pets.

Na Stefanini, pensamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.

Ao se juntar à Stefanini, você se tornará parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!

Junte-se a nós e seja parte da mudança!