Data Engineer Sênior

Estamos procurando um Data Engineer Sênior para fazer parte de nossa equipe de Tecnologia, no time de Business Intelligence. Nessa posição, você irá reportar e alinhar suas atividades e entregas ao líder dessa área.

Este profissional será responsável pela estruturação e otimização da arquitetura de dados, atuando no processamento e orquestração de grandes volumes de dados para atender às necessidades analíticas e operacionais da empresa. Nosso ambiente é colaborativo e inovador, oferecendo oportunidades de crescimento profissional, aprendizado contínuo e a possibilidade de trabalhar com tecnologias de ponta que impulsionam a eficiência e criam soluções de impacto para nossos clientes.

Seus desafios são inúmeros, entre eles:

• Diagnosticar, estruturar e otimizar a arquitetura de dados da empresa, garantindo eficiência e escalabilidade no processamento de informações.
• Implementar pipelines de dados eficientes e escaláveis utilizando Glue, Spark e outras tecnologias para processar grandes volumes de dados.
• Migrar e traduzir scripts Python para PySpark, garantindo compatibilidade com a arquitetura de processamento distribuído.
• Trabalhar com cientistas de dados para facilitar o acesso a dados e aprimorar o desempenho de processamento.
• Criar e gerenciar ambientes centralizados para desenvolvimento e produção, melhorando a colaboração e a confiabilidade das soluções.
• Validar e otimizar o consumo de DPU em processos de ETL, reduzindo custos e melhorando a eficiência.
• Explorar e recomendar soluções gerenciadas, como AWS EMR, para aumentar a performance e escalabilidade dos processos analíticos.
• Definir boas práticas para versionamento, monitoramento e governança de dados dentro do time de BI.
• Apoiar na criação de soluções que permitam o melhor uso de ferramentas como Google Colab e Google Cloud Platform (GCP), mitigando desafios de integração e processamento.



Lembrando: atuamos com squads e times multidisciplinares, e a tendência é que você execute também outras tarefas além dessas, dependendo do momento de cada projeto e de cada desafio!

🛠️ O que é essencial você trazer?

• Experiência sólida em engenharia de dados, com foco em arquitetura escalável e processamento de grandes volumes de dados.
• Experiência em AWS Glue, Spark e PySpark para processamento distribuído.
• Experiência na construção e manutenção de pipelines de dados em ambientes cloud (AWS, GCP ou Azure).
• Conhecimento em ferramentas de automação e integração contínua (Jenkins, GitLab CI/CD).
• Conhecimento em bancos de dados SQL e NoSQL, otimizando consultas e estruturação de dados.
• Experiência com versionamento de código e boas práticas de desenvolvimento (Git, GitFlow).
• Experiência em análise e otimização de custos de processamento e armazenamento na nuvem

🥇 Será um diferencial se você também trouxer…

• Experiência com AWS EMR para processamento escalável de big data.
• Experiência com plataformas gerenciadas de dados, como Databricks, Snowflake, Delta Lake e afins.
• Experiência em Kubernetes e Docker para deploy de ambientes de processamento de dados.
• Conhecimentos e visão de aplicação de ferramentas como Starburst, DuckDB, dbt, SuperSet e outros.
• Familiaridade com ferramentas de observabilidade e monitoramento (CloudWatch, Prometheus, Grafana, Site24x7).
• Certificações AWS Data Analytics, Big Data ou relacionadas. Se você está em busca de desafios que alinham inovação tecnológica, impacto real e um ambiente de trabalho dinâmico, venha fazer parte do nosso time!

No Dress Code;

Horários flexíveis;

Plano de Saúde e Odontológico;

Convênio Farmácia;

Desconto para aquisição de produtos no market4u;

Auxílio Academia e TotalPass (Swile);

Trilha de Carreira e Feedbacks;

Auxílio Educação;

Auxílio Idiomas;

Seguro de Vida;

Refeitório;

Vale transporte;

Desconto em estacionamentos;

Ações de engajamento;

e muito mais!

O market4u nasceu com um grande propósito: levar mais comodidade para as pessoas por meio da tecnologia e da confiança mútua. Essa mesma filosofia guia o nosso dia a dia e impulsiona nosso time a fazer história nessa grande missão de revolucionar o varejo.

Com mais de 2 mil unidades espalhadas por todas as regiões do Brasil, somos hoje a maior rede deste segmento na América Latina e estamos em pleno crescimento para nos tornarmos a maior franqueadora do país. Mas para continuar crescendo, precisamos de pessoas como você, que compartilhem dessa paixão por inovação e estejam prontas para construir essa história ao nosso lado.