mazzatech
Responsabilidades e atribuições
Estamos à procura de um(a) Engenheiro de Dados PL:
Desenvolver, implementar e manter soluções de engenharia de dados eficientes e escaláveis, que suportem a operação e a tomada de decisão baseada em dados. Este profissional será responsável por garantir a integração, organização e qualidade dos dados, contribuindo para a evolução da infraestrutura e processos da área.
O que você vai fazer:
- Manter e otimizar pipelines de ETL/ELT com Airflow e DBT, garantindo integração eficiente e transformação de dados em plataformas de médio porte;
- Implementar e evoluir arquiteturas de dados, incluindo Data Lake, para armazenar dados estruturados e não estruturados de forma escalável e acessível;
- Definir e otimizar fluxos de dados, assegurando eficiência, escalabilidade e alinhamento estratégico com o negócio;
- Utilizar AWS para construir soluções de dados escaláveis e altamente disponíveis, garantindo segurança e performance;
- Automatizar processos de infraestrutura com CI/CD e práticas de DevOps, reduzindo esforço manual e melhorando eficiência operacional;
- Monitorar e garantir a qualidade e integridade dos dados, assegurando conformidade com padrões organizacionais e regulatórios (LGPD/GDPR);
- Implementar políticas de governança de dados, padronizando e otimizando fluxos para garantir consistência e rastreabilidade.
Requisitos e qualificações
Para este desafio é necessário:
- Graduação completa em Ciência da Computação, Engenharia de Computação, Sistemas de Informação, Banco de Dados ou áreas correlatas;
- Experiência em desenvolvimento de pipelines de ETL/ELT com ferramentas como Apache Airflow;
- Familiaridade com arquiteturas de dados como Data Lake;
- Experiência com DBT;
- Habilidade em linguagens como Python e SQL para manipulação e automação de dados;
- Noções de orquestração de dados e automação utilizando serviços de nuvem (AWS);
- Experiência em ferramentas de CI/CD e práticas de versionamento de código com Git;
- Certificações em nuvem (AWS Certified Data Analytics).
Diferenciais para o cargo:
- Experiência com ferramentas de monitoramento e qualidade de dados.