V8.Tech
Descrição
Estamos em busca de uma pessoa dedicada e com vontade de fazer a diferença para atuar na área de DataOps SR. Se você ama tecnologia, gosta de desafios e acredita no poder da colaboração para alcançar grandes resultados, essa oportunidade é para você!
Responsabilidades e atribuições
* Orquestrar e otimizar pipelines de ingestão de dados, garantindo alta disponibilidade e confiabilidade dos dados.
* Definir padrões e melhores práticas para governança e automação das esteiras de dados.
* Criar e otimizar processos de ETL/ELT para organização das camadas do Lakehouse, garantindo dados bem estruturados e rastreáveis.
* Assegurar integração eficiente entre OLTP, Data Lake, Data Marts e relatórios analíticos.
* Trabalhar lado a lado com as equipes de dados, garantindo coerência entre as camadas e otimização dos processos.
* Desenvolver e manter automação para controle de versão e deploy de dados, garantindo rastreabilidade e versionamento adequado dos pipelines.
* Garantir observabilidade e qualidade dos dados, implementando monitoramento e alertas para detecção de falhas e anomalias.
* Criar padrões para exposição de dados via APIs, tópicos corporativos e Data Marts, garantindo acesso estruturado para múltiplos consumidores.
* Apoiar o time cliente na implementação das esteiras de dados, garantindo materialização eficiente e alinhada aos padrões arquiteturais.
* Garantir segurança e conformidade dos dados, implementando controles de acesso, criptografia e auditoria.
Requisitos e qualificações
Obrigatórios:
* Ingestão de Dados: Oracle CDC, Oracle GoldenGate, Change Data Capture (CDC)
* Arquitetura de Dados: Lakehouse, Data Vault, Data Mesh, Data Marts
* Pipelines de ETL/ELT: Apache Airflow, Azure Data Factory, Databricks Pipelines
* Armazenamento e Processamento de Dados: Azure Synapse, Delta Lake, Snowflake, Parquet
* Modelagem e Transformação: SQL avançado, Apache Spark
* Governança e Qualidade de Dados: Data Catalog, Data Lineage, Master Data Management (MDM), Data Observability
* CI/CD para Dados: Liquibase para versionamento de schema, Terraform para infraestrutura como código
* Mensageria e Integração: RabbitMQ, Kafka para stream processing
* Monitoramento e Observabilidade: Azure Monitor, Elastic Stack/Datadog, OpenTelemetry
Diferenciais:
* Experiência com DataOps e automação de fluxos de dados.
* Conhecimento avançado em segurança de dados e LGPD/GDPR compliance.
* Experiência com técnicas avançadas de particionamento, caching e otimização de queries.
* Vivência em ambientes multicloud (Azure e OCI).
* Conhecimento de Machine Learning e pipelines para Data Science.