Digisystem

Desenvolver pipeline ingestão de dados dos sistemas origem para as camadas de entrada no data lake (raw/trusted);

Desenvolver pipeline de transformação do dado para atender às necessidades de negócio;

Desenvolvimento de pipelines em batch e streaming (NRT);

Automatizar pipeline para execução automática de acordo com os requisitos de negócio;

Criação de controles para reexecução/retomada do pipeline em casos de erro;

;

Conhecimentos necessários:

–> Bancos de dados transacional (Oracle, Sybase, SQL Server, MySQL);

–> Bancos de dados analítico (GCP Big Query);

–> DBT

–> Integração de dados/sistemas;

–> GCP Dataflow (Apache Beam);

–> GCP Composer (Apache Airflow);

–> Conhecimento em Cloud GCP;

–> Armazenamento de dados (Google Cloud Storage); ;