Como criar pipelines de dados em lote no Google Cloud

About this course

"Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em qualidade de dados, monitoramento e alertas, garantindo um pipeline confiável e excelência operacional. Recomendamos ter conhecimento básico de armazenamento em data warehouse, ETL/ELT, SQL, Python e conceitos do Google Cloud."

What you will learn

• Determinar se os pipelines de dados em lote são a escolha correta para seu caso de uso comercial.
• Projetar e criar pipelines de dados em lote escalonáveis para ingestões e transformações de alto volume.
• Implementar controles de qualidade nos pipelines em lote para garantir a integridade dos dados.
• Orquestrar, gerenciar e monitorar fluxos de trabalho de pipeline de dados em lote, implementando o tratamento de erros e a observabilidade.