Créer des pipelines de données en batch sur Google Cloud

About this course

Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques. Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.

What you will learn

• Déterminer si les pipelines de données en batch constituent le choix approprié pour votre cas d'utilisation
• Concevoir et créer des pipelines de données en batch évolutifs pour l'ingestion et la transformation de volumes importants de données
• Implémenter des contrôles de qualité des données dans les pipelines en batch pour assurer l'intégrité des données
• Orchestrer, gérer et surveiller les workflows de pipeline de données en batch, en implémentant la gestion des exceptions et l'observabilité