Google Cloud でのバッチデータ パイプラインの構築

About this course

この中級コースでは、Google Cloud で堅牢なバッチデータ パイプラインを設計、構築、最適化する方法を学習します。基本的なデータ処理から一歩進んで、大規模なデータ変換と効率的なワークフロー オーケストレーションを確認します。この内容は、タイムリーなビジネス インテリジェンスと重要なレポートの作成に不可欠です。 実装に Apache Beam 用の Dataflow と Apache Spark 向け Serverless（Dataproc Serverless）を使用する実践的な演習を行い、パイプラインの信頼性の確保と効果的な運用を実現するために、データの品質、モニタリング、アラートに関する重要な考慮事項に対処します。データ ウェアハウジング、ETL / ELT、SQL、Python、Google Cloud のコンセプトに関する基本的な知識があることが推奨されます。

What you will learn

• ビジネス ユースケースにバッチデータ パイプラインが適しているかどうかを判断する。
• 大量の取り込みと変換に対応するスケーラブルなバッチデータ パイプラインを設計、構築する。
• データ パイプライン内でデータ品質管理を実装して、データの完全性を確保する。
• バッチデータ パイプライン ワークフローをオーケストレート、管理、モニタリングし、ロギングツールとモニタリング ツールを使用してエラー処理とオブザーバビリティを実装する。