Dataflow를 사용한 서버리스 데이터 처리: 파이프라인 개발

About this course

Dataflow 과정 시리즈의 두 번째 편에서는 Beam SDK를 사용하여 파이프라인을 개발하는 방법을 자세히 살펴보겠습니다. 먼저 Apache Beam 개념에 대한 복습부터 시작하겠습니다. 다음으로 윈도우, 워터마크, 트리거를 사용하여 스트리밍 데이터를 처리하는 방법을 알아봅니다. 그런 다음 파이프라인의 소스 및 싱크 옵션, 정형 데이터를 표현하는 스키마, State 및 Timer API를 사용하여 스테이트풀(Stateful) 변환을 수행하는 방법을 다룹니다. 이제 파이프라인 성능을 극대화하는 데 도움이 되는 권장사항을 살펴보겠습니다. 과정의 마지막 부분에서는 Beam에서 비즈니스 로직을 표현하기 위한 SQL과 DataFrame을 소개하고 Beam 노트북을 사용하여 파이프라인을 반복적으로 개발하는 방법을 알아봅니다.

What you will learn

• Google Cloud의 데이터 엔지니어링 과정에서 다룬 주요 Apache Beam 개념 복습
• DE에서 다룬 핵심 스트리밍 개념(unbounded PCollection, 윈도우, 워터마크, 트리거) 복습
• Dataflow 파이프라인에 사용할 I/O 선택 및 조정
• 스키마를 사용하여 Beam 코드를 간소화하고 파이프라인 성능 개선