GCP-PDE 학습 가이드: Data Engineer 문제 대부분을 가르는 다섯 가지 표현과 그 밑의 BigQuery
Professional Data Engineer 문제는 보통 모두 데이터를 옮길 수는 있는 파이프라인 네 개를 보기로 줍니다. 이들을 가르는 것은 지문 속 표현 하나입니다. "거의 실시간", "데이터를 잃으면 안 된다", "코드를 바꾸지 않고", "운영 부담 최소화", "숫자가 틀렸다" 같은 표현입니다. 표현마다 소수의 Google Cloud 기능을 가리키며, 이 연결 고리를 익히는 것이 공부의 대부분입니다. 이 가이드는 이 다섯 가지 표현을 중심으로 구성했고, 그 밑에 BigQuery를 깔았습니다. 시험 대부분의 밑바탕에 BigQuery가 있기 때문입니다.
학습 가이드 · Google Cloud Certified Professional Data Engineer (GCP-PDE)

시험 개요
2시간 동안 객관식 단일 선택과 복수 선택 문제를 40~50개 풉니다(이 사이트의 모의고사는 45개). Google은 합격 점수를 공개하지 않으니, 최신 정보는 공식 시험 페이지에서 확인하십시오. 섹션은 다섯 개이며, 시험 가이드에 나온 대략적인 비중은 Designing data processing systems(~22%), Ingesting and processing the data(~25%), Storing the data(~20%), Preparing and using data for analysis(~15%), Maintaining and automating data workloads(~18%)입니다.
BigQuery가 압도적입니다. 이 문제은행의 GCP-PDE 문제 225개 중 132개(59%)의 지문이나 보기에 BigQuery가 등장하며, Dataflow(43)와 Pub/Sub(27)를 크게 앞섭니다. 제품 하나만 깊이 공부한다면 BigQuery를 공부하십시오. 파티셔닝, 클러스터링, 슬롯과 에디션, 열과 행 단위 보안, 공유, BigQuery ML입니다.
표현 1: "거의 실시간"과 "늦게 도착하는 데이터"
Pub/Sub는 생산자와 소비자를 분리하고, Dataflow(Apache Beam)는 스트림을 처리합니다. 시험은 "Dataflow를 쓴다"에서 그치지 않고, 스트림을 어떻게 잘라 결과를 내는지까지 묻습니다.
- 윈도우(window)는 끝없는 스트림을 이벤트 시간 기준으로 묶습니다. 고정(fixed, tumbling), 슬라이딩(sliding, hopping), 세션(session) 윈도우가 있습니다.
- 워터마크(watermark)는 한 윈도우의 데이터가 모두 도착했다는 Dataflow의 추정입니다. 기본적으로 워터마크가 윈도우 끝을 지나면 그 윈도우의 결과가 출력되고, 그 뒤에 도착한 데이터는 버려집니다.
- 허용 지연(allowed lateness)과 늦은 데이터용 트리거(trigger)를 함께 쓰면 낙오 데이터를 위해 윈도우를 열어 두고 보정된 결과를 출력합니다. 허용 지연보다 더 늦은 데이터는 여전히 버려지며, 다운스트림 테이블은 이미 받은 윈도우의 업데이트를 받아들일 수 있어야 합니다.
더 깊이: 이벤트 시간, 처리 시간, 그리고 워터마크가 있는 이유
모바일 앱이 10:05에 주문을 기록했지만, 다시 연결된 뒤 10:40에 전달할 수 있습니다. 처리 시간(Dataflow가 데이터를 본 시점)으로 묶으면 이 주문은 엉뚱한 시간대에 들어갑니다. 이벤트 시간(실제로 일어난 시점)으로 묶으면 올바른 시간대에 들어가지만, 이번에는 파이프라인이 한 시간대가 언제 "끝났는지" 정해야 합니다. 10:05 주문이 아직 오는 중일 수 있기 때문입니다. 그 결정이 바로 워터마크입니다. 소스가 이벤트 시간이 어디까지 진행됐는지 추정하고, 워터마크가 윈도우 끝을 지나면 Dataflow가 그 윈도우를 출력합니다. 여기서 완전성과 지연 시간이 맞바뀝니다. 오래 기다리면 낙오 데이터를 더 많이 잡지만 모든 결과가 늦어집니다. 일찍 출력하고 늦은 트리거로 보정하면 답은 빠르지만 바뀔 수 있습니다. "주문이 최대 30분 늦게 도착하며 모든 주문을 집계해야 한다"는 문제는 더 큰 윈도우가 아니라 최소 30분의 허용 지연과 늦은 트리거를 원합니다.
표현 2: "데이터를 잃거나 중복되면 안 된다"
스트리밍 Dataflow 잡은 기본적으로 정확히 한 번(exactly-once) 처리됩니다. 최소 한 번(at-least-once) 모드는 데이터를 잃지 않지만 중복될 수 있고, 더 저렴하고 빠릅니다. 로그 파싱 같은 map 전용 작업이나 다운스트림에서 중복을 제거하는 파이프라인에 알맞습니다. 개수, 합계, 사기 탐지는 exactly-once를 유지합니다. 싱크(sink)도 같은 보장을 해야 합니다. BigQuery Storage Write API는 exactly-once 쓰기를 제공하지만, at-least-once 방식과 레거시 스트리밍 삽입(streaming inserts)은 중복될 수 있습니다.
Pub/Sub에서 계속 실패하는 메시지는 설정한 전송 시도 횟수(5~100)를 대략 채운 뒤에 dead-letter 토픽으로 갑니다. 단, Pub/Sub 서비스 계정이 토픽과 구독에 알맞은 역할을 갖고 있어야 합니다. 정확히 한 번 전송(exactly-once delivery)은 pull 구독에서만, 한 리전 안에서만 동작합니다. 그리고 스트리밍 잡이 들고 있는 데이터를 잃지 않고 멈추려면 drain하십시오. cancel은 즉시 멈추고 버퍼에 있는 데이터를 포기합니다.
표현 3: "코드를 바꾸지 않고"
이 표현은 기존 투자를 지키라는 뜻입니다. 기존 Spark나 Hadoop 잡이라면 Dataproc(현재 문서에는 Managed Service for Apache Spark로 표시)을 씁니다. 이상적으로는 잡마다 만들고 끝나면 삭제하는 임시 클러스터로 쓰고, 데이터는 HDFS가 아니라 Cloud Storage나 BigQuery에 둡니다. 기존 Airflow DAG라면 Cloud Composer(현재 이름은 Managed Service for Apache Airflow)입니다. 복사하는 동안에도 계속 운영해야 하는 데이터베이스라면, 짧은 전환(cutover)으로 마이그레이션할 때는 Database Migration Service, 소스가 기준 시스템(system of record)으로 남은 채 BigQuery로 지속적인 변경 데이터 캡처(CDC)를 할 때는 Datastream입니다. 대용량 파일 전송에 대역폭이 부족하다면 Transfer Appliance입니다.
표현 4: "운영 부담 최소화"
막는 조건이 없다면 관리형 또는 서버리스 보기가 이기고, 일을 해내는 가장 작은 도구가 큰 도구를 이깁니다. 오케스트레이터는 복잡도에 맞춰 고르십시오.
| 필요한 것 | 알맞은 가장 작은 도구 |
|---|---|
| 일정에 따라 실행하는 SQL 문 하나 | BigQuery 예약 쿼리(scheduled query) |
| 정해진 시각에 무언가를 시작, 단계 없음 | Cloud Scheduler |
| 재시도가 필요한 짧은 서비스·API 호출 체인 | Workflows |
| 의존 관계가 있는 BigQuery SQL 변환 | Dataform |
| 의존 관계가 많은 태스크, 센서, 백필, Python DAG | Cloud Composer(관리형 Apache Airflow) |
| 코드 없는 통합 | Cloud Data Fusion |
스토리지에도 같은 원칙이 적용됩니다. 제품 이름이 아니라 접근 패턴으로 고르십시오. 대규모 분석 스캔은 BigQuery, 처리량이 매우 높은 키 조회와 시계열은 Bigtable, 관계형 트랜잭션은 Cloud SQL이나 AlloyDB로 보내고, 쓰기를 수평 확장해야 하거나 리전 간 일관성을 유지해야 할 때만 Spanner로 보냅니다. 두 조건 모두 없는 평범한 리전 애플리케이션이라면 보통 Cloud SQL이나 AlloyDB가 더 알맞습니다.
표현 5: "숫자가 틀렸다" 또는 "쿼리가 너무 느리고 비싸다"
장애 범위가 복구 방법을 정합니다. 영역 장애는 고가용성으로, 리전 장애는 승격할 수 있는 리전 간 복제본으로, 잘못된 데이터는 과거로 돌아가는 방법으로 처리합니다. BigQuery 시간 이동(time travel)이나 테이블 스냅샷, 데이터베이스의 특정 시점 복구, 멱등성 있는 싱크로 스트림을 다시 재생하는 Pub/Sub seek입니다. 복제본은 잘못된 데이터까지 복사하므로 도움이 되지 않습니다.
BigQuery의 비용과 속도를 위해서는 사람들이 필터로 쓰는 열로 파티셔닝하고(데이터가 늦게 도착한다면 수집 시간이 아니라 이벤트 날짜인 경우가 많음), 다른 자주 쓰는 필터로 클러스터링하고, 누군가 실수로 테이블 전체를 스캔하지 않도록 require partition filter를 설정하십시오. 파티션 만료는 오래된 파티션만 지우고 테이블은 남깁니다. 테이블 만료는 테이블을 삭제합니다. 대시보드에서는 구체화된 뷰가 반복되는 예측 가능한 쿼리의 결과를 미리 계산해 두고, BI Engine은 가장 자주 쓰는 데이터를 메모리에 캐시합니다.
초보자 팁: BigQuery 공개 샘플 테이블 하나를 내 데이터셋에 두 번 복사하십시오. 한 번은 그대로, 한 번은 날짜 열로 파티셔닝하고 두 번째 열로 클러스터링합니다. 날짜 필터가 있는 같은 쿼리를 두 테이블에 작성하고, 실행하기 전에 편집기에 나오는 "This query will process ..." 추정치를 읽으십시오. 파티션 프루닝(pruning)은 이 추정치에 나타나지만 클러스터링은 나타나지 않습니다. 클러스터링된 쿼리가 건너뛰는 블록은 실행할 때만 알 수 있기 때문이므로, 실행 후 청구된 바이트도 비교하십시오. 마지막으로 파티셔닝한 복사본에 "require partition filter"를 설정하고 날짜 필터 없이 쿼리를 실행해 보십시오. BigQuery가 거부합니다. 이렇게 10분만 해 보면 스토리지와 비용 문제가 구체적으로 다가옵니다.
Dataflow 윈도우, 워터마크, 허용 지연
exactly-once Dataflow와 Storage Write API
Dataproc, Cloud Composer, DMS 또는 Datastream
과거로 돌아가기: 시간 이동, 스냅샷, PITR
파티셔닝, 클러스터링, require partition filter
운영 부담 최소화: 일을 해내는 가장 작은 관리형 도구
학습 순서
- BigQuery 심화: 스토리지 설계, 파티셔닝과 클러스터링, 보안, 공유, 슬롯과 에디션.
- 스트리밍: Pub/Sub 전송 기능, Dataflow 윈도우, 워터마크, 트리거, drain과 update.
- 배치와 마이그레이션: Dataproc, Data Fusion, Database Migration Service, Datastream, 전송 서비스.
- 기타 저장소(Bigtable 행 키, Spanner, Cloud SQL, Firestore, Memorystore), Dataplex(현재 이름은 Knowledge Catalog)를 이용한 거버넌스, 오케스트레이션.
- 운영: 모니터링, 장애와 복구, 그다음 혼합 문제 세트.
연습하기
문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.
- GCP-PDE 시험 안내 · GCP-PDE 문제 전체 285개 · 시간 제한 모의고사 · 22일 학습 계획
- 도메인별: Designing data processing systems · Ingesting and processing the data · Storing the data · Preparing and using data for analysis · Maintaining and automating data workloads
섹션 비중은 Google의 Professional Data Engineer 시험 가이드에 나온 기준입니다. 여러 데이터 제품의 이름이 바뀌는 중이므로, 사용되는 이름은 최신 공식 시험 페이지와 문서에서 확인하십시오.