cert-bank

가이드

Read this guide in English

DEA-C01 학습 가이드: 데이터 파이프라인을 따라가며 단계마다 하나씩 결정하기

AWS Certified Data Engineer – Associate(DEA-C01) 시험은 파이프라인 검토를 연달아 하는 것처럼 읽힙니다. 데이터가 어딘가에 도착하고, 변환되고, 저장되고, 쿼리되고, 모니터링되고, 보호됩니다. 문제는 단계마다 어떤 AWS 서비스나 설정이 알맞은지 묻습니다. 가장 좋은 공부법은 이 경로를 그대로 따라가는 것입니다. 이 가이드는 파이프라인을 단계별로 짚으며, 각 단계에서 내려야 할 결정과 점수를 잃게 만드는 실수를 정리합니다.

학습 가이드 · AWS Certified Data Engineer – Associate (DEA-C01)

DEA-C01 학습 가이드: 데이터 파이프라인을 따라가며 단계마다 하나씩 결정하기

시험 개요

130분 동안 65문항(채점 50문항, 비채점 15문항)을 풀며, 합격 점수는 1,000점 중 720점입니다. 도메인은 Data Ingestion and Transformation(데이터 수집 및 변환, 34%), Data Store Management(데이터 저장소 관리, 26%), Data Operations and Support(데이터 운영 및 지원, 22%), Data Security and Governance(데이터 보안 및 거버넌스, 18%)입니다.

저희가 이 사이트를 위해 만든 DEA-C01 문제 395개에서는 네 가지 서비스가 압도적입니다. Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena 순입니다. 이 넷을 합치면 절반이 넘는 문제(57%)에 등장합니다. EMR, Kinesis, Lake Formation, Step Functions로 범위를 넓히기 전에 이 네 서비스를 깊이 익히십시오.

하나의 파이프라인으로 보는 DEA-C01: 단계별로 내려야 할 결정
1
데이터 수집
배치 또는 스트리밍: 이벤트와 함께 쓰는 S3, DMS, Kinesis 또는 MSK, Firehose, AppFlow
2
변환
Glue, EMR, Lambda, Redshift SQL 또는 DataBrew, 오케스트레이션은 Step Functions, MWAA 또는 EventBridge
3
저장
압축하고 파티셔닝한 Parquet 형식의 S3 데이터 레이크, 웨어하우스는 Redshift, 키-값은 DynamoDB
4
운영과 문제 해결
CloudWatch, Glue Data Quality, 재실행, 작은 파일, 스큐, 빠진 파티션 필터를 확인
5
보호
SSE-S3 또는 SSE-KMS, IAM, 열과 행 단위의 Lake Formation, Macie, CloudTrail
카드를 순서대로 읽으십시오. 각 카드는 이 가이드의 한 단계이며, 그 단계의 문제가 고르는 서비스를 담고 있습니다.

1단계: 데이터 수집

결정할 것은 배치인지 스트리밍인지, 그리고 코드를 얼마나 직접 관리할 것인지입니다.

  • 일정에 따라 떨어지는 파일 → S3. 처리를 시작하는 이벤트(S3 Event Notifications 또는 EventBridge)와 함께 쓰는 경우가 많습니다.
  • 데이터베이스 → 마이그레이션과 변경 데이터 캡처(CDC)에는 AWS DMS, 지원되는 경우 Redshift로의 zero-ETL 통합.
  • 연속 이벤트 → 여러 소비자가 스트림을 읽어야 하면 Kinesis Data Streams나 Amazon MSK, 할 일이 "S3나 Redshift로 전달"뿐이면 Amazon Data Firehose. (단서는 저희의 Kinesis versus MSK comparison에서 다룹니다.)
  • SaaS 소스 → Amazon AppFlow.

2단계: 변환

엔진이럴 때 선택
AWS Glue(Spark 작업)Data Catalog와 함께 쓰는 대규모 서버리스 ETL. 작업 북마크(job bookmark)로 새 데이터만 처리합니다.
Amazon EMR클러스터를 직접 제어하거나 Spark 외의 오픈 소스 도구(Hive, Presto, HBase)가 필요할 때, 또는 매우 큰 워크로드가 꾸준히 돌 때.
AWS Lambda파일이나 이벤트 단위의 작고 빠른 변환(15분이 지나면 중단됩니다).
Amazon Redshift(SQL)데이터가 이미 웨어하우스에 있을 때: SQL과 저장 프로시저로 그 안에서 변환합니다(ELT).
AWS Glue DataBrew분석가가 코드를 쓰지 않고 시각적으로 데이터를 정제해야 할 때.

오케스트레이션은 별개의 결정입니다. 분기와 재시도가 있는 AWS 네이티브 워크플로에는 Step Functions, 팀이 이미 Airflow DAG를 작성하고 있다면 Amazon MWAA, Glue 작업과 크롤러로만 이루어진 파이프라인에는 Glue 워크플로, 이벤트 기반 또는 일정 기반 시작에는 EventBridge를 씁니다.

3단계: 저장

S3는 데이터 레이크이며, 여기서 결정할 것은 데이터 배치 방식입니다. 분석용 데이터는 열 기반 형식(Parquet 또는 ORC)으로 압축해 저장하고, 가장 자주 필터링하는 열(보통 날짜)로 파티셔닝하며, 효율적일 만큼 큰 파일로 만드십시오(파일마다 목록 조회와 요청 오버헤드가 붙습니다). 수천 개의 작은 파일은 Glue 작업과 Athena 쿼리가 느려지는 전형적인 원인입니다.

Redshift는 웨어하우스입니다. 프로비저닝된 클러스터 또는 Redshift Serverless, 적재에는 S3에서의 COPY, 적재하지 않고 S3 데이터를 쿼리하는 Redshift Spectrum, 반복되는 집계에는 구체화된 뷰(materialised view)를 씁니다. DynamoDB는 규모에 상관없는 키-값 접근과 파티션 키 설계 문제로 등장합니다.

더 깊이: Parquet와 파티션이 Athena 비용을 줄이는 이유

Athena는 쿼리마다 스캔한 데이터 양으로 요금을 매깁니다. 파티셔닝을 하면 Athena는 WHERE 절이 배제하는 S3 접두사(prefix)를 통째로 건너뜁니다(파티션 프로젝션을 쓰면 카탈로그에서 조회할 필요조차 없습니다). 그다음 Parquet가 남은 파일 안에서 읽는 양을 줄입니다. Parquet는 열을 따로따로 저장하므로, 열 40개 중 3개만 필요한 쿼리는 그 3개만 읽습니다. 또 행 블록마다 최솟값과 최댓값을 보관하므로, 필터에 맞을 수 없는 블록은 읽지 않고 건너뜁니다. 압축은 남은 양을 더 줄입니다. 같은 데이터에 같은 쿼리를 실행해도 압축하지 않은 CSV에서 스캔하는 바이트의 일부만 스캔할 수 있습니다. 그래서 "Parquet로 변환하고 날짜로 파티셔닝한다"가 "너무 느리다"와 "너무 비싸다" 두 문제 모두의 정답인 경우가 많습니다.

더 깊이: Redshift 분산 스타일과 스큐

Redshift는 각 테이블의 행을 컴퓨팅 노드의 슬라이스(slice)에 나누어 저장합니다. KEY 분산은 키 값이 같은 행을 같은 슬라이스에 두므로, 그 키로 조인할 때 데이터 이동이 필요 없습니다. 하지만 소수의 키 값에 행 대부분이 몰려 있으면 그 슬라이스들이 일의 대부분을 떠맡습니다(스큐, skew). EVEN은 행을 라운드 로빈으로 나누고, ALL은 작은 테이블을 모든 노드에 복사하며, AUTO는 Redshift가 선택하고 조정하게 합니다. 한 노드만 느리거나 조인이 데이터를 뒤섞는(shuffle) 상황이라면 해결책은 보통 분산 키이고, 날짜 범위 필터를 설명한다면 보통 정렬 키입니다.

4단계: 운영과 문제 해결

이 도메인은 배포 이후에 일어나는 일을 다룹니다. CloudWatch 메트릭과 경보를 통한 모니터링, 로깅, 데이터 품질 검사(AWS Glue Data Quality), 실패한 단계의 재실행, 튜닝입니다. 전형적인 지문은 이렇습니다. 작업 시간이 갑자기 두 배로 늘었다(작은 파일, 스큐, 빠진 파티션 필터를 확인), 크롤러가 잘못된 스키마를 만든다, 예약된 작업이 두 번 실행된다.

초보자 팁: 같은 작은 데이터 세트를 S3에 CSV로 한 번, Parquet로 한 번 올리고, 각각에 Athena 테이블을 만든 뒤 같은 쿼리를 실행해 보십시오. Athena는 쿼리마다 "스캔한 데이터(data scanned)"를 보여 줍니다. 차이를 직접 확인하면 스토리지와 비용에 관한 문제 한 무더기가 쉬워집니다.

5단계: 보호

저장 데이터 암호화(SSE-S3, SSE-KMS)와 전송 중 암호화, 누가 어떤 서비스를 호출할 수 있는지 정하는 IAM, 데이터 레이크의 데이터베이스·테이블·열·행 단위 세분화된 권한(태그 기반 액세스 포함)을 위한 AWS Lake Formation, S3에서 개인 정보를 찾는 Amazon Macie, 감사 추적을 위한 CloudTrail을 공부합니다. 흔한 함정은 열 단위 접근 요구 사항에 S3 버킷 정책으로 답하는 것입니다. 버킷 정책은 열이 아니라 객체 단위로 동작하며, 열 단위 통제는 Lake Formation의 역할입니다.

학습 순서

  1. S3 데이터 배치, Glue(Data Catalog, 크롤러, 작업, 북마크), Athena: 1주.
  2. Redshift: 적재, Spectrum, 분산 키와 정렬 키, 워크로드 관리: 1주.
  3. 스트리밍과 오케스트레이션: Kinesis, Firehose, MSK, Step Functions, MWAA, EventBridge.
  4. 운영, 그다음 보안과 거버넌스, 마지막으로 혼합 연습 세트.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

시험 정보는 AWS가 공개한 DEA-C01 시험 가이드를 따랐습니다. zero-ETL 통합 같은 서비스 기능은 자주 바뀌므로 최신 문서를 확인하십시오.