cert-bank

가이드

Read this guide in English

DBX-DEA 학습 가이드: "두 번째 실행에서는 무슨 일이 일어나는가?"만 물어도 시험의 절반이 풀립니다

Databricks Data Engineer Associate 문제 중 상당수는 한 번은 이미 잘 동작하는 무언가(파일 적재, 정제 단계, 작업, 배포, 권한 부여)를 설명하고, 실제로는 다음번에 무슨 일이 일어나는지 묻습니다. 적재가 같은 파일을 또 가져오는가? 복구한 태스크가 행을 두 번 추가하는가? 두 번째 배포가 수동으로 고친 내용을 덮어쓰는가? 이 가이드는 "두 번째 실행에서는 무슨 일이 일어나는가?"라는 질문 하나를 시험 전체를 꿰는 실로 삼습니다. 정답들이 공통으로 담고 있는 사고방식이 바로 이것이기 때문입니다.

학습 가이드 · Databricks Certified Data Engineer Associate (DBX-DEA)

DBX-DEA 학습 가이드: "두 번째 실행에서는 무슨 일이 일어나는가?"만 물어도 시험의 절반이 풀립니다

숫자로 보는 시험

90분 동안 채점 대상 45문항(채점하지 않는 문항이 최대 10개 더 나올 수 있음)을 풉니다. Databricks는 합격 점수를 공개하지 않으므로, 최신 내용은 공식 시험 페이지에서 확인하고 기준선보다 훨씬 높은 점수를 목표로 하십시오. 섹션은 일곱 개이며 비중은 다음과 같습니다.

섹션비중
Data Transformation and Modeling(데이터 변환 및 모델링)22%
Data Ingestion and Loading(데이터 수집 및 적재)21%
Working with Lakeflow Jobs(Lakeflow Jobs 활용)16%
Governance and Security(거버넌스 및 보안)15%
Implementing CI/CD(CI/CD 구현)10%
Troubleshooting, Monitoring, and Optimization(문제 해결, 모니터링 및 최적화)10%
Databricks Intelligence Platform(Databricks 인텔리전스 플랫폼)6%

수집과 변환을 합치면 시험의 43%입니다. 저희가 이 문제은행을 위해 만든 DBX-DEA 문제 225개 중 절반이 넘는 문제(56%)가 지문이나 보기에 코드나 SQL을 보여 주며, 가장 자주 언급되는 서비스는 Unity Catalog(45문항)입니다.

파일 적재의 두 번째 실행

파일을 적재하는 도구는 세 가지이며, 각 도구는 이미 한 일을 서로 다른 곳에 기억합니다.

  • COPY INTO는 어떤 파일을 대상 테이블에 적재했는지 기록하는 SQL 명령입니다. 다시 실행하면 그 파일들을 건너뜁니다. 그래서 타임아웃 뒤에 다시 실행해도 안전하며, 빠진 파일만 적재됩니다. 함정이 있습니다. 추적은 내용이 아니라 파일 이름 기준입니다. 같은 이름으로 그 자리에서 다시 쓴 파일은 건너뛰며, 다시 적재하려면 force 복사 옵션이 필요합니다(선택된 모든 파일에 적용되므로, 선택 범위를 좁히고 기존 행을 먼저 지우십시오).
  • Auto Loader(cloudFiles)는 발견한 파일 목록을 체크포인트(checkpoint)에 보관합니다. 체크포인트를 삭제하거나 스트림을 새 체크포인트로 지정하면 다음 실행은 처음부터 시작합니다. 과거의 모든 파일이 다시 적재되고 대상 테이블에 중복이 생깁니다. 두 스트림이 한 테이블에 쓰더라도 스트림마다 자체 체크포인트가 필요합니다.
  • 일반 배치 읽기(spark.read)는 아무것도 기억하지 않습니다. 계속 커지는 폴더라면 매번 전부 읽습니다.

스트림이 계속 실행될지는 트리거가 정합니다. trigger(availableNow=True)는 새로 들어온 것을 모두 처리하고 멈춥니다. 지문에 "매시간, 새 파일만, 적재 사이에는 클러스터를 띄워 두지 않음"이라고 나오면 이것이 정답입니다. processingTime 트리거는 분 단위의 최신성을 위해 쿼리를 계속 살려 둡니다.

초보자 팁: 무료 워크스페이스에서 작은 CSV 파일 두 개를 볼륨에 넣고, 빈 Delta 테이블로 COPY INTO를 실행한 뒤 똑같은 문장을 다시 실행해 행 수를 확인해 보십시오. 세 번째 파일을 추가하고 한 번 더 실행합니다. 그다음 availableNow를 쓰는 Auto Loader 스트림으로 같은 과정을 반복하고, 마지막으로 체크포인트 폴더를 지운 뒤 다시 실행해 보십시오. 10분만 투자하면 "중복이 적재될까?"라는 유형의 문제들이 직접 지켜본 일이 됩니다.

변환의 두 번째 실행

정제 단계는 실행할 때마다 같은 결과를 낼 때만 올바릅니다. 반복해서 나오는 함정은 세 가지입니다.

  • 결정적이지 않은 중복 제거. dropDuplicates(["customer_id"])는 Spark가 먼저 만난 행을 남기는데, 셔플이 일어나면 그 순서가 실행마다 바뀔 수 있습니다. 키마다 가장 최근 행을 남기려면 윈도 함수로 순위를 매기십시오: QUALIFY row_number() OVER (PARTITION BY customer_id ORDER BY updated_at DESC) = 1.
  • 병합 대신 추가. INSERT INTO를 두 번 실행하면 행이 두 배가 됩니다. MERGE INTO ... ON key, 파티션 단위의 INSERT OVERWRITE, replaceWhere는 몇 번을 실행해도 같은 최종 상태에 도달합니다.
  • 지저분한 데이터에 엄격한 형 변환. CAST는 잘못된 값 하나에 쿼리 전체가 실패하고, try_cast는 NULL을 반환합니다. 어느 쪽이 맞는지는 잘못된 데이터가 파이프라인을 멈춰야 하는지에 달려 있습니다. 행이 조용히 사라지면 안 된다면, 기대하는 정답은 필터가 아니라 사유 열을 둔 격리(quarantine) 테이블입니다.

스트리밍 테이블은 입력 행을 한 번씩만 처리하므로, 조인한 차원 테이블이 나중에 바뀌어도 이미 기록된 행에는 반영되지 않습니다. 구체화된 뷰(materialized view)는 바뀐 부분을 다시 계산하므로 마지막 새로 고침 시점 기준으로 정확합니다. 리포트가 작년 주문에 오늘의 고객 세그먼트를 보여 줘야 한다면 구체화된 뷰가 필요합니다. Lakeflow Spark Declarative Pipelines 안에서는 expectations가 잘못된 행의 처리를 정합니다. 경고(기본값), 삭제, 업데이트 실패 중 하나입니다.

더 깊이: Delta 쓰기가 전부 아니면 전무인 이유

Delta 테이블은 일반 Parquet 파일이 담긴 폴더와 _delta_log에 있는 트랜잭션 로그로 이루어집니다. 읽는 쪽은 데이터 파일 목록을 직접 조회하지 않습니다. "이 파일 추가", "저 파일 제거"라고 적힌 커밋의 순서 목록인 로그에서 테이블을 재구성합니다. 쓰는 쪽은 먼저 새 Parquet 파일을 쓰는데, 이때는 아직 어떤 독자도 그 파일을 볼 수 없습니다. 그다음 로그에 커밋 하나를 추가하려고 시도합니다. 그 커밋이 성공해야만 파일이 테이블의 일부가 됩니다. 커밋 전에 작업이 죽으면 그 파일들은 나중에 VACUUM이 정리하는 고아 파일이 되고, 독자는 절반만 쓰인 결과를 결코 보지 못합니다. 그래서 실패한 쓰기는 이전 버전을 그대로 남기며, DESCRIBE HISTORY, 타임 트래블, RESTORE가 애초에 동작할 수 있는 것입니다. 각 버전은 로그 위의 한 지점입니다.

작업의 두 번째 실행

Lakeflow Jobs(문제 은행에는 이전 이름인 Workflows도 함께 적혀 있습니다)에는 실패한 태스크를 다시 실행하는 방법이 두 가지 있으며, 어느 쪽도 코드를 반복 실행해도 안전하게 만들어 주지는 않습니다.

기능다시 실행하는 대상시험의 단서
재시도 정책(Retry policy)실행 중에 실패한 태스크를 자동으로 다시 실행합니다. 대부분의 설정에서 기본값은 재시도 없음입니다. 타임아웃은 시도마다 따로 적용됩니다."일시적인 네트워크 오류", "소스를 잠시 사용할 수 없음".
복구 실행(Repair run)끝난 실행에서 성공하지 못한 태스크와 그에 의존하는 태스크를 현재 설정으로 다시 실행합니다."성공한 태스크는 다시 실행하지 않고."
Run if재실행이 아닙니다. 의존하는 태스크들의 결과(All succeeded, All done, At least one failed ...)에 따라 태스크를 실행할지 정합니다."단계가 실패하더라도 정리 태스크는 실행되어야 한다."

복구된 태스크는 첫 줄부터 다시 시작합니다. 실패하기 전에 백만 행을 추가했다면 복구 실행이 그 행을 또 추가합니다. 문제에서 "복구"와 중복이 함께 나오면, 해결책은 다른 작업 설정이 아니라 멱등(idempotent) 쓰기입니다.

두 번째 배포

Declarative Automation Bundles(현재 이름이며, 이전 이름은 Databricks Asset Bundles)는 작업과 파이프라인을 YAML로 기술하고, databricks bundle deploy -t prod로 대상(target)별로 배포합니다. 배포는 선언적입니다. 번들은 상태를 유지하므로 YAML에서 제거한 리소스는 다음 배포 때 워크스페이스에서도 제거되고, 워크스페이스에서 수동으로 고친 내용은 덮어쓰일 수 있습니다. 변수는 배포 시점에 결정되며, 명령줄의 --var가 환경 변수, 대상별 값, 기본값보다 우선합니다. 운영 환경에서는 서비스 주체(service principal)로 run_as를 지정하십시오. 그래야 배포한 엔지니어가 떠나도 작업이 깨지지 않습니다.

두 번째 사람이 액세스를 요청할 때

Unity Catalog의 액세스 권한은 더해지기만 하며 아래로 상속됩니다. 테이블을 읽으려면 USE CATALOG, USE SCHEMA, SELECT가 필요합니다. 카탈로그에 부여한 권한은 그 안의 현재 테이블과 앞으로 만들 테이블에 모두 적용됩니다. 전형적인 함정은 이것입니다. 액세스 권한이 카탈로그 수준의 부여에서 왔다면, 테이블 하나에서 SELECT를 회수해도 아무것도 바뀌지 않습니다. 권한을 부여한 곳에서 회수한 뒤, 더 좁은 수준에서 다시 부여하십시오. SQL DENY 문은 레거시 hive_metastore에만 적용되며 Unity Catalog에는 적용되지 않습니다. 값을 숨기려면 열 마스크(column mask)를, 행을 숨기려면 행 필터(row filter)를, 여러 테이블에 걸친 규칙에는 거버넌스 태그(governed tag) 기반의 ABAC 정책을 쓰십시오.

더 깊이: Spark UI에서 스큐를 읽는 방법

스테이지는 파티션마다 태스크 하나로 나뉘며, 가장 느린 태스크가 끝나야 스테이지가 끝납니다. 스테이지 페이지는 태스크 소요 시간을 최솟값, 25번째 백분위수, 중앙값, 75번째 백분위수, 최댓값으로 보여 줍니다. Databricks가 제시하는 경험칙은 이렇습니다. 최댓값이 75번째 백분위수보다 약 50% 이상 크면 그 스테이지에는 스큐(skew)가 있을 가능성이 큽니다. 즉, 소수의 키 값에 행 대부분이 몰려 있어 소수의 태스크가 일의 대부분을 떠맡고 있다는 뜻입니다. 기본으로 켜져 있는 적응형 쿼리 실행(AQE)은 스큐가 있는 조인 파티션을 나눌 수 있습니다. 스필(spill) 통계는 스테이지가 스필했을 때만 스테이지 페이지에 나타나므로, 보이지 않는다면 스필이 없었다는 뜻입니다. 이 섹션의 문제 해결 문제는 보통 이런 수치 중 하나를 주고 그 의미를 묻습니다.

두 번째 실행에서는 무슨 일이 일어나는가: DBX-DEA를 꿰는 실
1
파일 적재
COPY INTO는 이미 적재한 파일을 건너뛰고, Auto Loader는 체크포인트에 기억함
2
변환
INSERT INTO를 두 번 실행하면 행이 두 배, MERGE INTO나 replaceWhere는 같은 최종 상태에 도달
3
작업
복구 실행은 실패한 태스크를 첫 줄부터 다시 시작하므로 쓰기가 멱등이어야 함
4
배포
번들은 상태를 유지함: 제거한 리소스는 사라지고, 워크스페이스의 수동 수정은 덮어쓰일 수 있음
5
액세스
Unity Catalog 권한은 아래로 상속됨: 권한을 부여한 곳에서 회수
각 카드는 이 가이드의 한 섹션이며, 그곳에서 두 번째 실행이 하는 일과 시험이 기대하는 정답을 담고 있습니다.

학습 순서

  1. 수집: COPY INTO, Auto Loader(체크포인트, 스키마 진화, _rescued_data 열), 트리거, 데이터베이스와 SaaS를 위한 Lakeflow Connect.
  2. 변환: 형 변환, NULL 처리, 조인, 중복 제거, 스트리밍 테이블과 구체화된 뷰 비교, expectations.
  3. Lakeflow Jobs: 재시도, 복구, Run if, 트리거.
  4. 거버넌스: 권한 계층, 관리형 테이블과 외부 테이블 비교, 마스크와 필터.
  5. 번들, Spark UI, 그다음 시간을 재며 혼합 세트.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

섹션별 비중은 Databricks의 Data Engineer Associate 시험 가이드를 따랐습니다. Databricks는 제품 이름을 자주 바꿉니다(Workflows는 Lakeflow Jobs로, Delta Live Tables는 Lakeflow Spark Declarative Pipelines로 바뀌었습니다). 최신 시험 가이드와 문서를 확인하십시오.