cert-bank

가이드

Read this guide in English

DBX-DEP 학습 가이드: Professional 시험은 문제를 고치는 가장 작은 조치에 점수를 줍니다

Associate 수준의 Databricks 문제에는 보통 동작하는 답이 하나, 동작하지 않는 답이 셋 있습니다. Professional 수준에서는 두세 개의 보기가 동작하는 경우가 많고, 시험은 그중 가장 적게 하는 답을 원합니다. 다시 처리하는 데이터가 가장 적고, 부여하는 권한이 가장 적고, 고치는 코드가 가장 적고, 드는 컴퓨팅 비용이 가장 적은 답입니다. 동작하는 보기들을 범위가 얼마나 좁은지로 순위 매기는 능력, 이 가이드는 그 능력을 도메인별로 다룹니다.

학습 가이드 · Databricks Certified Data Engineer Professional (DBX-DEP)

DBX-DEP 학습 가이드: Professional 시험은 문제를 고치는 가장 작은 조치에 점수를 줍니다

시험 개요

120분 동안 채점 대상 객관식 60문항(채점하지 않는 문항이 더 있을 수 있음)을 풉니다. Databricks는 합격 점수를 공개하지 않으므로 공식 시험 페이지를 확인하세요. 2026년 10월 9일 자 시험 가이드는 섹션을 아홉 개로 나누지만, 시험 페이지에는 아직 섹션 열 개와 59문항의 예전 개요가 남아 있습니다. 이 문제은행은 더 최신인 가이드를 따릅니다.

섹션비중
Developing Code for Data Processing using Python and SQL23%
Cost & Performance Optimization15%
Data Ingestion & Acquisition · Data Manipulation각 12%
Monitoring and Alerting · Debugging and Deploying각 10%
Ensuring Data Security and Compliance8%
Data Governance · Data Modeling각 5%

문제은행을 보면 이 시험이 얼마나 실무 중심인지 알 수 있습니다. 이 문제은행의 DBX-DEP 문제 300개 중 약 88%(263개)는 지문이나 보기에 코드, SQL, 설정을 담고 있고, 약 절반(152개)이 트러블슈팅 문제입니다. 무언가가 느리거나, 틀리거나, 실패하거나, 너무 비싼 상황입니다. Databricks를 글로만 읽었다면 이 시험에서 바로 드러납니다.

가장 좁은 복구

무언가가 실패하면 보기들은 대개 "한 단계만 다시"부터 "전부 다시"까지 사다리를 이룹니다. Professional다운 답은 올바른 상태를 되찾는 가장 낮은 칸입니다.

상황좁은 해결책너무 넓은 답
작업(job)의 태스크 두 개가 실패했다복구 실행(repair run): 실패한 태스크와 그에 의존하는 태스크만, 현재 설정으로, 필요하면 파라미터를 재정의해 실행합니다.작업 전체를 다시 실행한다.
일시적 오류 후 파이프라인 테이블 한두 개가 실패했다실패한 테이블만 새로 고침(refresh failed tables).파이프라인 전체 새로 고침(full refresh).
새 소스가 기존 스트리밍 테이블에 데이터를 넣어야 한다추가 흐름(append flow)을 더하고, 백필에는 일회성 ONCE 흐름을 씁니다.쿼리를 UNION으로 다시 쓰고 전체 새로 고침한다.
CLI로 작업 설정 하나를 바꾼다바뀐 필드만 담아 jobs update.보낸 내용으로 모든 설정을 대체하는 jobs reset.

"너무 넓은" 보기는 단지 느리기만 한 것이 아닙니다. 전체 새로 고침은 스트리밍 테이블과 체크포인트를 지우고, 소스에 아직 남아 있는 것만 다시 재생합니다. Kafka 토픽은 7일치만 보관하는데 테이블에는 2년치가 있다면, 이력은 사라집니다. 그런 테이블에 pipelines.reset.allowed를 false로 설정하면 전체 새로 고침이 차단됩니다.

더 깊이: foreachBatch에 별도의 멱등성이 필요한 이유

Structured Streaming은 계획된 배치를 실행 전에 체크포인트의 오프셋 로그에 쓰고, 끝난 뒤에 커밋 로그에 씁니다. 그 사이에 쿼리가 죽으면, 재시작 시 같은 batchId로 같은 배치를 다시 재생합니다. 기본 제공 Delta 싱크는 이를 알아서 처리합니다. 하지만 foreachBatch 안에서는 아무 곳에나 쓸 수 있으므로, Spark는 최소 한 번(at-least-once)만 보장합니다. 함수 안의 Delta 쓰기에는 batchId에 묶인 txnAppId와 txnVersion을 넘기세요. 그러면 Delta가 그 쌍으로 이미 커밋한 쓰기를 건너뜁니다. 이것이 없으면 재생된 배치가 행을 두 번 추가하며, "재시작 후 중복" 지문은 정확히 이 상황을 다룹니다.

DBX-DEP: 무언가 실패했을 때 가장 좁은 복구
작업의 태스크 두 개가 실패했는가?
예 →
복구 실행: 실패한 태스크와 그에 의존하는 태스크만
↓ 아니요
일시적 오류 후 파이프라인 테이블 한두 개가 실패했는가?
예 →
실패한 테이블만 새로 고침
↓ 아니요
새 소스가 기존 스트리밍 테이블에 데이터를 넣어야 하는가?
예 →
추가 흐름, 백필에는 일회성 ONCE 흐름
↓ 아니요
CLI로 작업 설정 하나를 바꿔야 하는가?
예 →
jobs reset이 아니라, 바뀐 필드만 담은 jobs update
↓ 아니요
그 외 →
올바른 상태를 되찾는 가장 낮은 칸을 고르세요. 전체 새로 고침은 이력을 잃을 수 있습니다
위에서부터 읽으세요. 처음 맞아떨어지는 상황이 좁은 해결책을 알려 줍니다. 넓은 보기가 함정입니다.

가장 좁은 권한

보안 문제는 모두 업무를 가능하게 하는 권한 부여 네 개를 보기로 냅니다. 지문의 모든 업무를 다루는 가장 낮은 칸을 고르세요.

  • 작업을 시작·취소하고 로그를 읽어야 하는 사람: CAN MANAGE가 아니라 CAN MANAGE RUN.
  • 구체화된 뷰(materialized view) 하나만 새로 고치는 서비스 주체: 스키마의 SELECT나 MODIFY가 아니라, USE CATALOG, USE SCHEMA, 그리고 그 뷰의 REFRESH.
  • ALL PRIVILEGES에는 MANAGE가 포함되지 않습니다.
  • pii 태그가 붙은 테이블이 많을 때: 테이블마다 마스크를 거는 대신, 카탈로그나 스키마 수준에서 거버넌스 태그(governed tag)에 ABAC 정책 하나를 겁니다. 마스크 함수와 필터 함수는 모든 행마다 실행되므로 작은 SQL 함수로 유지하세요.

규정 준수도 모양이 같습니다. 전화번호에 단순히 sha2를 적용하는 것은 익명화가 아니라 가명화입니다. 값의 범위가 작으면 전부 해시해 볼 수 있기 때문입니다. 삭제 벡터(deletion vector)를 쓰는 DELETE는 행을 숨기기만 합니다. 물리적으로 제거하려면 REORG TABLE ... APPLY (PURGE)로 파일을 다시 쓴 뒤, VACUUM으로 아직 데이터를 담고 있는 이전 파일을 지워야 합니다. 변경 데이터 피드(change data feed)도 해당 테이블 버전이 보존되는 동안 삭제된 값을 보관합니다.

가장 좁은 코드 변경

비중 23%로 가장 큰 섹션은 코드를 다룹니다. 보기들이 한 줄만 다른 경우가 많으므로, 동작을 바꾸는 그 한 줄을 찾으며 읽으세요.

  • 본문에서 큰 모델을 로드하는 Series-to-Series pandas UDF는 배치마다 모델을 한 번씩 로드합니다. Iterator-of-Series 형식은 모델을 한 번 로드해 이터레이터의 모든 배치에 재사용할 수 있습니다.
  • 프레임 없이 ORDER BY만 있는 윈도는 기본값이 현재 행까지의 RANGE이므로, 동점인 행들은 누적 합계를 공유합니다.
  • VARIANT 경로는 대소문자를 구분하고, JSON 문자열 경로는 대괄호를 쓰지 않는 한 구분하지 않습니다. parse_json이 배치를 실패시키는 곳에서 try_parse_json은 NULL을 반환합니다.
  • 선언적 파이프라인에서는 pivot()이 지원되지 않습니다. 출력 스키마를 정하려면 데이터를 미리 읽어야 하기 때문입니다. 조건부 집계를 쓰세요.
  • AUTO CDC(예전 이름 APPLY CHANGES)는 sequence_by로 변경 순서를 정합니다. current_timestamp()로 추가한 열은 처리 시각을 기록하므로 오래된 값이 이기게 됩니다.

초보자 팁: 첫 문제 세트를 풀기 전에 노트북을 열고 SELECT * FROM system.lakeflow.job_run_timeline LIMIT 20과 SELECT * FROM system.billing.usage LIMIT 20을 실행해 보세요(관리자가 접근 권한을 줘야 할 수도 있습니다). 여러 행에 걸친 긴 실행 하나와, job_id가 있는 사용량 행 하나를 찾아보세요. 모니터링 문제는 이 테이블들이 시간 단위로 잘려 있고, 최종 result_state는 실행이 끝나는 행에만 있다는 것을 안다고 가정합니다. 외우는 것보다 한 번 보는 편이 빠릅니다.

가장 좁은 비용 해결책

비용과 성능 문제는 조치보다 증거를 먼저 확보하는 답에 점수를 줍니다. 시간이 어디서 쓰이는지 찾은 다음, 그 부분만 바꾸세요.

  • Spark UI: 클래식 클러스터의 스테이지용입니다. 최대 태스크 시간이 75번째 백분위수보다 훨씬 크면 데이터 쏠림(skew), 메모리가 부족했으면 스필 통계, 드라이버는 바쁜데 타임라인에 빈틈이 있으면 Spark가 아닌 코드가 병목입니다.
  • 쿼리 프로필: 웨어하우스의 SQL용입니다. DATA_SPILL이나 EXCESSIVE_QUEUE_TIME 같은 인사이트가 쿼리, 레이아웃, 웨어하우스 중 무엇을 바꿔야 할지 알려 줍니다.
  • 시스템 테이블: 오랜 기간에 걸친 여러 실행용입니다. 작업이 범용(all-purpose) 컴퓨팅에서 실행되면 usage_metadata.job_id가 비어 있고, jobs 테이블은 수정할 때마다 행을 남기므로 최신 행에만 조인해야 한다는 점을 기억하세요.

레이아웃: 새 테이블에는 Liquid Clustering(파티셔닝이나 ZORDER와 함께 쓸 수 없음), 관리형 테이블에는 CLUSTER BY AUTO와 예측 최적화(predictive optimization), 여러 파일에 걸쳐 적은 행만 건드리는 MERGE 작업에는 삭제 벡터를 씁니다.

더 깊이: 구체화된 뷰가 가끔 전부 다시 계산하는 이유

구체화된 뷰는 그 내용이 현재 입력에 대한 배치 쿼리 결과와 같다고 약속합니다. 증분 새로 고침은 그 약속 위에 얹은 최적화로, 서버리스 파이프라인에서만 쓸 수 있고, 거기서도 비용 기반으로 결정됩니다. 전체 재계산이 더 싸다고 추정하거나 쿼리 형태를 증분으로 유지할 수 없으면 엔진은 재계산합니다. 어느 쪽이든 결과는 같습니다. FLOAT나 DOUBLE 열의 합계는 순서에 따라 결과가 달라지므로, 그런 뷰는 전체 새로 고침으로 계획됩니다. decimal 타입으로 캐스팅하면 증분 계획이 가능해집니다. 새로 고침이 왜 전체였는지는 파이프라인 이벤트 로그에 나옵니다. 클래식 파이프라인에서 새로 고침이 왜 전체 재계산을 했는지 묻는 지문이라면, 답은 쿼리가 아니라 컴퓨팅 유형입니다.

학습 순서

  1. Lakeflow Spark Declarative Pipelines 심화: 스트리밍 테이블과 구체화된 뷰의 차이, 흐름(flow), AUTO CDC, 기대치(expectation), 새로 고침 옵션.
  2. Structured Streaming: 워터마크, 출력 모드, foreachBatch, Kafka와 Auto Loader 복구.
  3. Python과 SQL: UDF 유형, 윈도 프레임, VARIANT, assertDataFrameEqual로 테스트하기.
  4. 모니터링과 비용: 시스템 테이블, 이벤트 로그, Jobs API 페이징, 쿼리 프로필, Spark UI.
  5. Declarative Automation Bundles(예전 이름 Databricks Asset Bundles)와 Git 폴더, 권한과 ABAC, 그다음 시간을 재며 60문항 종합 세트.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

섹션 비중은 Data Engineer Professional용 Databricks 시험 가이드에 나온 대로입니다. 증분 새로 고침, ABAC, 시스템 테이블 같은 기능은 자주 바뀌므로 최신 시험 가이드와 문서를 확인하세요.