cert-bank

가이드

Read this guide in English

모든 Databricks 시험에서 반복되는 실수 8가지와 문제에서 알아보는 법

Data Engineer와 Data Analyst Associate부터 Machine Learning Professional, Generative AI Engineer, Context Engineer까지, Databricks 시험 8종에 대해 연습 문제 1,960개를 만들었습니다. 문제마다 각 오답이 왜 틀렸는지 설명을 붙였습니다. 이 설명들을 나란히 놓고 읽어 보면, 주제가 Delta 테이블이든 Spark 조인이든 RAG 에이전트든 같은 실수 몇 가지가 계속 되풀이됩니다. 이 글은 그중 여덟 가지를 정리하고, 각 실수를 드러내는 문제 속 단서를 함께 소개합니다.

자주 틀리는 유형 · Databricks 자격증 (DBX-DEA, DBX-DEP, DBX-DAA, DBX-MLA, DBX-MLP, DBX-GAI, DBX-CEA, DBX-ASD)

모든 Databricks 시험에서 반복되는 실수 8가지와 문제에서 알아보는 법

1. 옛 이름이나 아직 완성되지 않은 기능을 고른다

Databricks는 제품 이름을 자주 바꾸고, 시험 가이드는 문서보다 늦게 반영됩니다. 이 문제은행의 Databricks 해설 중 34개가 "예전 이름"을 짚어 줘야 했습니다. 한편 이 문제은행은 정식 출시(GA)된 기능만 정답으로 삼으므로, Preview, Beta, Legacy 기능을 바탕으로 한 보기는 정답이 아닙니다.

이렇게 나올 수 있음현재 이름 또는 대체 기능
Mosaic AI Vector SearchDatabricks AI Search
Lakehouse MonitoringData profiling
Databricks Asset BundlesDeclarative Automation Bundles
Genie spaces · AI GatewayGenie Agents · Unity Gateway
워크스페이스 레지스트리의 모델 스테이지Champion 같은 별칭(alias)을 쓰는 Unity Catalog의 모델
Hyperopt · trigger(once=True)Optuna 또는 Ray Tune · trigger(availableNow=True)

단서: 동작은 하지만 Preview, Beta, Legacy, deprecated, "더 이상 유지 관리되지 않음"으로 표시된 기능에 기대는 보기. 옛 이름을 알아보고, 현재 정식 출시(GA)된 방법을 고르십시오.

2. 테이블 권한만 주고 상위 객체를 잊는다

Unity Catalog 테이블을 읽으려면 권한 세 개가 필요합니다. 카탈로그의 USE CATALOG, 스키마의 USE SCHEMA, 테이블의 SELECT입니다. 이 문제은행의 Databricks 해설 중 63개가 데이터 엔지니어링, 분석, ML, GenAI 문제를 가리지 않고 이 사용 권한(usage privilege)으로 돌아옵니다. 함정의 모양은 다양합니다. MANAGE를 가진 관리자도 바로 읽을 수는 없습니다. MANAGE에는 SELECT가 포함되지 않고, 상위 객체의 사용 권한도 필요합니다. BROWSE는 메타데이터를 보여 줄 뿐 쿼리는 허용하지 않습니다. 모델을 만드는 사람에게는 CREATE MODEL뿐 아니라 USE CATALOG와 USE SCHEMA도 필요합니다.

단서: "이미 SELECT(또는 MANAGE)가 있는데도 권한 오류가 난다". 권한은 아래로 상속될 뿐, 위로는 절대 상속되지 않습니다.

초보자 팁: 권한 문제에 객체가 나오면 보기를 보기 전에 전체 경로를 상자 세 개(카탈로그, 스키마, 객체)로 그리고, 상자마다 필요한 권한을 적으십시오. 테이블이라면 USE CATALOG, USE SCHEMA, SELECT입니다. 함수라면 USE CATALOG, USE SCHEMA, EXECUTE입니다. 비어 있는 상자가 대개 정답입니다.

Unity Catalog 객체를 읽으려면 모든 단계에 권한이 필요합니다
카탈로그
USE CATALOG
스키마
USE SCHEMA
객체
테이블: SELECT · 함수: EXECUTE · 새 모델: CREATE MODEL
보기를 읽기 전에 단계마다 상자를 하나씩 채우십시오. 권한은 아래로만 상속되고 위로는 상속되지 않으므로, 비어 있는 상자가 대개 정답입니다.

3. 라벨이나 문장을 잠금장치로 착각한다

의도를 표시할 뿐 아무것도 강제하지 않는 기능이 여럿 있고, 시험은 그것이 무엇인지 아는지 확인합니다.

  • system.certification_status의 certified와 deprecated 값은 라벨입니다. deprecated 테이블도 권한이 바뀌거나 테이블이 삭제되기 전까지는 계속 읽을 수 있습니다.
  • "승인된 문서만 사용하라" 같은 프롬프트 규칙은 접근 제어가 아닙니다. 이 문제은행의 DBX-CEA 해설이 거듭 강조하듯, 검색 범위는 문구가 아니라 권한 경계와 코퍼스에서 제한해야 합니다.
  • 모델 버전의 태그는 검증 결과를 기록할 뿐 파이프라인을 멈추지 않습니다.
  • "알림 전송"으로 설정한 예산 임곗값은 접근을 계속 허용합니다. 요청을 거부하는 것은 "사용 차단"뿐입니다.

단서: 지문은 무언가를 막아야 한다고 하는데, 보기는 설명하거나 태그를 달거나 부탁하기만 하는 경우.

4. 설계 문제를 용량으로 해결하려 한다

"워커 추가", "더 큰 웨어하우스 사용", "파티션 수 늘리기", "더 큰 컨텍스트 창 사용". 이런 보기는 솔깃하지만 대개 오답입니다. 병목이 늘린 용량이 투입되는 곳에 있지 않기 때문입니다.

  • GROUP BY의 데이터 쏠림(skew): 파티션이나 코어를 아무리 늘려도 핫 키 하나는 여전히 한 파티션으로 해시됩니다. 솔팅(salting)이나 사전 집계로 분산해야 합니다(DBX-DEP).
  • 잡 타임라인에 빈틈이 있고 드라이버는 바쁜데 워커는 놀고 있음: 워커는 드라이버를 기다리는 중이므로 워커를 늘려도 소용없습니다(DBX-DEP).
  • 큐는 비어 있는데 모델 추론 지연 시간이 두 배가 된 서빙 엔드포인트: 시간은 모델이나 피처 조회에서 쓰이므로 복제본을 늘려도 효과가 없습니다. 추론 지연 시간은 그대로인데 큐 대기 시간이 길다면 그때가 용량을 늘려야 하는 경우입니다(DBX-MLP).
  • 더 큰 임베딩 창은 텍스트가 작은 창을 넘칠 때만 의미가 있습니다(DBX-GAI). 더 큰 컨텍스트 창은 컨텍스트 문제를 뒤로 미룰 뿐입니다(DBX-CEA).

단서: 한 구성 요소만 과부하이고 나머지는 놀고 있음을 보여 주는 지표.

더 깊이: AQE가 쏠린 조인은 고치지만 쏠린 집계는 못 고치는 이유

Adaptive Query Execution(AQE)은 셔플 경계에서 실제 파티션 크기를 보고 실행 계획을 다시 세웁니다. sort-merge 조인과 shuffle hash 조인에서는 너무 큰 파티션을 여러 태스크로 나눌 수 있습니다. 큰 쪽의 조각마다 반대쪽의 일치하는 행과 따로 조인할 수 있기 때문입니다. 단순 집계에는 복제할 반대쪽이 없습니다. 결과 하나를 내려면 한 키의 모든 행이 한곳에 모여야 하므로, 파티션을 나누면 부분적인 답만 나옵니다. 문서에 나온 해결책은 그 분할을 직접 하는 것입니다. 먼저 키와 무작위 솔트로 집계하고, 그다음 작은 부분 결과를 키로 다시 집계합니다. 핫 키의 작업이 여러 태스크에 분산되고, 두 번째 단계는 키당 몇 행만 처리합니다.

5. 정확한 참조를 넘기지 않고 "최신"을 요청한다

한 단계가 만든 결과를 다음 단계가 써야 할 때, 올바른 설계는 정확한 참조를 넘깁니다. 학습 태스크는 등록된 모델 URI를 태스크 값(task values)으로 검증 단계에 넘깁니다. 레지스트리에 최신 버전을 요청하는 방식은 실행 두 개가 겹치는 순간 깨집니다. 사용하는 쪽은 @Champion을 로드하고, 승격은 별칭을 옮기는 방식이므로 배치 작업과 엔드포인트는 코드 변경 없이 따라갑니다. Lakeflow Jobs에서 For each 태스크는 큰 입력을 조회 태스크와 태스크 값 참조로 넘깁니다.

단서: 동시에 실행될 수 있는 파이프라인에 대한 보기에 "latest", "most recent", "highest version" 같은 말이 있는 경우.

6. 엉뚱한 쪽을 고친다

실패 지점이 두 군데일 수 있는 시나리오가 많고, 보기는 양쪽을 모두 고칩니다. 고르기 전에 어느 쪽이 실패했는지 찾으십시오.

  • RAG: 검색이 올바른 문단을 가져왔습니까? 아니라면 프롬프트를 아무리 바꿔도 소용없습니다. 가져왔는데도 답이 없는 내용을 지어낸다면 생성 쪽을 고치십시오.
  • Spark 메모리 부족(out-of-memory): spark.driver.maxResultSize를 넘는 collect는 드라이버 문제입니다. 조인 태스크의 Java 힙 오류는 익스큐터 문제이며, 셔플 파티션을 늘리면 완화될 수 있습니다.
  • 느린 SQL: system.query.history의 소요 시간 열들을 비교하십시오. 용량이 꽉 차서 큐에서 기다린 시간이라면 쿼리 튜닝이 아니라 컴퓨트 변경이 필요합니다.

단서: 지문이 증거(트레이스, 로그 한 줄, UI 타일)를 줍니다. 해결책을 읽기 전에 그 증거로 결함 위치를 찾으십시오.

7. 측정 방식이 다른 두 대상을 비교한다

비교는 바꾼 것 하나를 빼고 나머지가 모두 같을 때만 무언가를 증명합니다. 이 문제은행의 DBX-GAI 해설은 다른 곳에서 측정한 숫자가 아니라 자체 평가 세트에서 같은 프롬프트와 스코어러로 모델을 비교하라고 강조합니다. DBX-MLP도 모델에 같은 규칙을 적용합니다. 도전자 모델과 챔피언 모델은 몇 달 전에 저장한 지표가 아니라 같은 새 홀드아웃(holdout) 데이터로 평가해야 합니다. DBX-CEA는 편차까지 봅니다. 운 좋은 실행 한 번은 믿을 만한 구성이 아닙니다.

단서: 새 점수를 옛 점수, 리더보드, 다른 데이터로 한 실행과 비교하는 보기.

8. 아직 아무것도 실행되지 않았다는 점을 잊는다

Spark 변환은 지연 실행(lazy)되며, DBX-ASD와 데이터 엔지니어링 시험은 이를 여러 측면에서 묻습니다. cache()는 첫 액션 전까지 아무것도 저장하지 않습니다. 액션마다 적어도 하나의 잡을 따로 시작합니다. 임시 뷰는 실행 계획에 붙인 이름일 뿐이라서, DataFrame을 캐시하지 않으면 그 뷰에 대한 쿼리마다 계획을 다시 계산합니다. 데이터에 따라 달라지는 오류는 액션이 실행될 때만 나타납니다.

단서: count, collect, show나 쓰기 없이 끝나는 코드, 또는 무언가가 "즉시 로드된다"고 하는 보기.

이 목록 활용법

연습 문제를 틀리면 해설을 읽기 전에 이 여덟 가지 유형 중 하나로 라벨을 붙이십시오. 몇 세트를 풀고 나면 한두 개 라벨이 두드러집니다. 그것이 진짜 약점이며, 대개 여러 도메인에 걸쳐 있습니다.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

수치는 이 문제은행의 해설에서 집계했습니다. 제품 이름, Preview 상태, 기본값은 자주 바뀝니다. 각 시험의 공식 가이드와 최신 Databricks 문서를 확인하십시오.