DBX-ASD 학습 가이드: 보기를 읽기 전에 코드마다 다섯 가지를 물어보십시오
Databricks Certified Associate Developer for Apache Spark 시험(DBX-ASD)은 코드를 읽는 시험입니다. 이 문제은행을 위해 만든 문제 225개 중 177개(79%)가 문제 안에 코드 조각, API 호출, 구성 설정을 그대로 담고 있습니다. 보기를 보기 전에 코드가 무엇을 할지 먼저 예측하면 이깁니다. 오답 보기는 대충 읽는 사람이 예상하는 결과에 맞춰 쓰여 있기 때문입니다. 이 가이드는 모든 코드 조각에 던질 다섯 가지 질문을, 함정을 가장 많이 잡아내는 순서대로 소개합니다.
학습 가이드 · Databricks Certified Associate Developer for Apache Spark (DBX-ASD)

시험 개요
90분 동안 45문제를 풀므로 한 문제에 약 2분입니다. Databricks는 합격 점수를 공개하지 않습니다. 도메인은 일곱 개입니다. Apache Spark Architecture and Components(20%), Using Spark SQL(20%), Developing Apache Spark DataFrame/DataSet API Applications(30%), Troubleshooting and Tuning(10%), Structured Streaming(10%), Using Spark Connect to Deploy Applications(5%), Using Pandas API on Spark(5%)입니다. 앞의 세 도메인이 시험의 70%를 차지합니다.
이 문제은행의 연습 세트는 Spark 4의 동작을 따릅니다. 예를 들어 ANSI 모드가 기본으로 켜져 있습니다. 메이저 버전마다 기본값이 바뀌었으므로, 현재 시험 가이드가 어떤 Spark 버전을 기준으로 하는지 확인하십시오.
질문 1: 실제로 실행되는 것이 있는가?
트랜스포메이션(select, filter, withColumn, join, groupBy().agg(), orderBy)은 계획에 단계를 더할 뿐입니다. 액션(count, collect, show, take, 쓰기)이 잡(job)을 시작합니다. 액션마다 자기 잡(때로는 여러 개)을 실행하므로, 같은 DataFrame에 액션을 두 번 실행하면 캐시하지 않은 한 원천을 두 번 읽습니다. cache() 자체도 지연 실행됩니다. 첫 액션이 캐시를 채우고, 그 뒤의 액션만 혜택을 봅니다. printSchema()와 explain()은 데이터가 아니라 계획을 읽으므로 액션이 아닙니다.
시험이 좋아하는 결과가 하나 있습니다. 클래식 Spark에서 잘못된 열 이름은 분석 단계에서 실패하지만(Spark Connect는 분석을 실행 시점이나 스키마에 접근할 때까지 미룹니다), 데이터에 따라 생기는 오류(예: ANSI 모드에서의 잘못된 캐스트)는 액션이 실행될 때에야 나타납니다. 원인보다 여러 줄 뒤에서 나타나는 경우가 많습니다.
초보자 팁: 노트북에 PySpark를 설치하고 local[*]로 시작한 뒤, 4040 포트의 Spark UI를 열어 두십시오. 트랜스포메이션 다섯 개와 count() 하나를 작성하고, 다음에 count()를 하나 더 추가하고, 그다음 그 앞에 cache()를 넣습니다. 실행할 때마다 Jobs 탭을 살펴보십시오. 이렇게 10분만 해 보면 "잡이 몇 개인가", "캐시는 언제 채워지는가" 문제는 대부분 정리됩니다.
질문 2: 어디에서 실행되는가?
드라이버(driver)는 계획하고 스케줄링합니다. 익스큐터(executor)는 태스크를 실행하고 캐시된 데이터를 보관합니다. 클러스터 매니저(standalone, YARN, Kubernetes)는 익스큐터를 배정합니다. 이 역할 분담에서 다음이 나옵니다.
- 최상위 Python 코드는 드라이버에서 실행됩니다. DataFrame 연산에 넘긴 람다나 UDF는 익스큐터에서 실행되므로, 그 안의
print출력은 콘솔이 아니라 익스큐터 로그에 남습니다. collect()와toPandas()는 모든 데이터를 드라이버 하나로 가져옵니다.spark.driver.maxResultSize(기본값 1g)를 넘으면 잡이 중단됩니다. 먼저 클러스터에서 집계하거나 결과에limit을 거십시오.- 익스큐터를 잃으면 그 파티션을 리니지(lineage)로부터 다시 계산하는 비용이 듭니다. 드라이버를 잃으면 애플리케이션이 끝납니다.
- 배포 모드(deploy mode)가 드라이버의 위치를 정합니다. 기본값은
client이며, standalone 모드에는 Python 애플리케이션용 cluster 모드가 없습니다. - Spark Connect를 쓰면 코드는 gRPC로 계획을 보내는 얇은 클라이언트가 됩니다. SparkContext도, RDD API도 없고
df._jdf같은 비공개 JVM 필드에도 접근할 수 없습니다.
질문 3: 몇 조각으로 나뉘며, 데이터가 이동하는가?
태스크 하나는 코어 하나에서 파티션 하나를 처리하므로, 파티션 수가 병렬도를 정합니다. 파일 스캔은 최대 128 MB(spark.sql.files.maxPartitionBytes) 크기의 파티션을 만듭니다. 와이드 연산(groupBy, 대부분의 조인, distinct, orderBy)은 spark.sql.shuffle.partitions(기본값 200)개 파티션으로 셔플하며, AQE가 실행 중에 이를 합칠 수 있습니다. 셔플은 스테이지의 끝이기도 하므로, groupBy('k').count().collect()는 스테이지 두 개로 실행됩니다(AQE가 켜져 있으면 Spark UI에 별도의 잡으로 나뉘어 보일 수 있습니다). explain() 출력에서 Exchange 노드는 모두 셔플입니다.
| 호출 | 실제 동작 |
|---|---|
repartition(n) | 항상 전체 셔플. 개수를 늘리거나 줄일 수 있고 크기를 고르게 맞춤 |
coalesce(n) | 셔플 없이 파티션을 합침. 개수는 줄이기만 가능. 더 많이 요청하면 아무것도 바뀌지 않고 오류도 나지 않음. coalesce(1)은 앞단 작업까지 태스크 하나로 몰 수 있음 |
조인에서 broadcast(small) | 작은 쪽을 모든 익스큐터에 보내므로 큰 쪽은 셔플되지 않음 |
적응형 쿼리 실행(Adaptive Query Execution, AQE)은 Spark 3.2부터 기본으로 켜져 있습니다. 셔플 경계에서 셔플 후의 작은 파티션을 합치고, 한쪽이 작다고 밝혀지면 sort-merge 조인을 broadcast 조인으로 바꾸고, 치우친(skewed) 조인 파티션을 나눕니다. 셔플이 없는 쿼리는 AQE로 얻는 것이 없습니다.
더 깊이: AQE가 파티션을 "치우쳤다"고 판단하는 기준
끝난 셔플 스테이지는 출력 파티션 각각의 실제 크기를 압니다. 그래서 AQE가 아직 시작하지 않은 스테이지를 다시 계획할 수 있습니다. sort-merge 조인에서 AQE는 두 조건을 모두 만족할 때만 파티션을 치우쳤다고 봅니다. 파티션 크기 중앙값의 spark.sql.adaptive.skewJoin.skewedPartitionFactor(5)배보다 크고, skewedPartitionThresholdInBytes(256 MB)보다도 커야 합니다. 중앙값이 100 MB라면, 400 MB 파티션은 바이트 임계값은 넘지만 배수 조건(500 MB)은 넘지 못하므로 그대로 둡니다. 620 MB 파티션은 둘 다 넘으므로 고른 태스크들로 나뉩니다. 일반 groupBy의 치우침은 경우가 다릅니다. 키 하나는 여전히 파티션 하나로 해시되므로, 해결책은 파티션을 늘리는 것이 아니라 키에 솔트(salt)를 붙이거나 미리 집계하는 것입니다.
질문 4: 정확히 무엇이 돌아오는가?
DataFrame 도메인(30%)은 대부분 정확한 결과를 묻습니다. 답을 가르는 세부 사항은 다음과 같습니다.
- 저장 모드: 기본값은
errorifexists입니다. 다른 선택지는append,overwrite,ignore입니다. - 뷰: 임시 뷰(temporary view)는 세션 하나에서만 존재합니다. 전역 임시 뷰(global temporary view)는
global_temp에 있으며 한 애플리케이션의 세션들이 함께 씁니다. - ANSI 모드(Spark 4의 기본값): 잘못된 캐스트와 파싱은 오류를 일으키고,
try_*함수는 대신 null을 반환합니다. - 조인: left semi 조인은 일치하는 행이 있는 왼쪽 행을 왼쪽 열만으로 반환합니다. left anti 조인은 일치하는 행이 없는 왼쪽 행을 반환합니다. cross 조인에는 특별한 설정이 필요 없습니다.
- 개수 세기:
approx_count_distinct는 정확도를 내주고 속도를 얻습니다.describe()와summary()는 요약 통계를 줍니다. - 공유 값: 브로드캐스트 변수는 읽기 전용 데이터를 익스큐터마다 한 번씩 보냅니다. 누산기(accumulator) 업데이트는 액션 안에서만 정확히 한 번 적용됩니다. 트랜스포메이션 안에서는 재시도된 태스크가 값을 두 번 더할 수 있습니다.
질문 5: 스트림에서 결과는 언제 확정되는가?
Structured Streaming은 스트림을 계속 커지는 테이블로 다룹니다. 무엇을 쓸지는 세 가지 출력 모드가 정합니다. append(새 행만, 기본값), update(바뀐 행), complete(전체 결과)입니다. 워터마크 없는 집계는 개수가 아직 바뀔 수 있으므로 append를 쓸 수 없습니다. 파일 싱크는 append만 지원합니다.
워터마크(withWatermark("ts", "10 minutes"))는 윈도가 언제 확정되는지 선언하며, 덕분에 Spark가 그 상태를 버릴 수 있습니다. 워터마크는 집계와 같은 이벤트 시간 열에 걸어야 하고, 집계보다 앞에 와야 합니다. append 모드에서 윈도는 워터마크가 윈도 끝을 지난 뒤에 한 번만 출력됩니다. 중복 제거에서 워터마크 없는 dropDuplicates(["guid"])는 모든 키를 영원히 보관합니다. 워터마크를 쓴다면 이벤트 시간을 키에 넣거나 dropDuplicatesWithinWatermark(Spark 3.5 이상)를 쓰십시오.
예약된 증분 실행에는 trigger(availableNow=True)를 쓰십시오. 일회성(one-time) 트리거는 지원 중단(deprecated)되었고, 연속(continuous) 트리거는 실험 단계이며 at-least-once만 보장합니다.
더 깊이: exactly-once를 이루는 세 요소
exactly-once 결과를 얻으려면 세 요소가 모두 갖춰져야 합니다. 원천은 오프셋을 가진 재생 가능한 원천(Kafka 또는 파일)이어야 범위를 다시 읽을 수 있습니다. 엔진은 커밋하기 전에 각 마이크로 배치의 오프셋 범위와 실행 중인 상태를 체크포인트 위치의 선행 기록 로그(write-ahead log)에 씁니다. 싱크는 멱등이어야 같은 배치를 두 번 써도 결과가 같습니다. 장애 후 같은 체크포인트로 재시작하면 커밋되지 않은 배치를 다시 실행합니다. 그래서 socket 원천은 재생할 수 없으므로 체크포인트만으로는 도움이 되지 않고, 비어 있는 새 체크포인트 디렉터리는 이어서 실행하는 대신 완전히 새로운 쿼리를 시작합니다.
비중이 작은 두 도메인
Pandas API on Spark(import pyspark.pandas as ps)는 pandas 스타일 코드를 분산 실행합니다. to_pandas()는 드라이버로 수집합니다. 대용량 데이터에서는 sequence 기본 인덱스 유형을 피하십시오. 모든 데이터를 파티션 하나로 몰아넣을 수 있습니다. pandas UDF는 타입이 형태를 정합니다. Series to Series는 길이를 유지하고, Series to Scalar는 집계처럼 동작하고, applyInPandas는 그룹 전체를 받고, mapInPandas는 배치를 받으며 행 수를 바꿀 수 있습니다.
학습 순서
- DataFrame API: 열, 행, 조인, 집계, 날짜, 스키마, UDF.
- 아키텍처와 Spark SQL: 드라이버와 익스큐터, 잡·스테이지·태스크, 캐싱, 읽기·쓰기와 뷰.
- 튜닝과 스트리밍: 파티션, AQE, 메모리 부족(out-of-memory) 진단, 출력 모드, 워터마크.
- Spark Connect와 pandas API on Spark. 그다음 시간을 재며 여러 도메인을 섞은 세트를 풀고, 보기를 읽기 전에 출력을 먼저 예측하십시오.
연습하기
문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.
- DBX-ASD 시험 안내 · DBX-ASD 문제 전체 285개 · 시간 제한 모의고사 · 17일 학습 계획
- 도메인별: Apache Spark Architecture and Components · Using Spark SQL · Developing Apache Spark DataFrame/DataSet API Applications · Troubleshooting and Tuning Apache Spark DataFrame API Applications · Structured Streaming · Using Spark Connect to Deploy Applications · Using Pandas API on Spark
도메인과 비중은 Databricks의 Associate Developer for Apache Spark 자격증 시험 가이드를 따랐습니다. 여기 인용한 구성 기본값은 Apache Spark 문서 기준이며 Spark 버전마다 다릅니다. 현재 시험 가이드가 쓰는 버전을 확인하십시오.