DBX-MLP 학습 가이드: 프로덕션 ML은 인계 지점에서 깨집니다, 그러니 인계 지점을 공부하세요
Databricks Certified Machine Learning Professional 시험(DBX-MLP)은 여러분이 이미 모델을 학습시킬 줄 안다고 가정합니다. 이 시험이 묻는 것은 학습을 둘러싼 모든 것입니다. 피처가 미래 정보를 새지 않고 모델에 도달하는 방법, 모델이 한 환경에서 다음 환경으로 옮겨 가는 방법, 서빙되는 방법, 그리고 모델이 나빠질 때 알아차리는 방법입니다. 이 영역의 실패는 대부분 인계 지점(hand-off), 즉 한 단계가 다음 단계에 무언가를 넘기는 곳에서 일어납니다. 이 가이드는 그 인계 지점을 중심으로 구성했습니다.
학습 가이드 · Databricks Certified Machine Learning Professional (DBX-MLP)

시험 개요와 점수가 있는 곳
120분 동안 채점 대상 객관식 59문항과 채점되지 않는 문항 최대 10개를 풉니다. Databricks는 합격 점수를 공개하지 않으므로 공식 시험 페이지를 확인하세요. 도메인은 세 개입니다. Model Development(44%), MLOps(44%), Model Deployment(12%)입니다. 큰 두 도메인의 비중이 같으므로, 모델링에 시간을 대부분 쓰고 MLOps를 마지막에 남겨 두지 마세요.
저희는 이 문제은행에 DBX-MLP 문제 295개를 만들어 두었습니다. 그중 104개(35%)가 트러블슈팅 시나리오입니다. 무언가가 느리거나, 정보가 새거나, 드리프트가 생기거나, 401을 반환하는 상황에서 원인이나 해결책을 고릅니다. 저희 문제는 모두 정답이 정확히 하나입니다. 가장 자주 나오는 서비스는 Unity Catalog, Model Serving, MLflow, 그리고 데이터 프로파일링(예전 이름 Lakehouse Monitoring)입니다. 각각 50문제 넘게 나옵니다.
인계 1: 피처 테이블에서 학습 세트로
MLP의 단골 함정은 야간 작업이 덮어쓰는 피처 테이블입니다. 이 테이블은 고객마다 오늘 행 하나만 남깁니다. 여기에 12개월치 레이블을 조인하면 오래된 레이블 모두가 오늘의 피처 값을 받습니다. 모델은 미래로부터 배우고, 오프라인 지표는 훌륭해 보이지만, 프로덕션 품질은 무너집니다.
해결책은 시계열 피처 테이블입니다. 기본 키에 TIMESERIES로 선언한 타임스탬프 열이 들어갑니다. 그러면 FeatureLookup이 레이블 DataFrame의 timestamp_lookup_key를 지정합니다. 조인은 레이블마다 그 타임스탬프 시점 또는 그 이전의 가장 최근 피처 행을 반환합니다. 이것은 테이블 전체의 스냅샷 하나를 읽는 Delta 타임 트래블과는 아무 관련이 없습니다.
자주 나오는 후속 규칙이 두 가지 있습니다. 첫째, 모델은 Feature Engineering 클라이언트로 로깅하세요(fe.log_model(..., training_set=training_set)). 그러면 배치 스코어링과 Model Serving이 같은 조회를 반복하고, 호출하는 쪽은 키만 보내면 됩니다. 일반 mlflow.pyfunc.log_model은 피처 의존성을 기록하지 않습니다. 둘째, 현재 거래 금액처럼 요청에만 있는 값은 미리 계산할 수 없습니다. 이런 값은 온디맨드 피처가 됩니다. Unity Catalog에 등록한 Python UDF를 FeatureFunction으로 연결하므로, 학습과 서빙이 같은 코드를 실행합니다.
초보자 팁: 일부러 한 번 정보 누출을 일으켜 보세요. 날짜 세 개가 있는 작은 레이블 테이블과, 두 번 덮어쓴 피처 테이블을 만듭니다. 단순하게 조인한 뒤 오래된 레이블마다 어떤 피처 값이 붙는지 확인하세요. 그다음 날짜를 TIMESERIES 키로 선언하고 학습 세트를 다시 만듭니다. 행이 바뀌는 것을 직접 보면 특정 시점(point-in-time) 문제가 쉬워집니다.
인계 2: 한 대의 머신에서 여러 대로
확장 문제는 사다리입니다. 이 순서대로 올라가다 처음 맞는 단계에서 멈추세요.
- 노드 하나에 들어가는가? 거기서 학습하세요. 필요하면 더 크거나 GPU가 여러 개인 머신을 씁니다. 신경망의 경우 Databricks는 가능하면 단일 머신 학습을 권장합니다. scikit-learn 모델은 드라이버에서 실행되므로 워커를 늘려도 소용이 없습니다.
n_jobs는 드라이버의 코어만 씁니다. pyspark.ml에 있는 고전적인 알고리즘이고, 데이터가 노드 하나에 너무 큰가? Spark ML 파이프라인을 쓰세요.- 매장이나 지역마다 모델이 하나씩인가?
groupBy().applyInPandas()를 쓰세요. 그룹마다 태스크가 하나이므로, 클러스터가 아무리 커도 12개 지역이면 태스크 12개만 일합니다. - GPU 하나에 들어가지만 거대한 데이터로 학습하는 딥러닝 모델인가? TorchDistributor나 Ray Train으로 데이터 병렬화를 하세요.
- 가중치가 GPU 하나에 들어가지 않는가? DeepSpeed 같은 모델 병렬화를 쓰세요.
튜닝의 정답은 Optuna(MlflowSparkStudy와 공유 MLflow 스토리지 사용)와 Ray Tune입니다. 오픈 소스 Hyperopt는 더 이상 유지 관리되지 않고 16.4 LTS ML 이후의 Databricks Runtime ML에는 포함되지 않으므로, 오답 보기로만 나옵니다. 공유 스토리지 함정이 하나 있습니다. 기본값인 인메모리 스토리지를 쓰면 워커마다 자기 스터디를 따로 가지므로, 워커 40개가 서로에게서 전혀 배우지 못하는 탐색 40개를 따로 돌립니다.
더 깊이: 튜닝하고 저장하는 단위가 파이프라인인 이유
Spark ML에서 Estimator는 fit()을 가지며 Model을 반환하고, 그 Model은 transform()을 가진 Transformer입니다. Pipeline도 그 자체로 Estimator입니다. 이를 학습시키면 PipelineModel이 반환되는데, 그 안에서 StringIndexer, Imputer, StandardScaler 같은 학습 단계가 모두 학습된 Transformer가 되어 있습니다. 그래서 파이프라인 전체를 CrossValidator에 넣습니다. 전처리가 학습 폴드마다 다시 학습되므로, 검증용 폴드의 통계가 학습에 새어 들어가지 않습니다. 저장된 PipelineModel이 새 데이터를 올바르게 스코어링하는 이유도 같습니다. 학습된 인덱스와 스케일링이 모델과 함께 이동합니다. 파이프라인 밖에서 열을 손으로 준비하면 두 가지 보장이 모두 깨집니다.
인계 3: 학습 실행에서 프로덕션 버전으로
Databricks는 대부분의 경우 코드 배포(deploy code)를 권장합니다. 학습 코드가 개발에서 스테이징, 프로덕션으로 이동하며 각 환경에서 다시 학습합니다. 보통 환경마다 Unity Catalog 카탈로그를 하나씩 둡니다. 모델 배포(deploy models), 즉 학습된 아티팩트를 승격하는 방식은 학습 비용이 매우 크거나 재현하기 어렵거나, 모든 것이 한 워크스페이스에 있거나, CI/CD가 없을 때 고려할 만합니다.
프로덕션 작업 안에서 학습 태스크는 버전을 등록하고, 태스크 값(task value)으로 정확한 URI를 검증 태스크에 넘깁니다. 레지스트리에 "최신 버전"을 요청하면, 두 실행이 겹칠 때 다른 실행의 모델을 가져올 수 있습니다. 검증을 통과한 버전은 Challenger 별칭을 받습니다. 배포 단계는 이를 Champion과 비교해, 챌린저가 최소한 같은 수준일 때만 Champion을 옮깁니다. 사용하는 쪽은 @Champion을 로드하므로 코드 변경 없이 별칭을 따라갑니다. 별칭은 예전의 스테이지(stage)를 대체합니다.
번들 쪽도 출제됩니다. Declarative Automation Bundles(예전 이름 Databricks Asset Bundles)는 experiments, registered_models, model_serving_endpoints를 코드로 정의합니다. mode: development 대상은 리소스 이름에 접두사를 붙이고 일정을 일시 중지하며, 프로덕션 배포는 서비스 주체로 실행해야 합니다.
인계 4: 등록된 버전에서 엔드포인트로
Model Deployment는 12%에 불과하지만 문제가 정밀합니다. 커스텀 pyfunc 모델은 무거운 객체를 predict가 아니라 load_context에서 한 번 로드합니다. 파일은 artifacts로 함께 배포하며, Unity Catalog에 등록하려면 시그니처가 필요합니다. 요청은 dataframe_split으로 보내세요. records 형식은 열 순서를 보장하지 않습니다.
| 배포 방식 | 맞는 경우 | 구성 방법 |
|---|---|---|
| 카나리 | 트래픽이 많고 미묘한 성능 저하가 우려될 때. 비율을 단계적으로 올립니다 | 서빙 엔터티 두 개, traffic_config(예: 90/10) |
| 블루-그린 | 호환되지 않는 입력 변경이나 즉시 롤백이 필요할 때 | 엔드포인트 두 개, 클라이언트가 전환 |
| 섀도 / 리플레이 | 트래픽이 적어 카나리로는 아무것도 증명할 수 없을 때 | 클라이언트 측 복사나 리플레이 작업. 트래픽 분할은 복사하지 않습니다 |
이 전략들은 서빙 엔터티, 트래픽 분할, 엔드포인트로 직접 구성합니다. 업데이트가 진행되는 동안에는 새 구성이 준비될 때까지 이전 구성이 계속 서빙합니다.
인계 5: 엔드포인트에서 모니터로
모니터링 체인은 모양이 정해져 있습니다. 추론 테이블(inference table)이 원시 요청과 응답 JSON을 기록합니다. 예약된 작업이 이를 타입이 지정된 열로 풀고, 레이블이 도착하면 조인합니다. 추론 프로필(inference profile)이 그 평탄화된 테이블에 연결되어 _profile_metrics와 _drift_metrics 테이블을 씁니다. 마지막으로 그 테이블에 건 Databricks SQL 경보가 누군가에게 알리거나 재학습을 시작합니다. 프로필 자체의 알림 설정은 새로 고침 실패를 알려 줄 뿐, 드리프트를 알려 주지는 않습니다.
드리프트 세부 사항을 알아 두세요. 숫자형 열에는 KS, Wasserstein, PSI가 계산됩니다. 범주형 열에는 카이제곱과 거리 척도가 계산되므로, 범주형 열의 ks_test가 NULL인 것은 정상입니다. 문서에 나온 PSI 구간은 0.1 미만(유의미한 변화 없음), 0.2 미만(중간), 0.2 이상(유의미)입니다. 기준선 드리프트(baseline drift)는 서서히 진행되는 변화를, 연속 드리프트(consecutive drift)는 갑작스러운 변화를 잡습니다. 레이블 열이 없으면 정확도는 NULL로 남지만, 드리프트는 여전히 동작합니다.
더 깊이: p-value 경보가 매일 울리는 이유
p-value는 변화가 얼마나 큰지가 아니라, 얼마나 감지하기 쉬운지를 측정합니다. 윈도마다 수억 개의 행이 있으면 현실의 거의 모든 차이가 감지되므로, ks_test.pvalue < 0.05 같은 규칙은 중요하지 않은 변화에도 매일 울립니다. 피처를 많이 검정하면 더 나빠집니다. 피처 300개를 0.05로 검정하면, 아무것도 바뀌지 않았어도 새로 고침마다 약 15건의 오경보가 납니다. 대신 효과 크기(KS 통계량, 피처 자체 단위의 Wasserstein 거리, PSI)에 경보를 걸고, 임계값은 비즈니스 영향에 맞춰 정하세요. MLP 보기가 시끄러운 경보의 해결책으로 "p-value 임계값을 낮춘다"를 내놓는다면, 지문에 대규모 표본 문제가 있는지 따져 보세요.
학습 순서
- 피처 엔지니어링: 시계열 테이블, 특정 시점 조회, 온디맨드 피처, 온라인 스토어.
- 확장 사다리와 튜닝: Spark ML 파이프라인, pandas 함수 API, Optuna, Ray, TorchDistributor.
- 수명 주기: 코드 배포, 태스크 값, 별칭, 단계별 테스트, 번들.
- 모니터링: 프로필 유형, 드리프트 테이블, 경보, 커스텀 지표, 슬라이스.
- 배포는 마지막에: pyfunc 패키징, 쿼리, 배포 방식. 그다음 시간을 재며 종합 문제 세트.
연습하기
문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.
- DBX-MLP 시험 안내 · DBX-MLP 문제 전체 355개 · 시간 제한 모의고사 · 19일 학습 계획
- 도메인별: Model Development · MLOps · Model Deployment
도메인과 비중은 Machine Learning Professional 자격증용 Databricks 시험 가이드에 나온 대로입니다. Databricks는 기능 이름을 자주 바꿉니다(Lakehouse Monitoring은 이제 데이터 프로파일링, 온라인 테이블은 이제 Online Feature Stores이며, 새 프로젝트에는 직접 채우는 피처 테이블보다 Feature Views가 권장됩니다). 최신 시험 가이드와 문서를 확인하세요.