cert-bank

가이드

Read this guide in English

Declarative Pipelines, Lakeflow Jobs, Auto Loader, COPY INTO 비교: Databricks 문제가 원하는 답 고르기

Databricks 데이터 엔지니어링 문제에는 네 가지 이름이 같은 보기로 함께 나옵니다. 선언형 파이프라인(declarative pipelines), 노트북을 실행하는 Lakeflow Jobs, Auto Loader, COPY INTO입니다. 데이터를 적재하는 네 가지 경쟁 방식처럼 보여서 문제가 찍기처럼 느껴집니다. 하지만 이 넷은 같은 종류가 아닙니다. 둘은 파일을 적재하고, 하나는 테이블을 선언하고 최신 상태로 유지하며, 하나는 작업을 실행하고 예약합니다. 각각이 어느 계층에 속하는지 보이면, 지문에는 거의 항상 답을 가르는 단서가 들어 있습니다.

개념 비교 · DBX-DEA, DBX-DEP 및 기타 Databricks 데이터 시험

Declarative Pipelines, Lakeflow Jobs, Auto Loader, COPY INTO 비교: Databricks 문제가 원하는 답 고르기

먼저 이름 정리

Databricks는 제품 이름을 자주 바꾸고, 시험 자료에는 옛 이름과 새 이름이 섞여 있습니다. 이 문제은행의 문제에서는 다음과 같습니다.

  • Lakeflow Spark Declarative Pipelines는 Lakeflow Declarative Pipelines 또는 간단히 Lakeflow pipelines라고도 하며, 예전 이름은 Delta Live Tables입니다. 오픈 소스인 Spark Declarative Pipelines를 기반으로 합니다.
  • Lakeflow Jobs의 예전 이름은 Workflows입니다.
  • Auto Loader(cloudFiles 소스)와 COPY INTO는 이름이 그대로입니다.

보기에 옛 이름이 쓰였다는 이유만으로 오답은 아닙니다. 동작 방식으로 판단하십시오.

세 계층과 그 포함 관계

계층도구정체
파일 적재COPY INTO새 파일을 Delta 테이블에 적재하고 이미 적재한 파일은 건너뛰는 SQL 문 하나.
파일 적재Auto Loader새 파일을 증분 방식으로 찾아 체크포인트에 기록하는 Structured Streaming 소스.
테이블 선언선언형 파이프라인스트리밍 테이블, 구체화된 뷰(materialized view), 뷰를 선언하면 엔진이 실행 순서를 정하고, 체크포인트와 재시도를 관리하고, expectation을 적용합니다.
실행과 예약Lakeflow Jobs트리거, 재시도, 복구 실행(repair run), 알림을 갖춘 태스크(노트북, SQL, 파이프라인, 대시보드 ...) 그래프.

이 계층들은 서로 겹쳐 쌓입니다. 파일을 수집하는 스트리밍 테이블은 내부적으로 Auto Loader로 파일을 읽습니다. SQL로는 CREATE OR REFRESH STREAMING TABLE bronze_orders AS SELECT * FROM STREAM read_files(...)입니다. 잡(job)은 파이프라인 태스크로 그 파이프라인을 시작하고, 이어서 노트북 태스크를 실행할 수 있습니다. 그래서 "파이프라인이냐 잡이냐?"는 잘못된 양자택일인 경우가 많습니다. 정답 중 상당수는 둘 다 쓰며, 진짜 질문은 어느 쪽이 어느 부분을 맡느냐입니다.

경쟁하는 적재 도구 네 개가 아니라 세 계층
실행과 예약
Lakeflow Jobs · 트리거와 재시도를 갖춘 태스크 그래프 · 복구 실행과 알림
테이블 선언
선언형 파이프라인 · 스트리밍 테이블, 구체화된 뷰 · 실행 순서, 체크포인트, expectation
파일 적재
COPY INTO: SQL 문 하나 · Auto Loader: 스트리밍 소스 · 둘 다 이미 적재한 파일은 건너뜀
각 계층은 아래 계층 위에 놓일 수 있습니다. 잡이 파이프라인을 시작하고, 파이프라인의 스트리밍 테이블이 Auto Loader로 파일을 읽습니다.

지문 속 단서

지문에 이런 말이 있으면 ...대개 원하는 답
SQL만 사용, 파일 수가 수백만이 아닌 수천 단위, 실패 후 다시 실행해도 안전COPY INTO
수백만 개 파일, 파일이 계속 도착, 스키마 변경, 새 열Auto Loader
COPY INTO로는 부족해진 SQL 사용자스트리밍 테이블(내부적으로 Auto Loader)
의존 관계가 있는 bronze, silver, gold 테이블, 데이터 품질 규칙, SCD type 1 또는 2를 쓰는 CDC선언형 파이프라인(expectation, AUTO CDC)
REST API 호출, 배치마다 여러 시스템에 쓰기, 임의의 Python 부수 효과Lakeflow Jobs의 노트북 또는 Python 태스크(스트림이라면 foreachBatch를 쓰는 Structured Streaming)
다른 작업 뒤에, 일정에 따라, 파일 도착 시 실행, 재시도, 알림, 대시보드 새로 고침실제 작업을 하는 적재 도구나 파이프라인을 감싸는 Lakeflow Jobs

COPY INTO와 Auto Loader

이 짝은 주로 DBX-DEA의 Data Ingestion and Loading 섹션에 나옵니다. 이 문제은행에서 두 도구 중 하나라도 언급하는 DBX-DEA 문제 27개 가운데 25개가 이 섹션에 있습니다. 둘 다 증분 방식이고, 둘 다 같은 파일을 두 번 적재하지 않습니다. 차이는 다음과 같습니다.

  • 규모. Databricks 문서는 시간이 지나며 쌓이는 파일이 수천 개 수준이면 COPY INTO를, 수백만 개 이상이면 Auto Loader를 권합니다. Auto Loader가 파일을 찾는 데 드는 작업 수가 더 적고 처리를 여러 배치로 나눌 수 있기 때문입니다. 파일 이벤트(file events)를 쓰는 파일 알림 모드에서는 Auto Loader가 첫 실행 때 디렉터리 목록을 한 번 조회하고, 그 뒤로는 다시 조회하지 않고 파일 이벤트 캐시에서 새 파일을 찾습니다.
  • 인터페이스. COPY INTO는 직접 실행하는 SQL 문 하나로, 보통 SQL 태스크나 예약 쿼리에서 실행합니다. Auto Loader는 Python에서 시작하거나, 스트리밍 테이블을 통해 SQL에서 시작하는 스트림입니다.
  • 스키마. Auto Loader는 스키마를 추론하고 진화시키며(cloudFiles.schemaLocation 사용), 맞지 않는 값은 _rescued_data에 넣습니다. COPY INTO는 mergeSchema를 설정하면 대상 스키마를 진화시킬 수 있고, VALIDATE 옵션으로 쓰지 않고 파일만 검사할 수 있습니다.
  • 파일 다시 적재. COPY INTO는 같은 이름으로 다시 쓴 파일을 건너뜁니다. force를 쓰면 그 파일(과 선택된 다른 모든 파일)을 다시 적재합니다. Auto Loader는 체크포인트가 삭제되면 모든 것을 다시 적재합니다.
더 깊이: 각 도구는 본 파일을 어디에 기억하는가

COPY INTO는 대상 테이블 기준으로 어떤 파일을 적재했는지 기록합니다. 그래서 같은 대상에 같은 문을 실행하면 이미 있는 파일은 건너뜁니다. 이 덕분에 멱등성(idempotent)이 보장되고, 타임아웃 후 다시 실행해도 안전합니다. Auto Loader는 스트림의 체크포인트 위치에 있는 RocksDB 저장소에 발견한 파일을 기록합니다. 이 덕분에 파일을 정확히 한 번(exactly-once) 처리하고, 실패한 스트림이 멈춘 곳에서 다시 시작할 수 있습니다. 이 차이가 여러 문제의 답을 가릅니다. COPY INTO의 기록은 테이블에 속하고, Auto Loader의 기록은 체크포인트에 속합니다. Auto Loader 스트림을 새 체크포인트로 지정하면, 첫 시작 시 cloudFiles.includeExistingFiles의 기본값이 true이므로 과거 파일이 모두 다시 적재됩니다. 두 스트림이 체크포인트 하나를 공유하면 오프셋이 뒤섞이므로, 스트림마다 자기 체크포인트가 있어야 합니다.

선언형 파이프라인과 노트북을 실행하는 잡

둘 다 작업을 해낼 수 있다면, 무엇을 직접 맡고 싶은지로 고르십시오. 파이프라인은 실행 순서, 체크포인트, 재시도, 데이터 품질을 대신 맡는 대신 작성할 수 있는 코드를 제한합니다. 엔진은 데이터를 읽기 전에 전체 그래프를 계획하므로 다음과 같은 제약이 생깁니다.

  • 파이프라인에서는 pivot()이 거부됩니다. 열을 알려면 데이터를 읽어야 하기 때문입니다. 대신 조건부 집계를 작성하십시오.
  • 각 데이터셋은 한 번만 정의할 수 있습니다. 소스 두 개가 스트리밍 테이블 하나에 데이터를 넣으려면 파이프라인 두 개가 아니라 append flow가 필요합니다.
  • Expectation(warn, drop, fail)은 어떤 행이 테이블에 들어갈지를 정할 뿐, 실행 순서를 제어하는 도구가 아닙니다. triggered 파이프라인에서 expectation이 실패하면 그 플로의 업데이트만 롤백되고 다른 플로는 계속 업데이트되며, 검증 테이블을 읽는 테이블도 검증 결과를 기다리지 않습니다. 다운스트림 작업을 막으려면 검증과 다운스트림 작업을 별도 파이프라인으로 나누고, 잡에서 파이프라인 태스크로 연결하십시오.
  • REST 서비스 호출이나 JDBC를 통한 MERGE 실행 같은 부수 효과는 데이터셋 정의 안에서 지원되는 설계가 아닙니다. 이럴 때는 잡 태스크에서 foreachBatch를 쓰는 Structured Streaming을 사용하거나, Python 파이프라인이라면 append flow의 대상으로 ForEachBatch 싱크를 사용합니다.

초보자 팁: 아주 작은 bronze-to-silver 흐름을 두 번 만들어 보십시오. 처음에는 잡 안의 노트북 태스크 두 개로 만듭니다. availableNow를 쓰는 Auto Loader 스트림, 그다음 정제 쿼리입니다. 다음에는 스트리밍 테이블 하나, 구체화된 뷰 하나, expectation 하나로 된 파이프라인으로 만듭니다. 첫 번째 버전에서 직접 써야 했지만 파이프라인이 대신 해 준 것(체크포인트 경로, 태스크 순서, 재시도 설정)을 살펴보고, 파이프라인의 그래프와 데이터 품질 탭도 확인하십시오. 그 뒤에는 "어느 것이 맞는가?" 문제가 체크리스트처럼 읽힙니다.

실행 시점은 누가 정하는가

파이프라인에는 모드가 있습니다. triggered(있는 데이터를 처리하고 멈춤)와 continuous(계속 실행)입니다. 잡이 파이프라인을 시작하면 잡이 우선합니다. 예약된 잡은 파이프라인이 continuous로 설정되어 있어도 업데이트를 한 번 실행하고 멈춥니다. Databricks는 파이프라인을 triggered로 두고, 항상 켜 두고 싶을 때는 continuous 잡을 쓰라고 권장합니다. 일반 스트리밍 코드도 서버리스 잡에서 비슷한 규칙을 따릅니다. 서버리스 잡은 availableNow처럼 스스로 끝나는 트리거만 받습니다. 짧은 processingTime 간격으로 항상 켜 두는 스트림은 continuous 서버리스 파이프라인에 넣어야 합니다.

더 깊이: 전체 새로 고침이 스트리밍 테이블에 이미 있던 데이터를 잃을 수 있는 이유

스트리밍 테이블은 각 입력 레코드를 한 번 읽고 보관합니다. 나중에 소스에서 그 레코드가 삭제되어도 마찬가지입니다. 전체 새로 고침(full refresh)은 테이블과 체크포인트를 비우고, 소스에 아직 남아 있는 데이터를 다시 읽습니다. 스토리지 수명 주기 규칙이 30일 뒤 파일을 삭제하거나 Kafka 토픽이 7일만 보관한다면, 다시 만든 테이블에는 그 기간의 데이터만 남습니다. 그래서 프로페셔널 수준에서는 범위가 좁은 복구 방법(실패한 테이블만 새로 고침, 플로 하나의 체크포인트만 초기화)이 대개 정답입니다. 또 기록을 다시 재생할 수 없는 테이블에서 전체 새로 고침을 막기 위해 pipelines.reset.allowed = false 테이블 속성이 있는 것입니다.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

제품 이름은 작성 시점의 최신 Databricks 문서와 시험 가이드를 따랐으며, 자주 바뀝니다. DBX-DEA와 DBX-DEP의 공식 시험 가이드와 최신 문서를 확인하십시오.