cert-bank

가이드

Read this guide in English

Palantir Data Engineer – Associate 학습 가이드: 대부분의 시나리오를 푸는 짧은 규칙 일곱 가지

Palantir Data Engineer – Associate 시험은 오픈북이지만, 자료를 찾아본다고 해결되지는 않습니다. 문제는 모두 시나리오입니다. 동기화(sync)가 오래된 데이터를 만들고, 증분 빌드가 갑자기 전부 다시 계산하고, 일부 사용자에게는 객체가 비어 보이고, 검토자는 두 설계 중 하나를 골라야 합니다. 답을 가르는 것은 판단력이며, 그 판단력은 모든 도메인에 반복해서 나오는 몇 가지 규칙에 기댑니다. 이 가이드는 그중 일곱 가지를 각 규칙에 따르는 함정과 함께 정리했습니다. 시간에 쫓길 때도 알아볼 수 있도록 하기 위해서입니다.

학습 가이드 · Palantir Data Engineer – Associate (PLTR-DE)

Palantir Data Engineer – Associate 학습 가이드: 대부분의 시나리오를 푸는 짧은 규칙 일곱 가지

시험 요약

3시간 동안 객관식 95문제를 풀며, 오픈북이고, 70% 이상 맞히면 합격입니다. 자격증은 2년 동안 유효하며, 불합격하면 14일을 기다린 뒤 재응시할 수 있습니다. 시험은 Data Connectivity and Ingestion부터 AI-Assisted Data Engineering까지 여덟 개 도메인을 다룹니다. Palantir는 도메인별 비중을 공개하지 않으므로, 이 문제은행의 연습 세트는 모든 도메인에 같은 비중을 두었습니다. 어느 것도 건너뛰지 마십시오. 최신 정보는 공식 시험 페이지를 확인하십시오.

이 문제은행의 PLTR-DE 문제 475개는 모두 정답이 하나입니다. 31%는 문제 해결 시나리오이고, 19%는 장단점을 따져 보라는 문제입니다. 단순한 정의 문제는 거의 없습니다. 가장 자주 나오는 도구는 Code Repositories, Pipeline Builder, expectations, Data Health이므로 이 네 가지에 가장 많은 시간을 쓰십시오.

규칙 1: 명시된 요구 사항을 충족하는 가장 단순한 방법을 고른다

시나리오에서 실제 요구 사항을 읽어 낸 뒤, 그것을 충족하는 가장 덜 복잡한 설계를 고르십시오.

  • 작거나 천천히 바뀌는 테이블에는 스냅샷 동기화. CDC는 큰 테이블이 자주 바뀌고 삭제까지 잡아내야 할 때만.
  • 하루 단위의 신선도면 증분 처리. 스트리밍은 몇 초 안에 결정을 내려야 할 때만.
  • 작은 입력에는 가벼운 단일 노드 엔진. Spark는 데이터가 노드 하나를 넘어설 때.
  • Foundry가 원천에 접근할 수 있으면 직접 연결. 에이전트는 원천이 Foundry가 닿지 않는 네트워크에 있을 때만.
  • 표준적인 조인, 필터, 집계는 Pipeline Builder. 복잡하거나, 테스트가 필요하거나, 라이브러리에 의존하는 로직은 Code Repositories.

함정: 가장 강력한 보기입니다. 스트리밍, CDC, 더 큰 클러스터는 그럴듯하게 들리지만, 문제에 그것이 필요하다는 내용이 없으면 오답입니다.

규칙 2: 네 가지 트랜잭션 유형을 알아 둔다

Foundry 데이터셋은 트랜잭션의 연속입니다. SNAPSHOT은 전체 뷰를 대체하고, APPEND는 파일을 추가할 뿐 기존 파일은 바꿀 수 없으며, UPDATE는 나머지를 유지하면서 파일을 추가하거나 대체하고, DELETE는 파일을 제거합니다. 여기서 두 가지 결과가 계속 나옵니다. 오늘 행만 담은 SNAPSHOT은 이전 행을 모두 가리고, 기존 파일 이름을 덮어쓰려는 APPEND는 실패합니다.

더 깊이: 증분 빌드가 갑자기 전체 재계산으로 실행되는 이유

증분 트랜스폼(incremental transform)은 마지막 실행 이후 입력에 추가된 데이터만 처리합니다. 이것은 입력에 새 파일만 더해질 때만 성립합니다. 입력에 SNAPSHOT, 기존 파일을 고치는 UPDATE, DELETE가 일어나면 트랜스폼이 이미 처리한 데이터가 바뀌거나 사라지므로, 그 입력을 스냅샷 입력(snapshot input)으로 지정하지 않은 한 그 실행은 전체 재계산으로 돌아갑니다. 보존 정책(retention)에 따른 삭제도 트랜스폼에 allow_retention=True를 설정하지 않으면 같은 효과를 냅니다. "증분 빌드가 스냅샷으로 실행되었다"는 시나리오라면 먼저 입력의 트랜잭션 기록을 보십시오. 같은 원리가 두 가지 설계 규칙도 설명합니다. 파이프라인은 가장 약한 고리만큼만 증분이며, 상위 동기화를 스냅샷 모드로 바꾸면 모든 증분 소비자가 재계산하게 되므로 그 변경은 조율해야 합니다. 또한 전체 재계산으로 돌아간 뒤에는 누계(running total)를 기존 값에 더하지 말고 다시 만들어야 하는 이유도 설명합니다. 그렇지 않으면 이중으로 집계됩니다.

규칙 3: 무엇이든 바꾸기 전에 처음 잘못된 단계를 찾는다

시험 가이드의 문제 해결 절차는 다음과 같습니다. 증상을 정확히 기술하고, 처음 잘못된 단계를 찾고, 원인을 분류하고(데이터, 코드, 권한, 리소스, 상위 단계), 영향 범위를 평가하고, 가장 작고 안전한 수정을 적용하고, 검증한 뒤, 재발하지 않도록 통제 장치를 추가합니다. 어떤 증상은 정해진 방향을 가리킵니다.

증상먼저 볼 곳
빌드는 성공인데 출력이 오래됨상위 동기화: 기록, 에이전트, 자격 증명
API에서 정확히 한 페이지 분량의 레코드만 옴동기화 구성의 페이지네이션
코드는 그대로인데 행 수가 줄어듦마지막 정상 빌드 이후의 입력 트랜잭션. 리니지를 따라 상위로 올라가며 확인
빌드가 평소보다 훨씬 느림Spark 세부 정보와 정상 실행과의 Job Comparison(작은 파일, 치우침, 새로 생긴 중복 조인 키)
빌드의 접근이 갑자기 실패함실행 주체(identity), 상위에 새로 붙은 마킹, Check access 패널

함정: 증거를 모으기도 전에 전부 다시 빌드하거나, 무작정 메모리를 늘리거나, 넓은 접근 권한을 주는 보기입니다.

초보자 팁: 문제 해결 연습 문제를 풀 때, 보기를 읽기 전에 문제 옆에 데이터, 코드, 권한, 리소스, 상위 단계 중 한 단어를 적어 보십시오. 그런 다음 정답이 그 분류에 대해 조치하는지 확인합니다. 스무 문제쯤 풀면 오답 보기 대부분이 엉뚱한 분류를 고친다는 것을 알게 됩니다. 예를 들어 실제로는 조인 키가 치우친 문제인데 메모리를 늘리는 식입니다. 무엇을 먼저 해야 하는지 묻는 문제도 많은데, 그런 문제의 답은 대개 증거를 모으는 단계입니다.

PLTR-DE: 문제 해결 절차, 단계별로
1
증상을 정확히 기술하기
오래된 출력, 한 페이지 분량의 레코드, 행 수 감소, 느린 빌드, 접근 실패
2
처음 잘못된 단계 찾기
무엇이든 바꾸기 전에 리니지를 따라 상위로 올라가기
3
원인 분류하기
데이터, 코드, 권한, 리소스, 상위 단계
4
영향 범위 평가하기
수정하기 전에 문제가 어디까지 미치는지
5
가장 작고 안전한 수정, 그다음 검증
전체 재빌드, 무작정 메모리 증설, 넓은 접근 권한은 아님
6
통제 장치 추가하기
같은 실패가 다시 일어나지 않도록
단계를 순서대로 밟으십시오. 무엇을 먼저 해야 하는지 묻는 문제의 답은 대개 증거를 모으는 앞쪽 단계입니다.

규칙 4: expectations는 막고, 헬스 체크는 알린다

expectations는 빌드 중에 평가되는 단언(assertion)입니다. 키의 고유성과 not null, 허용 값, 스키마, 행 수 같은 것들입니다. expectation이 실패하면 빌드를 실패시킬 수 있으므로, 잘못된 트랜잭션은 커밋되지 않고 마지막 정상 버전이 계속 게시됩니다. Data Health의 헬스 체크는 시간에 따라 데이터셋을 지켜보며(신선도, 크기, 스키마, 빌드 상태, 내용) 이미 존재하는 데이터에 대해 알림을 보냅니다. 결과를 기준으로 판단하십시오. 위반이 소비자에게 해를 끼치고 정당한 예외가 없다면(기본 키 중복) 막고, 변화가 정당할 수도 있다면(평균 주문 금액 30% 변동) 알립니다. 중요한 데이터셋에는 보통 둘 다 필요합니다. 빌드가 성공해도 데이터셋이 비어 있거나, 중복되거나, 오래되었을 수 있다는 점도 기억하십시오. 내용 검사가 존재하는 이유입니다.

함정: 데이터를 통과시키려고 실패하는 검사를 지우거나 무시하는 것입니다. 데이터를 고치거나 규칙을 정확하게 바로잡으십시오.

규칙 5: 접근은 여러 층이며, 마킹은 데이터를 따라간다

사용자는 모든 층을 통과해야 합니다. 조직 경계, 데이터에 붙은 모든 마킹(marking), 필요한 권한을 가진 프로젝트 역할입니다. 마킹은 필수이고 모두 충족해야 하며(conjunctive), 파생 데이터셋으로 전파됩니다. Owner 역할도 사용자에게 없는 마킹을 대신 충족하지 못합니다. 제한된 뷰(restricted view)는 읽는 사람마다 행을 필터링하지만, 트랜스폼 입력으로 쓸 수 없고, 열 수준 정책이 없으며, 전파되지 않습니다. Ontology 데이터라면 대부분의 경우 제한된 뷰보다 객체 및 속성 보안 정책을 권장합니다.

함정: 오류를 없애려고 민감한 데이터의 마킹을 해제하거나 데이터를 옮기는 것입니다. 더 넓은 대상에게 제공하려면 민감한 열을 뺀 별도 파생 데이터셋을 게시하십시오.

규칙 6: 키는 정체성이다

객체 유형의 기본 키는 엔터티의 정체성에서 나와야 하고, 재빌드 후에도 유지되어야 합니다. 사번, 배송 번호, 또는 식별 열의 결정적(deterministic) 해시가 그렇습니다. 행 번호, 이름, 이메일, 타임스탬프는 값이 바뀌면 객체의 키도 바뀌고, 그러면 사용자 편집과 링크가 떨어져 나갑니다. 키 로직에서 공백을 잘라 내는 것만으로도 객체의 키가 바뀔 수 있습니다. 링크 카디널리티는 현실과 맞아야 합니다. 고객 한 명에 송장 여러 개라면 다대일입니다. 주문 수량을 가진 주문 라인처럼 자체 속성을 가진 다대다 관계는 그 자체로 객체 유형이 됩니다.

규칙 7: 공유되고 안정적인 것은 남쪽, 상호작용하는 것은 북쪽

Ontology의 남쪽(south)은 파이프라인에서 계산해 결과를 속성으로 저장한다는 뜻이고, 북쪽(north)은 애플리케이션이나 함수에서 상호작용 시점에 계산한다는 뜻입니다. 결정적이고, 널리 쓰이며, 필터링이나 정렬에 필요한 값은 남쪽에 둡니다. 사용자가 지금 하는 일에 따라 달라지는 값은 북쪽에 둡니다. AI에도 같은 구분이 적용됩니다. 모든 티켓 분류나 검색용 임베딩 열 생성 같은 재사용 가능한 배치 보강은 파이프라인에 속하고, 레코드 하나에 대한 자유 형식 질문은 애플리케이션 계층에 속합니다. AI 출력에는 제약된 스키마, 검증, 그리고 행마다 저장된 프롬프트 버전과 모델이 필요합니다. 파싱할 수 없는 값은 추측하지 말고 표시(flag)해 두십시오.

역할 경계: 에이전트, 프롬프트, 상호작용형 AI는 AI 엔지니어의 몫입니다. 데이터 엔지니어가 에이전트를 맡게 하는 보기는 대개 오답 보기입니다.

학습 순서

  1. 처리 모드와 트랜잭션(규칙 1과 2), 그다음 수집(ingestion)과 동기화 패턴.
  2. 작성 도구, 컴퓨팅 엔진, 테스트. 그다음 스케줄, 리니지, 문제 해결 절차.
  3. expectations와 Data Health.
  4. 보안과 프로젝트, 그다음 Ontology 모델링.
  5. AI 지원 엔지니어링은 마지막에. 그다음 한 문제당 2분 미만으로 시간을 재며 여러 도메인을 섞은 세트.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

시험 정보는 Palantir의 Data Engineer – Associate 자격증 시험 가이드를 따랐습니다. 도메인별 비중은 공개되지 않습니다. 형식과 정책 변경은 공식 시험 페이지에서 확인하십시오.