cert-bank

가이드

Read this guide in English

Palantir AI Engineer – Associate 학습 가이드: AI가 제대로 동작함을 증명하는 시험

AI 엔지니어링 시험이라면 프롬프트를 다룰 거라고 생각하기 쉽습니다. 하지만 Palantir AI Engineer – Associate 시험은 대부분 증거를 다룹니다. Logic 함수, 에이전트, 검색 파이프라인이 제대로 동작한다는 것을 어떻게 아는지, 동작을 멈췄을 때 이유를 어떻게 찾는지, 모델이 잘못 동작해도 유지되는 통제는 무엇인지를 묻습니다. 이 문제은행의 PLTR-AIE 문제 475개에서 가장 자주 나오는 도구는 AIP Logic이나 AIP Chatbot Studio(옛 이름 AIP Agent Studio)가 아니라 AIP Evals로, 139문제(29%)에 태그되어 있습니다. 이 가이드는 이 사실을 중심으로 구성했습니다. 먼저 측정하는 법, 다음으로 진단하는 법, 그다음 프롬프트 밖에서 강제할 것, 그리고 마지막으로 설계 선택입니다.

학습 가이드 · Palantir AI Engineer – Associate (PLTR-AIE)

Palantir AI Engineer – Associate 학습 가이드: AI가 제대로 동작함을 증명하는 시험

시험 요약

3시간 동안 객관식 95문제를 풀며, 오픈북이고, 70% 이상 맞히면 합격입니다. AIP Logic Development부터 Security, Governance and Responsible AI까지 여덟 개 도메인을 다룹니다. 자격증은 2년 동안 유효하며, 불합격하면 14일을 기다린 뒤 재응시할 수 있습니다. Palantir는 도메인별 비중을 공개하지 않으므로, 이 문제은행의 연습 세트는 여덟 도메인을 같은 비중으로 다룹니다. 최신 정보는 공식 시험 페이지를 확인하십시오. 이 문제은행의 문제는 모두 정답이 하나입니다. 4분의 1 이상이 문제 해결 시나리오이고, 약 5분의 1이 장단점을 따지는 문제입니다.

1부: 좋은 평가의 모습

평가 스위트(evaluation suite)는 테스트 케이스, 대상 함수(AIP Logic 함수, 함수로 게시한 챗봇, 코드로 작성한 함수), 평가기(evaluator), 지표로 이루어집니다. 각 케이스에는 입력, 독립적으로 확인한 기대 결과(테스트 대상 함수에서 베끼면 안 됩니다), 둘을 비교하는 평가기가 있습니다. 크기보다 범위가 중요합니다. 일부러 어렵게 만든 케이스를 포함해 잘 고른 수백 개 케이스가 깨끗한 샘플 수천 개보다 낫습니다.

  • 결정적 평가기를 먼저 씁니다. ID, 날짜, 금액에는 정확 일치, 순서 없는 목록에는 집합 비교, 길이 제한, 검색된 청크와 일치해야 하는 인용 같은 것들입니다. 구조화된 출력은 필드별로 채점합니다.
  • 자유 텍스트에는 모델 채점기를 씁니다. 기준별 루브릭(필수 사실, 지어낸 내용 없음, 어조, 길이)을 두고, 사람의 평가와 맞춰 보정합니다. 긴 답을 선호하는 편향에 주의하십시오. 채점기를 바꾸면 점수 척도도 기준선(baseline)도 새로 정해야 합니다.
  • 근거성(groundedness)은 정확성이 아닙니다. 답이 그럴듯하게 들려도 검색된 구절에 뒷받침되지 않을 수 있습니다. 주장을 구절과 대조하십시오.
  • 에이전트에는 도구 선택 검사가 필요합니다. 호출한 도구와 인수를 기대 호출과 비교하고, 도구를 쓰지 말아야 하는 케이스도 포함하십시오.
  • 지표는 따로 보고합니다(정확성, 근거성, 검색 적중률, 거부 동작, 지연 시간, 비용). 구성 요소마다 릴리스 게이트를 두어, 숫자 하나가 좋다고 회귀(regression)가 가려지지 않게 하십시오.

거부는 양방향으로 측정합니다. 에이전트가 거부하거나 상위로 넘겨야 하는 케이스와, 거부하면 틀리는 케이스입니다. 답할 수 없는 케이스는 코퍼스에서 확인된 빈틈으로 만들며, 명시적인 "찾을 수 없음"을 기대합니다.

더 깊이: 회귀인가, 실행마다의 편차인가?

모델 출력은 실행마다 달라지므로 2점 하락은 잡음일 수 있습니다. 회귀라고 판단하기 전에, 두 버전을 바꾸지 않은 같은 스위트에서 같은 모델 설정과 평가기로 여러 번 실행해 편차를 추정하고, 어떤 케이스가 왜 뒤집히는지 살펴보십시오. 임계값은 측정한 편차를 기준으로 정합니다. 한 비교 안에서 스위트와 함수를 동시에 바꾸지 마십시오. 새 프롬프트를 시험하면서 새 케이스를 추가하면, 분포 변화와 실제 하락을 구분할 수 없습니다. 스위트 버전, 채점기, 모델 구성, 매개변수가 모두 같아야 비교를 재현할 수 있습니다. 또 평균은 국소적인 손상을 숨기므로, 결과를 범주와 결과의 중대성별로 나눠 보십시오.

초보자 팁: 다른 도메인을 공부하기 전에, 가상의 지원 티켓 분류기를 위한 10행짜리 평가 스위트를 스프레드시트에 직접 작성해 보십시오. 각 행에 입력, 기대 출력, 평가기 유형(정확 일치, 집합 일치, 루브릭)을 적습니다. 분류기가 거부해야 하는 티켓, 지식 베이스에 답이 없는 티켓, 본문에 지시가 숨어 있는 티켓을 적어도 하나씩 넣으십시오. 이 행들을 직접 채워 보고 나면, 스위트 설계 문제가 체크리스트처럼 읽힙니다.

2부: 증거로 진단하기

문제가 생겼을 때 시험은 무엇이든 바꾸기 전에 증거를 읽는 보기에 점수를 줍니다.

  • Logic 디버깅과 트레이스. 테스트 실행을 하면 Logic Debugger가 열리고, 블록마다 모델의 단계별 추론과 사용한 도구를 보여 줍니다. AIP 관측 기능(observability)은 실행 기록, 분산 트레이싱, 로그를 더해 줍니다. 증거는 순서대로 따라가십시오. 모델이 받은 프롬프트, 각 도구 호출과 그 결과, 모델 응답, 파싱된 출력 순입니다. 프롬프트에 자리 표시자(placeholder)가 글자 그대로 남아 있다면 변수 바인딩이 실패한 것이며, 이름을 바꾼 뒤에 흔히 생깁니다.
  • 검색과 생성. 따로 측정하십시오. 레이블이 달린 검색 세트로 k에서의 적중률과 정밀도를 구합니다. 검색은 좋은데 답이 나쁘다면 컨텍스트 조립이나 프롬프트를 의심하십시오. 재현율은 올랐는데 답이 나빠졌다면 컨텍스트에 잡음이 늘어난 것입니다. 더 많이 검색하지 말고 메타데이터 필터, 관련성 임계값, 리랭킹으로 정밀도를 높이십시오.
  • 프로덕션 드리프트. 스위트 점수는 안정적인데 프로덕션 지표가 떨어진다면 입력이 바뀐 것입니다. 최근 프로덕션 케이스로 스위트를 갱신하십시오.
  • 지연 시간과 비용. 단계별로 나눠 p95와 p99를 보십시오. 비용은 요청량과 요청당 크기로 나눕니다. 사용자가 없는 시간에 급증한다면 자동화, 백필(backfill), 재시도 루프를 의심하십시오.

3부: 프롬프트로는 제공할 수 없는 통제

프롬프트는 아무것도 강제하지 못하는 층입니다. 요구 사항에 "절대 ~하면 안 된다"가 있으면, 답은 플랫폼 통제입니다.

요구 사항강제하는 방법
에이전트가 절대 주문을 넣으면 안 됨주문을 넣을 수 있는 도구나 Action을 아예 주지 않음
사용자는 읽을 권한이 있는 문서만 봐야 함사용자 권한으로 실행되는 검색. 순위를 매기기 전에 권한 및 승인 필터 적용
AI 출력이 데이터를 망가뜨리면 안 됨Action 검증. 함수가 이미 값을 검사하더라도 유지
중대한 결과를 낳는 변경결과의 중대성에 따라 단계를 나눈 사람의 승인
초안 문서는 인용하면 안 됨모델이 아니라 파이프라인이 강제하는 승인 상태 필터
데이터가 특정 지역 안에 머물러야 함모델 활성화 설정과 지역 제한(georestriction)
주입된 지시에 휘둘리지 않기읽기 전용이고 범위가 좁은 도구, 허용 목록에 있는 원천, 중대한 Action 전 승인
더 깊이: 작성자가 실행하면 되는데 자동화에서는 실패하는 이유

Automate는 자동화 소유자의 권한으로 조건을 평가하고 Action 및 Logic 효과를 실행합니다. 반면 알림 효과는 각 수신자의 권한을 씁니다. 그래서 작성자가 직접 실행하면 동작하는 함수가, 다른 사람이 소유한 자동화 안에서는 실패할 수 있습니다. 다른 주체(principal)에게 객체나 도구에 대한 접근 권한이 없기 때문입니다. 해결책은 그 주체를 찾아 부족한 권한만 정확히 주거나, 실행 주체를 의도적으로 바꾸는 것입니다. 예를 들어 좁은 범위의 권한 상승 작업에는 최소 권한 서비스 ID를 씁니다. 모두의 접근 권한을 넓히는 것은 결코 정답이 아닙니다. 같은 이유로 사용자용 검색은 사용자 권한으로 실행됩니다. 그러면 Ontology 권한이 각자가 볼 수 있는 것을 정하고, 권한 없는 사용자는 그냥 빈 결과를 받습니다.

PLTR-AIE: 모델이 잘못 동작해도 유지되는 통제
프롬프트
아무것도 강제하지 못하는 층
도구와 Action
써서는 안 되는 도구는 에이전트에게 주지 않음 · 읽기 전용, 범위가 좁은 도구
검색
사용자 권한으로 실행 · 순위를 매기기 전에 권한 및 승인 필터
Action 검증
함수가 이미 값을 검사하더라도 유지
사람의 승인
결과의 중대성에 따라 단계 구분 · 중대한 Action 전에
플랫폼
모델 활성화 설정과 지역 제한 · 허용 목록에 있는 원천
프롬프트에 있는 것은 맨 위 층뿐입니다. 요구 사항에 "절대 ~하면 안 된다"가 있으면, 답은 그 아래 층 중 하나에 있습니다.

4부: 설계 선택

  • Logic인가 코드인가. 언어 이해에는 AIP Logic, 정확한 계산, 고정된 규칙, 대규모 예약 배치에는 코드를 씁니다. 섞어 쓰십시오. 규칙을 먼저 적용하고, 남은 것을 모델에 맡깁니다.
  • 타입이 정해진 출력. 소비자가 파싱해야 하는 자유 텍스트 대신 열거형, 숫자, 불리언, 구조체를 쓰고, "찾을 수 없음"은 명시적인 필드로 둡니다.
  • 에이전트. 업무 도우미는 AIP Chatbot Studio(옛 이름 AIP Agent Studio)로 만드는 AIP Chatbot(옛 이름 AIP Agent)입니다. AIP Assist는 플랫폼 사용법에 관한 질문에 답합니다. 챗봇에 선택된 객체가 필요하면 Workshop에 임베드해 애플리케이션 변수로 넘기고, 필요 없으면 AIP Threads나 Ontology SDK, 플랫폼 API 같은 다른 곳에서 쓰십시오.
  • 검색. 메타데이터(문서, 버전, 시행일)와 함께 섹션 단위로 청크를 나눕니다. 임베딩 모델이 바뀌면 코퍼스를 다시 임베딩하십시오. 가격표 같은 구조화된 사실은 정확 조회가 가능한 객체로 둡니다.
  • 남쪽인가 북쪽인가. 재사용 가능한 행 단위 결과는 파이프라인에서 속성으로 만들고, 현재 사용자와 시점에 따라 달라지는 답은 상호작용 시점에 생성합니다.
  • 모델. 엄격한 제약(기능, 데이터 상주 지역, 지연 시간)으로 거른 뒤, 스위트를 통과하는 가장 작은 모델을 고르십시오. 필요해지기 전에 다른 공급자의 대체(fallback) 모델을 시험해 준비해 두십시오.
  • 비용. 먼저 측정하고, 낭비를 없애고, 캐싱을 추가하고, 쉬운 케이스는 더 저렴한 모델로 보내고, 주 모델 교체는 마지막에 하십시오.

알아봐야 할 오답 보기

오답 보기는 서로 비슷한 경향이 있습니다. 더 큰 모델, 더 긴 프롬프트, 더 많은 검색 컨텍스트, 더 높은 temperature, 넓은 접근 권한, 조용한 필터링, 모든 소비자에게 한꺼번에 수정 배포하기 같은 것들입니다. 또 다른 부류는 답을 AI 엔지니어의 역할 밖으로 밀어냅니다. 검색으로 해결할 문제에 맞춤형 파운데이션 모델을 학습시키는 식입니다. 두 보기가 모두 합리적으로 들리면, 원인을 찾고, 안전장치를 유지하며, 평가나 트레이스로 검증할 수 있는 쪽을 고르십시오.

학습 순서

  1. 평가, 테스트, 품질 보증을 가장 먼저 공부하십시오. 다른 모든 도메인이 여기로 돌아옵니다.
  2. AIP Logic, 그다음 에이전트.
  3. RAG와 시맨틱 검색, 그다음 AI 기반 데이터 처리.
  4. 자동화와 오케스트레이션, 모델 선택, 관측 가능성, 비용.
  5. 보안, 거버넌스, 책임 있는 AI. 그다음 시간을 재며 여러 도메인을 섞은 세트.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

시험 정보는 Palantir의 AI Engineer – Associate 자격증 시험 가이드를 따랐습니다. 도메인별 비중은 공개되지 않습니다. 형식과 정책 변경은 공식 시험 페이지에서 확인하십시오.