cert-bank

가이드

Read this guide in English

DBX-GAI 학습 가이드: 모든 문제를 다섯 가지 질문의 설계 리뷰로 읽기

Databricks Certified Generative AI Engineer Associate(DBX-GAI) 시험은 챗봇을 직접 만드는 능력보다 남의 설계를 검토하는 능력을 봅니다. 문제마다 한 팀이 목표나 고장 난 애플리케이션을 설명합니다. 여러분은 그 팀에 정말 필요한 것이 무엇인지, 무엇이 잘못됐는지, 수정이 맞는지 어떻게 증명할지 판단해야 합니다. 노련한 리뷰어는 매번 같은 다섯 가지 질문을 던집니다. 이 가이드는 그 다섯 가지 질문을 따라 시험을 설명합니다.

학습 가이드 · Databricks Certified Generative AI Engineer Associate (DBX-GAI)

DBX-GAI 학습 가이드: 모든 문제를 다섯 가지 질문의 설계 리뷰로 읽기

시험 개요

90분 동안 채점 대상 45문제(채점하지 않는 문제 최대 10개 별도)를 풉니다. 문항은 객관식과 복수 선택형이므로 "두 개를 고르시오" 문제도 나온다고 예상하십시오. Databricks는 합격 점수를 공개하지 않습니다. 도메인은 여섯 개입니다. Design Applications(14%), Data Preparation(14%), Application Development(30%), Assembling and Deploying Applications(22%), Governance(8%), Evaluation and Monitoring(12%)입니다.

이 문제은행에서 DBX-GAI 문제를 225개 만들었고, 그중 33개가 "Select TWO" 문제입니다. 그중 128개(57%)가 사용 사례 문제입니다. 목표와 제약 조건이 주어지고, 알맞은 설계를 고르는 형식입니다. 가장 자주 나오는 서비스는 MLflow(63문제), AI Search(현재 이름과 옛 이름을 합쳐 52), Foundation Model APIs(33)입니다. 평가(evaluation)와 트레이싱(tracing)은 12% 도메인에만 나오지 않고 여러 문제에 두루 등장한다고 생각하십시오.

이름이 바뀐 제품이 많습니다. Mosaic AI Vector Search는 이제 Databricks AI Search, AI Gateway는 Unity Gateway, Genie spaces는 Genie Agents입니다. 시험 가이드에는 아직 옛 이름이 남아 있을 수 있습니다. 두 이름을 모두 익혀 두십시오. Knowledge Assistant와 Supervisor Agent는 권장 설계가 아니라 Legacy로 취급하십시오.

리뷰 질문 1: 정말 에이전트가 필요한가?

목표를 충족하는 가장 가벼운 설계를 고르십시오. 오답 보기 중에는 지문이 요구하지도 않은 구성 요소를 덧붙인 것이 많습니다.

지문 내용알맞은 가장 가벼운 설계
PDF 수천 개로 테이블을 채움, 대화하는 사람 없음배치 SQL: 예약 작업에서 ai_parse_document 후 스키마를 지정한 ai_extract
테이블의 모든 행에 같은 사용자 정의 프롬프트 적용테이블에 ai_query 실행, 코드가 결과를 파싱한다면 responseFormat 지정
비공개 문서에 대한 질문, 단계가 고정됨단순한 RAG 체인: 리트리버, 프롬프트 템플릿, 채팅 모델, 출력 파서
다음 단계가 조회 결과에 따라 달라짐ResponsesAgent로 작성한 도구 사용 에이전트
비즈니스 사용자가 일상 언어로 데이터 질문거버넌스가 적용된 테이블 위의 Genie Agent, 또는 에이전트가 도구로 호출(Model Serving에서는 Public Preview)

매주 바뀌는 비공개 지식이라면 튜닝보다 검색(retrieval)이 낫습니다. 검색한 문단은 질문 시점에 읽히지만, 튜닝한 가중치는 특정 시점의 스냅샷이기 때문입니다. 프로그램이 응답을 파싱해야 한다면 프롬프트로 정중히 부탁하지 말고 JSON 스키마와 함께 response_format을 쓰십시오.

리뷰 질문 2: 코퍼스는 검색할 준비가 됐는가?

Data Preparation은 첫 쿼리 전에 일어나는 모든 일을 다룹니다. 파서는 형식에 맞춰 고릅니다. 텍스트 기반 PDF와 Word 파일은 라이브러리나 ai_parse_document를 쓸 수 있습니다. HTML에는 HTML 파서가 필요합니다. 스캔본은 텍스트 레이어가 없으므로 OCR이 필요합니다. 그다음 청킹 전에 정제합니다. 반복되는 머리글, 바닥글, 페이지 번호를 지우고(파서가 유형별로 태그를 붙여 줍니다), MinHash 등으로 거의 같은 중복 문서를 제거합니다. 반복된 청크는 모두 유용한 청크와 자리를 다툽니다.

청킹 방식은 네 계열입니다. 고정 크기, 문단 기반, 형식별(Markdown 또는 HTML 제목 기준), 의미 기반(semantic)입니다. Databricks 가이드는 고정 크기 방식이 프로덕션에서는 잘 통하지 않는다고 말합니다. 겹침(overlap)은 적당히 두십시오. 출처, 섹션, 페이지를 각 청크 옆에 열로 저장하면 검색할 때 필터링하고 답변에서 인용할 수 있습니다. 청크는 change data feed를 켠 Delta 테이블에 넣고, Delta Sync 인덱스가 그 테이블을 따라갑니다.

초보자 팁: 토큰 계산을 종이에 한 번 직접 해 보십시오. 시험은 이 계산을 숫자로 묻습니다. 컨텍스트 창이 4,096토큰이고, 지시문이 500토큰, 답변이 600토큰이라고 합시다. 1,500토큰 청크 다섯 개(7,500)는 들어가지 않습니다. 500토큰 청크 다섯 개라면 500 + 2,500 + 600 = 3,600이므로 들어갑니다. 그다음 임베딩 쪽을 확인합니다. Foundation Model APIs 문서에서 Preview가 아닌 임베딩 모델 두 개, GTE Large와 BGE Large는 모두 1,024차원을 출력합니다. 하지만 GTE Large는 최대 8,192토큰을 읽고, BGE Large는 512토큰까지만 읽습니다. 1,200토큰짜리 청크는 BGE의 512토큰 창에 들어가지 않습니다.

리뷰 질문 3: 답이 틀렸다면 어느 쪽이 실패했는가?

RAG 답변은 순서대로 디버깅합니다. 먼저 검색이 올바른 문단을 가져왔는지 확인합니다. 그다음 생성 단계가 그 문단을 활용했는지 확인합니다. MLflow 트레이스를 여십시오. 리트리버 스팬(span)에는 무엇이 반환됐는지, 모델 스팬에는 그것으로 무엇을 썼는지 나옵니다.

  • 주제와 무관한 문단: 모델이 충실하게 동작해도 매끄러운 오답이 나옵니다. 검색을 고치십시오. 청킹, 메타데이터 필터, 정확한 코드를 위한 하이브리드 검색, 리랭커(reranker)를 쓰거나, 후속 질문("배터리 수명은?")을 검색 전에 단독으로 이해되는 쿼리로 다시 씁니다.
  • 올바른 문단, 근거 없는 주장: 구조화된 프롬프트로 생성을 고치십시오. 지시문을 맨 앞에 두고, 컨텍스트를 구분자로 감싸고, "문서에 없음"에 대한 고정 응답을 정해 둡니다.
  • 모든 응답이 거의 같은 길이에서 문장 중간에 끊김: max_tokens와 종료 사유(finish reason)를 확인하십시오.
더 깊이: 하이브리드 검색이 제품 코드를 살리는 이유

임베딩은 의미를 기준으로 텍스트의 위치를 정합니다. "PX-4471" 같은 코드는 의미가 거의 없어서 벡터가 다른 코드들 근처에 놓입니다. 그래서 순수한 유사도 검색에서는 정확히 일치하는 항목의 순위가 낮게 나옵니다. AI Search의 하이브리드 검색은 근사 최근접 이웃 검색(HNSW)과 함께 BM25 키워드 검색을 실행하고, 두 순위 목록을 Reciprocal Rank Fusion으로 합칩니다. 각 문서의 점수는 원래 점수가 아니라 목록별 순위로 매깁니다. 두 방식의 원래 점수는 서로 비교할 수 없기 때문입니다. 키워드 목록에서 1위인 문서는 벡터가 평범해도 위로 올라옵니다. 그래서 "사용자가 SKU나 오류 코드로 검색한다"는 지문은 더 큰 임베딩 모델이 아니라 query_type="hybrid"를 가리킵니다.

리뷰 질문 4: 누가 무엇을 호출할 수 있는가?

권한 문제는 두 방향으로 나옵니다. 누가 엔드포인트를 호출할 수 있는지는 엔드포인트의 ACL이 정합니다. 요청만 보내는 애플리케이션에는 CAN QUERY가 필요합니다. CAN MANAGE가 있으면 엔드포인트를 변경하고 삭제할 수도 있습니다. 배포된 체인이 무엇에 접근할 수 있는지는 로깅할 때 선언한 리소스가 정합니다. AI Search 인덱스, Unity Catalog 함수, 채팅 엔드포인트, Genie Agent 등입니다. 배포 시 Databricks는 엔드포인트 생성자가 각 리소스를 쓸 수 있는지 확인하고, 모델 버전용 서비스 주체(service principal)를 만들어 수명이 짧은 자격 증명을 주입합니다.

등록에는 별도의 규칙이 있습니다. 세 단계로 된 Unity Catalog 이름을 쓰십시오. 모델을 만들려면 USE CATALOG, USE SCHEMA, CREATE MODEL이 필요하고, 새 버전을 만들려면 소유권이나 CREATE MODEL VERSION이 필요합니다. 어느 버전이 서빙되는지는 스테이지가 아니라 별칭(alias)으로 표시합니다. 서빙 시 모델에 필요한 파일은 artifacts로 함께 패키징합니다. 엔드포인트 이름이나 프롬프트 텍스트처럼 환경마다 다른 설정은 ModelConfig에 넣습니다.

더 깊이: "노트북에서는 잘 되는데" 엔드포인트에서 실패하는 이유

노트북에서는 에이전트가 여러분의 권한으로, 여러분으로서 실행됩니다. 서빙 엔드포인트는 자체 컨테이너에서 자체 ID로 실행됩니다. 엔드포인트는 자신에게 프로비저닝된 것에만 접근할 수 있고, Databricks는 로깅 시 선언한 리소스에 대해서만 자격 증명을 프로비저닝합니다. 코드에서 호출하지만 선언하지 않은 인덱스에는 자격 증명이 발급되지 않습니다. 그래서 코드는 그대로인데도 호출이 권한 오류로 실패합니다. 해결책은 리소스를 선언하고, 엔드포인트 생성자가 그 리소스에 맞는 권한(예: 인덱스에는 CAN USE, Genie Agent에는 CAN RUN)을 갖고 있는지 확인한 뒤 다시 배포하는 것입니다.

리뷰 질문 5: 잘 동작하는지 어떻게 아는가?

평가(evaluation)는 릴리스 전에 고정된 데이터셋으로 mlflow.genai.evaluate()를 실행하는 것입니다. 모니터링(monitoring)은 릴리스 후 샘플링한 실제 트레이스에 같은 스코어러(scorer)를 실행하는 것입니다(MLflow 프로덕션 모니터링은 Beta 단계입니다). 두 버전을 비교하려면 데이터셋과 스코어러를 똑같이 두고 앱만 바꾸십시오. 시험에서는 어떤 저지(judge)에 정답 데이터(ground truth)가 필요한지가 자주 관건이 됩니다.

기댓값(ground truth) 필요입력, 출력, 트레이스만 필요
Correctness, RetrievalSufficiency, ToolCallCorrectnessRelevanceToQuery, RetrievalRelevance, RetrievalGroundedness, Safety, Guidelines, ToolCallEfficiency

질문만 있는 데이터셋이나 실제 트래픽으로는 오른쪽 열만 실행할 수 있습니다. 비용 문제에서는 사용량을 제한하는 기능(HTTP 429를 반환하는 rate limit, 알림을 보내거나 차단하는 Unity Gateway 예산)과 사용량을 보여 주기만 하는 기능(추론 테이블, 트레이스, system.ai_gateway.usage 테이블)을 구분하십시오.

리뷰어가 모든 생성형 AI 설계에 던지는 다섯 가지 질문
1
에이전트가 필요한가?
목표를 충족하는 가장 가벼운 설계 선택: 배치 SQL, ai_query, RAG 체인, 그다음 에이전트
2
코퍼스가 준비됐는가?
형식에 맞는 파서, 정제, 그다음 청크마다 출처·섹션·페이지를 함께 저장하며 청킹
3
어느 쪽이 실패했는가?
MLflow 트레이스 열기: 검색 먼저, 그다음 생성
4
누가 무엇을 호출할 수 있는가?
호출자는 엔드포인트 ACL로, 체인이 접근하는 대상은 로깅 시 선언한 리소스로
5
잘 동작하는지 어떻게 아는가?
릴리스 전에는 같은 데이터셋과 스코어러로, 릴리스 후에는 실제 트레이스 모니터링으로
DBX-GAI 지문 대부분은 이 다섯 질문 중 하나를 묻습니다. 설계를 검토할 때 이 순서대로 질문하십시오.

학습 순서

  1. Application Development(30%) 먼저: 프롬프트, 평가에 따른 청킹, 모델 선택, 가드레일, ResponsesAgent.
  2. Assembling and Deploying(22%): pyfunc 패키징, 리소스, Unity Catalog 등록, AI Search 인덱스 유형과 엔드포인트, ai_query 배치 작업.
  3. Design과 Data Preparation은 함께 공부하십시오. 목표에서 인덱스까지 이어지는 하나의 경로이기 때문입니다.
  4. Evaluation and Monitoring, 그다음 Governance(수집 단계 마스킹, 인젝션 방어, 라이선스). 마지막으로 혼합 문제 세트.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

도메인과 비중은 Databricks의 Generative AI Engineer Associate 자격증 시험 가이드에 나온 기준입니다. 여기서 언급한 기능 중 일부는 이름이 바뀌었거나 아직 Preview 또는 Beta 단계입니다. 최신 시험 가이드와 문서를 확인하십시오.