DBX-CEA 학습 가이드: 컨텍스트 윈도를 예산처럼 다루면 문제가 쉬워집니다
Databricks Certified Context Engineer Associate 시험(DBX-CEA)은 한 가지 희소 자원을 다룹니다. 바로 모델의 컨텍스트 윈도(context window)와, 모델이 그 위에 나눠 쓸 수 있는 주의력(attention)입니다. 거의 모든 문제가 잘못 동작하는 에이전트를 보여 주고, 그럴듯한 해결책 네 개를 제시합니다. 정답은 거의 언제나 가장 작은 변경으로 쓸모없는 토큰을 윈도 밖에 두거나, 빠진 사실을 윈도 안에 넣는 쪽입니다. 이 가이드는 시험 내용을 이 두 가지 대응으로 나누고, 여기에 세 번째 질문을 더합니다. 각 정보는 어디에 두어야 할까요?
학습 가이드 · Databricks Certified Context Engineer Associate (DBX-CEA)

시험 개요
90분 동안 채점 대상 45문제를 풉니다. 단일 선택(multiple choice)과 복수 선택(multiple selection) 문제가 있고, 채점하지 않는 문항이 최대 10개까지 더 나올 수 있습니다. Databricks는 합격 점수를 공개하지 않습니다. 도메인은 일곱 개입니다. Foundations of Context Engineering(16%), System Prompt and Instruction Design(9%), Knowledge Retrieval and Genie Configuration(20%), Memory Architecture with Lakebase and MLflow(18%), Tool Design, MCP, and Agent Context(13%), Context Compression and Compaction(11%), Multi-Agent and Long-Horizon Task Design(13%)입니다.
이 문제은행을 위해 DBX-CEA 문제 225개를 만들었습니다. 그중 83개(37%)는 문제 해결 시나리오이고, 37개는 답을 두 개 이상 고르는 문제입니다. 가장 자주 나오는 서비스는 Lakebase(34문제), MLflow Tracing(23), MCP(13)입니다. Tracing은 숫자보다 더 중요합니다. 많은 진단이 트레이스에서 시작하기 때문입니다. 225개 문제 중 68개의 지문이 트레이스를 언급합니다.
시작하기 전에 알아 둘 점이 있습니다. 시험에 나오는 용어 상당수는 Databricks 설정이 아니라 시험 가이드 자체의 어휘입니다. 컨텍스트 오염(poisoning), 주의 분산(distraction), 혼동(confusion), 충돌(clash), 압축(compaction), 점진적 공개(progressive disclosure), 추론 전(pre-inference) 검색과 적시(just-in-time) 검색이 그렇습니다. 문서는 이 개념 주변의 도구를 설명할 뿐, "compaction"이라는 스위치는 찾을 수 없습니다. 용어마다 뒤에 제품 기능이 있으리라 생각하고 찾아다니지 마십시오.
대응 1: 쓸모없는 토큰을 빼기
컨텍스트가 길어지면 윈도가 다 차기 훨씬 전부터 품질이 떨어질 수 있습니다. 윈도 크기는 상한일 뿐 목표가 아닙니다. 그래서 첫 진단은 언제나 같습니다. 윈도 안에 있으면 안 되는 것이 무엇일까요?
| 트레이스에 보이는 증상 | 가장 작은 해결책 |
|---|---|
| 길고 정확한 기록이 있는데, 에이전트가 예전 작업을 반복하거나 최신 제약을 무시함(distraction) | 오래된 턴은 결정, 제약, 남은 작업, 식별자로 압축하고 최근 턴은 그대로 유지 |
| 비슷하게 생긴 도구 두 개 중 잘못된 쪽을 고름(confusion) | 설명을 다시 쓰기: 각 도구가 무엇을 반환하는지, 핵심 입력은 무엇인지, 언제 우선해야 하는지 |
| 호출할 때마다 도구 스키마 수십 개가 로드됨 | 쓰지 않는 MCP 도구는 선택 해제하고, 나머지는 짧은 색인 뒤에 단계적으로 배치(progressive disclosure) |
| 도구가 수천 개의 행을 반환함 | 원천에서 범위를 좁히기: 필터, 행 수 제한, 필요한 열만 선택, 또는 전용 집계 도구 |
| 메모리 25개를 주입했는데 2개만 쓰임(over-retrieval) | 관련성 게이트와 적당한 상한을 함께 두고, 메모리 항목 하나에는 정제된 사실 하나만 저장 |
계산 방법도 알아 둘 만합니다. 스키마당 약 500토큰인 도구 60개를 통째로 넣으면 호출마다 30,000토큰이 듭니다. 짧은 줄(각 약 20토큰) 60개로 된 단계별 색인에 실제로 쓰는 스키마 세 개를 더하면 약 2,700토큰이면 됩니다. 대신 도구마다 왕복이 한 번 더 생깁니다. 거의 모든 대화에서 쓰는 도구는 항상 로드해 둡니다. MCP 정책(Beta 기능)으로 호출을 거부(deny)해도 그 도구는 도구 목록에 남는다는 점에 유의하십시오. 도구 정의를 윈도에서 없애는 방법은 선택 해제뿐입니다.
초보자 팁: 가지고 있는 에이전트라면 장난감 수준이라도 괜찮으니 MLflow 트레이스 하나를 열고, 각 스팬(span)의 입력 토큰 수를 적어 보십시오. 그런 다음 가장 큰 비중을 차지하는 항목 하나를 찾습니다. 시스템 프롬프트일 수도, 도구 결과나 검색된 구절, 대화 기록일 수도 있습니다. 이 연습 하나로 "주의력 예산 압박 줄이기"가 추상적인 말에서 습관으로 바뀝니다. 시험이 기대하는 방법도 정확히 이것입니다. 먼저 측정하고, 가장 큰 항목을 원천에서 줄이십시오.
대응 2: 빠진 사실을 넣기
반대 방향의 실패는 필요한 정보를 받지 못한 에이전트입니다. 원인에 따라 해결책이 달라집니다.
- Genie가 잘못된 SQL을 반환합니다. 먼저 Unity Catalog 열 주석이 빠졌는지, 비즈니스 용어가 정의되지 않았는지 확인하십시오. 비용이 적고 오래가며 모든 소비자가 함께 씁니다. 그다음이 예시 SQL 쿼리와 Unity Catalog SQL 함수(신뢰할 수 있는 자산, trusted assets)입니다. 자유 텍스트 지침은 마지막 수단입니다.
- 답이 주제에는 맞지만 불완전합니다. RetrievalRelevance는 높은데 RetrievalSufficiency가 낮다면, 권위 있는 원천이 코퍼스에 없을 가능성이 큽니다. 청크 크기나 리랭커(reranker)로는 없는 텍스트를 만들어 낼 수 없습니다. 빠진 원천을 추가하십시오.
- 에이전트가 선호를 "잊었습니다". 세 가지를 확인합니다. 저장소에 무엇이 있는지, 검색이 무엇을 반환했는지, 답변이 무엇을 사용했는지입니다. 사실이 저장되어 있는데 반환되지 않았다면 문제는 검색에 있습니다(임계값이 너무 엄격하거나, 쿼리가 그 제약을 전혀 언급하지 않는 경우). 저장되어 있지 않다면 문제는 쓰기에 있습니다.
- 하위 에이전트끼리 의견이 다릅니다. 각자 작업 메시지만 받았기 때문입니다. 코디네이터 트레이스에서 관련 부분을 압축해 함께 보내고, 의존 관계가 있는 작업은 순서를 정하고, 결론은 그 전제와 함께 보내십시오.
오염(poisoning)과 충돌(clash)은 원천의 수로 구분합니다. 오염은 잘못된 항목 하나가 계속 신뢰받는 상태입니다. 그것이 영구 메모리에 들어갔다면 저장된 항목을 고치십시오. 충돌은 서로 어긋나는 항목 두 개입니다. 권위 있는 쪽만 검색하거나 우선순위 규칙을 명시하십시오.
더 깊이: 압축이 하필 필요한 것을 잃는 이유
지침 없는 요약기는 줄거리는 남기고 세부 사항처럼 보이는 것을 버립니다. 정확한 오류 문자열, 파일 경로, 식별자, 수치, 금지 사항, 남은 단계 목록, 이미 실패한 접근 방식이 그렇습니다. 이것들은 어느 하나도 바꿔 쓴 문장에서 되살릴 수 없습니다. 그래서 잃을 때마다 나중에 알아볼 수 있는 증상으로 나타납니다(에이전트가 스택 트레이스를 다시 요청하거나, 피하라고 한 테이블에 쓰거나, 실패한 접근을 다시 시도합니다). 해결책은 이런 범주를 원문 그대로 남기도록 요구하는 압축 프롬프트입니다. 먼저 재현율(recall)에 맞춰 조정하고(이후 단계에 필요한 사실이 살아남는가?), 그다음 정밀도(precision)를 봅니다(요약 중 잡음이 얼마나 되는가?). 짧은 요약은 빈틈을 숨기지만, 긴 요약의 잡음은 눈에 잘 띄어 잘라 내기 쉽습니다.
대응 3: 각 정보를 둘 곳 정하기
도메인 4는 18%이며, 한 가지 기준으로 판단합니다. 이 정보가 대화가 끝나고 다른 대화가 시작된 뒤에도 남아 있어야 할까요?
| 저장소 | 담는 내용 |
|---|---|
| 컨텍스트 내 스크래치패드 | 이번 작업에만 쓰는 작은 작업 메모. 재시작하면 사라지고 압축 과정에서 빠질 수 있음 |
| 에이전트 세션(Lakebase) | 상호작용 하나의 대화 기록과 상태. 재시작해도 유지됨 |
| 에이전트 메모리(Lakebase) | 사용자 같은 대상에 관한 영구적인 사실. 이후 대화에서 시맨틱 검색으로 불러옴 |
| Delta 테이블 "상태 객체" | 정확하고 공유되며 감사 가능한 작업 상태: 여러 날에 걸친 진행 상황, 카운터, 병렬 에이전트 |
메모리의 범위는 채팅이 아니라 대상입니다. 메모리 키를 채팅 ID로 잡으면 세션 상태처럼 동작합니다. 저장소들은 서로 독립적이어서 세션을 지워도 메모리는 지워지지 않습니다. 키를 아는 정확한 값은 구조화된 쿼리로, 다르게 표현된 내용을 떠올릴 때는 시맨틱 검색을 쓰십시오. 소유권은 프롬프트 지시가 아니라 쿼리의 필터로 처리합니다. 시점을 보면, 언제나 필요한 작은 사실은 추론 전에 로드하고(정적, pre-inference), 대화에 따라 필요 여부가 달라지는 지식은 검색 도구 뒤에 둡니다(동적, just-in-time).
더 깊이: 프롬프트 규칙이 접근 제어가 될 수 없는 이유
모델이 "이 고객 이야기만 하라"를 읽을 때쯤이면, 다른 고객의 메모리나 승인되지 않은 문서는 이미 컨텍스트 안에 있습니다. 지시는 모델에게 잘 행동해 달라고 부탁할 뿐이며, 모델은 지시와 데이터를 확실하게 구분하지 못합니다. 실제 통제는 토큰이 들어오기 전에 작동합니다. 저장소와 거버넌스가 적용된 코퍼스에 대한 권한 부여(grant), 최소 권한을 가진 전용 서비스 주체(service principal), 검색 쿼리의 메타데이터 필터가 그렇습니다. Unity Catalog의 certified 태그도 마찬가지입니다. 신뢰를 나타낼 뿐 읽기를 막지는 않습니다. 그래서 문구, 강조, 인증 라벨에 기댄 보기는 윈도에 들어갈 수 있는 것을 바꾸는 보기에 집니다.
일곱 도메인 전체에서 반복되는 함정
- 더 큰 윈도. 문제를 미룰 뿐 잡음은 그대로 남깁니다. 문제에서 윈도를 늘릴 수 없다고 하면, 정답은 그 조건을 지키는 보기입니다.
- Preview, Beta, Legacy 기능. AI Search 전문 검색(full-text search)은 Beta입니다. Genie 멀티 에이전트 페이지는 Public Preview입니다. 예전의 Unity Catalog 거버넌스 에이전트 메모리는 Legacy입니다. 어느 것도 안정적인 정답이 아닙니다.
- 컨텍스트 누락이 원인인데 temperature 낮추기, 다른 모델, 검토 단계 추가를 고르는 경우. 어느 것도 빠진 사실을 채워 주지 못합니다.
- 실제 문제는 너무 큰 프롬프트인데 사고 예산(thinking budget) 늘리기를 고르는 경우. 대신 컨텍스트를 줄이십시오.
학습 순서
- 검색과 Genie 구성, 메모리 아키텍처를 함께(둘을 합쳐 38%).
- 기초: 네 가지 실패 유형, 주의력 예산, 추론 모드.
- 도구와 MCP, 그다음 멀티 에이전트와 장기 작업 설계.
- 압축, 그다음 시스템 프롬프트 설계를 마지막으로 훑어보기. 이후 여러 도메인을 섞은 연습 세트.
연습하기
문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.
- DBX-CEA 시험 안내 · DBX-CEA 문제 전체 285개 · 시간 제한 모의고사 · 16일 학습 계획
- 도메인별: Foundations of Context Engineering · System Prompt and Instruction Design · Knowledge Retrieval and Genie Configuration · Memory Architecture with Lakebase and MLflow · Tool Design, MCP, and Agent Context · Context Compression and Compaction · Multi-Agent and Long-Horizon Task Design
도메인과 비중은 Databricks의 Context Engineer Associate 자격증 시험 가이드를 따랐습니다. 여기 나온 기능은 빠르게 바뀝니다. 최신 시험 가이드와 문서를 확인하십시오.