cert-bank

가이드

Read this guide in English

AIP-C01 학습 가이드: 생성형 AI 개발자 시나리오를 거의 다 가려내는 네 가지 진단 질문

AWS Certified Generative AI Developer – Professional 시험(AIP-C01)은 거의 다 돌아가는 생성형 AI 애플리케이션을 보여 줍니다. 답변이 엉뚱하게 틀리거나, 필요한 문서를 끝내 찾지 못하거나, 어시스턴트가 말하면 안 되는 내용을 말하거나, 요금이 너무 많이 나옵니다. 문제마다 그럴듯한 해결책이 네 개 있고, 그중 세 개는 엉뚱한 계층을 손봅니다. 이 가이드는 모든 시나리오에 순서대로 던질 네 가지 질문을 알려 드립니다. 계층을 먼저 찾고, 서비스는 그다음에 고르는 방법입니다.

학습 가이드 · AWS Certified Generative AI Developer – Professional (AIP-C01)

AIP-C01 학습 가이드: 생성형 AI 개발자 시나리오를 거의 다 가려내는 네 가지 진단 질문

시험 개요

180분 동안 75문항을 풉니다. 채점 문항 65개와 채점하지 않는 문항 10개이며, 모두 객관식(정답 1개) 또는 복수 응답(정답 2개 이상)입니다. 합격 점수는 100~1,000점 환산 점수 중 750점입니다. 도메인은 다섯 개입니다. Foundation Model Integration, Data Management, and Compliance(31%), Implementation and Integration(26%), AI Safety, Security, and Governance(20%), Operational Efficiency and Optimization for GenAI Applications(12%), Testing, Validation, and Troubleshooting(11%)입니다.

무게중심은 Amazon Bedrock입니다. 이 문제은행을 위해 저희가 만든 AIP-C01 문제 405개 중 약 절반(49%)에 Bedrock 자체 태그가 붙어 있고, 70문제는 그 구성 요소(Knowledge Bases, Guardrails, Agents, AgentCore, Prompt Management) 태그만 붙어 있습니다. 세 문제 중 두 문제가 Bedrock을 다루는 셈입니다. 그다음은 연결 역할을 하는 AWS Lambda(11%)입니다. 약 다섯 문제 중 하나(19%)는 트러블슈팅 시나리오입니다. 테스트 도메인 비중 11%보다 많은데, 진단은 모든 도메인에 등장하기 때문입니다.

질문 1: 모델에 지식이 없는가, 아니면 동작이 잘못됐는가?

첫 번째 갈림길이며, 시험은 이 구분을 끊임없이 묻습니다. 우리 회사 반품 정책을 모르는 모델은 지식이 부족한 것입니다. 정책은 아는데 어조나 형식이 틀리게 쓰는 모델은 동작에 문제가 있는 것입니다. 둘은 해결책이 다릅니다.

증상일반적인 해결책
자주 바뀌거나 회사 내부에만 있는 사실을 답변에서 놓친다RAG. 예를 들어 Bedrock 지식 기반(knowledge base). 재학습은 사실이 다음에 바뀌는 순간 낡은 정보가 됩니다.
출력 형식이나 지시를 따르지 않는다먼저 프롬프트 엔지니어링. 명확한 시스템 프롬프트, 퓨샷(few-shot) 예시, 구조화된 출력. 프롬프트 버전은 Bedrock Prompt Management로 관리합니다.
프롬프트로는 가르칠 수 없는 지속적인 문체, 어휘, 작업 능력커스텀 모델 파인튜닝. 그다음 Provisioned Throughput이나 커스텀 모델 배포로 서빙합니다.
팀이 모델을 빠르게 바꿀 수 있어야 한다공급자별 InvokeModel 본문 대신 Converse API(모든 모델에 하나의 요청 형식)와 런타임 구성을 씁니다.

질문 2: 검색이 실패했는가, 생성이 실패했는가?

RAG 애플리케이션에서 나쁜 답변의 원인은 두 가지입니다. 필요한 구절을 아예 검색하지 못했거나, 검색은 했는데 모델이 잘못 활용한 경우입니다. 첫 번째 경우라면 temperature, 모델 크기, 프롬프트 문구를 바꿔도 소용이 없습니다. 도메인 1과 5에 관한 저희 해설은 이 구분으로 거듭 돌아옵니다.

  • 아무것도 안 나오거나 예전 내용이 나온다: 수집(ingestion)을 확인하세요. 지식 기반은 동기화(수집 작업) 후에야 원본 변경을 반영하므로 동기화를 자동화해야 합니다. 그리고 원본 파일을 지웠다면 벡터도 지워져야 합니다.
  • 정확한 식별자를 놓친다(부품 번호, 오류 코드, 이름): 키워드 매칭과 벡터 매칭을 결합한 하이브리드 검색을 쓰세요(Bedrock 지식 기반에서는 OpenSearch Serverless나 Aurora PostgreSQL처럼 이를 지원하는 벡터 스토어에서만 가능합니다).
  • 맞는 구절을 찾았지만 순위가 낮다: 리랭커(reranker)를 추가하거나 쿼리를 변환하세요.
  • 청크 경계에서 답변이 맥락을 잃는다: 청크 크기와 겹침(overlap)을 다시 검토하거나, 계층적 청킹이나 시맨틱 청킹을 쓰세요.
  • 검색은 괜찮은데 답변이 숫자를 지어낸다: 이것은 생성 문제입니다. 검색된 원본에 대한 충실도(faithfulness)를 측정하고, Guardrails의 맥락 근거 검사(contextual grounding check)를 쓰세요.

평가도 같은 구분을 따릅니다. Bedrock의 RAG 평가는 검색과 생성을 따로 채점합니다. LLM-as-a-judge는 품질 채점을 대규모로 할 수 있게 해 주지만, 브랜드 보이스처럼 주관적인 품질에서는 사람의 판단에 맞춰 보정해야 합니다.

더 깊이: 벡터 검색이 부품 번호를 놓치는 이유

임베딩 모델은 구절을 의미를 담은 벡터로 바꿉니다. 그래서 "cancel my order"와 "stop my purchase"는 서로 가까이 놓입니다. 바꿔 말한 표현을 찾을 때는 바로 이 점이 필요하지만, 식별자를 찾을 때는 바로 이 점 때문에 실패합니다. "ZX-4471"과 "ZX-4417"은 임베딩 모델에게 거의 같은 의미이므로 거의 겹쳐서 놓일 수 있고, 드문 코드는 아예 정밀하게 표현되지 않을 수도 있습니다. 키워드 순위(BM25 등)는 반대로 동작합니다. 쿼리와 정확히 일치하는 용어를 기준으로 문서에 점수를 매기고, 드문 용어에는 가중치를 더 줍니다. 하이브리드 검색은 둘을 모두 실행해 결과를 합치므로, 한 번의 쿼리로 의미 매칭과 정확 매칭을 함께 얻습니다. 임베딩 모델 교체가 작은 변경이 아닌 이유도 여기에 있습니다. 문서와 쿼리는 같은 모델로 임베딩해야 하므로, 모델을 바꾸면 전체 코퍼스를 다시 임베딩하고 다시 인덱싱해야 합니다.

초보자 팁: 가능한 한 작은 지식 기반을 만들어 보세요. S3 버킷에 짧은 텍스트 파일 세 개를 넣고, 그중 하나에 가상의 제품 코드를 적습니다. 동기화한 뒤 그 코드에 관해 질문합니다. 그다음 새 사실을 담은 네 번째 파일을 추가하고, 동기화하지 않은 채 그 사실을 물어봅니다. 이어서 동기화하고 다시 물어봅니다. 이렇게 10분만 해 보면 "모델은 멀쩡하고 인덱스가 오래됐다"는 답을 바로 알아보게 됩니다. 끝나면 아무것도 계속 실행되지 않도록 지식 기반과 벡터 스토어를 삭제하세요.

질문 3: 이 통제는 어디에 두어야 하는가?

도메인 3 문제는 통제를 추가할지보다 어디에 둘지를 묻습니다. 각 계층은 다른 계층이 못 잡는 것을 잡으며, 시험은 이들을 대안이 아니라 서로 더해지는 것으로 봅니다.

요구사항계층
어떻게 표현하든 주제 X는 절대 다루지 않는다Guardrails의 금지 주제(denied topic). 단어 필터는 목록에 넣은 단어와 구문만 잡습니다.
프롬프트와 답변에 개인정보가 들어가지 않게 한다호출 전에 애플리케이션에서 마스킹하고, 입력과 출력의 안전망으로 Guardrails PII 필터를 씁니다.
검색된 웹 페이지나 업로드된 파일에 숨은 지시간접 프롬프트 인젝션. 사용자 프롬프트의 가드레일과 별도로, 검색된 텍스트를 신뢰할 수 없는 데이터로 다루고 검사합니다.
에이전트가 속더라도 피해를 줄 수 없어야 한다도구에 최소 권한 IAM 역할, 실행 전 검사, 되돌릴 수 없는 작업에는 사람의 승인.
감사인이 과거 응답 내용을 보고 싶어 한다Bedrock 모델 호출 로깅(model invocation logging). 요청 전에 켜 두었을 때만 프롬프트와 응답이 기록됩니다.
모델 버전별 문서화모델 레지스트리 버전에 연결된 SageMaker 모델 카드.

자격 증명은 별도의 함정입니다. 애플리케이션의 최종 사용자는 Amazon Cognito로 자격 증명을 받고, AWS 계정에 접근하는 직원은 IAM Identity Center를 씁니다.

AIP-C01: 각 안전 통제가 놓이는 위치
애플리케이션
호출 전에 개인정보 마스킹
Guardrails
금지 주제 · 입력과 출력의 PII 필터 · 맥락 근거 검사
검색된 콘텐츠
신뢰할 수 없는 데이터로 취급 · 간접 프롬프트 인젝션 검사
에이전트 도구
최소 권한 IAM 역할 · 실행 전 검사 · 되돌릴 수 없는 작업에는 사람의 승인
감사와 기록
미리 켜 둔 모델 호출 로깅 · 레지스트리 버전별 모델 카드
계층은 서로를 대체하지 않고 더해집니다. 각 계층은 다른 계층이 못 잡는 것을 잡습니다.

질문 4: 토큰, 용량, 대기 시간 중 무엇에 비용을 치르고 있는가?

도메인 4는 12%에 불과하지만, 선택지마다 바꾸는 대상이 달라서 헷갈리기 쉽습니다.

  • 토큰이 너무 많다: 프롬프트를 줄이고, 반복되는 맥락은 프롬프트 캐싱으로, 반복되는 질문은 시맨틱 캐싱으로 캐시하고, 간단한 요청은 더 작은 모델로 보냅니다(모델 캐스케이딩). temperature와 스트리밍은 요금에 영향을 주지 않습니다.
  • 용량이 부족하다: 교차 리전 추론(cross-Region inference)은 약정 없이 급증하는 트래픽을 흡수합니다(데이터가 특정 지역 안에 머물러야 하면 지리적 프로필을 고릅니다). Provisioned Throughput은 꾸준한 부하를 위해 용량을 예약합니다.
  • 사용자가 느리다고 느낀다: 응답을 스트리밍해 첫 토큰까지의 시간을 줄이고, 서로 독립적인 모델 호출은 병렬로 실행합니다.
  • 기다려도 되는 대규모 작업: 배치 추론. 지연 시간을 내주고 더 낮은 가격을 얻습니다.

비중에 따른 학습 순서

  1. 도메인 1(이 사이트의 35일 학습 계획 중 1~10일차): 모델 선택, Converse, 맞춤화 스펙트럼, 벡터 스토어, 청킹과 임베딩, 지식 기반 동기화, 프롬프트 관리.
  2. 도메인 2: 에이전트(추론-행동-관찰 루프, 도구, MCP, 메모리), 멀티 에이전트 라우팅, Step Functions 오케스트레이션, 배포 옵션, API Gateway와 EventBridge 통합.
  3. 도메인 3: Guardrails 심화, 프롬프트 인젝션, PII와 Macie, VPC 엔드포인트를 통한 프라이빗 연결, 모델 카드와 감사 로깅.
  4. 도메인 4와 5 함께: 비용과 지연 시간 조절 수단, CloudWatch 모니터링, 평가 작업, 프롬프트 회귀 테스트, 트러블슈팅 연습.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

시험 정보는 AIP-C01 AWS 시험 가이드에 공개된 내용 기준이며, 서비스 비율은 저희 문제은행을 기준으로 합니다. Bedrock 기능, 모델 제공 여부, 리전 지원은 자주 바뀌므로 최신 문서와 공식 시험 페이지를 확인하세요.