cert-bank

가이드

Read this guide in English

SQS vs SNS vs EventBridge(그리고 Kinesis가 맞는 경우): 서비스를 고르는 네 가지 질문

Amazon SQS, Amazon SNS, Amazon EventBridge는 모두 생산자와 소비자 사이에 놓이고, 모두 서버리스입니다. 시험 문제에서는 이 셋이 선택지 네 개 중 세 개를 차지하고, 나머지 하나가 Amazon Kinesis Data Streams인 경우가 많습니다. 하지만 서로 바꿔 쓸 수는 없습니다. 각각 메시지가 어떻게 전달되어야 하는지에 대한 서로 다른 질문에 답합니다. 이 글은 지문에 순서대로 던질 네 가지 질문과, 각 질문에 답을 주는 단서를 정리합니다.

개념 비교 · SAA-C03, DVA-C03, SAP-C03, DEA-C01, DOP-C02

SQS vs SNS vs EventBridge(그리고 Kinesis가 맞는 경우): 서비스를 고르는 네 가지 질문

어떤 시험에 나오는가

자체 연습 문제 은행에서 각 서비스 태그가 붙은 문제 수를 세어 보았습니다. 개발자 시험과 아키텍트 시험은 네 가지를 모두 다룹니다. DevOps 시험과 데이터 엔지니어 시험은 EventBridge와 Kinesis 쪽에 치우쳐 있습니다.

시험(문제 은행의 문항 수)SQSSNSEventBridgeKinesis
DVA-C03 (470)1911137
SAP-C03 (509)177165
SAA-C03 (395)14345
DEA-C01 (395)961416
DOP-C02 (395)68296

SOA-C03과 SCS-C03도 EventBridge를 자주 다루지만, 메시징 서비스 선택보다는 주로 자동 복구(remediation)의 트리거로 다룹니다. 그래서 이 글의 초점은 아닙니다.

질문 1: 작업자 하나인가, 수신자 여럿인가?

SQS 메시지는 소비자 하나가 받아서 삭제합니다. 그래서 큐는 작업 큐(work queue)에 알맞습니다. 순간적인 폭주를 버퍼링하고, 느린 소비자가 자기 속도대로 처리하게 하며, 소비자가 중단되어도 생산자에 영향이 가지 않게 합니다. 반대로 SQS만으로는 브로드캐스트를 할 수 없다는 뜻이기도 합니다. 같은 이벤트가 결제, 재고, 분석 시스템에 모두 가야 한다면 각각 자기 사본이 필요합니다. 이것이 게시-구독(publish-subscribe)이며, SNS나 EventBridge가 맡습니다.

질문 2: 경로가 이벤트의 내용이나 출처에 따라 달라지는가?

SNS는 토픽의 모든 구독에 메시지 사본을 푸시하며, 구독 필터 정책(filter policy)으로 구독자가 원하지 않는 메시지를 걸러 낼 수 있습니다. EventBridge는 라우팅을 중심으로 설계되었습니다. 이벤트는 기본 버스로 AWS 서비스에서, 사용자 지정 버스로 직접 작성한 코드에서, 또는 SaaS 파트너에게서 들어옵니다. 규칙은 이벤트의 어떤 필드로든 매칭할 수 있고(예: source가 "orders"이고 금액이 1,000을 넘는 경우), 매칭된 이벤트를 필요하면 형태를 바꿔 대상(target)으로 보냅니다. EventBridge는 이벤트를 아카이브해 두었다가 소비자를 고친 뒤 재생할 수도 있고, Scheduler로 일회성 또는 반복 호출을 실행합니다. 여기서 설명한 규칙과 대상 방식의 버스는 이제 Custom Event Bus - Classic이라고 부릅니다. EventBridge에는 더 새로운 Custom Event Bus도 있습니다. 이 버스에서는 구독자(subscriber)마다 매칭된 이벤트를 대상 하나로 전달하고, 버스가 모든 이벤트를 1~365일 동안 보존하며, 이벤트 그룹 안에서 FIFO 순서로 전달합니다. 알려진 구독자에게 단순하게 대량 팬아웃하는 경우(이메일, SMS, 모바일 푸시 포함)에는 SNS를 고르십시오. 지문이 AWS 서비스나 SaaS 애플리케이션의 이벤트, 내용 기반 라우팅, 많은 규칙, 계정 간 이벤트 버스, 재생을 언급하면 EventBridge를 고르십시오.

질문 3: 여러 애플리케이션이 순서 있는 같은 레코드를 읽고, 다시 읽어야 하는가?

여기서부터는 Kinesis Data Streams의 영역입니다. 스트림은 누가 읽었든 읽지 않았든 보존 기간(기본 24시간, 최대 365일까지 연장 가능) 동안 레코드를 보관합니다. 소비자 애플리케이션은 각자 스트림 전체를 독립적으로 읽고 자기 위치를 따로 유지합니다. 그래서 새 애플리케이션은 처음부터 읽을 수 있고, 문제가 생긴 애플리케이션은 되감을 수 있습니다. 파티션 키가 같은 레코드는 같은 샤드로 가고, 그 안에서 순서를 지킵니다. 단서: 클릭스트림, 텔레메트리, "여러 팀이 같은 이벤트를 처리", "최근 이틀 치를 다시 처리", "기기별 순서 보장". 지문이 "스트림을 S3나 Redshift로 전달"만 말한다면 Amazon Data Firehose가 수고가 덜 드는 답입니다. 더 새로운 EventBridge Custom Event Bus(질문 2)도 이벤트를 보존하고 새 구독자가 과거 시점부터 읽게 해 주므로 지문을 꼼꼼히 읽으십시오. 샤드, 파티션 키, 클릭스트림, 텔레메트리라는 말이 나오면 여전히 Kinesis입니다.

질문 4: 순서나 정확히 한 번(exactly-once)이 중요한가?

SQS 표준 큐와 SNS 표준 토픽은 최선 노력(best-effort) 순서만 보장하며, 메시지를 두 번 이상 전달할 수 있습니다. FIFO 큐(그리고 순서 있는 팬아웃을 위해 FIFO 큐와 짝지은 SNS FIFO 토픽)는 메시지 그룹 ID 안에서 순서를 지키고, 중복 제거 ID나 본문 해시를 이용해 5분 중복 제거 구간 안에 보낸 중복을 버립니다. Kinesis에서는 파티션 키로 정해지는 샤드 단위로 순서가 지켜집니다. 더 새로운 EventBridge Custom Event Bus에서는 FIFO 구독자가 이벤트 그룹 안에서 순서를 지킵니다. 어떤 경우든 순서에는 범위가 있습니다. 메시지 그룹 단위, 이벤트 그룹 단위, 파티션 키 단위이며, 대규모에서 전체에 걸친 순서는 결코 보장되지 않습니다.

SQS, SNS, EventBridge, Kinesis: 지문이 원하는 것은?
할 일이 스트림을 S3나 Redshift로 전달하는 것뿐인가?
예 →
Amazon Data Firehose
↓ 아니요
여러 애플리케이션이 순서 있는 같은 레코드를 읽고, 다시 읽어야 하는가?
예 →
Kinesis Data Streams
↓ 아니요
메시지마다 작업자 하나에게 가는가: 버퍼링, 분리(decouple), 나중에 재시도?
예 →
Amazon SQS (순서나 정확히 한 번이 중요하면 FIFO)
↓ 아니요
내용 기반 라우팅, AWS 서비스나 SaaS 이벤트, 스케줄, 수정 후 재생이 필요한가?
예 →
Amazon EventBridge
↓ 아니요
그 밖의 경우 →
Amazon SNS: 이메일, SMS, 모바일 푸시를 포함해 알려진 구독자에게 팬아웃
위에서부터 읽으십시오. 처음으로 "예"가 나오는 질문이 서비스를 정하며, 순서는 항상 그룹이나 키 단위입니다.

요약 표

SQSSNSEventBridgeKinesis Data Streams
모델큐. 소비자가 가져감(pull)토픽. 구독자에게 푸시이벤트 버스. 규칙이 라우팅순서 있는 로그. 소비자가 읽음
메시지를 받는 쪽소비자 하나모든 구독자(필터 적용 후)매칭된 모든 규칙의 모든 대상모든 소비자 애플리케이션
전달 후 보관아니요. 처리하면 삭제아니요(FIFO 토픽은 아카이브한 경우에만)Classic 버스는 아카이브한 경우에만, Custom Event Bus는 예, 보존 기간 동안예, 보존 기간 동안
지문에 자주 나오는 말버퍼, 분리, 나중에 재시도, 트래픽 급증팬아웃, 알림, 이메일, SMS내용 기반 라우팅, AWS 서비스 이벤트, SaaS, 스케줄실시간 스트림, 재생, 여러 소비자

초보자 팁: 콘솔에서 10분만 들여 팬아웃 패턴을 직접 만들어 보십시오. SNS 토픽 하나와 billing, analytics라는 SQS 큐 두 개를 만들고, 두 큐를 모두 구독시킵니다. billing 구독에는 {"eventType": ["refund"]}만 받는 필터 정책을 겁니다. eventType=refund 속성을 단 메시지와 eventType=order 속성을 단 메시지를 하나씩 게시한 뒤 두 큐를 폴링합니다. analytics 큐는 두 메시지를 모두 받고 billing 큐는 하나만 받는 것을 직접 보면 "SNS에서 여러 SQS 큐로"와 "필터 정책"이 구체적으로 이해됩니다. 끝나면 모두 삭제하십시오.

시험 정답에 쓰이는 조합

  • SNS에서 여러 SQS 큐로: 팬아웃 구조에서 각 소비자의 메시지가 자기 큐에서 기다리므로, 한 소비자가 실패하거나 뒤처져도 다른 소비자에 영향을 주지 않습니다.
  • EventBridge 규칙에서 SQS 큐로: 내용 기반 라우팅과 함께, 폭주를 감당하지 못하는 소비자 앞에 버퍼를 둡니다.
  • S3 이벤트를 EventBridge로: 업로드 하나가 여러 대상을 트리거해야 하거나, 접두사(prefix)와 접미사(suffix) 이상의 필터가 필요할 때 씁니다.
  • Kinesis Data Streams에서 Firehose로: 스트림에는 실시간 소비자를 두고, 코드 없이 S3에 사본을 적재합니다.
더 깊이: "절대 두 번 청구하지 않기"는 전송 계층이 아니라 소비자에서 해결하는 이유

중복이 생기는 원인은 하나가 아닙니다. 표준 큐는 가끔 같은 메시지를 두 번 전달할 수 있습니다. 시간 초과로 재시도한 생산자는 같은 비즈니스 이벤트를 새 메시지 ID로 한 번 더 보냅니다. 같은 중복 제거 ID를 담지 않는 한 어떤 전송 계층도 이를 중복으로 알아보지 못합니다. 또 SQS 가시성 제한 시간(visibility timeout)보다 오래 실행되는 소비자가 있으면 메시지가 다시 보이게 되어 두 번째 소비자도 처리합니다(Lambda 소비자의 경우 AWS는 가시성 제한 시간을 함수 제한 시간의 6배 이상으로 두라고 권장합니다). FIFO 중복 제거는 앞의 두 경우에만, 그것도 5분 구간 안에서만 도움이 됩니다. 견고한 해법은 멱등(idempotent) 소비자입니다. 주문 ID처럼 비즈니스 데이터에서 얻은 키를 조건부 쓰기(예: attribute_not_exists를 건 DynamoDB PutItem)로 부수 효과보다 먼저 또는 함께 기록하고, 조건이 실패하면 "이미 처리됨"으로 취급합니다.

알아봐야 할 함정

  • "세 시스템에 알림"에 SQS를 제시하는 경우: 큐 하나는 각 메시지를 소비자 하나에게만 줍니다.
  • "순서를 지키려고" 메시지 그룹 ID 하나나 고정된 파티션 키를 쓰는 경우: 모든 것이 한 줄로 처리되어 처리량이 무너집니다. 고객별이나 기기별 키를 쓰십시오.
  • 메시지 그룹이 하나뿐인 FIFO 큐의 적체를 해소하려고 소비자를 늘리는 경우: 같은 그룹은 병렬로 처리할 수 없습니다.
  • 다섯 애플리케이션이 어제 텔레메트리를 순서대로 다시 읽게 하려고 Classic 버스의 EventBridge 규칙을 고르는 경우: 규칙은 이벤트를 전달할 뿐 아카이브하지 않으면 보관하지 않습니다. 이것은 버스가 아니라 스트림이 필요한 상황입니다.

연습하기

문제은행에서 연습하십시오. 모든 문제에 정답과 오답 보기마다 해설이 있습니다. 방금 공부한 도메인부터 시작하고, 그다음 시간 제한이 있는 모의고사를 보십시오.

문항 수는 작성 시점의 자체 문제 은행 기준입니다. 서비스 기능과 한도는 바뀝니다. SQS, SNS, EventBridge, Kinesis의 최신 AWS 문서를 확인하십시오.