cert-bank

가이드

Read this guide in English

Kinesis Data Streams vs Amazon MSK: 시험 문제가 원하는 쪽을 가려내는 법

Amazon Kinesis Data Streams와 Amazon Managed Streaming for Apache Kafka(MSK)는 모두 생산자(producer)에서 소비자(consumer)로 끊임없이 레코드 스트림을 전달합니다. 그리고 같은 시험 문제의 선택지로 함께 나옵니다. 하지만 둘은 서로 바꿔 쓸 수 없으며, 문제 지문에는 거의 항상 둘 중 하나를 가르는 단서가 하나 들어 있습니다. 이 글은 둘의 차이와 찾아야 할 단서를 설명합니다.

개념 비교 · SAA-C03, DEA-C01 및 기타 AWS 데이터 시험

Kinesis Data Streams vs Amazon MSK: 시험 문제가 원하는 쪽을 가려내는 법

짧은 답

시나리오가 이미 Kafka를 쓰고 있다면 MSK를 고르십시오. 기존 Kafka 생산자나 소비자, Kafka Connect, Kafka Streams가 있거나, 오픈 소스 Kafka API를 유지해야 하는 경우입니다. 설정을 최소화한 AWS 네이티브 스트림을 원한다면 Kinesis Data Streams를 고르십시오. 크기를 정할 브로커가 없고, Lambda 및 Amazon Data Firehose와 바로 연동되며, 용량을 온디맨드로 확장할 수 있습니다.

나란히 비교

Kinesis Data StreamsAmazon MSK
정체자체 API를 가진 AWS 스트리밍 서비스관리형 Apache Kafka: 오픈 소스 Kafka API와 도구
확장 단위샤드(shard). 온디맨드 모드에서는 AWS가 관리브로커와 토픽 파티션(프로비저닝), 또는 MSK Serverless
순서 보장샤드 단위, 파티션 키 기준파티션 단위, 메시지 키 기준
보존 기간기본 24시간, 최대 365일까지 연장 가능토픽별로 설정. 계층형 스토리지(tiered storage)로 오래된 데이터를 저렴하게 오래 보관
소비자Lambda, Firehose, Managed Service for Apache Flink, KCL 애플리케이션. 향상된 팬아웃(enhanced fan-out)은 소비자마다 별도 읽기 처리량을 제공모든 Kafka 클라이언트나 소비자 그룹, Kafka Connect, Flink, Lambda
직접 운영할 것거의 없음: 샤드 수, 온디맨드 모드에서는 아무것도 없음클러스터 크기, 브로커 스토리지, Kafka 설정(Express 브로커나 MSK Serverless는 더 적음)
나중에 옮기기코드가 Kinesis API를 쓰므로 AWS에 묶임표준 Kafka이므로 애플리케이션을 적은 변경으로 다른 Kafka 클러스터로 옮길 수 있음
문제가 원하는 스트리밍 서비스는 무엇인가?
시나리오가 이미 Kafka 클라이언트, Kafka Connect, Kafka Streams를 쓰고 있는가?
예 →
Amazon MSK
↓ 아니요
할 일이 S3, Redshift, OpenSearch로 레코드를 전달하는 것뿐인가?
예 →
Amazon Data Firehose
↓ 아니요
여러 소비자가 모든 레코드를 읽거나, 나중에 다시 재생(replay)해야 하는가?
예 →
Kinesis Data Streams (읽는 쪽이 많으면 향상된 팬아웃)
↓ 아니요
메시지마다 작업자 하나가 한 번만 처리하고, 재생이 필요 없는가?
예 →
Amazon SQS (스트림이 아닌 큐)
↓ 아니요
그 밖의 경우 →
온디맨드 모드의 Kinesis Data Streams: 운영 부담이 가장 적음
지문을 위에서부터 읽으십시오. 처음으로 "예"가 나오는 질문이 답을 정합니다.

문제 속 단서

MSK를 가리키는 단서

  • "회사가 온프레미스(또는 EC2)에서 Apache Kafka를 운영하고 있으며 운영 부담을 줄이고 싶다": 정답은 MSK로 이전하는 것입니다. 애플리케이션이 Kafka 클라이언트를 그대로 쓸 수 있기 때문입니다.
  • 이미 쓰고 있는 Kafka Connect 커넥터, Kafka Streams 애플리케이션, 스키마 레지스트리.
  • 벤더 종속 API를 피하거나 클라우드 간 이식성을 유지해야 한다는 요구 사항.
  • 재생을 위해 원본 스트림을 Kinesis 스트림이 보관하는 기간보다 훨씬 오래 보관해야 하는 경우.

Kinesis Data Streams를 가리키는 단서

  • 아직 스트리밍 시스템이 없는 새 애플리케이션이고, 지문에 "운영 부담 최소화"가 있는 경우.
  • 트래픽을 예측하기 어려워 온디맨드 용량으로 샤드 계획을 없앨 수 있는 경우.
  • 레코드가 Lambda 함수를 트리거하거나, 사용자 코드 없이 Firehose를 거쳐 S3, Redshift, OpenSearch로 흘러가야 하는 경우.
  • 여러 애플리케이션이 같은 스트림을 최대 속도로 읽는 경우: 향상된 팬아웃.
더 깊이: 순서가 샤드나 파티션 안에서만 보장되는 이유

두 서비스 모두 스트림을 나누어 확장합니다. Kinesis는 샤드로, Kafka는 토픽을 파티션으로 나눕니다. 나뉜 조각 하나하나는 순서가 있는 로그이며, 한 시점에 소비자 그룹의 소비자 하나만 읽습니다. 그리고 조각들은 병렬로 읽힙니다. 조각 사이에서까지 순서를 지키려면 모든 소비자가 레코드마다 서로 조율해야 하고, 그러면 애초에 나눈 목적인 병렬성이 사라집니다. 그래서 레코드의 키가 조각을 정하고(Kinesis는 파티션 키의 해시, Kafka는 메시지 키의 해시), 순서는 키 단위로 지켜집니다.

그 대가가 핫 샤드(hot shard)나 핫 파티션입니다. 키 하나가 트래픽 대부분을 차지하면, 그 조각은 처리량 한도에 걸리고 나머지는 놀게 됩니다. 시험 지문은 이를 스트림 전체로는 용량에 한참 못 미치는데 샤드 하나에서 스로틀링(throttling)이 발생한다고 묘사합니다. 해결책은 단순히 샤드를 늘리는 것이 아니라 서로 다른 값이 더 많은 키를 쓰는 것입니다.

자주 잊는 세 번째 선택지: Amazon Data Firehose

지문이 스트리밍 데이터를 S3, Redshift, OpenSearch, HTTP 엔드포인트로 전달하라고만 요구한다면(가벼운 변환과 배치 처리가 있을 수도 있습니다), Kinesis Data Streams나 MSK 단독으로는 최선의 답이 아닙니다. Amazon Data Firehose(이전 이름 Kinesis Data Firehose)는 소비자 코드를 작성하거나 용량을 관리할 필요 없이 전달을 처리합니다. 재생할 수 있는 스트림은 아닙니다. 데이터를 짧은 시간 버퍼링했다가 전달합니다. 그래서 "데이터 레이크에 적재"에는 맞지만 "세 팀이 같은 이벤트를 각자 읽게 한다"에는 맞지 않습니다.

초보자 팁: 스트리밍 문제를 풀기 전에 상자 세 개로 그려 보십시오. 쓰는 쪽(생산자), 스트림, 읽는 쪽(소비자)입니다. 그다음 소비자 수를 세고, 각 소비자가 모든 레코드를 봐야 하는지 따져 봅니다. 데이터를 적재만 하는 소비자 하나 → Firehose. 독립된 여러 소비자나 재생 → 스트림. 기존 Kafka 코드 → MSK.

자주 빠지는 함정

  • 스트림 자리에 SQS를 고르는 것. SQS에서는 소비자가 메시지를 처리한 뒤 삭제합니다. 그래서 여러 소비자가 각자 모든 메시지를 읽을 수 없고, 재생도 할 수 없습니다. 지문에 "재생"이나 "독립된 여러 소비자"가 나오면 스트림이 필요합니다.
  • EC2에서 Kafka를 직접 운영하는 것. 동작은 하지만, 선택지에 MSK가 있고 지문이 운영 부담을 언급한다면 정답인 경우는 거의 없습니다.
  • 스트림 전체에서 순서가 보장된다고 가정하는 것. 두 서비스 모두 샤드나 파티션 안에서만 순서를 지킵니다. 한 고객의 모든 레코드가 순서를 유지해야 한다면 같은 파티션 키를 써야 합니다.

연습하기

스트리밍 서비스 선택 문제는 SAA-C03의 Design Resilient Architectures 및 Design High-Performing Architectures 도메인과, 주로 DEA-C01의 Data Ingestion and Transformation 도메인에 나옵니다.

서비스 한도와 기능은 시간이 지나면서 바뀝니다. 숫자에 의존하기 전에 최신 Kinesis 및 MSK 문서에서 정확한 할당량(quota)을 확인하십시오.