Kafka Streams를 k8s로 옮기며 얻은 스케일링 설계: 비용 80% 절감까지
안녕하세요. 기술본부 데이터엔지니어링셀 김태완입니다. 이 글에서는 AWS EC2 기반으로 운영되던 Log Transformer(Kafka Streams 애플리케이션)를 Kubernetes(이하 k8s)로 마이그레이션하면서, Kafka consumer 워크로드에 맞는 스케일링 정책을 설계…
안녕하세요. 기술본부 데이터엔지니어링셀 김태완입니다. 이 글에서는 AWS EC2 기반으로 운영되던 Log Transformer(Kafka Streams 애플리케이션)를 Kubernetes(이하 k8s)로 마이그레이션하면서, Kafka consumer 워크로드에 맞는 스케일링 정책을 설계…