Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기
안녕하세요, 펫프렌즈 데이터플랫폼 파트의 데이터 엔지니어 루카스입니다. 펫프렌즈의 데이터 수집과 가공은 대부분 배치 방식으로 운영되어 왔습니다. 하지만 최근 데이터의 활용 맥락이 다양해지면서 실시간 이벤트 데이터 수집 필요성이 나타났습니다. 이번 글에서는 실시간 수집 파이프라인을 도입하…
안녕하세요, 펫프렌즈 데이터플랫폼 파트의 데이터 엔지니어 루카스입니다. 펫프렌즈의 데이터 수집과 가공은 대부분 배치 방식으로 운영되어 왔습니다. 하지만 최근 데이터의 활용 맥락이 다양해지면서 실시간 이벤트 데이터 수집 필요성이 나타났습니다. 이번 글에서는 실시간 수집 파이프라인을 도입하…