CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 1. 코드 설계편
- blog CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 1. 코드 설계편 1. 들어가며 안녕하세요, 카카오 데이터분석플랫폼 조직의 dawn(최여명)입니다. 저희 조직에서는 카카오 내 여러 서비스의 데이터를 한 곳으로 응집하기 위해 약 300개 이상의 대규모 CDC(C…
- blog CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 1. 코드 설계편 1. 들어가며 안녕하세요, 카카오 데이터분석플랫폼 조직의 dawn(최여명)입니다. 저희 조직에서는 카카오 내 여러 서비스의 데이터를 한 곳으로 응집하기 위해 약 300개 이상의 대규모 CDC(C…