Spark Connect on Kubernetes #2: Operator로 만드는 Control Plane
안녕하세요. 토스증권 Data Infra팀 박지원입니다. 지난 편에서는 Spark Connect 서버를 여러 replica로 나누고 Gateway로 요청을 분산시켰습니다. 한 Driver에 몰리던 사용자를 분산해 장애와 리소스 경합을 줄이기 위해 새 세션은 한가한 서버에 배치하고, 기존…
안녕하세요. 토스증권 Data Infra팀 박지원입니다. 지난 편에서는 Spark Connect 서버를 여러 replica로 나누고 Gateway로 요청을 분산시켰습니다. 한 Driver에 몰리던 사용자를 분산해 장애와 리소스 경합을 줄이기 위해 새 세션은 한가한 서버에 배치하고, 기존…