AI 추론 서비스의 새로운 관문, Inference Gateway | 인사이트리포트 | 삼성SDS
Executive Summary - 요청 건수 기준의 한도와 균등 분배를 전제로 만들어진 기존 API Gateway는 LLM 추론에서 한계를 드러냅니다. 특정 사용자의 자원 독점을 막지 못하고, 위험한 입력을 거를 장치가 없으며, GPU를 늘려도 특정 서버에만 요청이 쌓입니다. - In…
Executive Summary - 요청 건수 기준의 한도와 균등 분배를 전제로 만들어진 기존 API Gateway는 LLM 추론에서 한계를 드러냅니다. 특정 사용자의 자원 독점을 막지 못하고, 위험한 입력을 거를 장치가 없으며, GPU를 늘려도 특정 서버에만 요청이 쌓입니다. - In…