LLM 비용 64% 절감, 캐시 히트율 98% 달성기
안녕하세요, 29CM Pricing 팀에서 백엔드 개발을 맡고 있는 정다해입니다. 29CM에서는 상품 속성 추출, 그룹 평가, 고객 응대 등 여러 기능에서 AWS Bedrock 기반 LLM을 사용하고 있습니다. 운영 중 LLM 비용이 꾸준히 증가하는 추세가 관찰되어 비용 구조 분석을 시…
안녕하세요, 29CM Pricing 팀에서 백엔드 개발을 맡고 있는 정다해입니다. 29CM에서는 상품 속성 추출, 그룹 평가, 고객 응대 등 여러 기능에서 AWS Bedrock 기반 LLM을 사용하고 있습니다. 운영 중 LLM 비용이 꾸준히 증가하는 추세가 관찰되어 비용 구조 분석을 시…