GPU 메모리 병목을 해결하는 세 가지 방법 – KV Cache Offload, Sleep/Wake, NPU | 인사이트리포트 | 삼성SDS
Executive Summary - LLM 추론의 병목은 GPU 연산량보다 메모리일 수 있습니다. 긴 컨텍스트와 동시 요청이 늘면 KV Cache가 HBM(High Bandwidth Memory)을 빠르게 점유해 Cache 재계산과 응답 지연을 일으킵니다. - 이 문제는 GPU를 추가하…
Executive Summary - LLM 추론의 병목은 GPU 연산량보다 메모리일 수 있습니다. 긴 컨텍스트와 동시 요청이 늘면 KV Cache가 HBM(High Bandwidth Memory)을 빠르게 점유해 Cache 재계산과 응답 지연을 일으킵니다. - 이 문제는 GPU를 추가하…