사내 LLM 요청을 한곳으로 모은 AI Gateway 구축기
안녕하세요, 데브옵스 엔지니어 포카입니다. 인프랩에서는 자막 번역, 강의 상세 생성, 학습 에이전트, 커뮤니티 답변 등 꽤 많은 곳에서 LLM API를 쓰고 있습니다. 처음에는 각 서비스가 필요한 제공 업체에서 API 키를 발급받아 직접 호출하는 방식이었는데요. 사용처가 서른 곳을 넘어…
안녕하세요, 데브옵스 엔지니어 포카입니다. 인프랩에서는 자막 번역, 강의 상세 생성, 학습 에이전트, 커뮤니티 답변 등 꽤 많은 곳에서 LLM API를 쓰고 있습니다. 처음에는 각 서비스가 필요한 제공 업체에서 API 키를 발급받아 직접 호출하는 방식이었는데요. 사용처가 서른 곳을 넘어…