Private Cloud의 GPU 자원을 활용한 Private LLM 구축 과정
프라이빗 클라우드 내 OKD Kubernetes 환경에서 GPU 디바이스를 활성화하고 Ollama LLM을 구성하여 프라이빗 환경의 LLM 챗봇을 구현합니다. 이와 더불어 GPU 인프라를 모니터링하고 시각화하는 방안을 알아봅니다. Written by 윤인수님 안녕하세요. LG U+ IT…
프라이빗 클라우드 내 OKD Kubernetes 환경에서 GPU 디바이스를 활성화하고 Ollama LLM을 구성하여 프라이빗 환경의 LLM 챗봇을 구현합니다. 이와 더불어 GPU 인프라를 모니터링하고 시각화하는 방안을 알아봅니다. Written by 윤인수님 안녕하세요. LG U+ IT…