[GPU 똑똑하게 쓰기 3 ] 마지막 퍼즐, 남는 GPU를 만들고 채우다 – Bin Packing과 Batch Inference | 인사이트리포트 | 삼성SDS
Executive Summary - 남은 GPU는 '몇 장'보다 '어디에'가 중요합니다: 서빙에 쓰이는 GPU가 노드마다 흩어지면, 빈 GPU를 다 합치면 충분해도 대규모 학습을 올릴 수 없습니다. - 채울 때도, 비울 때도 순서가 있습니다: 확장할 때는 GPU를 많이 쓰는 노드부터 채…