손가락을 튕기기로 LLM 비용 줄이기
토스의 수많은 서비스와 내부 업무에도 생성형 AI가 정말 많이 사용되고 있습니다. 복잡한 정책을 읽고, 상품 정보를 비교하고, 문서를 요약하고, 정해진 형식의 값을 추출하는 등, LLM이 맡는 범위도 빠르게 넓어지고 있죠. 시간도 비용도 비싼 데이터 레이블링을 통해 모델을 학습하고 문제…
토스의 수많은 서비스와 내부 업무에도 생성형 AI가 정말 많이 사용되고 있습니다. 복잡한 정책을 읽고, 상품 정보를 비교하고, 문서를 요약하고, 정해진 형식의 값을 추출하는 등, LLM이 맡는 범위도 빠르게 넓어지고 있죠. 시간도 비용도 비싼 데이터 레이블링을 통해 모델을 학습하고 문제…