Kanana-2 개발기 (1): Pre-training에서의 의사결정들을 중심으로
안녕하세요. 카카오의 AI 모델 개발을 담당하는 카나나 LLM 조직에서 Pre-training을 연구개발하는 Lambda입니다. 지난 12월 19일 카카오가 자체 개발한 차세대 언어모델 Kanana-2-30b-a3b를 오픈소스로 공개한 데에 이어, 한 달여 만에 성능과 활용성을 대폭 강…
안녕하세요. 카카오의 AI 모델 개발을 담당하는 카나나 LLM 조직에서 Pre-training을 연구개발하는 Lambda입니다. 지난 12월 19일 카카오가 자체 개발한 차세대 언어모델 Kanana-2-30b-a3b를 오픈소스로 공개한 데에 이어, 한 달여 만에 성능과 활용성을 대폭 강…