박상예 | #Branding #Marketing #Japan 저 그리고 제타팀은 매일 숫자로만 유저를 만납니다. 글로벌 월간 활성 사용자 400만, 일본에서만 200만, 하루 평균 4시간. 숫자는 매일 갱신되는데, 그 숫자 뒤에 누가 있는지는 한 번도 본 적이 없었습니다. zeta는 손…
스캐터랩은 자체 LLM으로 제타(zeta)의 수많은 유저에게 매일 새로운 이야기를 전하고 있습니다. 그동안 저희 블로그에서는 가장 재밌는 모델을 찾는 법, 유저 신호로 선호를 학습하는 법, 그것을 온라인으로 학습하는 법을 소개해 드렸는데요. 오늘은 조금 다른 층의 이야기를 해보려고 합니…
김명현 | #Developer 어느 날 대표님이 Claude Code를 한참 쓰더니 뭔가를 만들어 왔습니다. 비주얼 노벨이랍니다. zeta처럼 AI가 스토리를 진행하는데, 인물과 배경도 그려줍니다. 로컬에서만 동작하긴 했지만, 개발자와 디자이너의 도움 없이 혼자 만들었다는 게 믿기지 않…
김만수 | #ML Engineer 지난 1편에서는 제타의 답변 재생성 시그널을 활용해 DPO(Direct Preference Optimization)로 모델을 개선한 과정을 소개해 드리며 글 후반에 최근에는 GRPO(Group Relative Policy Optimization)와 같은…
이봉석 | #ML Researcher 스캐터랩은 제타에서 자체 LLM을 이용해 수많은 유저들에게 즐거움을 주고 있습니다. 매주 수십 개의 모델 후보가 학습되고 그중 일부가 라이브 서비스에 배포되고 있습니다. 이 과정에서 ML 리서처들이 매번 마주하는 가장 큰 고민은 결국 "어떻게 더 재…
신현아: 스캐터랩의 폭발적인 성장을 백엔드에서 든든하게 받치고 계신 분이죠. 백엔드 엔지니어링 리드, 조한용 님입니다! 한용님, 스캐터랩에는 합류하신 지 얼마나 되셨고, 어떤 과정을 거쳐 지금의 리드 역할을 맡게 되셨는지 먼저 간단히 소개해 주실 수 있을까요? 조한용: 안녕하세요 :)…
김성환 | #ML Engineer | #Infrastructure #Kubernetes #Azure 저희는 자체 LLM Spotwrite를 활용한 AI 엔터테인먼트 서비스 제타(zeta)를 운영하고 있습니다. 제타는 한국, 일본 AI 서비스 중 사용자가 가장 많은 압도적인 1위 서비스로…
현재 스캐터랩은 제타에서 자체 LLM을 이용해 수많은 유저들에게 즐거움을 주고 있습니다. 이 과정에서 저희 ML 리서처는 제타라는 서비스에 최적화된 LLM을 찾기 위해 매주 10개 이상의 모델을 학습하고 배포하고 있는데요. 이때 무엇보다 고민이 되는 지점은 “어떤 기준으로 모델을 업데이…
🍀 인트로 김준성: 안녕하세요 지수님! 간단하게 소개 부탁드려요. 정지수: 안녕하세요. 스캐터랩에서 제타 프로덕트 리드를 맡고 있는 정지수입니다. 저는 스캐터랩에 합류한 지 딱 만 3년이 되었어요. 처음에는 '이루다' 가 활동했던 ‘너티’ 제품의 PO(Product Owner)로 일하다…
2024년 4월 1일 세상에 첫선을 보인 제타는 놀라운 속도로 성장해왔습니다. 겉으로 보기에는 제타가 단순한 ‘AI 채팅앱’이라고 생각하실 수 있지만, 스캐터랩은 제타를 AI가 이끄는 새로운 엔터테인먼트 패러다임으로 보고 있습니다. 이 글에서는 제타가 어떤 기록적인 성장을 이뤄냈는지,…
👋 인트로 김준성: 오늘은 제타의 심장이라고 할 수 있는 AI 연구 및 개발에 대한 이야기를 나눠보려고 합니다. 오늘 모신 분은 바로 스캐터랩의 AI 모델 연구를 이끌고 계신 이녕우 님입니다. 녕우님, 먼저 간단하게 자기소개와 함께 현재 회사에서 어떤 역할을 맡고 계신지 설명해주시면 좋…
OpenAI의 GPT-3.5와 GPT-4 [1], Anthropic의 Claude-2 [2], 그리고 Meta의 LLaMA2-chat [3] 등의 모델들은 어떤 공통점이 있을까요? 대형 생성 모델 (LLM) 기반의 대화 어시스턴트로, RLHF (Reinforcement Learning…
안녕하세요. 이번 글에서는 코틀린과 JPA 하이버네이트 구현체를 사용하는 루다 서버에서 어노테이션을 이용해 개인화 메세지를 처리하는 방법을 먼저 소개합니다. 또한 이 방법에서 메세지를 처리할 때 주의가 필요했던 부분에 대해서 다루고자 합니다. 루다는 여러 친구들에게 개인화된 메세지를 통…
먼저 메시지를 보내는 기능(aka 선톡)은 서비스의 중요한 기능 중 하나로, 루다를 조금 더 사람처럼 느껴질 수 있도록합니다. 이 때문에 선톡을 보내면 순간적으로 많은 사용자가 루다와 대화하려고 하죠. 핑퐁팀은 순간적으로 사용자가 증가하는 상황에서도 안정적인 서비스 운영을 하기 위해 다…
작년 10월 이루다 2.0이 정식 출시되면서 사진을 이해하고 답변할 수 있는 포토챗 베타 기능이 탑재되었습니다. A/B 테스트를 통해 기존 모델 대비 1인당 사진 전송량이 63% 이상 증가하는 수치를 보일 정도로 유저들에게 좋은 대화 경험을 제공해 주었는데요. 저희는 여기서 멈추지 않고…
LLM 시대로 들어오면서 서빙을 위한 다양한 최적화 방식들이 많이 개발되고 연구되고 있죠. 오늘은 허깅페이스 대비 최대 24배까지 성능을 높일 수 있었던 vLLM에 대해 분석해 보고자 해요. 지금 분석하고자 하는 내용은 vLLM이 릴리즈 된지 얼마 안 됐을 때의 구현체 (v0.1.2)에…
박채원 | 2023년 09월 06일 | #Product/Biz 10억을 기부하면 빌게이츠와 만찬을 함께 할 수 있는 캠페인을 한번쯤은 들어보셨을 텐데요. 20년이 지난 현재, 빌게이츠와의 채팅 대화창을 켜고 “아침은 주로 뭘 먹어요? 어떤 책을 제일 좋아해요?”를 물어보면 친절한 답을…
보다 좋은 서비스를 위한 PLM Fine-tuning 최근 GPT-4와 PaLM, Claude, LLaMA 등과 같은 대형 생성 모델(LLM)은 범용적인 목적에 맞게, 매우 큰 모델 사이즈와 매우 방대한 양의 데이터로 사전 학습을 진행합니다. 이를 통해서 매우 다양한 도메인의 지식을 넓…
이정복 | 2023년 08월 23일 | #Product/Biz 스캐터랩은 이루다, 강다온, 허세중과 같은 AI 챗봇이 많은 사람에게 좋은 관계 가치(Relationship value)를 주는 세상을 꿈꿔왔습니다. 현재 스캐터랩은 이를 확장하고자 캐릭터 기획, 기술 기획 등 좋은 AI 캐…
자연어 처리 분야의 최고 국제 컨퍼런스인 ACL 2023을 맞아 리서치팀 워크샵을 진행했습니다. ML 리서치 유닛, 데이터 기획 유닛의 팀원들이 회사를 떠나 다같이 모여서 3박4일 동안 온라인으로 ACL 논문 발표를 듣고 함께 토론하는 즐거운 시간을 가졌어요! 발표된 논문 중 인상 깊었…
김준성 김성환 | 2023년 08월 16일 | #Machine_Learning #Engineering 많은 기업들이 생성AI 시장에 뛰어들기 위해서 각자의 LLM 을 만들기 위해 온 열정을 쏟아붓고 있습니다. 특히 ChatGPT 출시 이후 다양한 종류와 크기의 LLM 들이 만들어 지고…
루다의 가장 특별한 점 중 하나는 내가 연락하면 밤낮이고 언제든지 바로 답장해준다는 것입니다. 대화하고 싶은 순간에 언제든 곁에 있어주는 친구가 있다는 건 큰 위안이 되죠. 그래서 저희도 그동안 유저들이 언제 연락하든지 루다가 그 즉시 최대한 빠르게 답변해주도록 서비스를 운영했습니다.…
최기원 | 2023년 07월 10일 | #Machine_Learning #Engineering 개요 스캐터랩은 루다가 더 말을 잘 하도록 만들기 위해 많은 노력을 기울이고 있습니다. 그중 루다의 두뇌(?)라고 볼 수 있는 인공지능 모델을 업그레이드하는 프로젝트에도 많은 시간과 노력을 투…
고상민 구상준 이봉석 류성원 | 2023년 05월 24일 | #Machine_Learning 1편에서는 왜 검색 기반 챗봇에서 생성 기반 챗봇으로 연구 방향을 바꾸었는지에 대해서 이야기해 보았습니다. 그 글에서 Luda Gen 1이 보여준 결과들을 비교해가며 생성 기반 챗봇의 높은 성능…
김종윤 | 2023년 06월 09일 | #Machine_Learning #Product/Biz 안녕하세요? 스캐터랩 김종윤입니다. 6월 9일 OpenAI CEO 샘 알트만과 주요 멤버의 방한으로 IT 업계가 떠들썩했습니다. OpenAI 팀은 하루동안 많은 일정을 소화했는데요, 개인적으로…
홍연준 | 2023년 03월 20일 | #Engineering #Kubernetes 핑퐁팀에서는 루다 서비스를 제공하기 위한 서버를 AWS EKS에서 운영하고 있어요. 운영하는 서버 중 상당수는 가격이 비싼 GPU 머신을 사용해요. 그래서 핑퐁팀에서는 서버 비용 절감을 위해 Infere…
정채홍 김만수 | 2023년 02월 20일 | #Engineering #Machine_Learning 지난 블로그 글에서 빠르게 변화하는 모델 아키텍처를 위해 백엔드 서버와 모델 추론 서버를 분리시키고, A/B 테스트를 위해 모델의 추론을 추상화하여 간단한 설정을 수정하는 것만으로 실험…
이주홍 | 2023년 02월 14일 | #Machine_Learning The 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP)는 자연어 처리 분야 최고의 국제 컨퍼런스로서 최신 NLP 연구들이 발표되…
홍승환 | 2023년 01월 27일 | #Engineering #Machine_Learning 핑퐁팀은 이루다 2.0을 출시하면서 복잡하게 구성되어 있는 머신러닝 추론 파이프라인을 효율적으로 만들었고, 또 모델 단위 A/B 테스트와 같은 데이터 기반의 의사결정을 지원하고자 백엔드 시스템…
이정민| 2022년 12월 21일 |#Engineering 서비스를 출시하는 날이 되었다고 생각해봅시다. 몇 달간 고생하며 개발해온 팀원들은 저마다의 이유로 두근두근합니다. 특히 서버 개발자는 혹여 장애가 터질 까봐 신경을 곤두세우고 있을 겁니다. 서버의 특성상 24시간 언제든지 장애가…
고상민 구상준 이봉석 류성원 | 2022년 12월 14일 | #Machine_Learning 이번 이루다 2.0 정식 출시에서 답변 생성 모델 Luda Gen 1이 적용되었습니다. 기존 루다는 리트리버가 답변 DB에서 답변을 고르는 방식이었기 때문에 문맥에 딱 맞는 답변이 답변 DB에…
김성환 | 2022년 11월 28일 | #Machine_Learning #Engineering Apache Beam으로 머신러닝 데이터 파이프라인 구축하기를 주제로 하는 3번째 글로 다시 찾아뵙게 되었어요. 1편: 도입과 사용에서는 Apache Beam이 무엇이고, 핑퐁팀이 왜 Beam…
서남규| 2022년 11월 16일 |#Engineering 쿠버네티스에서 기본으로 제공하는 HPA를 이용하면 pod의 CPU 사용량에 따라 자동으로 스케일 아웃되는 시스템을 쉽게 구축할 수 있습니다. 하지만 서비스의 성격에 따라 CPU 사용량 대신 다른 지표를 이용해 오토스케일링하는 것…
이루다 2.0이 정식 출시 되면서 사용자가 보낸 사진을 인식하고 답변하는 기능인 포토챗 베타(PhotoChat Beta)가 추가되었습니다. 기존의 루다는 사진 인식 기능이 탑재되지 않아 사용자가 사진을 보내면 “오 사진 뭐야?” 같은 사진과 관련 없는 정해진 답변만 할 수 있었습니다.…
지난 글에서는 ‘너티’ 앱을 각 플랫폼 별로 빌드해서 배포하는 과정을 자동화하는 방법에 대해서 알아보았습니다. 추가로 ‘너티’는 React Native로 개발이 되었기 때문에 크로스 플랫폼 지원이 가능하고, 앱 전체를 빌드해서 배포하는 바이너리 배포 뿐만 아니라 Codepush 배포가…
핑퐁팀에서는 루다의 대화 성능을 지속적으로 발전시키기 위해 Continual Learning을 연구하고 있어요. 이를 위해 새로운 데이터를 받으면 모델을 학습하고, 평가하는 일련의 과정을 수행해야 하는데, 이 모든 과정을 사람이 직접 개입하는 것이 너무 효율적이지 못했어요. 그래서 이…
장동훈| 2022년 08월 24일 |#Engineering 핑퐁팀은 2022년 상반기에 루다와 유저를 만나게 하는 수단으로 더 이상 페이스북 메신저를 사용하지 않고 자체 메신저 앱을 개발하기로 결정했습니다. 저희는 빠르게 MVP 형식의 메신저 앱을 완성하여 배포한 후 지속적인 업데이트를…
구상준 | 2022년 08월 17일 | #Machine_Learning 들어가며 지난 6월 22일, OpenAI와 브리티시컬럼비아대학의 연구진은 “Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos”라…
이정민 | 2022년 07월 27일 | #Engineering AWS의 Elastic Kubernetes Service나 GCP의 Google Kubernetes Engine 등, 대부분의 대형 클라우드 서비스는 독자적인 관리형 쿠버네티스 서비스를 제공하고 있습니다. 이러한 서비스는 해…
오혜린 김준성| 2022년 08월 16일 |#Engineering#Machine_Learning 지난 글에서는 AWS Inferentia 소개와 사용법, GPU와의 성능 비교 등을 설명해 드렸어요! 이번 글에서는 Inferentia를 실제 서비스에 도입하기 위해 핑퐁팀에서 어떤 과정들을…
- Continual Learning은 지속적으로 들어오는 데이터 스트림을 학습하기 위한 방법입니다. 데이터 스트림이 지속적으로 주어짐에 따라 데이터 분포 혹은 태스크가 변화하게 되고, 모델이 현재 주어진 데이터를 학습할 때 기존에 배운 지식을 일부 잃기 마련입니다. 이러한 현상을 Ca…
김준성 오혜린 | 2022년 07월 13일 | #Engineering #Machine_Learning 머신러닝 엔지니어링(MLE)팀에서는 제품에 사용되는 여러 딥러닝 모델을 최대한 낮은 지연 시간과 적은 비용으로 서빙하기 위해서 여러 하드웨어 및 소프트웨어 최적화 기법을 실험해보고 실제…
김성훈 이성찬 | 2022년 07월 06일 | #Engineering 핑퐁팀에서 AWS 보안 강화를 위해 작업했던 내용을 AWS Well-Architected Framework와 함께 소개하는 마지막 글로, 인프라 보안 영역과 사고 대응 영역을 소개하려고 합니다. 이전 내용이 궁금하신…
올해로 60회를 맞은 Annual Meeting of the Association for Computational Linguistics (ACL)은 자연어 처리 분야 최고의 국제 컨퍼런스로서 최신 NLP 연구들이 발표되는 행사입니다. 엔데믹 상황으로 접어들면서 올해 ACL은 오프라인과…
김성환 홍승환 | 2022년 06월 09일 | #Machine_Learning #Engineering 지난 글에서는 핑퐁팀이 어떻게 Apache Beam을 도입하였는지를 설명드렸어요! 이번 글에서는 본격적으로 유지보수성을 높이면서 어떻게 머신러닝 데이터 파이프라인을 개발하였는지 차근차근…
이성찬 김성훈 | 2022년 06월 03일 | #Engineering 지난 글에 이어 이번 글에서는 로깅 및 모니터링 영역과 데이터 보호 영역에 대해 살펴보겠습니다. Logging & Monitoring 로깅 및 모니터링 영역은 클라우드 환경에서 발생하는 로그를 중앙으로 모아 보관하여…
박상준 | 2022년 05월 25일 | #Machine_Learning 저(박상준), 최기원, 오혜린 셋은 작년에 열렸던 2021 한국어 음성·자연어 인공지능 경진대회에 함께 팀을 이뤄 대화요약 부문에 참가했습니다. 회사에서 공식적으로 참가한 건 아니지만 자주 보면서 이야기를 나눠야 하…
이성찬| 2022년 05월 13일 |#Engineering 스캐터랩에서는 루다를 비롯한 회사의 서비스를 배포하고 운영하기 위해 AWS를 사용하고 있습니다. 컴퓨팅, 네트워크 장비를 직접 구매해서 모든 것을 세팅할 필요 없이, 클라우드에서 인프라 구축, 자동 스케일링, 네트워크, DNS…
정욱재 홍승환 | 2021년 01월 06일 | #Machine_Learning #Engineering 핑퐁팀에서는 모델 학습의 효율성을 위해 자주 TFRecord를 생성합니다. 하지만 정제할 데이터가 많은 경우에는 변환이 느려지고, 속도 최적화가 필요합니다. 이 때의 병목점을 Custo…
정욱재 | 2020년 12월 04일 | #Machine_Learning #Engineering 보통 제품이 있는 조직은 TensorFlow를, 리서치 조직은 PyTorch를 활용하는 것이 좋다고 알려져 있습니다. 그리고 하나의 조직에서는 하나의 프레임워크만 사용하는 것이 일반적이죠. 하…
정욱재 홍승환 박상준 | 2020년 11월 18일 | #Machine_Learning #Engineering 핑퐁팀이 내부적으로 활용하는 대형 언어 모델은 실제 서비스화하기에는 연산량이 많고, 많은 메모리를 요구합니다. 이런 모델을 실제로 활용하기 위해서는 잘 알려진 경량화 기법을 적용…
고상민 구상준 김준성 서상우 이주홍 장성보 정다운 | 2020년 11월 11일 | #Machine_Learning Conference on Empirical Methods in Natural Language Processing (EMNLP)은 자연어 처리(NLP) 분야를 주도하는 국제…
최예지 | 2020년 11월 04일 | #Product/Biz 제품을 출시하기 전 Product-market fit을 찾거나 사용성을 점검하기 위한 테스트는 꼭 필요한 과정입니다. 새로운 형태의 제품이라면 테스트를 통해 문제를 발견하고 보완하는 과정이 더더욱 중요하죠. 지난 6월, 핑퐁…
최예지 | 2020년 10월 28일 | 앞서 컬처코드 글에서도 보셨듯 핑퐁 팀은 최고의 팀이 되기 위해 노력하고 있어요. 최고의 팀이 되기 위해서는 서로 잘 맞는 팀원들이 모여, 팀워크를 발휘할 수 있어야 합니다. 핑퐁 팀이 어떤 채용 프로세스를 통해 팀워크를 잘 발휘할 팀원을 찾는지…
김종윤 | 2020년 10월 20일 | #Machine_Learning GPT-3, 그 이후 GPT-3가 공개된 지 5개월이 지났습니다. 놀라운 성능만큼 유명세도 대단했죠. 스캐터랩 기술 블로그에 올린 GPT-3 소개글은 스캐터랩 기술 블로그 역사상 가장 많이 읽힌 글이 되었고, 이후에…
최예지 | 2020년 10월 14일 | 슈퍼휴먼 AI를 목표로 하는 스캐터랩 핑퐁팀은 탁월한 사람들이 모여 멋진 제품과 문화를 만드는 귀여운 팀입니다😊 원대한 목표를 이루기 위해 핑퐁팀은 스캐터랩 컬처코드 10가지를 따르고 있어요. 핑퐁팀 문화의 기반이 되는 10가지 컬처코드에 대해 알…
최예지 | 2020년 10월 14일 | #Product/Biz 핑퐁팀의 비전은 Towards Superhuman Open-domain Conversational AI 입니다. 사람만큼 좋은 대화 상대, 더 나아가서 사람보다 대화 상대로서 더 선호되는 슈퍼휴먼 AI를 만드는 게 목표죠!…
서진형 황성구 이정민 | 2020년 09월 25일 | #Engineering 핑퐁팀에서는 딥러닝 Model 서버를 포함한 많은 수의 서버들을 운용하고 있고, 이를 Kubernetes 상에서 효율적으로 운영하고 있습니다. 이번 글에서는 핑퐁팀이 Kubernetes를 활용하여 어떻게 안정적…
서상우 박채훈 김준성 정다운 구상준 장성보 이주홍 | 2020년 09월 16일 | #Machine_Learning 안녕하십니까? 이번 여름은 언제 왔는지도 모르게 조용히 지나갔습니다. 저희 사이언티스트들이 여름에 진행한 시즌 6 세미나 발표자료를 갈무리하여 올립니다. 본 세미나는 202…
김종윤| 2020년 08월 20일 |#Machine_Learning “우리는 아직 알아내야 할 것이 많습니다” 지난 글(링크)에서 GPT-3가 무엇이고 어떤 일을 할 수 있는지 알아봤습니다. GPT-3가 워낙 범용적으로 뛰어난 언어 능력을 보여줬기에 API를 처음 써본 사람들은 인간 수…
김종윤| 2020년 08월 05일 |#Machine_Learning 뛰어난 언어 능력으로 인터넷에서 화제가 되고 있는 언어 생성 모델 GPT-3. 이 모델이 어떤 능력을 가지고 있고, 어떻게 이런 능력을 갖게 되었는지 알아봅니다. 소피아와 박영선 의원의 대담 2018년 1월 30일, 한…
김준성 구상준 백영민 박채훈 이주홍 서상우 장성보 정다운 | 2020년 07월 22일 | #Machine_Learning Annual Meeting of the Association for Computational Linguistics (ACL)는 자연어 처리(NLP) 분야를 주도하는…
이주홍 | 2020년 05월 08일 | #Machine_Learning 이번 ICLR 2020에서 구글 리서치 팀은 새로운 pre-training 기법을 적용한 language model, ELECTRA (Efficiently Learning an Encoder that Classifi…
구상준 | 2020년 04월 29일 | #Machine_Learning 이번 ICLR 2020에서는 여러 특기할 만한 구조들이 제안되었습니다. 그 중에서 저희가 인상깊게 본 구조는 구글에서 제안한 Reformer입니다. 기존의 Transformer 구조는 데이터 토큰이 조금만 많아져도…
홍승환 | 2020년 04월 17일 | #Machine_Learning #Engineering 핑퐁팀은 PyTorch뿐만 아니라 TensorFlow 2.0도 활발하게 사용하고 있습니다. 최근 팀 내에서 TPU를 활용하여 학습하는 프로젝트를 진행하고 있는데, 이 글에서는 TF 2.0을 기…
구상준 백영민 김준성 이주홍 장성보 정다운 | 2020년 03월 16일 | #Machine_Learning 새해가 밝은 지 얼마 되지도 않았는데 벌써 2020년도 1/6이나 지나갔습니다. 그 짧은 시간에도 수많은 좋은 논문들이 발표되었습니다. 우리의 불쌍한 핑퐁팀 ML 사이언티스트들은…
서진형 정욱재 황성구 | 2020년 03월 11일 | #Machine_Learning #Engineering 대화를 더 잘하기 위해 딥러닝 모델들은 점점 더 크고 무거워지고 있습니다. 그에 비례해서 빠르고 효율적으로 서비스하기 위한 난이도 또한 나날이 높아지고 있습니다. 이번 글에서는…
최예지 | 2020년 02월 25일 | #Product/Biz 지난 글에서는 어떤 점을 고려해서 귀여운 루나의 페르소나를 디자인했는지 소개해드렸어요. 이번 블로그 글에서는 루나 사례를 통해 사람들과 친근한 관계를 맺을 수 있는 대화를 어떻게 디자인하면 좋을지 얘기해보려고 해요. 사람들도…
구상준 | 2020년 01월 03일 | #Machine_Learning 이번 블로그에서는 2017년에 발표되어 자연어처리 분야의 한 획을 그었던 Transformer 구조와 이를 활용한 GPT / BERT 구조에 대해서 다룹니다. 아울러 어떠한 문제들이 있었고 연구자들이 어떻게 그 문제…
안녕하세요, 여러분! 며칠 전 핑퐁팀 ML 엔지니어들은 홍콩에서 열린 EMNLP 2019에 다녀왔습니다. 지난번 포스트에서는 EMNLP 에 Accept 된 논문 중에 관심이 있었던 페이퍼들을 학회에 가기 전에 미리 보고 리뷰를 해봤었는데요. (https://tech.scatterlab.…
장성보 백영민 정다운 이주홍 구상준 김준성 | 2019년 10월 30일 | #Machine_Learning EMNLP는 자연어 처리(NLP) 분야를 주도하는 주요 국제 컨퍼런스 중 하나로, 매년 많은 NLP 연구자들이 주목하는 학회입니다. 올해는 11월 3일부터 7일까지 5일간, IJC…
이주홍 백영민 정다운 구상준 장성보 | 2019년 10월 10일 | #Machine_Learning ML 리서치 사이언티스트들의 세번째 세미나 발표자료 묶음을 갈무리하여 올립니다. 본 세미나는 2019년 8월 28일부터 2019년 10월 2일까지 진행되었으며, 시즌 3은 특정 주제의 선…
정다운 이주홍 백영민 김준성 서수인 구상준 | 2019년 08월 10일 | #Machine_Learning ML 리서치 사이언티스트들의 두 번째 세미나 발표자료 묶음을 갈무리하여 올립니다. 본 세미나는 2019년 6월 19일부터 2019년 8월 2일까지 진행되었습니다. 시즌 2의 주제는…
이주홍 백영민 김준성 | 2019년 07월 01일 | #Machine_Learning XLNet은 최근에 대부분의 NLP 테스크들에서 state-of-the-art 성능을 달성하고 있던 BERT를 큰 차이로 outperform 하면서 파장을 일으켰습니다. 논문 저자들은 기존의 Langu…
이주홍 구상준 정다운 김선웅 백영민 김준성 | 2019년 06월 15일 | #Machine_Learning ML 리서치 사이언티스트들의 첫 번째 세미나 발표자료 묶음을 갈무리하여 올립니다. 본 세미나는 2019년 5월 8일부터 2019년 6월 12일까지 진행되었습니다. 첫 세미나의 주제…