Airflow 2.7.3 → 3.2.2 전환 후 약 두 달간 운영하다 만난 장애 대응 기록입니다. 장애 발생 후 로그 상에서 JWT Signature has expired를 확인했지만, 좀 더 내용을 확인해 보니 결과적으로는 호스트의 Out Of Memory였으며, Prefork와 컨테…
롯데ON은 WhaTap, Datadog, Grafana 등 으로 시스템을 모니터링하고, Slack을 통해 실시간 알림을 수신하는 관제 환경을 운영 중입니다. 주중 업무 시간에는 각 담당자들이 실시간 알림을 확인하고 대응하지만 야간/휴일에는 신속한 대응이 어려우므로 모니터링 운영 요원을…
안녕하세요. 롯데e커머스 TechOps팀에서 DevOps 직무를 맡고있는 신우주입니다. 최근 플랫폼 엔지니어링의 운영 트렌드는 단연 ‘AI를 활용한 자동화 플랫폼 구축’이라고 생각합니다. 롯데온에서도 이러한 흐름에 맞춰 SRE 성격의 AI 에이전트를 운영 중인데요. 이번 글에서는 서비스…
개발자라면 “이 정책이 코드에서는 어떻게 구현되어 있나요?”라는 질문을 한번쯤 받아보셨을 겁니다. 문서는 없거나 오래되었고, 코드에서 찾다가 시간이 훌쩍 지나가버립니다. AskON은 이러한 고민에서 출발한 RAG 기반 코드 지식화 플랫폼입니다. AskON은 대규모 코드베이스를 구조적으로…
안녕하세요. 롯데ON Product Developer 박재현 입니다. 데이터베이스를 공유 자원으로 다양한 서버에서 이를 활용하다 보면 처리량에 우선순위를 둬야할 필요가 있습니다. 이번 시간에는 AWS DynamoDB 사용 환경에서 Kafka와 Redis를 활용하여 실시간으로 DB의 부하…
롯데ON은 최근 오랜 기간 사용해 온 외부 Batch Scheduler 솔루션을 내재화하였습니다. 이 글에서는 솔루션을 대체하던 과정은 물론, 실제 운영 환경에서 안정성을 확보하기까지의 시행착오와 최종 구조를 공유해 드리고자 합니다. 목차 외부 솔루션은 다양한 기능을 제공한다는 장점이…
안녕하세요 롯데ON Product Developer 이상원입니다. 기존의 크리덴셜 스터핑 모니터링 프로세스가 가진 비효율과 실시간 분석의 어려움을 해결하기 위해 AI 기반 로그인 보안 관제 자동화 시스템을 설계하고 도입하게 되었습니다. 이번 포스팅에서는 AWS Bedrock을 활용해 크…
롯데ON에서는 Jira로 업무를 관리하고 GitLab으로 코드 버전을 관리하고 있습니다. 운영 배포는 티켓 기반으로 진행되는데 대상 프로젝트가 많을수록 아래와 같은 불편함이 커졌습니다. “반복 작업들을 자동화할 수 있을까?”라는 질문에서 출발하여 Slack · Jira · GitLab…
LLIS — Lotte Live Image Service 롯데ON에서는 매일 수많은 상품 이미지와 기술서가 등록되고, 이 데이터들은 고객의 쇼핑 경험에 직접적인 영향을 줍니다. 그러나 기존의 외부 솔루션은 높은 라이선스 비용, 복잡한 구조 등의 한계를 드러냈습니다. 이에 롯데ON은 이미…
안녕하세요. 롯데ON Product Developer 이채민입니다. 기존 시스템에서 이력을 남기지 않아 불편함이 생겨 인터페이스 이력 관리 시스템을 도입했는데요. 이 작업이 왜 필요한지, 그리고 이 과정에서 겪은 시행착오와 해결 방법은 무엇인지를 중심으로 이야기를 나누려고 합니다. ‘인…