AI 에이전트와 대규모 개발 인프라 업데이트 #105
오늘의 레터
Meta, 로컬 에이전트용 Muse Glimmer 공개
- Meta가 장기 실행 에이전트 작업을 겨냥한 300억 파라미터 오픈 웨이트 밀집형 모델 Muse Glimmer 공개
- 120K+ 토큰 컨텍스트 윈도와 단일 GPU 기준 초당 2만 토큰 처리 성능 제공
- 토큰마다 모든 파라미터를 활성화하며 라우팅이나 전문가 선택 없이 예측 가능한 지연 시간 구현
- GeForce RTX 5090, DGX Spark, DGX Station, Jetson에서 외부 서버 없이 온디바이스 실행 가능
- RTX 5090은 32GB VRAM과 5세대 Tensor Core로 로컬 코드·문서 처리를 지원
- NVIDIA NIM 컨테이너와 SGLang·vLLM 레시피를 통한 배포 경로 제공
- Hugging Face 가중치와 NeMo AutoModel 기반 SFT·LoRA 미세 조정, NeMo RL 학습 지원
Atlassian StreamHub, Kinesis에서 Kafka로 전환
- 보도에 따르면 Atlassian의 StreamHub가 하루 220억 건에서 1,500억 건 이상으로 성장하면서 Amazon Kinesis에서 AWS MSK 기반 Kafka로 전환
- 현재 하루 1,500억 건 이상을 수집하고 2,250억 건 이상을 전달하며 평균 초당 168만 건, 최대 320만 건 이상을 처리
- Kafka Tiered Storage로 최근 데이터는 broker 로컬 디스크에 저장하고 오래된 데이터는 S3로 이동해 장기 보관 비용과 실시간 소비자 간 자원 충돌을 줄임
- 대규모 환경에서 broker 네트워크·EBS 한계, S3 요청 폭증, remote copy 지연, 스토리지 확장 대기 시간이 장애 요인으로 확인됨
- 장애 이후 평균 클러스터 사용률 대신 가장 부하가 높은 broker를 기준으로 용량을 산정하고 네트워크·로컬 디스크 여유 공간을 확보
- producer·consumer quota, rate limit, quarantine을 적용해 특정 workload가 전체 클러스터 자원을 독점하는 범위를 제한
- 클러스터를 여러 shard로 분리하고 별도 failover cluster와 companion region을 마련해 managed service control plane 장애에도 복구 경로를 유지
원문: news.hada.io
참고: atlassian.com
조코레터는 개발자와 만드는 사람을 위해 AI, 소프트웨어, 제품 흐름을 한국어로 정리합니다.
#Atlassian #NVIDIA