AI 에이전트 운영과 개발 도구, 오픈소스 변화 #117

오늘의 레터

  1. Rust 1.98, 비동기 서비스 vtable 슬롯 생성 오류
  2. 로컬 LLM, 실행 환경에 따라 응답 품질 달라질 수 있음

Rust 1.98, 비동기 서비스 vtable 슬롯 생성 오류

Rust 1.98, 비동기 서비스 vtable 슬롯 생성 오류
  • Rust 1.98.0에서 callable boxed async service의 컴파일러 생성 vtable에 빈 메서드 슬롯이 삽입되는 버그 발생
  • 안전한 Rust 코드가 해당 슬롯을 호출하면서 주소 0에서 SIGSEGV 발생
  • rust-lang/rust GitHub 이슈 #161441에 aarch64-apple-darwin 환경의 재현 사례와 최소 재현 절차 등록
  • Rama 기반 HTTP 프록시가 Rust 1.97.1에서는 502 Bad Gateway를 반환했지만 1.98.0에서는 CONNECT 요청 중단 후 종료
  • nightly-2026-07-16에서는 문제가 재현되지 않아 1.98.0의 회귀로 분류됨
  • vtable의 drop·size·alignment 항목은 정상이나 첫 메서드 슬롯이 비어 있으며, 관련 모노모픽 코드 생성 차이가 원인으로 지목됨

원문: github.com


로컬 LLM, 실행 환경에 따라 응답 품질 달라질 수 있음

  • 보도에 따르면 동일한 로컬 LLM도 GPU, 추론 엔진, 어텐션 구현, 양자화 방식에 따라 계산 결과와 응답이 달라질 수 있음
  • 약 10만 토큰의 에이전트 작업 문맥에서 Qwen3.6-27B는 어텐션 백엔드에 따라 후반부 최상위 토큰 선택이 달라졌으며, 차이는 특정 내용 구간에 집중됨
  • BF16 가중치를 유지한 채 KV 캐시를 INT8·INT4로 낮춰도 차이가 발생했으며, 도구 호출에서 INT8은 오류 후 복구했지만 INT4는 복구하지 못함
  • 가중치 양자화에서는 INT8 W8A16이 BF16 기준에 FP8과 NVIDIA NVFP4보다 가까웠고, NVFP4는 88k 문맥 측정 위치의 약 절반에서 최상위 토큰이 변경됨
  • 짧은 프롬프트나 KLD 수치만으로 판단하기보다 실제 런타임에서 긴 문맥, 도구 호출, 도메인 작업을 함께 평가해야 함

원문: news.hada.io

Sponsored · 조코헌트 · 욕망 테스트 (그리스 신화) (자동)

🏆 조코헌트 TOP1 · 그리스 신화로 살펴보는 나의 욕망 관계 테스트

욕망 테스트 (그리스 신화) 로고

그리스 신화를 바탕으로 내게 가장 중요한 욕구가 무엇인지 5분 안에 짚어보는 웹 테스트입니다.

나와 가까운 사람의 욕망 관계를 보완인지 대립인지 함께 살펴볼 수 있어, 성향 파악을 넘어 관계의 맥락까지 돌아보게 합니다.

테스트 해보기

조코레터는 개발자와 만드는 사람을 위해 AI, 소프트웨어, 제품 흐름을 한국어로 정리합니다.

#Qwen #Rust

조코레터 구독하기

Read more

AI 인프라와 개발 도구의 운영 업데이트 #121

오늘의 레터 1. NVIDIA, Qwen3.8-Flash-Next GB300 구동 지원 2. GitHub, 엔터프라이즈 플러그인 마켓플레이스 자동 업데이트 지원 NVIDIA, Qwen3.8-Flash-Next GB300 구동 지원 * Alibaba의 Qwen3.8-Flash-Next 가중치를 NVIDIA GB300 NVL72에서 실행하는 기술 지원 공개 * 125B 파라미터 MoE 모델로 토큰당 6B 파라미터를 활성화하며 51B N-gram 임베딩을 추가 * 기본 262,144토큰 컨텍스트를

By TaeyoungPark

MultiVectorEncoder와 Codex로 달라지는 개발 방식 #120

오늘의 레터 1. Hugging Face, MultiVectorEncoder 학습 지원 공개 2. loveholidays, Codex로 전사 개발 참여 확대 Hugging Face, MultiVectorEncoder 학습 지원 공개 * Sentence Transformers v6.0에 ColBERT 방식의 지연 상호작용 검색을 위한 네 번째 모델 유형 MultiVectorEncoder 추가 * `sentence-transformers[train]` 패키지로 모델·데이터셋·손실 함수·평가기·Trainer를 포함한 학습 과정

By TaeyoungPark

Vercel Sandbox 리전 확대와 Microsoft 데이터 삭제 #118

오늘의 레터 1. Vercel Sandbox, 글로벌 리전 지원 시작 2. Microsoft, 비영리 라이선스 종료 뒤 데이터 삭제 발생 Vercel Sandbox, 글로벌 리전 지원 시작 * Vercel Sandbox가 전 세계 서비스로 확대되며 4개 리전에서 실행 지원 * 초기 지원 리전은 워싱턴 D.C. iad1, 샌프란시스코 sfo1, 클리블랜드 cle1, 파리 cdg1 * 기본 리전은 iad1이며

By TaeyoungPark