AI 추론 성능과 개발 도구 지표 업데이트 #61

Jocoletter

AI 추론 성능과 개발 도구 지표 업데이트 #61

오늘의 레터 1. NVIDIA, Blackwell용 DFlash 추론 가속 공개 2. GitHub, Copilot 도입 단계별 PR 병합 총계 추가 NVIDIA, Blackwell용 DFlash 추론 가속 공개 * NVIDIA가 Blackwell GPU용 speculative decoding 모델 DFlash를 공개하고, LLM 추론 처리량을 최대 15배 높일 수 있다고 소개함 * DFlash는 경량 drafter가 토큰을 순차 생성하는 대신 후보 토큰

By TaeyoungPark