CodeQL 보안 탐지와 JAX 학습 인프라 업데이트 #75
오늘의 레터
GitHub, CodeQL 2.26.0에 AI 프롬프트 인젝션 탐지 추가
- GitHub가 7월 10일 CodeQL 2.26.0을 공개하고 Kotlin 2.4.0 지원과 AI 시스템 프롬프트 인젝션 탐지 쿼리를 추가함
- JavaScript·TypeScript용 js/system-prompt-injection 쿼리가 사용자 입력이 AI 모델의 시스템 프롬프트로 흘러가는 경로를 탐지하도록 추가됨
- OpenAI·Anthropic·Google GenAI SDK API에 대한 프롬프트 인젝션 sink 범위가 확대됐고, Sora 프롬프트·OpenAI Realtime 세션 지시문·Anthropic 레거시 completion 프롬프트·Google GenAI cached content와 system instructions가 포함됨
- Go 1.21의 log/slog 패키지 모델이 추가돼 go/log-injection, go/clear-text-logging 쿼리가 slog 함수와 slog.Logger 메서드 사용 코드도 분석 가능해짐
- C#에서는 Razor Page의 OnGet·OnPost·OnPostAsync 핸들러 파라미터가 원격 입력 흐름 소스로 추가돼 PageModel 하위 클래스의 cs/sql-injection 탐지 범위가 넓어짐
- GitHub는 go/unhandled-writable-file-close, py/modification-of-locals, Swift CryptoKit 관련 쿼리, GitHub Actions 쿼리 정확도도 함께 조정해 오탐을 줄이거나 탐지 범위를 보강함
- github.com의 GitHub code scanning 사용자에게는 새 CodeQL 버전이 자동 배포되며, GHES에는 이후 릴리스로 포함될 예정이고 구버전 사용자는 수동 업그레이드 가능함
원문: github.blog
NVIDIA, JAX 호스트 오프로딩으로 HBM 병목 완화
- NVIDIA가 7월 10일 JAX 기반 LLM 학습에서 호스트 오프로딩으로 GPU HBM 병목을 줄이는 방법을 공개함
- 순전파 중 선택한 활성값을 pinned host memory로 이동하고, 역전파 시 다시 불러오는 구조임
- Grace CPU와 Blackwell GPU는 NVLink-C2C로 연결되며 양방향 대역폭 900 GB/s 제공
- Vera CPU와 Rubin GPU 조합은 coherent bandwidth를 1.8 TB/s까지 높인다고 설명함
- 실험은 MaxText 기반으로 GB200 NVL72 시스템의 128 GPU 환경에서 측정됨
- DeepSeek-V3 671B는 61개 decoder layer 구조이며, 반복 MoE 레이어의 일부 중간값을 오프로딩 대상으로 둠
- 오프로딩과 LHS, 파이프라인 전송을 함께 쓴 DeepSeek-V3 671B 실험에서 908.2 TFLOPs/s/device를 기록했고, activation rematerialization 대비 최대 57% 높은 처리량을 제시함
(검증 부족)
- 원문이 PDF 바이너리 조각 형태로 제공되어 핵심 발표 내용을 안정적으로 확인할 수 없음
- 공식 또는 신뢰 매체에서 확인된 사실이 부족해 본문용 요약 작성이 어려움
원문: aisystemcodesign.github.io
참고: bbc.com · news.hada.io · gigazine.net
조코레터는 개발자와 만드는 사람을 위해 AI, 소프트웨어, 제품 흐름을 한국어로 정리합니다.
#GitHub #NVIDIA #메타