Sentence Transformers v6.0, MultiVectorEncoder 지원 #112
오늘의 레터
Sentence Transformers, MultiVectorEncoder 지원 추가
- Sentence Transformers v6.0에 ColBERT 방식의 MultiVectorEncoder 모델 유형 추가
- 문서 전체를 하나의 벡터로 압축하지 않고 토큰마다 벡터를 유지하는 구조
- MaxSim 연산으로 각 쿼리 토큰과 가장 유사한 문서 토큰을 찾아 점수를 합산
- PyLate와 Stanford-NLP ColBERT 체크포인트를 동일한 API로 로드 가능
- colpali-engine 모델을 이용한 이미지 기반 문서 검색도 지원하며 OCR 단계 생략 가능
- 일반 임베딩보다 토큰 단위 일치와 다중 조건 검색에 유리하지만 인덱스 크기가 커지는 비용 발생
- `pip install -U sentence-transformers`로 설치 가능
원문: huggingface.co
Alibaba, Qwen3.8-27B 오픈소스 모델 공개
- 보도에 따르면 Alibaba가 270억 개 파라미터의 Qwen3.8-27B를 Apache 2.0 라이선스로 공개
- 이미지·영상 이해, 코딩 에이전트, 추론 모드와 256k~262,144토큰 컨텍스트 창 지원
- 16비트 실행에는 약 56GB, FP8에는 약 28GB, 4비트 양자화에는 약 17GB 메모리 필요
- Artificial Analysis Intelligence Index에서 52점, Agentic Index에서 51점을 기록
- Hugging Face에서 출시 3일 만에 300만 회 이상 다운로드됐으며 로컬 추론용 양자화판도 배포됨
- 기본 고강도 추론은 출력 품질을 높이지만 속도와 토큰 사용량이 커 일반 작업에서는 낮은 추론 설정이 권장됨
- vLLM·SGLang·TokenSpeed 등 서빙 프레임워크와 호환되며 기업 인프라 내부 배포가 가능함
원문: venturebeat.com
참고: artificialanalysis.ai · gigazine.net · patmcguinness.substack.com
조코레터는 개발자와 만드는 사람을 위해 AI, 소프트웨어, 제품 흐름을 한국어로 정리합니다.
#Alibaba #HuggingFace