DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
vLLM이 Vera Rubin NVL72에서 DeepSeek-V4.1-Flash의 처리량을 58배 높였습니다.
출처: vLLM Blog · · 원문 보기
vLLM Blog 기술 블로그 글 모음
vLLM Blog에서 발행한 기술 블로그 글 40편의 한 줄 요약 모음입니다. 블로그: https://vllm.ai/blog
최근 글
Inkling 2 Small on vLLM: Day-0 Support
vLLM이 594B 규모의 MoE 모델 Inkling 2 Small에 대한 최적화된 지원을 시작했습니다.
출처: vLLM Blog · · 원문 보기
H3-Image Day-0 Support: 4K in 0.87s with Vera Rubin
vLLM-Omni가 NVIDIA Vera Rubin에서 H3-Image 4K 생성을 0.87초 만에 구현했습니다.
출처: vLLM Blog · · 원문 보기
Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD
vLLM이 멀티모달 모델의 추론 효율을 높이는 EPD 분리 아키텍처를 도입했습니다.
출처: vLLM Blog · · 원문 보기
VeRL-Omni v0.3.0: Async Training and Broader Multimodal Post-Training
vLLM 팀이 비동기 다중모달 강화학습과 V1 트레이너를 포함한 VeRL-Omni v0.3.0을 공개했습니다.
출처: vLLM Blog · · 원문 보기
Migrating vLLM to the LibTorch Stable ABI
vLLM이 v0.33.0부터 LibTorch 안정 ABI를 도입해 파이토치 교체 시 재빌드 과정을 없애고 있습니다.
출처: vLLM Blog · · 원문 보기
Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1
NVIDIA 연구진과 Inferact가 커널 정렬을 통해 비동기 강화학습의 불안정성을 해결하는 REINFORCE Zero를 공개했습니다.
출처: vLLM Blog · · 원문 보기
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
부이언트가 vLLM과 쿠버네티스를 위한 오픈소스 추론 제어 플레인인 Kinference를 공개했습니다.
출처: vLLM Blog · · 원문 보기
vLLM Delivers Day-0 Support for Kimi K3.1 Pro
vLLM이 Moonshot AI의 2.8T 파라미터 모델 Kimi K3.1 Pro를 당일 지원합니다.
출처: vLLM Blog · · 원문 보기
Day 0 support for Mistral Large 4 on vLLM
vLLM이 미스트랄의 새로운 멀티모달 MoE 모델 Mistral Large 4를 당일 지원합니다.
출처: vLLM Blog · · 원문 보기
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72
vLLM이 NVIDIA GB300 NVL72 환경에서 DeepSeek-V4.1-Flash 모델의 대규모 서빙 최적화 결과를 발표했습니다.
출처: vLLM Blog · · 원문 보기
GLM-5.3 Optimizations, Part 2: PCP, DCP, and Hybrid HiSparse on 16 H200s
vLLM 팀이 GLM-5.3 모델의 100만 토큰 처리를 위한 PCP 및 DCP 최적화 기법을 공개했습니다.
출처: vLLM Blog · · 원문 보기
vLLM Delivers Day-0 Support for MiniMax-M3.1-Flash
vLLM이 MiniMax-M3.1-Flash 모델을 위한 NVFP4 및 MSA 최적화 지원을 시작했다.
출처: vLLM Blog · · 원문 보기
Day-0 Support for Flint on vLLM
vLLM이 Recursive의 40B MoE 모델 Flint를 출시 당일부터 지원한다.
출처: vLLM Blog · · 원문 보기
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
앤트그룹과 vLLM 커뮤니티가 양자화 추론을 위한 고성능 커널 라이브러리 허밍을 공개했다.
출처: vLLM Blog · · 원문 보기
Introducing vLLM TorchTPU
vLLM이 구글 클라우드 TPU에서 모델을 실행할 수 있는 전용 백엔드를 출시했다.
출처: vLLM Blog · · 원문 보기
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
vLLM이 비동기 준비와 NIXL EP로 Elastic Expert Parallelism에서 GPU 증감 시 다운타임을 1초 미만으로 단축했다.
출처: vLLM Blog · · 원문 보기
Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly
vLLM이 AI 에이전트를 활용해 Kimi K3 모델의 추론 성능을 최대 2배 향상했다.
출처: vLLM Blog · · 원문 보기
Serving Reflection Beam on vLLM from Day 0
vLLM이 Reflection의 501B MoE 모델인 Beam을 출시 당일부터 지원하고 최적화했다.
출처: vLLM Blog · · 원문 보기
Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX
AMD Instinct MI355X에서 vLLM을 활용해 Kimi K3 모델을 최적화한 엔지니어링 과정과 성능 결과다.
출처: vLLM Blog · · 원문 보기
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
vLLM이 Elastic EP와 NIXL EP를 통해 GPU 확장 시 발생하는 서비스 중단 시간을 1초 내외로 단축했다.
출처: vLLM Blog · · 원문 보기
Day 0 support for Muse Spark Open on vLLM
vLLM이 816B 파라미터 규모의 MoE 모델 Muse Spark Open을 출시와 동시에 지원한다.
출처: vLLM Blog · · 원문 보기
Announcing Day 0 Support for NVIDIA Nemotron 3.5 Super VL on vLLM
vLLM이 NVIDIA의 새로운 멀티모달 에이전트 모델인 Nemotron 3.5 Super VL을 출시와 동시에 지원한다.
출처: vLLM Blog · · 원문 보기
Finish RL Training Faster: Bitwise-Consistent, High-Performance, Agent-Driven
강화학습 훈련 시 추론과 훈련 간의 수치 불일치 문제를 해결하여 훈련 안정성과 성능을 높였다.
출처: vLLM Blog · · 원문 보기
Adaptive Verification Without a Confidence Head
vLLM이 신뢰도 헤드가 없는 드래프트 모델에서도 적응형 검증을 쓸 수 있는 온라인 추정기를 도입했다.
출처: vLLM Blog · · 원문 보기
Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM
vLLM에 푸시 방식 KV 전송을 도입하여 TTFT와 TPOT 성능을 대폭 개선했다.
출처: vLLM Blog · · 원문 보기
Improve TTFT for Multi-Turn Agentic Workloads with Bi-Directional KV Transfer in vLLM
vLLM이 멀티턴 대화에서 디코드 노드의 캐시를 프리필 노드로 역전송해 TTFT를 최대 3.3배 개선했다.
출처: vLLM Blog · · 원문 보기
vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72
vLLM이 NVIDIA Vera Rubin NVL72 플랫폼을 지원하며 GPU당 7.8배 높은 처리량을 기록했다.
출처: vLLM Blog · · 원문 보기
DeepSeek-V4.1-Flash on vLLM: 5x Agentic Throughput Since Day 0
vLLM 커뮤니티가 DeepSeek-V4.1-Flash 모델을 최적화해 에이전트 처리량을 최대 5배 높였다.
출처: vLLM Blog · · 원문 보기
Taking vLLM Apart: A Practical Guide to Disaggregated Serving
vLLM이 프롬프트 처리와 토큰 생성을 분리해 긴 입력의 지연 간섭을 줄이는 방법을 정리했다.
출처: vLLM Blog · · 원문 보기
자주 다루는 주제
- LLM 서빙·추론 (247편)
- GPU·AI 인프라 (194편)
- 멀티모달·비전·음성 (227편)
- 모델 학습·파인튜닝 (251편)
- 쿠버네티스·컨테이너 (127편)
- AI 연구·모델 공개 (483편)