When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM
NVIDIA가 2대의 DGX Station을 ConnectX-8 RDMA로 연결해 GLM-5.3 모델을 서빙하는 가이드를 공개했습니다.
출처: NVIDIA Technical Blog · · 원문 보기
LLM 서빙·추론 기술 블로그 글 모음
LLM 서빙·추론 주제의 기술 블로그 글 247편. 서버 추론 엔진(vLLM 등), KV 캐시, 양자화, 모델 서빙 최적화.
최근 글
llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem
Hugging Face가 로컬 AI 추론 라이브러리 llama.cpp의 1.0.0 버전을 정식 출시했습니다.
출처: Hugging Face · · 원문 보기
LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B
IBM이 LLM의 컨텍스트 처리 문제를 해결하고 프롬프트 주입 공격을 방어하는 LLM-네이티브 마크업 언어 LLMON을 공개했습니다.
출처: Hugging Face · · 원문 보기
Introducing Gemini 4 Hydrogen
구글 딥마인드가 고속 추론과 코딩 및 에이전트 작업에 최적화된 제미나이 4 하이드로젠을 발표했습니다.
출처: Google DeepMind · · 원문 보기
Fast by Default: Compile-Time Heuristics for Helion Kernels
PyTorch 헬리온은 컴파일 시점 휴리스틱을 도입하여 자동 튜닝 없이도 머신러닝 커널 성능을 크게 향상했습니다.
Integrating SGLang into Spyre in Under a Week with AI
IBM이 AI 코딩 에이전트를 활용해 일주일 만에 SGLang을 Spyre 가속기에 통합했습니다.
DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
vLLM이 Vera Rubin NVL72에서 DeepSeek-V4.1-Flash의 처리량을 58배 높였습니다.
H3-Image Day-0 Support: 4K in 0.87s with Vera Rubin
vLLM-Omni가 NVIDIA Vera Rubin에서 H3-Image 4K 생성을 0.87초 만에 구현했습니다.
Shopify’s generative discovery model
Shopify가 검색과 추천을 단일 인프라로 통합한 생성형 발견 모델 구축 경험을 공개했습니다.
출처: Shopify Engineering · · 원문 보기
Intelligent Delivery: Making Every Unit of Compute Serve Better Ads
메타가 AI 에이전트를 활용해 광고 랭킹 시스템의 연산 자원 효율을 10% 개선했습니다.
출처: Meta Engineering · · 원문 보기
Validating GPU Platforms with Runtime AI Inventory via the NVIDIA DSX AI Factory
NVIDIA가 AICR과 k8s-aibom을 통합하여 GPU 인프라와 AI 워크로드의 가시성을 확보했습니다.
출처: NVIDIA Technical Blog · · 원문 보기
Token Pooling-Aware Training for Multi-Vector Embedding Models
Hugging Face가 멀티 벡터 모델의 저장 공간을 4배 줄이면서 성능을 유지하는 토큰 풀링 인식 학습 기법을 공개했습니다.
출처: Hugging Face · · 원문 보기
Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD
vLLM이 멀티모달 모델의 추론 효율을 높이는 EPD 분리 아키텍처를 도입했습니다.
How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale
메타가 Triton을 확장하여 GPU 하드웨어 제어력을 높인 TLX를 공개했습니다.
출처: Meta Engineering · · 원문 보기
ExecuTorch WebGPU: PyTorch Models on the GPU, in the Browser
PyTorch가 ExecuTorch WebGPU 백엔드를 통해 웹 브라우저에서 GPU 가속 모델 추론을 지원합니다.
Optimizing Muse Spark Open on TPU v7 with SGLang-TorchTPU
PyTorch와 SGLang 팀이 TPU v7에서 816B MoE 모델인 Muse Spark Open의 추론 성능을 최적화했습니다.
Running AV Reasoning Models Within Onboard Compute and Latency Limits
NVIDIA가 자율주행용 2B VLA 모델 Alpamayo 2 Edge와 평가 모델 AlpaJudge를 공개했습니다.
출처: NVIDIA Technical Blog · · 원문 보기
Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot
NVIDIA가 GPU 워크로드의 콜드 스타트를 초 단위로 단축하는 NVIDIA Snapshot을 공개했습니다.
출처: NVIDIA Technical Blog · · 원문 보기
Pay for Hugging Face Hub with your Google Cloud Account
허깅페이스 조직의 사용 요금을 구글 클라우드 계정으로 통합 결제할 수 있게 되었습니다.
출처: Hugging Face · · 원문 보기
Decision Models in Hugging Face
허깅페이스가 텍스트 생성 없이 확률로 답하는 의사결정 모델 인터페이스를 공개했습니다.
출처: Hugging Face · · 원문 보기
Your Experts Have Partners. There's HOPE for Keeping Them Together
전문가 간 협력 관계를 2차 상호작용 행렬로 보존하는 MoE 가지치기 기법 HOPE가 공개되었습니다.
출처: Hugging Face · · 원문 보기
What is Pathways? Single-controller training for large models
구글이 대규모 모델 학습용 분산 컴퓨팅 시스템 Pathways의 구글 클라우드 공식 출시를 발표했습니다.
출처: Google Developers · · 원문 보기
Safe and Efficient Multi-Epoch Embedding Training
핀터레스트가 대규모 ID 임베딩 테이블의 다중 에포크 학습을 안전하고 효율적으로 수행하는 기법을 공개했습니다.
출처: Pinterest Engineering · · 원문 보기
VeRL-Omni v0.3.0: Async Training and Broader Multimodal Post-Training
vLLM 팀이 비동기 다중모달 강화학습과 V1 트레이너를 포함한 VeRL-Omni v0.3.0을 공개했습니다.
Migrating vLLM to the LibTorch Stable ABI
vLLM이 v0.33.0부터 LibTorch 안정 ABI를 도입해 파이토치 교체 시 재빌드 과정을 없애고 있습니다.
Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1
NVIDIA 연구진과 Inferact가 커널 정렬을 통해 비동기 강화학습의 불안정성을 해결하는 REINFORCE Zero를 공개했습니다.
Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory
엔비디아가 AI 팩토리에서 메모리 바이트당 유효 작업량을 극대화하는 5가지 하드웨어·소프트웨어 공동설계 방식을 공개했습니다.
출처: NVIDIA Technical Blog · · 원문 보기
Making Every Core Count: In Pursuit Of Faster Apache Spark Jobs at Uber
우버가 대규모 아파치 스파크 워크로드의 성능과 비용 효율성을 높이기 위해 도입한 네이티브 엔진과 스토리지 최적화 엔진의 성과를 공개했습니다.
Dharma Field Extractor: Any Document In, Structured Fields in JSON Out
Hugging Face가 문서에서 구조화된 JSON을 추출하는 소형 모델 Dharma Field Extractor를 공개했습니다.
출처: Hugging Face · · 원문 보기
Scaling Model Evaluation at Pinterest with Ray (Part 4)
Pinterest가 Ray를 활용해 모델 추론과 평가를 통합하여 실행 시간을 32% 단축했습니다.
출처: Pinterest Engineering · · 원문 보기
이 주제를 다룬 매체
- NVIDIA Technical Blog (88편)
- Hugging Face (288편)
- Google DeepMind (96편)
- PyTorch (19편)
- vLLM Blog (40편)
- Shopify Engineering (19편)
- Meta Engineering (32편)
- Google Developers (47편)
- Pinterest Engineering (17편)
- Uber (49편)
AI 관련 주제
- LLM 활용·프롬프트 (245편)
- AI 에이전트·MCP (536편)
- RAG·검색 (141편)
- 온디바이스·엣지 AI (87편)
- 모델 학습·파인튜닝 (251편)
- AI 연구·모델 공개 (483편)
- AI 코딩 도구 (248편)
- 멀티모달·비전·음성 (227편)
- 피지컬 AI·로보틱스 (69편)
- AI 운영·평가 (250편)
- GPU·AI 인프라 (194편)