모델 학습·파인튜닝 기술 블로그 글 모음

최근 글

1. Training a 1T-Parameter MoE on EU public infrastructure with PyTorch and TorchTitan

   EUROPA 컨소시엄이 PyTorch와 TorchTitan을 사용하여 1조 매개변수 MoE 모델 학습에 성공했습니다.

   출처: PyTorch · 2026-11-12 · 원문 보기

2. Theoretical Limits of Language Model Alignment

   Apple 연구진이 언어 모델 정렬의 이론적 한계와 알고리즘별 성능 격차를 규명했습니다.

   출처: Apple ML · 2026-11-12 · 원문 보기

3. The Definitive Fine-Tuning Guide for 3D Generation Models

   Hugging Face가 3D 생성 모델 TRELLIS.2를 LoRA로 미세 조정하는 가이드와 스크립트를 공개했습니다.

   출처: Hugging Face · 2026-11-12 · 원문 보기

4. On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models

   애플 ML 연구진이 SSM의 게이팅 메커니즘이 인컨텍스트 학습보다 가중치 기반 암기를 우선시함을 밝혔습니다.

   출처: Apple ML · 2026-11-10 · 원문 보기

5. Your Experts Have Partners. There's HOPE for Keeping Them Together

   전문가 간 협력 관계를 2차 상호작용 행렬로 보존하는 MoE 가지치기 기법 HOPE가 공개되었습니다.

   출처: Hugging Face · 2026-11-09 · 원문 보기

6. Announcing Long-Context Training on TPUs with MaxText Context Parallelism

   구글이 MaxText v0.2.4를 통해 TPU 기반의 수천만 토큰 문맥 학습 지원을 발표했습니다.

   출처: Google Developers · 2026-11-09 · 원문 보기

7. VeRL-Omni v0.3.0: Async Training and Broader Multimodal Post-Training

   vLLM 팀이 비동기 다중모달 강화학습과 V1 트레이너를 포함한 VeRL-Omni v0.3.0을 공개했습니다.

   출처: vLLM Blog · 2026-11-06 · 원문 보기

8. Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1

   NVIDIA 연구진과 Inferact가 커널 정렬을 통해 비동기 강화학습의 불안정성을 해결하는 REINFORCE Zero를 공개했습니다.

   출처: vLLM Blog · 2026-11-06 · 원문 보기

9. Frontier quality at 1% of the cost: a production benchmark of LLM classifiers

   에어비앤비가 미세 조정한 소형 모델로 상용 API 대비 1% 비용에 대등한 성능을 구현했습니다.

   출처: Airbnb Engineering · 2026-11-03 · 원문 보기

10. Attention to Mamba: A Recipe for Cross-Architecture Distillation

    애플 연구진이 트랜스포머를 효율적인 맘바 아키텍처로 변환하는 이단계 증류 기법을 제안했습니다.

    출처: Apple ML · 2026-11-03 · 원문 보기

11. Transformers Model Integration Contracts

    Hugging Face가 풀 모델 대신 축소된 픽스처로 모델 통합 테스트를 수행하는 표준 MIC를 도입했습니다.

    출처: Hugging Face · 2026-11-03 · 원문 보기

12. Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps

    Apple이 실제 iOS 환경에서 온라인 강화학습으로 훈련된 UI 탐색 에이전트를 공개했습니다.

    출처: Apple ML · 2026-11-02 · 원문 보기

13. 전문가의 절반을 내보냈습니다

    스캐터랩이 대형 MoE 모델의 전문가 절반을 제거해 품질 유지와 서빙 효율을 달성했습니다.

    출처: 스캐터랩 · 2026-10-30 · 원문 보기

14. PyTorch 2.15 Release Blog

    PyTorch 2.15 버전이 배포되어 NCCL 백엔드 기본 변경과 하드웨어별 최적화 기능을 제공합니다.

    출처: PyTorch · 2026-10-28 · 원문 보기

15. The sleep framework: A new way for LLMs to retain knowledge in continual learning

    구글 리서치가 LLM의 지속 학습을 위해 인간의 수면 주기를 모방한 수면 프레임워크를 발표했습니다.

    출처: Google Research · 2026-10-27 · 원문 보기

16. Fine-Tuning NVIDIA Nemotron to Know Local Rules, Not Just Local Languages

    NVIDIA가 지역별 문화와 법규를 학습시키기 위한 Nemotron-Personas 데이터셋과 미세 조정 워크플로를 공개했습니다.

    출처: NVIDIA Technical Blog · 2026-10-27 · 원문 보기

17. Building Reasoning Models from the Ground Up: A Video Course

    Sebastian Raschka가 파이토치로 추론 모델을 밑바닥부터 구현하는 11시간 분량의 강의를 공개했습니다.

    출처: Ahead of AI · 2026-10-24 · 원문 보기

18. Using AI Agents to Teach Robots Like Microduck to Walk in Simulation

    NVIDIA가 AI 에이전트와 Isaac 플랫폼을 결합하여 Microduck 로봇의 보행 학습을 자동화하는 워크플로우를 공개했습니다.

    출처: NVIDIA Technical Blog · 2026-10-23 · 원문 보기

19. Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox

    Microsoft와 Hugging Face가 DB 상태를 보상으로 활용해 에이전트의 신뢰성을 높이는 학습법을 공개했다.

    출처: Hugging Face · 2026-10-22 · 원문 보기

20. TorchTitan Update: New SOTA Models, Performance at Scale, TitanRL

    파이토치 기반 대규모 모델 학습 플랫폼 TorchTitan이 신규 SOTA 모델과 강화학습 기능을 공개했습니다.

    출처: PyTorch · 2026-10-21 · 원문 보기

21. NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required

    엔비디아가 관계형 데이터베이스에서 직접 예측을 수행하는 사전 학습 기반 모델 Kumo Relational을 공개했다.

    출처: Hugging Face · 2026-10-21 · 원문 보기

22. Train in Simulation, Deploy on a Real Robot: Microduck with Isaac Lab 3.0

    허깅페이스와 폴른 로보틱스가 공개한 이족보행 로봇 마이크로덕을 아이작 랩으로 학습하고 배포하는 방법.

    출처: Hugging Face · 2026-10-21 · 원문 보기

23. Design Proteins with RFD4-Proteina Using Reward-Guided Inference-Time Search

    NVIDIA가 단백질 서열과 구조를 동시에 설계하는 고성능 모델 RFD4-Proteina를 공개했다.

    출처: NVIDIA Technical Blog · 2026-10-21 · 원문 보기

24. How Shopify turns open models into task experts

    Shopify가 오픈 소스 모델을 특정 작업 전문가로 훈련해 성능과 비용을 최적화했다.

    출처: Shopify Engineering · 2026-10-21 · 원문 보기

25. Integrating TorchTPU into TorchTitan and Optimizing Models for TPU

    구글이 PyTorch 학습 플랫폼 TorchTitan에 TPU 지원을 통합하고 최적화 기법을 공개했다.

    출처: Google Developers · 2026-10-20 · 원문 보기

26. Introducing ModuleLens: Zooming into PyTorch Modules for Human and Agentic Engineering

    핀터레스트가 대규모 PyTorch 모델을 모듈 단위로 격리하여 테스트하는 ModuleLens를 공개했다.

    출처: Pinterest Engineering · 2026-10-19 · 원문 보기

27. Inside Prometheus: Meta’s Journey to a Gigawatt-Scale Supercluster

    Meta가 100만 개 GPU 규모로 확장 가능한 기가와트급 AI 슈퍼클러스터 프로메테우스를 공개했다.

    출처: Meta Engineering · 2026-10-19 · 원문 보기

28. Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

    NVIDIA와 AI4Bharat가 2.8조 토큰 규모의 인도어 사전학습 말뭉치와 데이터 생성 파이프라인을 공개했다.

    출처: Hugging Face · 2026-10-16 · 원문 보기

29. Welcome Beam: a 501B open model you can own, customize, and scale

    Hugging Face가 코딩과 에이전트 작업에 최적화된 501B 규모의 오픈 소스 모델 Beam을 공개했다.

    출처: Hugging Face · 2026-10-16 · 원문 보기

30. NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning

    NVIDIA가 텍스트와 시각 정보를 동시에 처리하는 오픈 멀티모달 에이전트 모델 Nemotron 3.5 Super VL을 공개했다.

    출처: NVIDIA Technical Blog · 2026-10-15 · 원문 보기

이 주제를 다룬 매체

• PyTorch (19편)
• Apple ML (211편)
• Hugging Face (288편)
• Google Developers (47편)
• vLLM Blog (40편)
• Airbnb Engineering (15편)
• 스캐터랩 (12편)
• Google Research (27편)
• NVIDIA Technical Blog (88편)
• Ahead of AI (12편)
• Shopify Engineering (19편)
• Pinterest Engineering (17편)
• Meta Engineering (32편)

AI 관련 주제

• LLM 활용·프롬프트 (245편)
• AI 에이전트·MCP (536편)
• RAG·검색 (141편)
• LLM 서빙·추론 (247편)
• 온디바이스·엣지 AI (87편)
• AI 연구·모델 공개 (483편)
• AI 코딩 도구 (248편)
• 멀티모달·비전·음성 (227편)
• 피지컬 AI·로보틱스 (69편)
• AI 운영·평가 (250편)
• GPU·AI 인프라 (194편)