온디바이스·엣지 AI 기술 블로그 글 모음

최근 글

1. Run Native DLA Inference in Python on NVIDIA Jetson AGX Orin Using cuDLA

   NVIDIA가 젯슨 AGX 오린의 DLA 하드웨어 추론을 파이썬으로 제어하는 cuDLA 바인딩을 공개했습니다.

   출처: NVIDIA Technical Blog · 2026-11-13 · 원문 보기

2. Cuttlefish on Mac: Running Android’s Virtual Device Framework Natively on Apple Silicon

   메타가 안드로이드 가상 디바이스 프레임워크 커틀피시를 애플 실리콘 맥에 네이티브로 이식했습니다.

   출처: Meta Engineering · 2026-11-13 · 원문 보기

3. llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem

   Hugging Face가 로컬 AI 추론 라이브러리 llama.cpp의 1.0.0 버전을 정식 출시했습니다.

   출처: Hugging Face · 2026-11-13 · 원문 보기

4. BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model

   Tether AI Research는 온디바이스 개인 비서용 0.8B 파라미터 에이전트 모델 BotPsy를 공개했습니다.

   출처: Hugging Face · 2026-11-11 · 원문 보기

5. ExecuTorch WebGPU: PyTorch Models on the GPU, in the Browser

   PyTorch가 ExecuTorch WebGPU 백엔드를 통해 웹 브라우저에서 GPU 가속 모델 추론을 지원합니다.

   출처: PyTorch · 2026-11-10 · 원문 보기

6. On-Device Speech Recognition and Text-to-Speech in Google AI Edge Gallery

   구글이 AI Edge Gallery에 온디바이스 음성 인식 및 합성 기능을 도입하여 오프라인 AI 앱 개발을 지원합니다.

   출처: Google Developers · 2026-11-10 · 원문 보기

7. A Closer Look at Phonon TTS. Launching High-Quality On-Device Speech That Tops the Benchmarks.

   Hugging Face가 온디바이스 환경에서 고품질 음성 합성을 제공하는 경량 모델 Phonon을 공개했습니다.

   출처: Hugging Face · 2026-11-05 · 원문 보기

8. Run AI Models for Edge Application Development with Just a Few Commands

   NVIDIA DGX Spark에서 TensorRT Edge-LLM으로 엣지 모델을 실행하고 API로 서빙하는 방법을 설명합니다.

   출처: NVIDIA Technical Blog · 2026-10-30 · 원문 보기

9. Introducing AnySpeechRecognizer and AnyDecisionModel: Open Models for Speech and Decisions on Apple Platforms

   Hugging Face가 애플 플랫폼용 음성 인식과 의사결정을 위한 오픈 모델 패키지 두 종을 공개했습니다.

   출처: Hugging Face · 2026-10-29 · 원문 보기

10. Smaller apps and faster GPU inference with LiteRT in Google Play services

    구글 플레이 서비스의 LiteRT가 향상된 GPU 추론 기능과 함께 대규모 업데이트를 공개했습니다.

    출처: Google Developers · 2026-10-28 · 원문 보기

11. Build specialized multimodal models with LFM3

    Liquid AI가 온디바이스 환경에 최적화된 2B 규모의 멀티모달 모델군 LFM3를 공개했습니다.

    출처: Hugging Face · 2026-10-27 · 원문 보기

12. GHARP: Real-Time Gaussian Head Animation from Large-Scale Reconstruction Prior

    Apple ML이 모바일 기기에서 실시간으로 구동되는 3D 헤드 애니메이션 기술 GHARP를 공개했습니다.

    출처: Apple ML · 2026-10-26 · 원문 보기

13. Granite Speech 5.0: Transcribe, Translate, and Attribute more Accurately and Faster

    IBM이 기업용 음성 인식 및 번역 모델인 Granite Speech 5.0 제품군을 공개했다.

    출처: Hugging Face · 2026-10-21 · 원문 보기

14. Bringing Visual Graph Debugging to Custom Edge Compilers with Model Explorer

    Arm이 Google AI Edge Model Explorer를 활용한 에지 모델 시각화 도구를 공개했다.

    출처: Google Developers · 2026-10-20 · 원문 보기

15. AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms

    허깅페이스가 애플 플랫폼용 로컬 및 원격 모델 통합 라이브러리 AnyLanguageModel 1.0을 공개했다.

    출처: Hugging Face · 2026-10-20 · 원문 보기

16. Unifying Edge AI: How Coral NPU’s open standard brings portable, energy-viable intelligence from model to silicon

    구글이 RISC-V 기반의 오픈 NPU 아키텍처인 Coral NPU의 32비트 설계를 완성하고 관련 툴체인을 공개했다.

    출처: Google Developers · 2026-10-20 · 원문 보기

17. Native Model Authoring for Edge with LiteRT Tensor API

    구글이 온디바이스 모델 수동 작성을 위한 라이트RT 텐서 API를 공개했다.

    출처: Google Developers · 2026-10-19 · 원문 보기

18. Code, Test, and Deploy on One Machine with NVIDIA RTX Spark

    NVIDIA RTX Spark는 GB10 SoC와 128GB 통합 메모리로 로컬에서 코딩 에이전트를 실행하고 테스트·배포를 한 대의 PC에서 수행할 수 있다고 발표하였다.

    출처: NVIDIA Technical Blog · 2026-10-16 · 원문 보기

19. 셋톱박스 장애를 고객보다 먼저 발견할 수 있을까: 온디바이스 AI Self-Healing PoC 진행

    LG유플러스가 셋톱박스 장애를 스스로 감지하고 복구하는 온디바이스 AI 시스템 PoC를 진행했다.

    출처: LG유플러스 · 2026-10-14 · 원문 보기

20. Google DeepMind and Singapore Government announce new AI tool to protect citizens against scams

    구글 딥마인드와 싱가포르 정부가 젬마 모델을 활용한 온디바이스 사기 탐지 도구를 공개했다.

    출처: Google DeepMind · 2026-10-14 · 원문 보기

21. Run fast, private agents on-device with LFM2.5-24B-A2B

    Liquid AI가 온디바이스 에이전트 구동에 특화된 LFM2.5-24B-A2B 모델을 공개했습니다.

    출처: Hugging Face · 2026-10-13 · 원문 보기

22. ML Drift: Next-Gen GPU AI/ML Inference at the Edge

    구글 AI 에이전트 팀이 오픈소스 온디바이스 GPU 연산 엔진 ML Drift를 공개했다.

    출처: Google Developers · 2026-10-08 · 원문 보기

23. Multimodal open d1 decision models for the edge

    Liquid AI가 엣지 환경에 최적화된 멀티모달 오픈 의사결정 모델 d1-3B와 d1-omni-600M을 공개했다.

    출처: Hugging Face · 2026-10-07 · 원문 보기

24. EmbeddingGemma 2: an open, lightweight multimodal embedding model

    구글 딥마인드가 텍스트, 코드, 이미지, 오디오를 통합 처리하는 경량 임베딩 모델 EmbeddingGemma 2를 공개했다.

    출처: Google DeepMind · 2026-10-06 · 원문 보기

25. Bring multimodal semantic search to the edge with EmbeddingGemma 2

    구글 딥마인드가 온디바이스 멀티모달 임베딩 모델 EmbeddingGemma 2를 공개했다.

    출처: Google Developers · 2026-10-06 · 원문 보기

26. Device Streaming and Android skills - available in Android CLI

    구글이 Android CLI에 원격 기기 스트리밍과 AI 에이전트용 안드로이드 스킬을 추가했습니다.

    출처: Android Developers · 2026-10-02 · 원문 보기

27. Build Local AI Apps with C++ and NVIDIA TensorRT RTX Samples

    NVIDIA DIN Deploy가 ONNX Runtime과 TensorRT RTX로 로컬 C++ AI 앱 예제를 제공한다.

    출처: NVIDIA Technical Blog · 2026-10-01 · 원문 보기

28. Fine-Tuning NVIDIA Nemotron for Saudi Arabic Dialects, with a Path to Other Languages

    NVIDIA가 Nemotron 음성 인식 모델을 사우디 방언에 맞게 미세 조정하는 절차를 제시했다.

    출처: NVIDIA Technical Blog · 2026-10-01 · 원문 보기

29. Compressing Streaming Neural Audio Encoders via Latent-Space Distillation

    Apple이 온디바이스 음성 토크나이저를 잠재 표현 증류로 압축했다.

    출처: Apple ML · 2026-09-24 · 원문 보기

30. Bringing Private Processing to Meta AI Glasses

    Meta가 AI 안경의 클라우드 처리를 기밀 가상 머신과 공개 검증 구조로 보호한다.

    출처: Meta Engineering · 2026-09-24 · 원문 보기

이 주제를 다룬 매체

• NVIDIA Technical Blog (88편)
• Meta Engineering (32편)
• Hugging Face (288편)
• PyTorch (19편)
• Google Developers (47편)
• Apple ML (211편)
• LG유플러스 (14편)
• Google DeepMind (96편)
• Android Developers (15편)

AI 관련 주제

• LLM 활용·프롬프트 (245편)
• AI 에이전트·MCP (536편)
• RAG·검색 (141편)
• LLM 서빙·추론 (247편)
• 모델 학습·파인튜닝 (251편)
• AI 연구·모델 공개 (483편)
• AI 코딩 도구 (248편)
• 멀티모달·비전·음성 (227편)
• 피지컬 AI·로보틱스 (69편)
• AI 운영·평가 (250편)
• GPU·AI 인프라 (194편)