標籤：本地推論

oMLX 加入 Hugging Face：Apple Silicon 本地 AI 生態的維護與轉譯層

Hugging Face 宣布 oMLX 創作者兼維護者 **Jun Kim** 加入團隊，並維持 oMLX 由 Jun

Transformers × llama.cpp：用 GGUF 在 Python 跑本地量化模型

Hugging Face 將 **GGUF** 量化模型接進 `transformers`：開發者可從 Hub 選定量化

Hugging Face WebGPU Kernels：207 個瀏覽器本地 AI 運算核心

Hugging Face 將瀏覽器端 AI 的瓶頸往最底層拆解：模型格式與執行 runtime 固然重要，但實際上每次推

Quantization-Aware Healing：4-bit 壓縮模型的恢復訓練與因果限制

量化通常被視為部署時必付的效率稅：先用移除層、注意力頭或神經元的方式壓縮架構，再把權重降到 4-bit，記憶體與計算量雖

Hugging Face × Cerebras：以 Gemma 4 打造實時語音 AI 堆棧

語音 AI 已進入延遲競賽時代。Hugging Face 與硬體推論新創 Cerebras 於 2026 年 7 月 1

本地模型 PR 分類：以開源模型替代 API 的零成本分流工作流

Hugging Face 工程師在主力 API 服務中斷後意識到供應商鎖定的脆弱性，轉而用本地開源模型建立 GitHub

Gemma 4 12B：統一無編碼器多模態模型

Google DeepMind 於 2026 年 6 月 3 日發布 Gemma 4 12B，定位為首款中型無編碼器（e

DiffusionGemma：擴散式文本生成的速度革命

DiffusionGemma 是 Google DeepMind 於 2026 年 6 月 10 日發布的實驗性開源模型

Holo3.1：本地電腦操作代理的量化推論突破

Holo3.1 是 H Company 於 2026 年 6 月 2 日發布的電腦操作代理（Computer Use A

Reachy Mini 本地化對話：語音 AI 管線的離線部署實錄

Hugging Face 發布技術指南，介紹如何讓 Pollen Robotics 的桌上型機器人 Reachy Min