標籤：LLM推理

oMLX 加入 Hugging Face：Apple Silicon 本地 AI 生態的維護與轉譯層

Hugging Face 宣布 oMLX 創作者兼維護者 **Jun Kim** 加入團隊，並維持 oMLX 由 Jun

LFM2.5-VL-DSpark：以推測解碼加速視覺語言模型

Liquid AI 為 30 億參數的視覺語言模型（VLM）LFM2.5-VL-3B 發布實驗性 **DSpark dr

Transformers × llama.cpp：用 GGUF 在 Python 跑本地量化模型

Hugging Face 將 **GGUF** 量化模型接進 `transformers`：開發者可從 Hub 選定量化

GPT-6 Sol 與 Luna：以價格效能擴大前沿模型日常部署

OpenAI 將 GPT-6 的產品分工拆得更清楚：**Astra**保留給最困難、最不計代價的任務；新推出的 **So

GPT-6 提示快取升級：命中率、診斷與代理成本控制

對會持續數小時、反覆呼叫 API 的代理而言，推論成本與等待時間常不是由「最後那一句問題」決定，而是由每一回合重送的系統

OpenAI × Broadcom Jalapeño：首款自研 LLM 推論晶片

2026 年 6 月 24 日，OpenAI 與 Broadcom 聯合發布 **Jalapeño**——OpenAI

Native-speed vLLM Transformers 後端：單一代碼庫達成訓練推論性能同等

Hugging Face 於 2026 年 7 月 8 日發布技術部落格，宣布 transformers vLLM 後端

HF Jobs × vLLM：零基礎設施的按需 LLM 推論端點

Hugging Face 在 2026 年 6 月 26 日發布技術指南，說明如何透過 `hf jobs run` 單一

GLM-5.2：為長期代理任務而生

GLM-5.2 是 Z.AI（智譜 AI）於 2026 年 6 月 17 日發布的開源旗艦模型，753B 參數 MoE

OpenAI o3 罕見遺傳病診斷：NEJM AI 研究解析

2026 年 6 月 18 日，波士頓兒童醫院 Manton 罕見病研究中心、哈佛大學醫學院與 OpenAI 在 *NE

DiffusionGemma：擴散式文本生成的速度革命

DiffusionGemma 是 Google DeepMind 於 2026 年 6 月 10 日發布的實驗性開源模型

LLM推理驅動的太空船姿態控制：GRPO強化學習框架

本論文提出一套以 LLM 推理能力驅動動態控制的框架，核心思路是：讓語言模型不只作為「規劃者」，而是直接承擔低層控制策略