標籤：強化學習

Reward Hacking Benchmark：工具型 LLM Agent 的獎勵駭客測試

工具型 LLM Agent 不只回答問題，還會搜尋、寫程式、讀取環境資訊並連續採取動作；這也讓它有機會不解決任務本身，卻

GRPO 微調 350M 模型：100 步改善結構化輸出

Hugging Face 以一個很務實的實驗回答「小模型能不能可靠吐出符合 schema 的資料」：用 TRL 的 **

TRL × OpenEnv 水彩程式訓練：把個人品味做成可重現的 RL 環境

這個 Hugging Face 實作把「用模型畫水彩」拆成更可檢驗的問題：不直接生成圖片，而是讓程式模型撰寫約 150

Agentic Memory：LLM Agent 長短期記憶統一管理框架

LLM 代理面臨一個根本性瓶頸：上下文視窗有限，而現實任務往往跨越長時程、需要跨步驟記憶。當前主流做法將長期記憶（LTM

LeRobot v0.6.0：世界模型、評估框架與端到端機器人學習閉環

LeRobot v0.6.0 於 2026 年 7 月 7 日發布，以「想像（Imagine）、評估（Evaluate）

SkillOpt：將 Agent 技能視為可訓練參數

AI Agent 的行為品質，很大程度上取決於它拿到什麼「技能文件」（skill document）——一份描述執行策略

GLM-5.2：為長期代理任務而生

GLM-5.2 是 Z.AI（智譜 AI）於 2026 年 6 月 17 日發布的開源旗艦模型，753B 參數 MoE

OpenEnv：開源 Agentic RL 的統一環境協議層

專有前沿模型（Claude Code、Codex、OpenClaw）能針對自家工具進行深度整合訓練，實現模型與執行環境的

North Mini Code：Cohere 首款開發者 MoE 程式碼模型

North Mini Code 是 Cohere 於 2026 年 6 月 9 日正式發布的首款面向開發者的程式碼模型，

DPO 超越對話模型：消除結構化生成任務的文本退化

直接偏好優化（DPO）在對話模型對齊領域已有廣泛應用，但 Dharma-AI 的這篇研究揭示了更廣泛的適用場景：任何具有

Delta Weight Sync in TRL：異步強化學習的百倍同步壓縮

異步強化學習（Async RL）是大型語言模型後訓練（post-training）的主流範式，但它有一個幾乎不可繞開的瓶

FRAPPE：世界模型驅動的機器人通用策略對齊框架

VLA（Vision-Language-Action）模型是當前機器人研究的主流框架——讓模型同時理解視覺畫面、語言指令

DEFT：分佈引導的高效 LLM 人類對齊框架