核心概念
AWS 開源的 Strands Robots SDK 與 Hugging Face 的 LeRobot 框架整合,實現了「同一份 Agent 程式碼,從資料集錄製到實體機器人部署」的端對端工作流程。這項整合的設計核心只有一個關鍵決定:抽象層做在 Robot() factory,而非做在 policy 或 agent 層。
切換模擬到真實硬體只需改一個參數:
from strands_robots import Robot
from strands import Agent
# 模擬(預設)
arm = Robot("so100")
# 實機
arm = Robot("so100", mode="real", port="/dev/ttyACM0", data_config="so100_dualcam")
agent = Agent(tools=[arm])
agent("拿起紅色積木")
Agent 程式碼完全不改動,LeRobot 的校準格式、資料集格式、policy 介面也維持一致。這使得「在模擬中驗證的策略」可以直接移植到實體硬體,不需要重寫資料流或 agent 邏輯。
五步驟工作流程:
| 步驟 | 執行環境 | 描述 |
|---|---|---|
| 1. 設置環境 | 本機 | 安裝 strands-robots + 克隆 repo |
| 2. 錄製示範 | MuJoCo 模擬 | 生成與硬體相容的 LeRobotDataset |
| 3. 模擬執行 Policy | MuJoCo 模擬 | 測試策略,支援多種 VLA 模型 |
| 4. 部署實機 | SO-101 硬體 | mode="real" 切換,校準檔自動讀取 |
| 5. 機群協調 | Zenoh mesh | P2P 多機廣播、緊急停止、人工審核閘道 |
支援的 Policy 模型(Step 3):
lerobot/pi0_base、lerobot/smolvla_basenvidia/Cosmos3-Nano、nvidia/GR00T-N1.7-3Ballenai/MolmoAct2-SO100_101
機群協調(Zenoh Mesh):
多機器人協作透過 Zenoh P2P 網格實現 LAN 自動探索。Agent 可向所有機器人廣播指令,或點名特定機器人。危急時 emergency_stop 指令自動觸發全群停止,且預設需要操作員人工批准才能執行全機群廣播動作。生產環境建議開啟 STRANDS_MESH_AUTH_MODE=mtls。
關鍵要點
- 共用資料集格式:模擬錄製和硬體錄製產生完全相同結構的
LeRobotDataset,消除 sim-to-real 的資料格式差異 - 薄抽象層原則:Strands 只負責 Agent 編排,LeRobot 負責硬體細節和校準——職責分離避免重複造輪
- 最低配置可進入:只需 Python 3.12+、一個 LLM provider(Bedrock / Anthropic / OpenAI / Ollama),不需真實硬體即可完成前三步
- 實機先決條件:SO-101 機器人對、NVIDIA GPU(16GB VRAM,GR00T 推論用)、校準檔位於
~/.cache/huggingface/lerobot/calibration/ - 安全設計:prompt injection 防護建議限制工具存取範圍;機群廣播與緊急停止預設需要人工核准
實務應用
研究到生產的橋接價值:傳統機器人研究流程的痛點在於「模擬訓練的策略到真實機器人需要大量適配工作」。Strands × LeRobot 的架構讓這個適配成本降到接近零——研究員可以在完全無硬體的環境下開發和測試 Agent 邏輯,確認後再購入硬體直接部署。
多機器人場景:倉儲分揀、協同裝配等需要多台機器人協調的場景,可用 Zenoh mesh 的結構化指令(broadcast / tell / emergency_stop)替代自訂通訊協議。AWS IoT Core 整合讓雲端機群管理也納入同一框架。
延伸觀點
LeRobot v0.5.0(2026 年)進一步擴展了整個生態的廣度:新增 Unitree G1 人形機器人完整支援(含全身控制),新增 Pi0-FAST、Wall-X、X-VLA 等 VLA 模型,並引入串流視頻編碼讓資料集製作速度提升 3-10 倍。這說明 Strands 所依賴的 LeRobot 底層正在快速成熟,硬體覆蓋範圍從桌上型機械臂延伸至移動機器人和人形機器人。
NVIDIA Isaac Lab 則從評估端補強了這個生態:Isaac Lab-Arena 提供 250+ 任務套件,與 LeRobot EnvHub 整合後,開發者可以在 GPU 加速的模擬環境中大規模基準測試策略,再透過 Strands 部署到實機。處理 sim-to-real gap 的思路是「真實資料採集 + 模擬預訓練」的混合策略,而非純模擬訓練後直接部署。
這三個層次共同構成了 2026 年開源機器人 AI 的基礎設施棧:LeRobot(硬體抽象 + 資料)→ Isaac Lab(模擬評估)→ Strands(Agent 編排 + 機群協調),覆蓋了從策略研究到多機生產部署的完整鏈路。與 Reachy Mini 本地化對話:語音 AI 管線的離線部署實錄 的本地離線路線不同,此框架更適合需要雲端協調和大規模機群管理的場景。亦可參考 Google DeepMind 歐洲機器人加速器:Physical AI 的產業化賭注 了解 Physical AI 的產業化背景。
反向連結
以下頁面引用了本頁: