Agent終于長出了身體：Jiuwen Symbiosis背后的思考與實踐

如果你在三年前問AI圈：未來最強的AI長什么樣？

大部分人可能會回答，一個更大的GPT，更多參數，更長上下文，更強推理能力。

然后我們一路從GPT-3.5走到GPT-4、Claude、Gemini、DeepSeek、Qwen。

直到今天，突然發現一個有趣的問題：AI已經學會寫代碼了，學會做數學題了，甚至學會和你討論人生意義了，但它依然不會給自己倒一杯水。

這正是當前AI最大的局限之一：

AI沒有身體。

今天，openJiuwen社區正式開源Jiuwen Symbiosis，一個專為更高階的physical AI打造的Symbiosis（共生）架構。

從虛擬數字世界到真實物理世界，我們給AI裝上了感知和行動的“骨骼與肌肉”。

Gitcode傳送門：
gitcode.com/openJiuwen/jiuwensymbiosis

（動動小手，Star一下不迷路?）

Moravec悖論：最難的不是高數，而是走路

1988年，機器人學家Hans Moravec提出了后來著名的Moravec's Paradox（莫拉維克悖論），其核心思想非常反直覺：

對于計算機來說：

• 下國際象棋很容易
• 做高等數學很容易

而對于人類嬰兒都能完成的事情，反而異常困難：

• 行走
• 抓取
• 避障
• 保持平衡

原因很簡單，這些能力并不是邏輯推導出來的，而是數百萬年進化形成的身體智能。

這就是大模型時代的“缸中之腦”困境：智商200，但沒有實體，對真實物理世界的摩擦力、重力和空間幾何一無所知。

從“缸中之腦”到“身體力行”：智能的進化史

智能對外在機器本體控制的演進，本質上就是一場從數字世界到物理現實的歷程：

1.0手搓任務（借助人的輔助）：

依靠人的理解，進行極為原子化的控制操作。

2.0虛擬環境演練（Sim2Real）：

在Habitat、AI2-THOR等仿真環境里模擬，開始有了空間概念，同時訓練一個或多個模型，使得大腦可以分析理解指令，并進行任務執行。

在2.0這個階段，一系列的問題會凸顯出來，最為人詬病的是：

• 缺乏跨本體環境泛化能力：模型一旦訓練完成，其技能集合即固化。要讓機器人學會“開抽屜后抓取內部物體”，需要重新采集數據、重新訓練整個模型。VLA缺乏組合泛化能力——無法將已學的“開抽屜”與“抓取”零樣本組合為新任務。
• 長程復合任務能力不足：當前模型擅長短程原子操作（如“抓取紅色方塊”），但面對長程復合任務（如“從料架上取Tray盤→繞過設備→放入機臺→按壓確認→返回原位”），單一VLA模型缺乏任務分解、子任務編排、異常回退的能力。它只能在訓練分布內“模仿”，無法在運行時“規劃”。
• 故障定位困難：當前模型將“視覺→語言理解→物理推理→動作生成”全部壓縮進一個Transformer，運行時失?。ㄈ缱ト∑啤⑴鲎玻o法定位故障根因——是感知誤識別、語言歧義、物理推理錯誤，還是控制軌跡發散。
• 成功率低，穩定性差：當前模型端到端基礎模型為典型黑盒結構，直接輸出關節位姿等底層動作指令，大模型兼顧認知決策與運動控制，整體實現難度大，模型穩定性差、任務成功率低。

3.0共生時代（Jiuwen Symbiosis正在做的）：

模糊虛擬與現實的邊界，讓Agent能夠真正理解物理法則，并直接輸出控制硬件底層拓撲的Action序列。

Agent時代的到來

2023年以后，Agent成為整個AI領域最火熱的方向之一。

大家發現：大模型已經具備不錯的推理能力，真正缺少的是行動能力。于是出現了：

• Tool Calling
• Function Calling
• MCP
• Browser Agent
• Computer Use Agent

Agent開始獲得操作世界的能力，它們不再只是回答問題。但這里依然存在一個問題：這些Agent操作的仍然是數字世界。

不是物理世界。

但經過一系列的演進，openJiuwen團隊相信具有物理能力的Agent時代已經悄然到來，它比前輩們向著真實世界更加向前邁進了一步。

下一步是讓Agent走進現實世界。簡單來說，傳統Agent可以簡化為如下過程：

而physical AI Agent的模式發生了本質的改變——Agent不再面對文本，而是面對真實世界，需要與現實環境進行交互反饋，整體過程可以簡化為如下：

但openJiuwen團隊認為這依然是遠遠不夠的，人類在執行任務的過程中，觀察、反饋等過程是一個不間斷的實時系統。

同時，理論上，從傳感器-->VLM-->LLM-->Planner-->ROS的整個過程看起來是非常優雅，但實際執行過程中，極有可能變成JSON的極限堆積，并且系統越復雜，這個現象越明顯。

最終導致，Agent到底在想什么，為什么做出這個決策，為什么執行失敗，全部變成糊涂賬。

Jiuwen Symbiosis：讓Agent擁有透明的態勢感知系統

Jiuwen Symbiosis的設計理念非常簡單：

Agent的思考過程應該是可觀察、可調試、可協作的。

團隊嘗試把Agent的內部狀態顯式暴露出來，而不是隱藏在黑盒中。

在Jiuwen Symbiosis中：認知層與執行層通過共享Workspace協作，解決復雜任務執行，保障認知正確與快速響應，并極大簡化跨本體適配。

同時，其實現過程又是豐富且嚴謹的，openJiuwen團隊將這個核心骨架稱為：態勢感知環（Situation Awareness Loop）。

在此基礎上，團隊增加了若干功能模塊，例如安全規劃，狀態感知，觀測反饋，空間記憶等關鍵技術模塊。

多模態感知（Multimodal Perception）

使physical AI Agent主動感知世界，是Agent由數字走向物理的基礎。

同時，把理解從決策中分離，在進行Action之前對場景進行充分理解，產出結構化世界狀態，例如被檢測對象、對象位姿、置信度等。

安全規劃（Safe Planning）

基于Prompt任務指令與結構化世界狀態，進行任務規劃，對相關Skill中的參數動態賦值，并進行物理可行性、安全性與約束校檢，拒絕不可執行方案。

物理執行（Physical Action）

按照Skill的建議，調用相關Action Tool原子能力，最終完成位移、抓取、放置、交互等一系列連續可控的物理運動。

狀態觀察（Observation）

負責對物理動作執行后的真實世界狀態進行采集與結構化提取。

通過視覺等傳感器獲取執行結果，識別物體位姿、環境變化、交互效果等關鍵信息，輸出結構化的世界觀測狀態，為后續Feedback偏差計算提供客觀依據。

觀測反饋（Feedback）

基于觀測結果構建閉環修正機制，將執行偏差、異常狀態、成功/失敗判據回傳至推理與規劃模塊。

實現動作參數實時調整、規劃序列動態優化、異常場景自主恢復，同時沉淀交互數據用于技能迭代，形成“感知-規劃-執行-觀測-反饋”的完整閉環，持續提升態勢感知規劃的魯棒性。

空間記憶（Spatial Memory）

通過物體級感知，實現對空間的對象化表征（如3D Scene Graph），構建物體級的空間關系；通過變化檢測技術發現事件，自動化增量式維護空間關系。

同時，通過時間維度壓縮，空間層級聚合和情景事件聚類，形成多時空尺度的組織，使能任務驅動的空間上下文構建。

擁有以上能力的physical AI Agent將為行業帶來如下變化，體現在如下方面：

• Zero跨本體，跨環境自主適應泛化能力；
• 針對復雜任務，具備自主拆解，分步執行能力；
• 減少對訓練數據的依賴；
• 本體操作的自我總結與進化能力。

用戶視角下的Jiuwen Symbiosis：

從用戶視角，Jiuwen Symbiosis就是一個“能懂人話、看得見物理世界、長了四肢的智能助手”。

用戶不需要示教，不需要教它怎么抓東西，怎么走路，就像指揮一個經驗豐富的工人一樣，用自然語言下任務，它就能自己完成感知、理解、規劃、執行。

Symbiosis：共生，而非控制

為什么叫Symbiosis？

因為我們相信未來并不是：

而是：

這是一種新的持續協作關系。在這個系統中，Agent不只是工具，而是長期合作伙伴。

它能夠：

• 理解目標
• 主動規劃
• 請求幫助
• 從反饋中學習

從而形成真正的人機共生。

我們將教給機器人How，而不是傳統的What，允許嘗試并及時糾錯，沉淀經驗，最終達到自我演進的目標。

終極的physical AI不會由某一家企業完成，正如Linux沒有由一家公司構建，ROS沒有由一家公司構建。未來的行業生態也需要開放協作，因此openJiuwen團隊決定開源Jiuwen Symbiosis。

希望它成為一個透明的Agent for Physics、一個可擴展的physical AI框架、一個連接大模型與機器人世界的橋梁。

共生的另一層解讀是算力生態的親和共生。

Jiuwen Symbiosis輕量化的視覺感知模型可部署在本地端側，消耗顯存較低，對包括Ascend在內的多種生態，都可以有較好的適配，例如采用Ascend-SACT/GroundingDINO等。

其輸出結果完全兼容主流檢測格式，可直接對接昇騰版及其他生態兼容模型，完成下游任務聯動。

Jiuwen Symbiosis與昇騰、鯤鵬

很多physical AI系統仍然沿用“大模型+GPU”的思路。

但在真實機器人場景中，問題往往不是單純的模型推理，而是如何讓感知、認知、規劃和執行在有限功耗和有限帶寬下形成穩定閉環。

Jiuwen Symbiosis從設計之初就采用了端云協同架構：其中，大規模推理和復雜規劃運行在云側LLM/VLM，端側則專注于實時感知與執行。

這種架構與昇騰、鯤鵬的異構計算能力形成了天然匹配：

• 昇騰提供較高TOPS的AI推理能力，可承擔目標檢測、視覺理解、多模態感知等高頻任務；
• 鯤鵬CPU則負責工具調度、任務編排、狀態管理以及機器人控制邏輯，實現低延遲、高可靠的執行鏈路。

更重要的是，Jiuwen Symbiosis繼承了OpenJiuwen在鯤鵬與昇騰生態上的優化成果。

在某些場景中，系統能夠將規劃負載卸載到昇騰NPU，將Agent Runtime、Memory、Workspace、Tool Calling等邏輯運行在鯤鵬CPU上，從而避免傳統GPU方案中“所有任務爭搶同一計算資源”的瓶頸。

最終形成一種更符合機器人運行規律的資源分工。

這種分層架構不僅提升系統吞吐能力，也顯著降低了端側部署成本和整體功耗，使Jiuwen Symbiosis能夠更自然地運行在機器人、機械臂、四足機器人以及邊緣智能設備等真實場景中。

未來

今天的Agent已經學會閱讀，正在學會思考。

下一步，它們將學會行動。

而當感知、認知與行動形成閉環時，真正的physical AI時代也許才剛剛開始。

如果你也在探索：

• Embodied AI
• Robotics Agent
• VLA/VLM
• World Model
• Physical Intelligence
• ROS2
• Multi-Agent Systems

歡迎加入openJiuwen社區，一起構建下一代物理世界的智能系統。

華為云AgentArts也已將openJiuwen引入到商業化平臺能力中，開箱即用，訪問華為云官網即可體驗。

*本文系量子位獲授權刊載，觀點僅為原作者所有。