螞蟻靈波開源 LingBot-Video，全球首個面向具身的視頻基模來了！

7 月 9 日，螞蟻靈波開源 LingBot-Video，這是全球首個基于 Mixture-of-Experts（MoE）架構(gòu)、面向具身智能的開源視頻生成基礎(chǔ)模型。該模型圍繞機器人和具身智能的核心需求重新設(shè)計視頻預訓練范式，在推理效率、物理合理性、動作理解和任務完成度等方面取得系統(tǒng)性提升，為視頻基礎(chǔ)模型從數(shù)字內(nèi)容創(chuàng)作走向具身智能提供了新的開源底座。

在北京大學聯(lián)合字節(jié)跳動發(fā)布的基準 RBench 上，LingBot-Video 的總分是 0.620，超越了 Wan2.6（0.607）、Seedance 1.5 Pro（0.584）、Cosmos3 Super（0.581）。RBench 作為面向機器人操作視頻的綜合評測基準，重點考察模型能否生成符合真實物理規(guī)律的機器人行為。這一結(jié)果表明，LingBot-Video 在生成機器人相關(guān)視頻時，更能保持動作過程的合理性和任務執(zhí)行的完整性。

（圖說：LingBot-Video 在 RBench 上性能最優(yōu)）

為進一步驗證 LingBot-Video 對物理世界變化的建模能力，螞蟻靈波在內(nèi)部 benchmark 中從通用質(zhì)量和具身領(lǐng)域兩個維度進行評估。結(jié)果顯示，對比 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等五個開源模型，LingBot-Video 在具身領(lǐng)域表現(xiàn)優(yōu)于主要基線模型。

（圖說：綜合評測顯示，LingBot-Video在具身相關(guān)場景中展現(xiàn)出更強的物理理解和動作一致性）

過去幾年，視頻生成模型在畫質(zhì)、流暢度和創(chuàng)意表達上快速進步，但對于具身智能來說，一個看起來逼真、動作流暢的視頻，卻無法反映真實的物理規(guī)律，難以支撐機器人連續(xù)預測、規(guī)劃和執(zhí)行任務。與此同時，具身智能還要求模型具備更高推理效率，以適應實時交互和控制閉環(huán)。

這也讓視頻生成開始出現(xiàn)兩種不同的演進方向：一條通向影院，服務于內(nèi)容創(chuàng)作；另一條通向機器人，服務于物理世界的理解、預測與交互。LingBot-Video 正是螞蟻靈波面向具身智能開辟視頻生成新路線的重要探索。

LingBot-Video 從架構(gòu)、數(shù)據(jù)和訓練三方面進行了系統(tǒng)創(chuàng)新。

在架構(gòu)上，LingBot-Video 采用 DiT + MoE 設(shè)計，以 MoE 替代傳統(tǒng) Dense 架構(gòu)，在擴大模型容量的同時控制單次推理成本。其 30B 總參數(shù)模型在生成時僅激活約 3B 參數(shù)，相比同等參數(shù)規(guī)模 Dense 架構(gòu)擁有約 3 倍推理效率。這一設(shè)計使模型既能獲得大規(guī)模參數(shù)帶來的視覺表達能力，又更適合具身智能對高效推理的要求。

在數(shù)據(jù)上，LingBot-Video 構(gòu)建了數(shù)據(jù)畫像引擎，在海量互聯(lián)網(wǎng)視頻的基礎(chǔ)上進一步引入 VLA、VLN、Ego 等機器人相關(guān)數(shù)據(jù)，覆蓋靈巧操作、機器人移動和第一視角交互等場景，總規(guī)模達 7 萬小時的具身數(shù)據(jù)。這些數(shù)據(jù)幫助模型學習動作與環(huán)境變化之間的關(guān)系，而不只是學習視頻的表面紋理和視覺風格。

在訓練上，LingBot-Video 引入多維強化學習獎勵系統(tǒng)。除美學、prompt 跟隨和運動一致性等常規(guī)指標外，模型進一步圍繞物理合理性和任務完成度進行對齊，使生成結(jié)果更符合真實世界規(guī)律，也更貼近機器人在真實世界完成任務的需求。

據(jù)介紹，LingBot-Video 可用于機器人動作預測、仿真數(shù)據(jù)生成、動作條件建模、世界模型研究等方向。目前，LingBot-Video 已正式開源。