5.83倍加速！PolicyTrim：讓VLA機(jī)器人少走彎路、更快完成任務(wù)

新智元報(bào)道

【新智元導(dǎo)讀】VLA模型已經(jīng)會(huì)做任務(wù)，但真實(shí)機(jī)器人還是慢！PolicyTrim是一種優(yōu)化VLA機(jī)器人執(zhí)行效率的方法，無需重新訓(xùn)練。它通過擴(kuò)展可靠動(dòng)作序列并減少冗余步驟，幫助機(jī)器人更直接完成任務(wù)，提升整體速度。

Vision-Language-Action（VLA）模型把視覺觀測(cè)、語言指令和機(jī)器人動(dòng)作統(tǒng)一到一個(gè)策略模型中，使機(jī)器人能夠根據(jù)自然語言完成復(fù)雜操作任務(wù)。

從OpenVLA、OpenVLA-OFT到π0.5、GR00T，這類模型正在成為具身智能的重要技術(shù)路線。

但當(dāng)VLA模型真正部署到機(jī)器人上時(shí)，一個(gè)關(guān)鍵瓶頸會(huì)立刻顯現(xiàn)：機(jī)器人完成任務(wù)的總時(shí)間，不只取決于每次推理有多快，也取決于策略到底需要執(zhí)行多少次推理、多少個(gè)真實(shí)物理動(dòng)作。

在同一任務(wù)的多次rollout中，VLA模型的執(zhí)行步數(shù)存在顯著波動(dòng)，說明更短、更直接的成功路徑是可達(dá)的，但當(dāng)前策略往往只能偶然找到。

動(dòng)作chunk尾部不可靠：模型一次預(yù)測(cè)多個(gè)動(dòng)作，但越靠后的動(dòng)作越容易累積誤差，系統(tǒng)不得不頻繁重新規(guī)劃，強(qiáng)行拉長(zhǎng)執(zhí)行長(zhǎng)度會(huì)降低成功率并增加物理步數(shù)。

物理動(dòng)作冗余嚴(yán)重：即便任務(wù)最終成功，軌跡里也可能包含大量糾錯(cuò)、回退和重復(fù)動(dòng)作。

因此，VLA部署效率不僅要看每一步的推理延時(shí)，更要看策略效率（policy efficiency）：一次預(yù)測(cè)中有多少動(dòng)作能放心執(zhí)行？完成任務(wù)到底需要多少真實(shí)物理步驟？

已有方法大多從計(jì)算側(cè)入手，例如視覺token剪枝、量化、KV-cache復(fù)用、蒸餾或推理引擎優(yōu)化。這些方法可以降低單次推理延遲，但如果策略仍然需要大量冗余物理步驟，真實(shí)任務(wù)耗時(shí)仍然很長(zhǎng)。

直接固定執(zhí)行更長(zhǎng)action chunk也并不可靠。

論文中的實(shí)驗(yàn)顯示，隨著強(qiáng)行將動(dòng)作執(zhí)行長(zhǎng)度變長(zhǎng)，成功率可能下降，物理步數(shù)反而增加。這說明低質(zhì)量的尾部預(yù)測(cè)會(huì)把誤差帶入物理世界，機(jī)器人隨后需要更多糾錯(cuò)動(dòng)作。

關(guān)鍵問題：能否在不犧牲任務(wù)成功率的前提下，通過后訓(xùn)練，讓已有VLA策略自動(dòng)學(xué)會(huì)「少走彎路」，用更少物理步驟完成任務(wù)？

來自四川大學(xué)雷印杰教授領(lǐng)導(dǎo)的團(tuán)隊(duì)提出了PolicyTrim——一個(gè)面向「策略效率」的兩階段強(qiáng)化學(xué)習(xí)后訓(xùn)練框架。它不改變VLA架構(gòu)，也不重新收集專家數(shù)據(jù)，而是在已有預(yù)訓(xùn)練策略之上繼續(xù)優(yōu)化機(jī)器人真實(shí)執(zhí)行行為。

項(xiàng)目主頁(yè)：https://inceptionwang.github.io/PolicyTrim/

論文鏈接：https://arxiv.org/abs/2606.22540

代碼鏈接：https://github.com/INCEPTIONwang/PolicyTrim

模型鏈接：https://huggingface.co/INCEPTIONwang/PolicyTrim

新方法實(shí)現(xiàn)了：

• 3×動(dòng)作chunk利用率，更長(zhǎng)horizon可靠執(zhí)行；

• 51.4%物理步數(shù)減少，壓縮冗余修正動(dòng)作；

• 5.83×端到端最高加速，LIBERO Object/π0.5；

從「算得更快」到「做得更快」

PolicyTrim的核心目標(biāo)不是替代計(jì)算側(cè)加速，而是補(bǔ)上另一個(gè)被忽視的維度：減少完成任務(wù)所需的前向推理次數(shù)次數(shù)。它把策略效率拆成兩個(gè)可優(yōu)化目標(biāo)：先擴(kuò)展可靠動(dòng)作chunk，再壓縮冗余物理步驟。

1. 可靠動(dòng)作chunk擴(kuò)展（Reliable Action Chunk Extension）

當(dāng)前很多VLA策略以action chunk形式輸出動(dòng)作序列，但部署時(shí)往往只敢執(zhí)行前幾步。PolicyTrim第一階段使用dynamic execution horizon exploration：同一組rollout分配不同接受比率，讓模型在短、中、長(zhǎng)窗口上并行探索可靠邊界。

成功完成任務(wù)且執(zhí)行窗口更長(zhǎng)的軌跡獲得更高reward，鼓勵(lì)模型把原本不可靠的chunk尾部動(dòng)作變得更可用。

horizon reward只在組內(nèi)出現(xiàn)成功軌跡時(shí)激活，避免模型在失敗情況下盲目追求更長(zhǎng)的chunk長(zhǎng)度。

2. 冗余感知的步數(shù)壓縮（Redundancy-Aware Step Reduction）

當(dāng)可靠horizon被擴(kuò)展之后，第二階段進(jìn)一步減少總物理步數(shù)。PolicyTrim引入step-saving reward：成功軌跡用越少步驟完成任務(wù)，獎(jiǎng)勵(lì)越高。

step-saving reward 直接把「更短、更直接的成功軌跡」寫進(jìn)優(yōu)化目標(biāo)。

group-anchored regularization 抑制不可復(fù)現(xiàn)的投機(jī)捷徑，避免模型只追求短路徑卻損害成功率。

兩階段順序優(yōu)化可以避免「拉長(zhǎng)chunk」和「縮短步數(shù)」兩個(gè)目標(biāo)互相干擾，最終減少完成任務(wù)所需的前向推理次數(shù)次數(shù)。

實(shí)驗(yàn)結(jié)果

論文在LIBERO、ManiSkill、Meta-World以及真實(shí)機(jī)器人任務(wù)上驗(yàn)證了PolicyTrim，并覆蓋π0.5、OpenVLA-OFT、GR00T等不同VLA架構(gòu)?？傮w結(jié)果顯示，PolicyTrim在保持任務(wù)成功率穩(wěn)定的同時(shí)，顯著提升執(zhí)行效率。

在LIBERO中，π0.5達(dá)到最高5.83倍端到端加速，同時(shí)成功率保持98%以上。

跨基準(zhǔn)結(jié)果顯示，PolicyTrim在ManiSkill上最高達(dá)到2.36倍加速，在Meta-World上達(dá)到2.52倍加速。

跨架構(gòu)結(jié)果顯示，重新預(yù)訓(xùn)練后的OpenVLA-OFT采用完整兩階段流程可達(dá)到2.97倍加速；OpenVLA僅使用第二階段也能達(dá)到1.41倍加速。

定性對(duì)比：少走彎路，軌跡更直接

在隨機(jī)采樣的LIBERO任務(wù)中，Baseline往往出現(xiàn)冗余糾錯(cuò)動(dòng)作和目標(biāo)附近的hesitation/jittering；PolicyTrim的軌跡更平滑、更直接，能夠用更少物理步驟完成同一任務(wù)，通常能將物理步數(shù)壓縮至原來的一半左右。

真實(shí)機(jī)器人部署：模擬中的效率收益可以遷移到物理世界

論文進(jìn)一步在配有兩臺(tái)Intel RealSense D435i相機(jī)的Agilex Piper機(jī)械臂上驗(yàn)證真實(shí)機(jī)器人任務(wù)，包括FlipMug、HangMug、TapeBox三類任務(wù)。實(shí)驗(yàn)覆蓋固定目標(biāo)位置的標(biāo)準(zhǔn)設(shè)置，以及抓取過程中隨機(jī)擾動(dòng)目標(biāo)的動(dòng)態(tài)設(shè)置。

PolicyTrim在標(biāo)準(zhǔn)設(shè)置和動(dòng)態(tài)擾動(dòng)設(shè)置下都維持或提升成功率，同時(shí)顯著縮短真實(shí)執(zhí)行時(shí)間。在標(biāo)準(zhǔn)真實(shí)機(jī)器人設(shè)置下，平均達(dá)到1.86倍端到端加速。

從實(shí)驗(yàn)結(jié)果看，PolicyTrim并不是只優(yōu)化benchmark指標(biāo)：在物理機(jī)器人上，任務(wù)完成時(shí)間也能縮短到baseline的一半左右，并且在動(dòng)態(tài)干擾場(chǎng)景中保持魯棒性。

為什么PolicyTrim有效？

? 面向策略本身提效：它減少冗余動(dòng)作和不必要的重規(guī)劃，而不只是降低單次推理延遲。

? 無需從頭訓(xùn)練：作為后訓(xùn)練框架，可以基于已有VLA模型繼續(xù)優(yōu)化，降低數(shù)據(jù)收集和訓(xùn)練成本。

? 兼顧速度和成功率：可靠horizon擴(kuò)展避免盲目拉長(zhǎng)chunk，穩(wěn)定性約束避免短路徑投機(jī)。

? 可與計(jì)算側(cè)加速疊加：PolicyTrim優(yōu)化前向推理次數(shù)次數(shù)，VLA-Cache等方法優(yōu)化每次推理耗時(shí)，兩條路徑正交且可以產(chǎn)生復(fù)合加速。

PolicyTrim的核心觀點(diǎn)是：對(duì)VLA機(jī)器人而言，部署效率不只來自更快的模型推理，也來自更高效的策略行為。讓機(jī)器人「少走彎路」，同樣可以帶來顯著加速。

參考資料：

https://arxiv.org/abs/2606.22540

編輯：LRST