北京
如果你觀察過編碼代理的一次完整工作記錄，你會發(fā)現(xiàn)一個令人驚訝的事實：那些按小時計費(fèi)的頂級模型，大部分時間并沒有在做燒腦的推理。
我們的團(tuán)隊翻閱了幾百份編碼代理的執(zhí)行軌跡，觀察到了同一個模式。Claude Opus、GPT-5.5、GLM-5.2這些前沿模型經(jīng)常被調(diào)去執(zhí)行搜索文件、重跑測試、更新導(dǎo)入語句、閱讀日志這類日常工作。這些步驟都是任務(wù)鏈條中必要的一環(huán)，但幾乎不需要最強(qiáng)的模型出馬。
問題在于目前大多數(shù)代理的工作邏輯：它們在會話開始時選定一個模型，然后一直用到任務(wù)完成。無論代理是在設(shè)計新功能，還是修復(fù)一個缺失的導(dǎo)入語句，每一次交互都走同一個昂貴模型的推理管道。這意味著前端推理資源在大量時間中被用在了并不匹配其能力的任務(wù)上。
基于這個觀察，我們嘗試了另一種路由策略：不再以整個會話為單位分配模型，而是把路由的決策權(quán)下放到每一次交互輪次上。簡單的步驟留在更便宜的模型上執(zhí)行，當(dāng)出現(xiàn)真正困難的推理問題時，自動升級到能力更強(qiáng)的模型。等到工作重新回到例行狀態(tài)，再降級回來。
每一輪交互在進(jìn)入模型選擇之前，會被先做一次分類：這個步驟屬于常規(guī)操作，還是需要深度推理？分類結(jié)果決定這一輪由哪個層級的模型來處理。
這樣一來，優(yōu)化的目標(biāo)就從一個代幣的成本變成了解決一個完整任務(wù)的成本。在真實的編碼工作流里，并不是每一步交互都值得動用前沿級別的推理能力。把每一步都一視同仁，實際上同時在浪費(fèi)延遲和算力投入。
我們的基準(zhǔn)測試結(jié)果顯示，按輪次路由可以在維持前沿級別編碼性能的前提下，顯著拉低向模型供應(yīng)商支付的成本。更便宜的模型處理常規(guī)步驟，能力強(qiáng)的前沿模型只在關(guān)鍵時刻介入，這樣的動態(tài)切換讓整體資源分配與實際需求更為匹配。
關(guān)于這種路由策略的具體設(shè)計、完整的基準(zhǔn)測試數(shù)據(jù)、執(zhí)行軌跡和工程實現(xiàn)細(xì)節(jié)，我們已經(jīng)在完整的工程記錄中做了公開。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
