OneReason：當(dāng)推薦系統(tǒng)學(xué)會(huì)思考

機(jī)器之心發(fā)布

推薦系統(tǒng)的過去十年，本質(zhì)是把 "用戶 - 物料" 的統(tǒng)計(jì)共現(xiàn)挖到極致 —— 從協(xié)同過濾、深度模型，到生成式 OneRec 系列，每一代都在讓 "記憶" 更精細(xì)、參數(shù)更大、序列更長，也讓 Scaling 這件事在工業(yè)級(jí)推薦系統(tǒng)上跑通，持續(xù)釋放算力紅利。但走到 LLM 時(shí)代，我們發(fā)現(xiàn)：純把 "統(tǒng)計(jì)" 做大已經(jīng)在多個(gè)方向上撞到了硬墻—— 冷啟用戶、長尾物料推不準(zhǔn)、跨域遷移做不好、多目標(biāo)多業(yè)務(wù)的策略組合靠權(quán)重調(diào)參越來越難往前推。

同一時(shí)期的基礎(chǔ)大模型領(lǐng)域，主旋律從 Scaling，Reasoning 再到 Agentic—— 智能的高度與維度被持續(xù)重定義：從 "知道多少"，走向 "想得對不對"，再到 "能不能把事情做好"。OpenAI o1、DeepSeek R1 已經(jīng)把 "先思考再回答" 做成共識(shí)范式，讓模型在數(shù)學(xué)、代碼、agent 任務(wù)上獲得跨代的能力躍遷。這條主軸并非 LLM 專屬 —— 推薦系統(tǒng)過去十年靠 Scaling 拿到的紅利，下一階段同樣需要 Reasoning 來釋放新的增長曲線。

但 Reasoning 在推薦里不是 LLM 范式的簡單復(fù)制—— 它要回答的是推薦系統(tǒng)自己的三個(gè)本質(zhì)問題：

(1) 推薦天然是 "溯因"，不是模式匹配。用戶行為是 "果"，潛在意圖是 "因"—— 從嘈雜、跨域、跨時(shí)段的行為序列里反推某個(gè)具體物料 "為什么適合此刻"，本質(zhì)是溯因推理。統(tǒng)計(jì)模型記得住 "看過 A 的人也看 B"，但回答不了用戶多跳因果鏈；尤其在冷啟用戶、新物料、長尾品類、跨域遷移這些行為信號(hào)天然稀疏的場景里。

(2) 推薦從 "黑盒打分" 變成 "可解釋、可干預(yù)的認(rèn)知過程"，業(yè)務(wù)杠桿顯著放大。一個(gè)會(huì)推理的基模，把過去藏在權(quán)重里的決策過程顯式寫在 CoT 里，直接讓推理鏈直接讀出 "為什么推這條"，讓業(yè)務(wù)約束直接可以寫在推理層，讓策略迭代節(jié)奏從周級(jí)降到天級(jí)；讓新業(yè)務(wù)接入也不再需要為每個(gè)域從零搭召回排序棧，一個(gè)懂物料語義的基模 + 一段業(yè)務(wù)說明即可跨域出方案。

(3) Reasoning 是 Agentic RecSys 的前置地基。推薦的下一站，是從 "千人一面的固定流水線" 走向 "千人千策、能規(guī)劃、能用工具、能多輪對話" 的 Agentic 推薦系統(tǒng)。規(guī)劃、工具調(diào)用、長程對話推薦這些能力的前提，都需要一個(gè)懂物料語義、有推理能力、能穩(wěn)定指令遵循的基模在底層托住。

正是基于以上三點(diǎn)判斷，快手技術(shù)團(tuán)隊(duì)推出OneReason—— 把 Reasoning 真正注入推薦基模的一次系統(tǒng)性嘗試。其核心改進(jìn)點(diǎn)包括：(1) 578B 數(shù)據(jù)的三階段預(yù)訓(xùn)練，分層遞進(jìn)地完成推薦與通識(shí)知識(shí)的語義對齊；(2) 設(shè)計(jì)基于歸納 / 溯因 / 演繹的推薦 CoT 格式，在 SFT 階段教會(huì)模型推薦任務(wù)的思維邏輯；(3) 通過 "先專后合" 的強(qiáng)化學(xué)習(xí)鏈路平衡多業(yè)務(wù)推薦能力，使 CoT 真正輔助推薦決策。

在評(píng)測與部署上，OneReason 同時(shí)驗(yàn)證了 Reasoning 在推薦里的真實(shí)價(jià)值：

• 業(yè)務(wù)上—— 在快手本地生活廣告 10 天 A/B 實(shí)驗(yàn)中帶來+10.33% 曝光、+8.23% 廣告收入、ROI > 5，對應(yīng)年化數(shù)億元商業(yè)增量；
• 推薦 Benchmark 評(píng)測上——OneReason首次在推薦基礎(chǔ)模型上讓 thinking 模式穩(wěn)定超過 non-thinking 模式。在此之前，多個(gè)公開嘗試（OneRec-Think、OpenOneRec）都觀察到 thinking 反而 hurts 的反常識(shí)現(xiàn)象；OneReason 在 Pass@4 上 thinking 平均領(lǐng)先 non-thinking+13.45%，把 "思考" 在推薦基模上第一次變成正資產(chǎn)；
• 通識(shí)能力上——MMLU-pro、GPQA-Diamond 等評(píng)估基本保留 Qwen3-8B 原始水平，沒有因?yàn)橥扑]訓(xùn)練把基座的通用認(rèn)知和指令遵循能力訓(xùn)壞。

在 LLM 已經(jīng)把 Scaling-Reasoning-Agentic 這條主軸走到第三步的同時(shí)，OneReason 把推薦域的 "Reasoning" 補(bǔ)上了關(guān)鍵一步 —— 通過物料語義與通識(shí)語義的深度對齊，把推薦過程轉(zhuǎn)化為一種可解釋、可干預(yù)、可進(jìn)化的認(rèn)知過程，使推薦背后的邏輯不再是黑盒，也為原生 ReAct 范式的 Agentic RecSys 打下基礎(chǔ)。

• OneReason 技術(shù)報(bào)告：https://arxiv.org/abs/2606.06260
• HuggingFace：https://huggingface.co/OpenOneRec/OneReason-0.8B-pretrain

一、背景

在生成式推薦方向上，OneRec 系列模型驗(yàn)證了 Scaling Law 在推薦系統(tǒng)中也依然成立，并通過 OneRec V1、OneRec V2 持續(xù)釋放算力紅利，推動(dòng)模型能力提升。而后 LLM 時(shí)代，模型能力的進(jìn)一步躍遷不再僅依賴規(guī)模擴(kuò)展，Scaling 與 Reasoning 的協(xié)同正在成為新的關(guān)鍵路徑。但在工業(yè)推薦場景中，OneRec 團(tuán)隊(duì)此前嘗試過一些初步探索（如 OneRec-Think、OpenOneRec），發(fā)現(xiàn)直接引入這一范式并未帶來預(yù)期收益：在推薦任務(wù)上，thinking 模式并不穩(wěn)定優(yōu)于 non-thinking 模式，這一現(xiàn)象與 LLM/MLLM 的直覺完全相反。這表明推薦基模與通用基礎(chǔ)大模型在任務(wù)目標(biāo)、信息結(jié)構(gòu)和能力形成機(jī)制上存在顯著差異，簡單疊加 CoT 并不能自然轉(zhuǎn)化為推薦效果的提升。

因此，“推薦 CoT 應(yīng)該怎么做” 成為生成式推薦繼續(xù)發(fā)展過程中必須迎面的挑戰(zhàn)。針對于這一問題，OneRec 團(tuán)隊(duì)交出了他們最新答卷 --OneReason：在工業(yè)級(jí)推薦場景分析了推薦推理失效的根因，并提出一套覆蓋感知對齊、認(rèn)知結(jié)構(gòu)化與 CoT 能力增強(qiáng)的完整實(shí)驗(yàn)流程，為生成式推薦領(lǐng)域的技術(shù)體系打開了新的探索空間，也為行業(yè)理解和構(gòu)建面向推薦場景的推理能力提供了重要參考。

二、推薦 CoT 應(yīng)該怎么做？

在回答這個(gè)問題之前，OneReason 先將視角切換到基礎(chǔ)大模型領(lǐng)域，參考在多模態(tài)領(lǐng)域 Thinking 弱于 Non-Thinking 的類似現(xiàn)象，以及社區(qū)積累的解決經(jīng)驗(yàn)。針對這一現(xiàn)象，基礎(chǔ)模型領(lǐng)域結(jié)論為：推理能力的形成并不只取決于是否引入 CoT，更依賴兩個(gè)基礎(chǔ)條件：

1. 模態(tài)或表示空間之間需要建立深度語義對齊。若對齊不足，模型容易停留在表層模式匹配，難以真正圍繞深層語義信息展開推理。
2. 推理鏈本身需要具備清晰、連貫、由粗到細(xì)的認(rèn)知結(jié)構(gòu)。即使模型具備一定感知能力，如果推理過程缺少穩(wěn)定的組織方式，長鏈推理也容易引入噪聲并累積誤差。

類似的，在推薦場景上，以上兩個(gè)問題變得更加顯著和突出：

1. 推薦基模中的 itemic token 與自然語言之間尚未形成足夠深的語義連接，模型更多是將 item 作為離散標(biāo)識(shí)符進(jìn)行關(guān)聯(lián)預(yù)測，而不是把它作為可理解、可組合、可推理的語義單元；
2. 直接混合大量通用 Reasoning 數(shù)據(jù)，沿用通用 LLM 的 CoT 形式，期待模型完全通過泛化能力實(shí)現(xiàn)推薦任務(wù)的推理，卻沒有針對推薦任務(wù)設(shè)計(jì)專屬的推理結(jié)構(gòu)，導(dǎo)致難以得到有推薦思維的邏輯鏈。

更進(jìn)一步看，推薦推理與數(shù)學(xué)推理在問題形態(tài)上存在根本差異。數(shù)學(xué)推理通常是演繹式的：從明確前提出發(fā)，經(jīng)過一系列邏輯步驟推導(dǎo)出相對確定的結(jié)論。而推薦推理更接近溯因推理：用戶興趣并不直接可見，模型需要從長期、嘈雜且不斷變化的行為序列中反推出潛在興趣，理解興趣隨時(shí)間的演化，并判斷某個(gè)候選物品為何適合當(dāng)前上下文。因此，一條有效的推薦 CoT 不是簡單地 “展開更多的思考”，而是要完成高質(zhì)量的信息壓縮：從噪聲行為中提取有效信號(hào)，從歷史行為中假設(shè)用戶興趣，再從興趣假設(shè)中收斂到推薦決策。因此，推薦基礎(chǔ)模型需要至少具備以下幾方面能力：

• R0 感知：看懂每個(gè) itemic pattern，解釋每個(gè)物料含義，讓 item 可總結(jié)為興趣點(diǎn)
• R1 推導(dǎo)：學(xué)習(xí) Item2Item 關(guān)系，通過常識(shí)知識(shí)，理解 item 關(guān)聯(lián)背后的原因
• R2 演進(jìn)：學(xué)習(xí)用戶序列長期演化過程，找到影響用戶未來決策的原因和潛在興趣點(diǎn)
• R3 推薦：根據(jù)興趣點(diǎn)推理，推薦高質(zhì)量、高相關(guān)物料，且有跨域推薦能力

基于上述思考，OneReason 形成了一套面向推薦推理的系統(tǒng)性解法，下面將按預(yù)訓(xùn)練、SFT、RL 三個(gè)階段分別展開：

三、預(yù)訓(xùn)練設(shè)計(jì)

OneReason 預(yù)訓(xùn)練旨在構(gòu)建一個(gè)實(shí)現(xiàn) item 與自然語言深度語義對齊的推薦基座。推薦場景中的 itemic token 不只是離散物品表示，還承載著子 token 組合、物料內(nèi)容、物料關(guān)系以及用戶行為上下文等多層語義。為此，預(yù)訓(xùn)練階段首先設(shè)計(jì)了 Token、Item、Relational、User 四層遞進(jìn)式數(shù)據(jù)架構(gòu)，總規(guī)模達(dá) 578B token，并配合三階段分步訓(xùn)練策略：先穩(wěn)定新增 item 表征，再進(jìn)行全參數(shù)語義對齊，最后面向長用戶行為序列進(jìn)行優(yōu)化。該方案解決了前代 OpenOneRec 系列因 item-text 語義割裂導(dǎo)致 CoT 推理低效的根本痛點(diǎn)，從預(yù)訓(xùn)練層面夯實(shí)了推薦推理落地的基礎(chǔ)。

四級(jí)分層預(yù)訓(xùn)練數(shù)據(jù)搭配通用多源語料，實(shí)現(xiàn) Item 與自然語言全維度語義對齊

整套推薦預(yù)訓(xùn)練數(shù)據(jù)從微觀到宏觀劃分為四大粒度，逐級(jí)打通物品標(biāo)識(shí)與文本的語義關(guān)聯(lián)：

1. Token 粒度：圍繞子 Token 拆解與組合邏輯，設(shè)計(jì)單 Token 釋義、前綴語義預(yù)測及部分到整體的層級(jí)推理等任務(wù)，在最細(xì)顆粒度完成子單元語義綁定；
2. Item 粒度：對物料描述進(jìn)行容量感知的粗?；幚?，過濾三個(gè) token 無法承載的冗余細(xì)節(jié)與無效參數(shù)，配套多視角 Item QA 樣本，實(shí)現(xiàn)單品內(nèi)容與文本的雙向精準(zhǔn)映射；
3. Relational 粒度：依托用戶看后搜、協(xié)同過濾及跨用戶同窗共現(xiàn)等多源信號(hào)，構(gòu)造 “物品→興趣說明文本→后續(xù)物品” 的鏈路數(shù)據(jù)，將隱式協(xié)同偏好翻譯為可解釋的文本遷移邏輯；
4. User 粒度：采用分域分組、全時(shí)序穿插兩種數(shù)據(jù)范式，按真實(shí)時(shí)間串聯(lián)跨域行為記錄，并隨機(jī)將部分 Item 替換為文本描述，實(shí)現(xiàn)全場景用戶興趣對齊。

在推薦專項(xiàng)數(shù)據(jù)之外，混合大量數(shù)理、代碼、科普等通用文本，并精選粗粒度多模態(tài)數(shù)據(jù)，將通用視覺知識(shí)遷移復(fù)用至短視頻、商品、直播等各類推薦物料，有效規(guī)避模型因?qū)９ネ扑]任務(wù)而造成的通用理解能力下滑與任務(wù)過擬合。

三階段分步訓(xùn)練

在整個(gè)預(yù)訓(xùn)練階段，全量 Token 數(shù)合計(jì) 578B token，相對 OpenOneRec 160B 的數(shù)據(jù)量大幅提升：

1. 預(yù)熱（110B）：凍結(jié)主干，僅優(yōu)化新增 item 嵌入及對應(yīng)輸出層權(quán)重，讓 item 表征平穩(wěn)融入 LLM 語義空間；
2. 全參訓(xùn)練（449B）：全參數(shù)開放，四層數(shù)據(jù)聯(lián)合深度對齊；
3. 長序列優(yōu)化（19B）：上下文窗口放開至 32K，適配長用戶行為序列。

在預(yù)訓(xùn)練數(shù)據(jù)層面，相比 OpenOneRec 基線，OneReason 在各方面能力全面躍升。具體來說，在統(tǒng)一數(shù)據(jù)量的實(shí)驗(yàn)條件下，OneReason 預(yù)訓(xùn)練方案相對 OpenOneRec 基線模型實(shí)現(xiàn)全面提升：

• R0 物品錨定漲幅 160.5%，物品理解提升 35.7%，基礎(chǔ)感知能力實(shí)現(xiàn)全方位突破；
• R3 核心跨域推薦指標(biāo)提升 65.1%。

整套預(yù)訓(xùn)練體系為后續(xù)結(jié)構(gòu)化 CoT 微調(diào)和推理式推薦上線提供了堅(jiān)實(shí)的語義底座，也是思考型推薦實(shí)現(xiàn)業(yè)務(wù)增收的關(guān)鍵前置支撐。

四、SFT 設(shè)計(jì)

預(yù)訓(xùn)練完成后，模型已經(jīng)具備 itemic token 的語義基礎(chǔ)。然而，推薦場景下的 SFT 不能等同于普通問答式指令微調(diào)。它面對的是長序列用戶行為、跨場景物料、隱式的興趣變化，以及最終落到候選物品選擇的決策問題?；诖?，OneReason 的 SFT 階段向上承接預(yù)訓(xùn)練建立的物料語義，向下為強(qiáng)化學(xué)習(xí)提供一個(gè)可探索、可評(píng)價(jià)的推薦推理起點(diǎn)。該階段的核心目標(biāo)是：讓模型基于物料語義來推斷物料間關(guān)系、抽象用戶興趣并理解其演進(jìn)過程，最終將這些信息組織成面向推薦決策的 reasoning trace。

圍繞上述目標(biāo)，SFT 階段的重點(diǎn)是推理表達(dá)：讓模型在真實(shí)推薦場景中學(xué)會(huì)有效引用上述語義證據(jù)，并生成可監(jiān)督、可校驗(yàn)、可追溯的推理過程。具體而言，基于預(yù)訓(xùn)練的強(qiáng)大的對齊能力，SFT 數(shù)據(jù)將能力升級(jí)為貼近推薦落地的監(jiān)督信號(hào)，使模型逐步習(xí)得可解釋的推薦推理。數(shù)據(jù)分布如表 1 所示。

表 1：SFT 數(shù)據(jù)分布。

R3 推薦 CoT：把長歷史壓縮成可決策的推理鏈

在推薦系統(tǒng)建模中，首先需要解決兩大核心問題：一是對用戶歷史做高效壓縮，讓模型能從冗長、存在噪聲的用戶行為中，提煉出清晰的用戶畫像與緊湊的興趣變化模式，使后續(xù)推理能夠立足于壓縮后的少量候選方向，避免受到冗雜行為歷史的干擾；二是實(shí)現(xiàn)精準(zhǔn)的動(dòng)態(tài)推理，讓模型具備關(guān)聯(lián)物品、追蹤興趣變化、判斷下一步行為的能力。圍繞這兩個(gè)目標(biāo)，OneReason 將 R3 思維鏈（CoT）顯式拆解為三個(gè)連貫的模塊：Persona Abstraction（用戶抽象）、Interest Expansion（興趣發(fā)散）、Transition Inference（興趣推斷）。

Persona Abstraction (用戶抽象)： 在這一階段中，OneReason 事先定義了 20 類不同的用戶偏好類型，Persona Abstraction 會(huì)從稀疏、包含噪聲的行為里抽象出可解釋的偏好先驗(yàn)（如家庭生活主導(dǎo)用戶、游戲技巧提升、直播購物愛好者、多人共用設(shè)備用戶等），并引用典型證據(jù)進(jìn)行推斷。表 2 給出了若干畫像示例。

表 2：Persona Abstraction 的典型畫像示例。

Interest Expansion (興趣發(fā)散): 為了避免模型過早對用戶意圖做出單一判斷，OneReason 在推理鏈路中設(shè)計(jì)了 Interest Expansion（興趣發(fā)散） 環(huán)節(jié)，將用戶近期的行為軌跡轉(zhuǎn)化為一組候選的興趣假設(shè)。針對發(fā)散寬度 n 的消融實(shí)驗(yàn)展示了一個(gè)有趣的“少即是多”現(xiàn)象：當(dāng) n 保持在 1、3、5 的緊湊范圍時(shí)，模型表現(xiàn)最佳；而一旦擴(kuò)大到 10 或 20，效果反而大幅衰減。OneReason 認(rèn)為這種現(xiàn)象的本質(zhì)在于 “推理信號(hào)的聚焦”：過大的候選集會(huì)引入低置信度的冗余興趣，從而模糊了用戶真正的核心興趣，干擾最終的決策。較小的假設(shè)集并沒有削弱推理能力，反而防止了推理路徑的碎片化。

圖 3：Interest Expansion 寬度消融。

Transition Inference (興趣推斷): 在最后一步 Transition Inference 中，模型會(huì)對候選方向進(jìn)行綜合評(píng)估。評(píng)估維度不僅涵蓋證據(jù)強(qiáng)度、行為近期性與時(shí)間連貫性，還兼顧了畫像匹配、目標(biāo)域兼容性以及潛在的答案泄露風(fēng)險(xiǎn)。這一過程有效串聯(lián)了前序的推理邏輯：既利用 R1 建立跨域的一跳橋接，又結(jié)合 R2 判斷興趣的時(shí)序演進(jìn)。最終推斷出的興趣，不能僅僅停留在語義層面的 “相關(guān)”，更需要通過多跳的興趣演化推理，清晰地還原出它是如何從用戶的歷史軌跡中一步步自然延伸而來。

表 3：Interest Expansion 和 Transition Inference 的例子。

CoT 質(zhì)量評(píng)估

為了評(píng)估推薦思維鏈（CoT）的生成質(zhì)量并規(guī)避常見的推理缺陷， OneReason 設(shè)計(jì)了一套多維度的評(píng)估體系。在落地實(shí)踐中發(fā)現(xiàn)，推薦 CoT 極易陷入兩個(gè)極端：一是 “結(jié)果劇透”，即推理文本提前暴露了目標(biāo)商品，讓解釋變成了同義反復(fù)；二是 “偽解釋”，即生成的文本看似邏輯通順，但完全脫離了用戶的真實(shí)行為支撐。針對這些痛點(diǎn)，OneReason 從以下五個(gè)核心維度對 R3 階段的推理鏈路進(jìn)行量化評(píng)測：

• Safety：排查推理文本中是否混入了目標(biāo) Item ID、商品標(biāo)題等特征，防止模型 “偷懶” 直接劇透最終的推薦結(jié)果。
• Consistency：校驗(yàn)推理鏈路最終導(dǎo)出的結(jié)論，與系統(tǒng)預(yù)設(shè)的推薦目標(biāo)是否嚴(yán)格對齊，避免推理過程與最終結(jié)果南轅北轍。
• Logic：甄別模型是在真正歸納、提煉用戶的行為規(guī)律，還是僅僅用自然語言把用戶的歷史行為流水賬式地 “復(fù)讀” 了一遍。
• Factuality：確保推理內(nèi)容嚴(yán)格基于真實(shí)的用戶行為序列，杜絕大模型常見的 “事實(shí)幻覺”（如虛構(gòu)交互行為、打亂時(shí)間線，或強(qiáng)行腦補(bǔ)、夸大用戶的興趣偏移）。
• Informativeness：評(píng)估推理過程是否提供了具體、有洞察的解釋視角，摒棄那些放之四海而皆準(zhǔn)、毫無信息增量的 “廢話” 描述。

圖 4：R3 推理軌跡質(zhì)量評(píng)估，覆蓋 Safety、Consistency、Logic、Factuality、Informativeness 五個(gè)維度）。

五、RL 設(shè)計(jì)

在 SFT 階段，模型已經(jīng)學(xué)會(huì)理解用戶需求、生成推薦推理過程，并輸出相應(yīng)的推薦結(jié)果。但 SFT 本質(zhì)上仍是在模仿已有數(shù)據(jù)，其能力容易受到訓(xùn)練樣本和教師模型的限制。因此，推薦基礎(chǔ)模型需要進(jìn)一步引入強(qiáng)化學(xué)習(xí)階段，讓模型不再只是復(fù)現(xiàn)已有軌跡，而是能夠根據(jù)推薦結(jié)果反饋進(jìn)行自我探索，發(fā)現(xiàn)更有效的推薦策略。

讓強(qiáng)化學(xué)習(xí)適配推薦任務(wù)

相比于數(shù)學(xué)推理、代碼生成等可驗(yàn)證場景，推薦任務(wù)所涉及到的候選空間極大，正確推薦信號(hào)極其稀疏，同時(shí)用戶興趣往往具有多個(gè)方向。直接套用通用 GRPO，難以獲得足夠有效的獎(jiǎng)勵(lì)反饋。為此，OneReason 對 GRPO 進(jìn)行了三方面改進(jìn)。

• 兩階段軌跡生成：先生成推理軌跡，再基于同一軌跡擴(kuò)展多個(gè)候選推薦，以較小額外開銷顯著增加有效軌跡數(shù)量，緩解推薦獎(jiǎng)勵(lì)稀疏問題。
• Set-wise 獎(jiǎng)勵(lì)：OneReason 把獎(jiǎng)勵(lì)從 point-wise 抬升到 set-wise/list-wise：在同一條推理軌跡下并行生成多條候選，并基于這組候選整體評(píng)估其覆蓋度、多樣性，鼓勵(lì)模型探索能夠覆蓋用戶多方向興趣的推理路徑。
• 優(yōu)化穩(wěn)定策略：針對推理文本 token 和推薦 itemic token 采用不同的裁剪范圍，并降低大量未命中樣本在梯度中的權(quán)重，從而緩解稀疏獎(jiǎng)勵(lì)下的訓(xùn)練震蕩，使模型更穩(wěn)定地學(xué)習(xí)推薦推理能力。

先專后合的強(qiáng)化學(xué)習(xí)鏈路

推薦基座模型需要同時(shí)服務(wù)于視頻、商品、廣告、直播等多個(gè)領(lǐng)域。由于不同領(lǐng)域的用戶行為模式、物品語義和獎(jiǎng)勵(lì)分布存在明顯差異，直接在混合數(shù)據(jù)上進(jìn)行強(qiáng)化學(xué)習(xí)容易產(chǎn)生跨領(lǐng)域干擾。為此，OneReason 提出了先專后合（Specialize-then-Unify）的訓(xùn)練鏈路：首先在每個(gè)領(lǐng)域內(nèi)獨(dú)立進(jìn)行強(qiáng)化學(xué)習(xí)，學(xué)習(xí)領(lǐng)域特有的推薦知識(shí)；隨后再將多個(gè)領(lǐng)域?qū)＜夷Ｐ偷哪芰θ诤系浇y(tǒng)一模型中。具體來說，其探索了兩條不同的技術(shù)路線：RFT（Rejection Sampling Fine-tuning）通過學(xué)習(xí)專家生成的高質(zhì)量成功軌跡進(jìn)行知識(shí)整合；MOPD（Multi-Teacher On-Policy Distillation）則從策略層面持續(xù)吸收多個(gè)領(lǐng)域?qū)＜业哪芰Α煞N方法各有優(yōu)勢：RFT 能夠更好地保留專家發(fā)現(xiàn)的高質(zhì)量推理模式，并且隨著 Recall@K 中 K 的增大，其收益更加明顯；MOPD 則能夠更充分地繼承多領(lǐng)域?qū)＜抑R(shí)，對 thinking 和 non-thinking 模式帶來同步提升，使 non-thinking 模式也取得具有競爭力的表現(xiàn)。

六、Benchmark

評(píng)估的核心思路是把推薦模型的能力拆成四個(gè)遞進(jìn)層級(jí)來衡量，從 “能否看懂物料內(nèi)容” 一路深入到 “能否做好推薦”。其中，第一層是感知（R0），關(guān)注模型能否真正理解 itemic token 背后的語義；第二層是推導(dǎo)（R1），關(guān)注模型能否從單個(gè)內(nèi)容出發(fā)，進(jìn)一步理解內(nèi)容與內(nèi)容之間的關(guān)聯(lián)；第三層是演進(jìn)（R2），關(guān)注模型能否從用戶歷史行為中識(shí)別興趣主題，并理解興趣隨時(shí)間變化的過程；第四層是推薦（R3），則進(jìn)一步考察模型能否把前面三層能力綜合起來，最終完成真實(shí)業(yè)務(wù)場景中的推薦決策。為了考察以上幾方面模型能力，OneReason-Bench 設(shè)計(jì)了大量針對性任務(wù)，包括物料理解、物料問答、i2i、興趣鏈條抽取等多方面評(píng)估任務(wù)。

七、實(shí)驗(yàn)結(jié)果

主實(shí)驗(yàn)結(jié)果

在評(píng)測方面，OneReason 在短視頻、電商商品、廣告、直播四類跨域推薦任務(wù)中完成對標(biāo)評(píng)測，對比基線覆蓋三大模型品類：ID 序列類（SASRec、HSTU）、通用大模型（Qwen3、DeepSeek-V3.2、GPT-5.4 等）、物品 Token 架構(gòu)模型（TIGER、LC - 全系列），實(shí)測結(jié)論如下：

1. OneReason-RFT 綜合全維度領(lǐng)跑，thinking 范式在推薦領(lǐng)域全面超越 non-thinking 范式

RFT 版本 thinking 效果在四大業(yè)務(wù)域全面優(yōu)于全部對照模型，且超越 non-thinking 效果。以短視頻推薦為例，相較最優(yōu)基線 LC-Rec-PT-SFT-8B，指標(biāo)相對漲幅超 60%；廣告、直播場景增益更為突出，直播域召回指標(biāo)相較通用 LLM 整體高出一個(gè)量級(jí)。

2. 推理增益依托 RL 專項(xiàng)優(yōu)化，原生 SFT 無法激活思考能力

僅經(jīng)過 SFT 微調(diào)的模型，其 Thinking 模式的表現(xiàn)反而劣于 Non-Thinking 模式，這印證了業(yè)界普遍面臨的痛點(diǎn)：直接在推薦任務(wù)中引入 CoT 容易引發(fā) “過度思考”，反而損害基礎(chǔ)推薦性能；但后續(xù)依托 “先專后合” 的 RL 方案優(yōu)化后，thinking 指標(biāo)實(shí)現(xiàn)反超領(lǐng)跑，證實(shí)強(qiáng)化學(xué)習(xí)是解鎖推理收益的必備環(huán)節(jié)。

3. 四層分級(jí)預(yù)訓(xùn)練筑牢能力上限，是模型性能躍遷核心底座

搭載 OneReason 預(yù)訓(xùn)練權(quán)重的 LC-Rec，對比從零 SFT 訓(xùn)練版本，廣告域命中率提升近 5 倍。印證 Token、Item、Relational、User 四層預(yù)訓(xùn)練實(shí)現(xiàn) itemic Token 與自然語言深度語義對齊，構(gòu)成后續(xù) CoT 推理的底層基礎(chǔ)。

4. ID-Based 模型、通用 LLM 各有短板，專用推薦基座更適配落地

傳統(tǒng) ID 架構(gòu)受大量新物品冷啟動(dòng)制約；通用大模型缺少用戶協(xié)同行為特征，依賴 ANN 檢索落地，跨域推薦效果顯著落后 OneReason，佐證通用能力不能等價(jià)于推薦能力，定制化生成推薦基座是更優(yōu)技術(shù)路線。

CoT 能力內(nèi)化現(xiàn)象

此外，在 OneReason 的實(shí)驗(yàn)中，存在另一個(gè)有意思的 CoT 能力內(nèi)化現(xiàn)象：即引入 CoT 推理監(jiān)督，不僅能提升模型的 think 能力，還能間接反哺 non-think 的推薦性能。為進(jìn)一步驗(yàn)證這一結(jié)論，在固定總 Token 規(guī)模（0.25B tokens）的約束下開展了對照實(shí)驗(yàn)：一組僅使用 100K 純無推理（unCoT）樣本訓(xùn)練；另一組采用 40K CoT 樣本與 50K unCoT 樣本混合訓(xùn)練。兩組模型統(tǒng)一采用 non-thinking 模式進(jìn)行評(píng)測，各域 Pass@64 結(jié)果如下：

結(jié)果表明，在短視頻、商品和直播域，混入 CoT 數(shù)據(jù)均帶來了不同程度的收益（除廣告域以外）。在此基礎(chǔ)上，OneReason 進(jìn)一步通過消融實(shí)驗(yàn)探究各業(yè)務(wù)域下 CoT 與 unCoT 的最優(yōu)混合比例。實(shí)驗(yàn)證明：CoT 樣本并非占比越高越好，不同域?qū)?“推理濃度” 的偏好存在顯著差異。短視頻與直播域在 CoT 與 unCoT 配比趨于均衡（或適度偏向 CoT）時(shí)達(dá)到最優(yōu)。本文猜測是由于這兩個(gè)域的用戶歷史通常包含多意圖信號(hào)，因此 CoT 的證據(jù)梳理能力能發(fā)揮較大價(jià)值。電商域更適配高 CoT 占比的配置，這一現(xiàn)象可能因?yàn)殡娚逃虻馁徺I意圖往往需要從內(nèi)容線索和行為躍遷中進(jìn)行深度推斷。相反廣告域的性能隨配比變化的曲線較為平緩，整體更偏好 unCoT 數(shù)據(jù)，這可能是因?yàn)閺V告轉(zhuǎn)化更依賴短期的曝光模式與即時(shí)轉(zhuǎn)化信號(hào)，這些特征很難被自然語言推理鏈完全捕獲。

圖 5：CoT/unCoT 配比對 non-thinking 推薦的影響。

CoT 信息熵增益

圖 6：Delta LL 對比，RFT 后全域轉(zhuǎn)正。

與此同時(shí)，OneReason 發(fā)現(xiàn)隨著推理步驟的逐步展開，目標(biāo) Item 的似然值呈現(xiàn)整體上升趨勢。而且RFT 模型往往在推理的極早期就達(dá)到了似然峰值。這說明高質(zhì)量的推薦推理長度不應(yīng)過長，盡早提取關(guān)鍵證據(jù)。這一特性也為未來探索 “推理鏈壓縮” 或 “自適應(yīng)早?！?機(jī)制提供了理論依據(jù)。

圖 7：CoT prefix likelihood progression。

案例分析

在這起真實(shí)推薦案例中，推薦目標(biāo)是一條《三角洲行動(dòng)》的裝備玩法視頻。該案例的難點(diǎn)在于：用戶歷史行為中并沒有大量的《三角洲行動(dòng)》直接交互，僅包含一次微弱的三角洲游戲廣告點(diǎn)擊信號(hào)。如果模型單純依賴歷史高頻 IP，很容易陷入傳統(tǒng) SFT 路徑，繼續(xù)推薦《和平精英》或《王者榮耀》相關(guān)內(nèi)容，從而失去外推到新游的能力。

從兩者的思考過程分析，SFT 和 RFT 雖都能識(shí)別出用戶是 18-23 歲的年輕男性游戲受眾，但在興趣推斷階段產(chǎn)生了本質(zhì)差異

• SFT 的局限（路徑依賴）： SFT 的思考過程完全被高頻的《和平精英》和《王者榮耀》主導(dǎo)。在分析潛在興趣點(diǎn) A 時(shí)，它直接將后續(xù)可能性局限在《和平精英》上。因?yàn)槿狈ι疃韧茢嗄芰ζ渫扑]結(jié)果仍然是《和平精英》，進(jìn)而導(dǎo)致推薦失敗。
• RFT 的優(yōu)勢（多跳推理）： RFT 展現(xiàn)出了更強(qiáng)的泛化推導(dǎo)能力。其思考過程沒有被高頻的熱門游戲淹沒（如《和平精英》），而是準(zhǔn)確提煉出用戶最深層的核心關(guān)注點(diǎn)是 “《絕地求生》/ 戰(zhàn)術(shù)競技類游戲的新玩法或裝備”?；?“戰(zhàn)術(shù)競技新玩法” 這一底層邏輯，RFT 成功建立了歷史高頻游戲與 “三角洲行動(dòng)” 新游之間的聯(lián)系。它在思考中明確指出：用戶對射擊游戲的熱情不局限于《和平精英》，已延伸至類似玩法（如地逃），而《三角洲行動(dòng)》作為熱門新游，恰好承接了這一細(xì)分需求。

業(yè)務(wù)收益

在線上部署結(jié)果上，OneReason 在快手本地生活廣告場景進(jìn)行了10 天線上 A/B 實(shí)驗(yàn)，實(shí)驗(yàn)組和對照組各使用 5% 流量。系統(tǒng)采用 Fast-Slow Thinking 架構(gòu)：近線 OneReason 負(fù)責(zé)慢思考召回，實(shí)時(shí) OneReason 賦能 OneRec 負(fù)責(zé)在線快思考服務(wù)，兩者結(jié)果進(jìn)入排序模型融合。

圖 8：Fast-Slow Thinking 在線部署架構(gòu)。

圖 9：Fast 部署架構(gòu)。

通過 Fast-Slow Thinking 架構(gòu)，OneReason 已初步賦能業(yè)務(wù)，收益對應(yīng)快手平臺(tái)年化數(shù)億元人民幣級(jí)別的商業(yè)收入增量，并達(dá)到 ROI > 5。這說明 OneReason 不只是離線 benchmark 上的探索，也具備在嚴(yán)格延遲與成本約束下進(jìn)入工業(yè)系統(tǒng)的可行性。

八、總結(jié)與展望

生成式推薦一路走來，快手技術(shù)團(tuán)隊(duì)從 OneRec V1/V2 驗(yàn)證了生成式推薦的 Scaling 能力，到 OneReason 真正打開推薦基模的 Reasoning 能力，用一個(gè)完整閉環(huán)回答了三個(gè)曾經(jīng)懸而未決的問題：

a. 推薦基模能不能 "會(huì)推理"？

i. 答：能，但必須先做好 itemic token 感知對齊，同時(shí)設(shè)計(jì)合理的溯因類型 CoT 格式，才能夠在 RL 階段完全激發(fā) Thinking 潛力。

b. 推薦 CoT 應(yīng)該長什么樣？

i. 答：結(jié)合 “用戶抽象 -> 興趣發(fā)散 -> 興趣轉(zhuǎn)移和推導(dǎo)” 形式的 CoT 能夠在 RL 階段顯著提升 Thinking 能力。

c. 推理基模能不能上線工業(yè)場景？

i. 答：完全可以，通過 Fast-Slow Thinking 架構(gòu)結(jié)合近線與實(shí)時(shí)部署，同時(shí) ROI 可觀。

下一步，OneRec 團(tuán)隊(duì)將繼續(xù)深入推薦技術(shù)與大模型技術(shù)的融合，打造 Agentic Recommender Harness，讓推薦基模具備規(guī)劃與工具調(diào)用能力，逐步驅(qū)動(dòng)推薦系統(tǒng)向 Agentic 架構(gòu)演進(jìn)。后續(xù)，OneReason 的更多技術(shù)細(xì)節(jié)以及 OneReason 系列的模型權(quán)重將陸續(xù)開源，歡迎學(xué)術(shù)界與工業(yè)界同行一起把推薦系統(tǒng)的 Reasoning 時(shí)代推向更遠(yuǎn)。

本文相關(guān)內(nèi)容也將在6 月 13 日舉辦的快手技術(shù)沙龍現(xiàn)場進(jìn)行分享，歡迎對生成式推薦、推薦推理能力以及 Agentic Recommender 感興趣的同學(xué)到場交流，共同探討推薦系統(tǒng)與大模型融合的前沿實(shí)踐。

同時(shí)，OneRec 團(tuán)隊(duì)也將在活動(dòng)現(xiàn)場正式發(fā)布「快手探索者 LLM-Rec 挑戰(zhàn)賽」，面向全球?qū)ν扑]技術(shù)感興趣的同學(xué)開放，邀請大家共同探索推薦系統(tǒng)與大模型深度融合的技術(shù)邊界，攜手打造更懂世界的推薦基礎(chǔ)模型。

報(bào)名技術(shù)沙龍：https://www.huodongxing.com/event/1862626323800?sessionid=